CN105678754A - 一种无人机实时地图重建方法 - Google Patents
一种无人机实时地图重建方法 Download PDFInfo
- Publication number
- CN105678754A CN105678754A CN201511032127.2A CN201511032127A CN105678754A CN 105678754 A CN105678754 A CN 105678754A CN 201511032127 A CN201511032127 A CN 201511032127A CN 105678754 A CN105678754 A CN 105678754A
- Authority
- CN
- China
- Prior art keywords
- frame
- key frame
- pixel
- map
- unmanned plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种无人机实时地图重建方法,应用无人机实时地获得其周围环境的三维地图以及实现对自身的定位。该方法中,无人飞行器在未知空域飞行,在自身位置不确定的条件下,通过对环境信息的探测和比较,对环境的特征信息的提取和匹配,来获取自身的定位以及进行三维地图的构建,还包括地理信息的融合和图像拼接技术。本发明可应用于战场需求(如无人机自主飞行、攻击);火灾/地震/洪水等灾害应急救援;无人机治安管理监控等。本方法与现有方法相比,无论是位置漂移量、角度漂移量还是绝对误差都处于中上水平,本方法获取环境较多信息,而且与全稠密的方法相比,本方法的实验精度依然能够达到使用标准,而且能够直接在CPU上运行,实时性好。
Description
技术领域
本发明涉及计算机图像处理与地图测绘领域,具体为一种无人机实时地图重建方法,应用无人机实时地获得其周围环境的三维地图以及实现对自身的定位。
背景技术
传统的测绘技术将地面的特征点和界线通过测量手段(比如利用遥感、激光、超声波等)获得反映地面现状的图形和位置信息。传统的测绘技术对于传感器要求较高,虽然其测绘精度高,但是高成本和从信息采集到得出结果所需的时间长制约了传统测绘在一些场合(例如对时效性要求比较高)的应用。
基于计算机视觉的SLAM(SimultaneousLocalizationandMapping),即同时定位与地图构建,由于其重要的理论与应用价值,一直以来都是学者研究的热点。但目前视觉SLAM的三维地图重建,还存在着运行速度较慢,达不到实时进行地图重建要求的问题。
发明内容
为解决现有技术存在的问题,本发明提出了一种无人机实时地图重建方法,在保证其鲁棒性(即重建精度)、在对传感器依赖比较少的前提下,最大限度利用获取到的图像信息,并通过高效的信息处理实现了实时三维环境重建。
本发明利用无人飞行器搭载相机,通过对其采集到的数据信息进行处理以实时地获取自身姿态和三维环境的地图。本文涉及:①基于视觉的SLAM、SFM(struct-from-motion)即运动中建图:无人飞行器在未知空域飞行,在自身位置不确定的条件下,通过对环境信息的探测和比较,对环境的特征信息的提取和匹配,来获取自身的定位以及进行三维地图的构建;②地理信息的融合:包括融入GPS信息;③图像拼接技术:基于特征点和直接图像对齐;本发明将可以应用于以下场合:战场需求(如无人机自主飞行、攻击);火灾/地震/洪水等灾害应急救援;无人机治安管理监控等。
本发明的技术方案为:
所述一种无人机实时地图重建方法,其特征在于:包括以下步骤:
步骤1:对相机获取的第一帧图像进行如下处理:
步骤1.1:对第一帧图像进行去畸变处理,得到去畸变后的第一帧图像;
步骤1.2:对去畸变后的第一帧图像进行深度初始化:根据设定的灰度梯度阈值,筛选出去畸变后的第一帧图像中灰度梯度大于灰度梯度阈值的像素点,并赋予所筛选出的像素点随机深度值;
步骤1.3:根据相机参数将步骤1.2中赋予深度值的像素点反投影回三维环境,得到初始化后的地图;
步骤1.4:将去畸变后的第一帧图像设置为关键帧;
步骤2:对相机实时获得的第i帧图像进行如下处理,i=2,3,4……:
步骤2.1:对第i帧图像进行去畸变处理,得到去畸变后的第i帧图像;
步骤2.2:以当前关键帧为基准,进行去畸变后的第i帧图像与基准的图像对齐操作,得到第i帧到当前关键帧的位姿变化;
步骤2.3:根据当前关键帧对应的相机姿态,以及步骤2.2得到的第i帧到当前关键帧的位姿变化,得到第i帧对应的相机姿态和相机在局部坐标下的位置;
步骤2.4:根据设定的灰度梯度阈值,筛选出去畸变后的第i帧图像中灰度梯度大于灰度梯度阈值的像素点,并根据相机参数和步骤2.3得到的第i帧对应的相机姿态,将筛选出的像素点反投影回三维环境,得到所筛选出的像素点深度值;并将所筛选出的带有深度值的像素点加入地图中;
步骤2.5:若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值,则用第i帧代替当前关键帧作为新的关键帧。
进一步的优选方案,所述一种无人机实时地图重建方法,其特征在于:
提取并存储每一个关键帧图像中的特征点;
若步骤2.2中图像对齐操作无法实现,则进行失败重建:
提取去畸变后的当前帧图像的特征点,将当前帧的特征点与存储的每一个关键帧图像中的特征点进行匹配,寻找成功匹配特征点个数最多的关键帧,若该关键帧中成功匹配特征点的个数占该关键帧中特征点总数的比例不大于40%,则以当前帧作为第一帧,返回步骤1;否则以该关键帧作为为基准,进行去畸变后的当前帧图像与基准的图像对齐操作,得到当前帧到当前关键帧的位姿变化;
根据基准对应的相机姿态,以及当前帧到当前关键帧的位姿变化,得到当前帧对应的相机姿态;
根据设定的灰度梯度阈值,筛选出去畸变后的当前帧图像中灰度梯度大于灰度梯度阈值的像素点,并根据相机参数和当前帧对应的相机姿态,将筛选出的像素点反投影回三维环境,得到所筛选出的像素点深度值;并将所筛选出的带有深度值的像素点加入地图中;而后继续按照步骤2进行。
进一步的优选方案,所述一种无人机实时地图重建方法,其特征在于:采用快速角点检测方法提取特征点。
进一步的优选方案,所述一种无人机实时地图重建方法,其特征在于:步骤2.4中,将所筛选出的带有深度值的像素点加入地图的过程中,若某一像素点反投影后,在地图中对应的三维点的邻域内,已存在有地图三维点,则将该像素点反投影后在地图中对应的三维点,以及三维点邻域内的已存在的地图三维点去除,并将该像素点反投影后在地图中对应的三维点,与三维点邻域内的已存在的地图三维点的加权平均点加入地图中。
进一步的优选方案,所述一种无人机实时地图重建方法,其特征在于:步骤2.5中,若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值,且第i帧与当前关键帧的帧数差不小于15帧,则用第i帧代替当前关键帧作为新的关键帧。
进一步的优选方案,所述一种无人机实时地图重建方法,其特征在于:步骤2.2中的图像对齐操作采用以下过程:
先设定第i帧到当前关键帧的位姿变化的初始值;根据第i帧到当前关键帧的位姿变化,将当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点反投影到三维环境,再从三维环境投影到去畸变后的第i帧图像上,得到投影点;并在去畸变后的第i帧图像上找到,当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点的对应点;计算投影点与对应点的光度值残差和;迭代变化第i帧到当前关键帧的位姿变化,使光度值残差和最小。
进一步的优选方案,所述一种无人机实时地图重建方法,其特征在于:采用第i-1帧到当前关键帧的位姿变化作为第i帧到当前关键帧的位姿变化的初始值。
进一步的优选方案,所述一种无人机实时地图重建方法,其特征在于:步骤2.4中,得到所筛选出的像素点深度值后;采用图优化方法对第i帧对应的相机在局部坐标下的位置,以及所筛选出的带有深度值的像素点位置进行优化,将优化后的带有深度值的像素点加入地图中。
进一步的优选方案,所述一种无人机实时地图重建方法,其特征在于:在无人机实时地图重建过程中,通过卫星定位信号获得每一帧时刻下,无人机在世界坐标系下的轨迹信息Xn,n表示的是第n帧;并在无人机实时地图重建过程中,得到每一帧对应的相机在局部坐标系下的位置xn;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中N为无人机实时地图重建过程中的总帧数,T(xn,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
进一步的优选方案,所述一种无人机实时地图重建方法,其特征在于:当卫星定位信号频率小于帧频时,对于每一个卫星定位信号采集时刻tn,得到无人机在世界坐标系下的轨迹信息Xn;并用采集时刻tn前后各一帧对应的相机在局部坐标系下的位置插值得到采集时刻tn下相机在局部坐标系下的位置xn;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中N为卫星定位信号的总采集点数,T(xn,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
有益效果
本发明提出的方法与诸多现有方法相比,无论是位置漂移量、角度漂移量还是绝对误差都处于中上水平,本方法获取环境较多信息,而且与全稠密的方法相比,本方法的实验精度依然能够达到使用标准,而且能够直接在CPU上运行,不用要求GPU,实时性好。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1:三角化投影确定像素深度示意图;
图2:直接图像对齐方法示意图;
图3:失败重建示意图;
图4:图优化方法示意图;
图5:拟合卫星导航数据示意图;
图6:相机获取的一帧原始图像;
图7:实时重建的三维点云图;
图8:使用无人机实时重建的地图;
图9:拼接后的地图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
本实施例中的无人机实时地图重建方法包括以下步骤:
步骤1:对相机获取的第一帧图像进行如下处理:
步骤1.1:用事先获取的标定数据对第一帧图像进行去畸变处理,得到去畸变后的第一帧图像,用于后续处理。
步骤1.2:对去畸变后的第一帧图像进行深度初始化:根据设定的灰度梯度阈值,筛选出去畸变后的第一帧图像中灰度梯度大于灰度梯度阈值的像素点,并赋予所筛选出的像素点随机深度值;这样的随机处理并不会影响后面的重建精度,因为通过几十帧的处理后,深度地图会逐渐趋近于一个准确的模型。
步骤1.3:根据相机参数将步骤1.2中赋予深度值的像素点反投影回三维环境,得到初始化后的地图;
步骤1.4:将去畸变后的第一帧图像设置为关键帧;提取并存储关键帧中的特征点。对于特征点检测的方法有:①SIFT、②SURF、③fast-corner(快速角点检测:通过高斯过滤,再角点检测)等,由于本发明旨在应用于实时生成环境三维地图,程序注重实时性,而前两种虽然精度高、效果好,但是其所需要的时间很长,不适合实时运行的情形,因此本步骤以及后续步骤中都采用fast-corner来检测特征点。
步骤2:对相机实时获得的第i帧图像进行如下处理,i=2,3,4……:
步骤2.1:对第i帧图像进行去畸变处理,得到去畸变后的第i帧图像。
步骤2.2:当第i帧图像数据加载进来后,***以当前关键帧为基准(即跟踪基础),进行去畸变后的第i帧图像与基准的图像对齐操作,得到第i帧到当前关键帧的位姿变化。
由于帧率较高,相邻帧的差别(时间、空间)不是很大,在此假设在两帧这么小的时间间隔内,同一个像素的光度值不发生改变(变化很小,忽略不计)。本文直接通过比较两幅图像的光度值,通过最小化光度误差获得两帧间的位姿变化,即完成图像对齐操作:
先设定第i帧到当前关键帧的位姿变化的初始值。
根据第i帧到当前关键帧的位姿变化,将当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点反投影到三维环境,再从三维环境投影到去畸变后的第i帧图像上,得到投影点;并在去畸变后的第i帧图像上找到,当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点的对应点;计算投影点与对应点的光度值残差和;迭代变化第i帧到当前关键帧的位姿变化,使光度值残差和最小。
由于帧率较高,导致了两帧间的位姿变化量在一个小区域内是近似不变的,因此可以采用第i-1帧到当前关键帧的位姿变化作为第i帧到当前关键帧的位姿变化的初始值。
利用相机的参数矩阵将像素点反投影到三维环境中是为了通过三角化,算出当前帧(即第i帧)与当前关键帧的姿态变化,即SE(3)变换:SE(3)是一个4×4的矩阵,表示位置和姿态变化(在相机投影方程中又称为外参矩阵):
这个矩阵主要分为两大部分,其中从a00到a22为SO(3),表示三维空间中姿态(角度)的变化,从T0到T2表示位置的变化,即(x,y,z)的变化量。SIM3由SE(3)加上Scale参数组成,SO(3)*s即可将SE(3)变成SIM3:
s表示Scale参数,用于仿射变换。
步骤2.3:根据当前关键帧对应的相机姿态,以及步骤2.2得到的第i帧到当前关键帧的位姿变化,得到第i帧对应的相机姿态和相机在局部坐标下的位置。
步骤2.4:根据设定的灰度梯度阈值,筛选出去畸变后的第i帧图像中灰度梯度大于灰度梯度阈值的像素点,并根据相机参数和步骤2.3得到的第i帧对应的相机姿态,将筛选出的像素点反投影回三维环境,得到所筛选出的像素点深度值;并将所筛选出的带有深度值的像素点加入地图中。
由于目前整套***前后依赖性强,为了减小来自传感器的误差对最终结果的影响,矫正每一步的位姿,这里采用图优化方法对第i帧对应的相机在局部坐标下的位置,以及所筛选出的带有深度值的像素点位置进行优化,将优化后的带有深度值的像素点加入地图中。公知的图优化方法公式为:
xk表示前面定义的节点(也可以理解为状态),Zk表示边(也可以理解为约束),ek表示这些节点满足约束的状态(如果没有噪声及ek=0),Ωk表示引入的信息矩阵,及约束的置信度,如果误差大则它对应的置信度就小。定义完变量之后,我们要做的就是使整个误差函数降到最小,以达到全局最优的目的。在本方法中我们将地图点的三维位置和无人机的位姿定义为节点,将从图像到地图点的投影关系和相邻两帧之间的SE(3)的变化定义为边,信息矩阵包含两方面:地图点的被关键帧观测次数和图像中点的灰度梯度。
此外在步骤2.4中,将所筛选出的带有深度值的像素点加入地图的过程中,若某一像素点反投影后,在地图中对应的三维点的邻域(设定的某一小值)内,已存在有地图三维点,则将该像素点反投影后在地图中对应的三维点,以及三维点邻域内的已存在的地图三维点去除,并将该像素点反投影后在地图中对应的三维点,与三维点邻域内的已存在的地图三维点的加权平均点加入地图中。
步骤2.5:若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值,则用第i帧代替当前关键帧作为新的关键帧。本实施例,为了提高运算速率,降低存储的数据量,这里要求若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值,且第i帧与当前关键帧的帧数差不小于15帧,则用第i帧代替当前关键帧作为新的关键帧。
关键帧的设立是由于其具有的位姿相对于前一个关键帧变化较大,其探测到的三维环境信息相比较于之前的关键帧有较大不同,因此将其设为一个标尺,用于扩展全局地图和检测后续的帧是否有较大的位姿变化。
在跟踪过程中,如果产生“丢帧”现象(可能的原因有:相机移动过快,导致当前帧与当前的关键帧的“差距”过大,无法在当前的关键帧上进行跟踪,如果这时不进行处理将导致前后创建的两个地图间没有一个紧密的“联系”,让之前的所有工作失去意义),所以判断若步骤2.2中图像对齐操作无法实现,则进行失败重建:
提取去畸变后的当前帧图像的特征点,将当前帧的特征点与存储的每一个关键帧图像中的特征点进行匹配,寻找成功匹配特征点个数最多的关键帧,若该关键帧中成功匹配特征点的个数占该关键帧中特征点总数的比例不大于40%,则以当前帧作为第一帧,返回步骤1;否则以该关键帧作为为基准,进行去畸变后的当前帧图像与基准的图像对齐操作,得到当前帧到当前关键帧的位姿变化;
根据基准对应的相机姿态,以及当前帧到当前关键帧的位姿变化,得到当前帧对应的相机姿态;
根据设定的灰度梯度阈值,筛选出去畸变后的当前帧图像中灰度梯度大于灰度梯度阈值的像素点,并根据相机参数和当前帧对应的相机姿态,将筛选出的像素点反投影回三维环境,得到所筛选出的像素点深度值;并将所筛选出的带有深度值的像素点加入地图中;而后继续按照步骤2进行。
由于上述重建出来的三维环境是基于局部坐标系下的,与真实三维环境在统一的尺度上不匹配,为了能够更好的应用重建地图,所以下面基于卫星定位信号进行拟合,将重建出来的三维环境在统一的尺度下匹配到真实三维环境中。
在无人机实时地图重建过程中,通过卫星定位信号获得每一帧时刻下,无人机在世界坐标系下的轨迹信息Xn,n表示的是第n帧;并在无人机实时地图重建过程中,得到每一帧对应的相机在局部坐标系下的位置xn;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中N为无人机实时地图重建过程中的总帧数,T(xn,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
另外,卫星定位信号频率往往小于帧频,而且卫星定位信号的采集时刻与图像采集时刻不严格对齐,此时,对于每一个卫星定位信号采集时刻tn,得到无人机在世界坐标系下的轨迹信息Xn;并用采集时刻tn前后各一帧对应的相机在局部坐标系下的位置插值得到采集时刻tn下相机在局部坐标系下的位置xn;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中N为卫星定位信号的总采集点数,T(xn,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
下面给出重建的结果,包括实时和离线数据的测试结果,并与当前一些主流的视觉SLAM方法作比较,来评价***性能。以下所有的测试都在mint17(基于Ubuntu14.04,64bit)上进行,8GRAM,不用GPU,主频3.50GHz。
表1:RGB-D基准测试结果比较
表2:绝对跟踪误差测试结果比较(单位cm)
本专利方法 | [3] | [4] | [5] | [6] | |
fr2-xyz | 1.46 | 3.78 | 24.29 | 1.21 | 2.7 |
Sim | 0.36 | 2.31 | - | 0.14 | - |
Sim-desk | 0.05 | 1.54 | - | 0.26 | - |
fr2-desk | 4.53 | 13.51 | X | 1.78 | 9.6 |
注:[1]方法为:DenseRGB-DOdometry;[2]方法为:PTAM(keypoint-based);[3]方法为:semi-densemono-VO;[4]方法为:keypoint-basedmono-SLAM;[5]方法为:DirectRGB-DSLAM;[6]方法为:keypoint-basedRGB-DSLAM;—表示没有查到该方法的数据,X表示追踪失败(TrackingLost);用作比较的数据来自ComputerVisionGroup;通过比较可以发现:本专利的方法无论是位置漂移量、角度漂移量还是绝对误差都处于中上水平,相比较其他的方法,我们的方法获取环境较多信息,同时与全稠密的方法,我们实验精度依然能够达到使用标准,而且能够直接在CPU上运行,不用要求GPU。
此外本方法也在无人机上验证了实时地图构建,如图8和图9所示。本***中无人机上搭载了一台高清摄像机,通过高清图传将图像传输到地面的电脑,利用电脑运行的本***软件能够实时计算得到大地的稀疏点云,利用解算的飞机位姿、点云、特征点将拍摄的图像实时拼接得到二维地图。通过本实验能够证明本发明方法能够在以实时重建地图。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种无人机实时地图重建方法,其特征在于:包括以下步骤:
步骤1:对相机获取的第一帧图像进行如下处理:
步骤1.1:对第一帧图像进行去畸变处理,得到去畸变后的第一帧图像;
步骤1.2:对去畸变后的第一帧图像进行深度初始化:根据设定的灰度梯度阈值,筛选出去畸变后的第一帧图像中灰度梯度大于灰度梯度阈值的像素点,并赋予所筛选出的像素点随机深度值;
步骤1.3:根据相机参数将步骤1.2中赋予深度值的像素点反投影回三维环境,得到初始化后的地图;
步骤1.4:将去畸变后的第一帧图像设置为关键帧;
步骤2:对相机实时获得的第i帧图像进行如下处理,i=2,3,4……:
步骤2.1:对第i帧图像进行去畸变处理,得到去畸变后的第i帧图像;
步骤2.2:以当前关键帧为基准,进行去畸变后的第i帧图像与基准的图像对齐操作,得到第i帧到当前关键帧的位姿变化;
步骤2.3:根据当前关键帧对应的相机姿态,以及步骤2.2得到的第i帧到当前关键帧的位姿变化,得到第i帧对应的相机姿态和相机在局部坐标下的位置;
步骤2.4:根据设定的灰度梯度阈值,筛选出去畸变后的第i帧图像中灰度梯度大于灰度梯度阈值的像素点,并根据相机参数和步骤2.3得到的第i帧对应的相机姿态,将筛选出的像素点反投影回三维环境,得到所筛选出的像素点深度值;并将所筛选出的带有深度值的像素点加入地图中;
步骤2.5:若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值,则用第i帧代替当前关键帧作为新的关键帧。
2.根据权利要求1所述一种无人机实时地图重建方法,其特征在于:
提取并存储每一个关键帧图像中的特征点;
若步骤2.2中图像对齐操作无法实现,则进行失败重建:
提取去畸变后的当前帧图像的特征点,将当前帧的特征点与存储的每一个关键帧图像中的特征点进行匹配,寻找成功匹配特征点个数最多的关键帧,若该关键帧中成功匹配特征点的个数占该关键帧中特征点总数的比例不大于40%,则以当前帧作为第一帧,返回步骤1;否则以该关键帧作为为基准,进行去畸变后的当前帧图像与基准的图像对齐操作,得到当前帧到当前关键帧的位姿变化;
根据基准对应的相机姿态,以及当前帧到当前关键帧的位姿变化,得到当前帧对应的相机姿态;
根据设定的灰度梯度阈值,筛选出去畸变后的当前帧图像中灰度梯度大于灰度梯度阈值的像素点,并根据相机参数和当前帧对应的相机姿态,将筛选出的像素点反投影回三维环境,得到所筛选出的像素点深度值;并将所筛选出的带有深度值的像素点加入地图中;而后继续按照步骤2进行。
3.根据权利要求2所述一种无人机实时地图重建方法,其特征在于:采用快速角点检测方法提取特征点。
4.根据权利要求1所述一种无人机实时地图重建方法,其特征在于:步骤2.4中,将所筛选出的带有深度值的像素点加入地图的过程中,若某一像素点反投影后,在地图中对应的三维点的邻域内,已存在有地图三维点,则将该像素点反投影后在地图中对应的三维点,以及三维点邻域内的已存在的地图三维点去除,并将该像素点反投影后在地图中对应的三维点,与三维点邻域内的已存在的地图三维点的加权平均点加入地图中。
5.根据权利要求1所述一种无人机实时地图重建方法,其特征在于:步骤2.5中,若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值,且第i帧与当前关键帧的帧数差不小于15帧,则用第i帧代替当前关键帧作为新的关键帧。
6.根据权利要求1所述一种无人机实时地图重建方法,其特征在于:步骤2.2中的图像对齐操作采用以下过程:
先设定第i帧到当前关键帧的位姿变化的初始值;根据第i帧到当前关键帧的位姿变化,将当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点反投影到三维环境,再从三维环境投影到去畸变后的第i帧图像上,得到投影点;并在去畸变后的第i帧图像上找到,当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点的对应点;计算投影点与对应点的光度值残差和;迭代变化第i帧到当前关键帧的位姿变化,使光度值残差和最小。
7.根据权利要求6所述一种无人机实时地图重建方法,其特征在于:采用第i-1帧到当前关键帧的位姿变化作为第i帧到当前关键帧的位姿变化的初始值。
8.根据权利要求1所述一种无人机实时地图重建方法,其特征在于:步骤2.4中,得到所筛选出的像素点深度值后;采用图优化方法对第i帧对应的相机在局部坐标下的位置,以及所筛选出的带有深度值的像素点位置进行优化,将优化后的带有深度值的像素点加入地图中。
9.根据权利要求1或8所述一种无人机实时地图重建方法,其特征在于:在无人机实时地图重建过程中,通过卫星定位信号获得每一帧时刻下,无人机在世界坐标系下的轨迹信息Xn,n表示的是第n帧;并在无人机实时地图重建过程中,得到每一帧对应的相机在局部坐标系下的位置xn;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中N为无人机实时地图重建过程中的总帧数,T(xn,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
10.根据权利要求1或8所述一种无人机实时地图重建方法,其特征在于:当卫星定位信号频率小于帧频时,对于每一个卫星定位信号采集时刻tn,得到无人机在世界坐标系下的轨迹信息Xn;并用采集时刻tn前后各一帧对应的相机在局部坐标系下的位置插值得到采集时刻tn下相机在局部坐标系下的位置xn;通过优化函数
得到优化函数取最小值对应的变换矩阵δ,其中N为卫星定位信号的总采集点数,T(xn,δ)表示从局部坐标系到世界坐标系的投影转换函数,δ为从局部坐标系到世界坐标系的变换矩阵;根据得到的变换矩阵δ对应的投影转换函数,将重建得到的地图转换到世界坐标系下。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511032127.2A CN105678754B (zh) | 2015-12-31 | 2015-12-31 | 一种无人机实时地图重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511032127.2A CN105678754B (zh) | 2015-12-31 | 2015-12-31 | 一种无人机实时地图重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105678754A true CN105678754A (zh) | 2016-06-15 |
CN105678754B CN105678754B (zh) | 2018-08-07 |
Family
ID=56298436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511032127.2A Active CN105678754B (zh) | 2015-12-31 | 2015-12-31 | 一种无人机实时地图重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105678754B (zh) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296812A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 同步定位与建图方法 |
CN106548486A (zh) * | 2016-11-01 | 2017-03-29 | 浙江大学 | 一种基于稀疏视觉特征地图的无人车位置跟踪方法 |
CN106997614A (zh) * | 2017-03-17 | 2017-08-01 | 杭州光珀智能科技有限公司 | 一种基于深度相机的大规模场景3d建模方法及其装置 |
CN107247463A (zh) * | 2017-06-08 | 2017-10-13 | 广东容祺智能科技有限公司 | 一种支持自定义地图接入的无人机地面站*** |
CN107527366A (zh) * | 2017-08-23 | 2017-12-29 | 上海视智电子科技有限公司 | 一种面向深度相机的相机跟踪方法 |
CN107705333A (zh) * | 2017-09-21 | 2018-02-16 | 歌尔股份有限公司 | 基于双目相机的空间定位方法及装置 |
CN107885871A (zh) * | 2017-11-24 | 2018-04-06 | 南京华捷艾米软件科技有限公司 | 基于云计算的同步定位与地图构建方法、***、交互*** |
CN108121764A (zh) * | 2016-11-26 | 2018-06-05 | 星克跃尔株式会社 | 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质 |
CN108496134A (zh) * | 2017-05-31 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 无人机返航路径规划方法及装置 |
CN108648270A (zh) * | 2018-05-12 | 2018-10-12 | 西北工业大学 | 基于eg-slam的无人机实时三维场景重建方法 |
WO2018195869A1 (en) * | 2017-04-27 | 2018-11-01 | SZ DJI Technology Co., Ltd. | Systems and methods for generating real-time map using movable object |
CN108780577A (zh) * | 2017-11-30 | 2018-11-09 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
CN109029422A (zh) * | 2018-07-10 | 2018-12-18 | 北京木业邦科技有限公司 | 一种多无人机协作构建三维调查地图的方法和装置 |
CN109387204A (zh) * | 2018-09-26 | 2019-02-26 | 东北大学 | 面向室内动态环境的移动机器人同步定位与构图方法 |
CN109708636A (zh) * | 2017-10-26 | 2019-05-03 | 广州极飞科技有限公司 | 导航图配置方法、避障方法以及装置、终端、无人飞行器 |
WO2019100214A1 (zh) * | 2017-11-21 | 2019-05-31 | 深圳市大疆创新科技有限公司 | 输出影像生成方法、设备及无人机 |
CN110675483A (zh) * | 2019-07-17 | 2020-01-10 | 电子科技大学 | 基于稠密视觉slam的无人机三维地图快速重建方法 |
CN110718137A (zh) * | 2018-07-13 | 2020-01-21 | 广州极飞科技有限公司 | 目标物密度分布地图的构建方法及装置、终端、移动装置 |
CN110779496A (zh) * | 2018-07-30 | 2020-02-11 | 阿里巴巴集团控股有限公司 | 三维地图构建***、方法、设备和存储介质 |
CN110873565A (zh) * | 2019-11-21 | 2020-03-10 | 北京航空航天大学 | 用于城市场景重建的无人机实时路径规划方法 |
CN111568305A (zh) * | 2019-02-18 | 2020-08-25 | 北京奇虎科技有限公司 | 处理扫地机器人重定位的方法、装置及电子设备 |
WO2020198963A1 (zh) * | 2019-03-29 | 2020-10-08 | 深圳市大疆创新科技有限公司 | 关于拍摄设备的数据处理方法、装置及图像处理设备 |
CN112132745A (zh) * | 2019-06-25 | 2020-12-25 | 南京航空航天大学 | 一种基于地理信息的多子地图拼接特征融合方法 |
CN113592865A (zh) * | 2021-09-29 | 2021-11-02 | 湖北亿咖通科技有限公司 | 三维地图的质检方法、设备及存储介质 |
CN113781567A (zh) * | 2021-10-08 | 2021-12-10 | 西北工业大学 | 基于三维地图生成的航拍图像目标地理定位方法 |
WO2022041257A1 (zh) * | 2020-08-31 | 2022-03-03 | 深圳市大疆创新科技有限公司 | 三维地图处理方法、装置、可移动平台及存储介质 |
CN114699013A (zh) * | 2022-03-29 | 2022-07-05 | 深圳优地科技有限公司 | 定点清扫方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103247075A (zh) * | 2013-05-13 | 2013-08-14 | 北京工业大学 | 基于变分机制的室内环境三维重建方法 |
US20140225985A1 (en) * | 2012-10-17 | 2014-08-14 | DotProduct LLC | Handheld portable optical scanner and method of using |
CN104200523A (zh) * | 2014-09-11 | 2014-12-10 | 中国科学院自动化研究所 | 一种融合附加信息的大场景三维重建方法 |
CN104537709A (zh) * | 2014-12-15 | 2015-04-22 | 西北工业大学 | 一种基于位姿变化的实时三维重建关键帧确定方法 |
CN104732518A (zh) * | 2015-01-19 | 2015-06-24 | 北京工业大学 | 一种基于智能机器人地面特征的ptam改进方法 |
-
2015
- 2015-12-31 CN CN201511032127.2A patent/CN105678754B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140225985A1 (en) * | 2012-10-17 | 2014-08-14 | DotProduct LLC | Handheld portable optical scanner and method of using |
CN103247075A (zh) * | 2013-05-13 | 2013-08-14 | 北京工业大学 | 基于变分机制的室内环境三维重建方法 |
CN104200523A (zh) * | 2014-09-11 | 2014-12-10 | 中国科学院自动化研究所 | 一种融合附加信息的大场景三维重建方法 |
CN104537709A (zh) * | 2014-12-15 | 2015-04-22 | 西北工业大学 | 一种基于位姿变化的实时三维重建关键帧确定方法 |
CN104732518A (zh) * | 2015-01-19 | 2015-06-24 | 北京工业大学 | 一种基于智能机器人地面特征的ptam改进方法 |
Non-Patent Citations (4)
Title |
---|
DOMINIK NEUMANN 等: "Real-time RGB-D Mapping and 3-D Modeling on the GPU using the Random Ball Cover Data Structure", 《2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》 * |
FELIX ENDRES 等: "3-D Mapping With an RGB-D Camera", 《IEEE TRANSACTIONS ON ROBOTICS》 * |
张臻炜 等: "一种基于计算机视觉的无人机实时三维重建方法", 《机械与电子》 * |
黄金鑫 等: "一种改进的未知环境无人机三维地图实时创建方法", 《机械与电子》 * |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296812B (zh) * | 2016-08-18 | 2019-04-02 | 宁波傲视智绘光电科技有限公司 | 同步定位与建图方法 |
CN106296812A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 同步定位与建图方法 |
CN106548486B (zh) * | 2016-11-01 | 2024-02-27 | 浙江大学 | 一种基于稀疏视觉特征地图的无人车位置跟踪方法 |
CN106548486A (zh) * | 2016-11-01 | 2017-03-29 | 浙江大学 | 一种基于稀疏视觉特征地图的无人车位置跟踪方法 |
CN108121764B (zh) * | 2016-11-26 | 2022-03-11 | 星克跃尔株式会社 | 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质 |
CN108121764A (zh) * | 2016-11-26 | 2018-06-05 | 星克跃尔株式会社 | 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质 |
CN106997614A (zh) * | 2017-03-17 | 2017-08-01 | 杭州光珀智能科技有限公司 | 一种基于深度相机的大规模场景3d建模方法及其装置 |
WO2018195869A1 (en) * | 2017-04-27 | 2018-11-01 | SZ DJI Technology Co., Ltd. | Systems and methods for generating real-time map using movable object |
US11644839B2 (en) | 2017-04-27 | 2023-05-09 | SZ DJI Technology Co. Ltd. | Systems and methods for generating a real-time map using a movable object |
CN108496134A (zh) * | 2017-05-31 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 无人机返航路径规划方法及装置 |
CN107247463A (zh) * | 2017-06-08 | 2017-10-13 | 广东容祺智能科技有限公司 | 一种支持自定义地图接入的无人机地面站*** |
CN107527366B (zh) * | 2017-08-23 | 2020-04-10 | 上海视智电子科技有限公司 | 一种面向深度相机的相机跟踪方法 |
CN107527366A (zh) * | 2017-08-23 | 2017-12-29 | 上海视智电子科技有限公司 | 一种面向深度相机的相机跟踪方法 |
CN107705333A (zh) * | 2017-09-21 | 2018-02-16 | 歌尔股份有限公司 | 基于双目相机的空间定位方法及装置 |
CN109708636A (zh) * | 2017-10-26 | 2019-05-03 | 广州极飞科技有限公司 | 导航图配置方法、避障方法以及装置、终端、无人飞行器 |
WO2019100214A1 (zh) * | 2017-11-21 | 2019-05-31 | 深圳市大疆创新科技有限公司 | 输出影像生成方法、设备及无人机 |
CN110073403A (zh) * | 2017-11-21 | 2019-07-30 | 深圳市大疆创新科技有限公司 | 输出影像生成方法、设备及无人机 |
CN107885871A (zh) * | 2017-11-24 | 2018-04-06 | 南京华捷艾米软件科技有限公司 | 基于云计算的同步定位与地图构建方法、***、交互*** |
WO2019104571A1 (zh) * | 2017-11-30 | 2019-06-06 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
CN108780577A (zh) * | 2017-11-30 | 2018-11-09 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
CN108648270A (zh) * | 2018-05-12 | 2018-10-12 | 西北工业大学 | 基于eg-slam的无人机实时三维场景重建方法 |
CN108648270B (zh) * | 2018-05-12 | 2022-04-19 | 西北工业大学 | 实时同步定位与地图构建的无人机实时三维场景重建方法 |
CN109029422A (zh) * | 2018-07-10 | 2018-12-18 | 北京木业邦科技有限公司 | 一种多无人机协作构建三维调查地图的方法和装置 |
CN110718137A (zh) * | 2018-07-13 | 2020-01-21 | 广州极飞科技有限公司 | 目标物密度分布地图的构建方法及装置、终端、移动装置 |
CN110779496A (zh) * | 2018-07-30 | 2020-02-11 | 阿里巴巴集团控股有限公司 | 三维地图构建***、方法、设备和存储介质 |
CN109387204B (zh) * | 2018-09-26 | 2020-08-28 | 东北大学 | 面向室内动态环境的移动机器人同步定位与构图方法 |
CN109387204A (zh) * | 2018-09-26 | 2019-02-26 | 东北大学 | 面向室内动态环境的移动机器人同步定位与构图方法 |
CN111568305B (zh) * | 2019-02-18 | 2023-02-17 | 北京奇虎科技有限公司 | 处理扫地机器人重定位的方法、装置及电子设备 |
CN111568305A (zh) * | 2019-02-18 | 2020-08-25 | 北京奇虎科技有限公司 | 处理扫地机器人重定位的方法、装置及电子设备 |
WO2020198963A1 (zh) * | 2019-03-29 | 2020-10-08 | 深圳市大疆创新科技有限公司 | 关于拍摄设备的数据处理方法、装置及图像处理设备 |
CN112132745A (zh) * | 2019-06-25 | 2020-12-25 | 南京航空航天大学 | 一种基于地理信息的多子地图拼接特征融合方法 |
CN112132745B (zh) * | 2019-06-25 | 2022-01-04 | 南京航空航天大学 | 一种基于地理信息的多子地图拼接特征融合方法 |
CN110675483B (zh) * | 2019-07-17 | 2022-09-09 | 电子科技大学 | 基于稠密视觉slam的无人机三维地图快速重建方法 |
CN110675483A (zh) * | 2019-07-17 | 2020-01-10 | 电子科技大学 | 基于稠密视觉slam的无人机三维地图快速重建方法 |
CN110873565A (zh) * | 2019-11-21 | 2020-03-10 | 北京航空航天大学 | 用于城市场景重建的无人机实时路径规划方法 |
WO2022041257A1 (zh) * | 2020-08-31 | 2022-03-03 | 深圳市大疆创新科技有限公司 | 三维地图处理方法、装置、可移动平台及存储介质 |
CN113592865B (zh) * | 2021-09-29 | 2022-01-25 | 湖北亿咖通科技有限公司 | 三维地图的质检方法、设备及存储介质 |
CN113592865A (zh) * | 2021-09-29 | 2021-11-02 | 湖北亿咖通科技有限公司 | 三维地图的质检方法、设备及存储介质 |
CN113781567A (zh) * | 2021-10-08 | 2021-12-10 | 西北工业大学 | 基于三维地图生成的航拍图像目标地理定位方法 |
CN113781567B (zh) * | 2021-10-08 | 2024-05-31 | 西北工业大学 | 基于三维地图生成的航拍图像目标地理定位方法 |
CN114699013A (zh) * | 2022-03-29 | 2022-07-05 | 深圳优地科技有限公司 | 定点清扫方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105678754B (zh) | 2018-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105678754A (zh) | 一种无人机实时地图重建方法 | |
CN106097304B (zh) | 一种无人机实时在线地图生成方法 | |
CN105865454B (zh) | 一种基于实时在线地图生成的无人机导航方法 | |
CN103954283B (zh) | 基于景象匹配/视觉里程的惯性组合导航方法 | |
US11030525B2 (en) | Systems and methods for deep localization and segmentation with a 3D semantic map | |
US9989969B2 (en) | Visual localization within LIDAR maps | |
Chiabrando et al. | UAV and RPV systems for photogrammetric surveys in archaelogical areas: two tests in the Piedmont region (Italy) | |
CN106940704A (zh) | 一种基于栅格地图的定位方法及装置 | |
CN104156968A (zh) | 大面积地形复杂区域无人机序列影像快速无缝拼接方法 | |
CN103093459B (zh) | 利用机载LiDAR点云数据辅助影像匹配的方法 | |
CN110726406A (zh) | 一种改进的非线性优化单目惯导slam的方法 | |
Qian et al. | Robust visual-lidar simultaneous localization and mapping system for UAV | |
US20120218409A1 (en) | Methods and apparatus for automated assignment of geodetic coordinates to pixels of images of aerial video | |
CN116295457B (zh) | 一种基于二维语义地图的车辆视觉定位方法及*** | |
CN112380933B (zh) | 无人机识别目标的方法、装置及无人机 | |
CN105389819A (zh) | 一种鲁棒的半标定下视图像极线校正方法及*** | |
Opromolla et al. | PCA‐Based Line Detection from Range Data for Mapping and Localization‐Aiding of UAVs | |
Velat et al. | Vision based vehicle localization for autonomous navigation | |
Munguía et al. | Method for SLAM Based on Omnidirectional Vision: A Delayed‐EKF Approach | |
Li et al. | The UAV video image stitching based on improved moravec corner matching method | |
Hsu et al. | New integrated navigation scheme for the level 4 autonomous vehicles in dense urban areas | |
Wang et al. | A visual integrated navigation for precise position estimation | |
Guo et al. | Research on 3D geometric modeling of urban buildings based on airborne lidar point cloud and image | |
Moafipoor et al. | Resilient Sensor Management for Dismounted Assured-PNT | |
Andaru et al. | Multitemporal UAV photogrammetry for sandbank morphological change analysis: evaluations of camera calibration methods, co-registration strategies, and the reconstructed DSMs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Bu Shu Hui Inventor after: Zhang Zhenwei Inventor after: Zhao Yong Inventor after: Zhang Chao Inventor after: Liu Zhenbao Inventor before: Bu Shu Hui Inventor before: Zhang Zhenwei Inventor before: Zhao Yong Inventor before: Liu Zhenbao |