CN104732518A - 一种基于智能机器人地面特征的ptam改进方法 - Google Patents
一种基于智能机器人地面特征的ptam改进方法 Download PDFInfo
- Publication number
- CN104732518A CN104732518A CN201510025810.7A CN201510025810A CN104732518A CN 104732518 A CN104732518 A CN 104732518A CN 201510025810 A CN201510025810 A CN 201510025810A CN 104732518 A CN104732518 A CN 104732518A
- Authority
- CN
- China
- Prior art keywords
- camera
- pose
- map
- point
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一种基于智能机器人地面特征的PTAM改进方法,首先,完成参数校正,这包括参数定义与相机校正;然后利用相机获取当前环境纹理信息,并构建四层高斯图像金字塔,运用FAST角点检测算法提取当前图像中的特征信息,建立角点特征间的数据关联,得到位姿估计模型;在地图的初始绘制阶段,获取两个关键帧将相机架设在移动机器人上;在初始化过程中,移动机器人开始移动,同时相机捕获当前场景中角点信息并建立关联;实现三维稀疏地图的初始化后,更新关键帧并利用极线搜索与块匹配方法建立特征点亚像素精度映射关系,结合位姿估计模型实现相机精确重定位。最后将匹配点投影到空间,完成当前全局环境三维地图创建。
Description
技术领域
本发明属于机器人视觉领域,涉及一种基于地面特征的PTAM算法改进。
背景技术
随着机器人与人类的关系越来越紧密,智能机器人的相关技术受到了极大的重视。移动机器人的同步定位与建图(Simultaneous Localization and Mapping,SLAM)是当前智能移动机器人最主流的定位技术之一。它实际上就是一个运动估计问题,利用传感器获取的内部和外部数据,计算出移动机器人在某一时刻的位置,同时建立所依赖的地图模型。基于视觉的SLAM是属于视觉测量的研究范畴,由于视觉传感器拥有自身独特的优点:体积小,重量轻,价格便宜,安装方便,提取的外部信息非常丰富。这些优势进一步促进了当前基于视觉的SLAM的研究和应用。申请号为201310678018.2提供了一种采用SURF作为单目视觉SLAM的特征检测算子,分别从感兴趣点的检测、SURF描述子的生成及SURF点匹配等三个方面进行了创新和改进,提出了基于区域增长的SURF特征匹配方法完成机器人的同时定位与地图创建,使得在SURF描述子匹配过程中,某一描述子仅与最可能与之匹配的描述子进行比对,从而显著的减少了单目视觉SLAM问题中的比对次数,提高了匹配速度。但该方法依然存在不能建立米制地图以及无法提供三维特征信息的问题,算法鲁棒性与实时性有待进一步提高。
从运动中创建环境模型技术是一种同时求解摄像机运动轨迹和场景结构模型的方法。作为SFM的代表性方法,G.Klein等人于2007年在增强现实(AR)领域首先提出了PTAM(Parallel Tracking and Mapping)的概念,用来实时地解决环境识别问题。但未改进的PTAM算法也存在无法建立米制地图的问题,同时对相机的移动有着严格限制。
发明内容
针对以上存在的问题,本发明提出了一种基于地面特征的PTAM改进算法,在加入地面特征的基础上,PTAM对单目摄像机的当前位姿与三维空间点进行同步估计,在利用FAST角点方法更新检测特征点的同时,用最优的局部与全局光束平差法,不断地更新摄像机与三维特征点的位姿,完成了高精度定位与地图创建,该发明有效解决了无法创建米制地图的问题,同时在实时性及三维特征提取上有着极大的提高,对于解决机器人导航定位、三维重建中的相关问题有着重要意义。
本发明采用如下的技术方案:
首先,完成参数校正,这包括参数定义与相机校正;接着对关键帧中的特征进行跟踪,再实现位姿的初始化,再此基础上对平面参数进行估计;然后利用相机获取当前环境纹理信息,并构建四层高斯图像金字塔,运用FAST角点检测算法提取当前图像中的特征信息,建立角点特征间的数据关联,得到位姿估计模型;在地图的初始绘制阶段,获取两个关键帧将相机架设在移动机器人上,通过相机与地面标定后开始进行初始化过程;在初始化过程中,移动机器人开始移动,同时相机捕获当前场景中角点信息并建立关联,由位姿估计模型获取当前位姿初始估计,再运用基于地面特征的位姿估计方法获取当前位姿的准确估计;实现三维稀疏地图的初始化后,更新关键帧并利用极线搜索与块匹配方法建立特征点亚像素精度映射关系,结合位姿估计模型实现相机精确重定位。最后将匹配点投影到空间,完成当前全局环境三维地图创建。同时利用全局与局部集束调整完成算法的一致性优化。
具体包括以下步骤:
步骤1,参数校正
步骤1.1,参数定义
(1)机器人位姿
在移动机器人起始处建立世界坐标系,在机器人移动过程中,其位姿可表示为:
由上式可知移动机器人位姿可由x=(x,y,θ)描述,其中,x,y分别表示移动机器人在x轴,y轴方向的平移量,θ为移动机器人绕z轴的旋转角度。
在世界坐标系下,相机的位姿可表示为:
其中,Tc∈SE(3),SE(3)为特殊刚体变换群,Rc为3×3旋转矩阵,tc为3×1平移矩阵。该位姿矩阵建立了世界坐标系与相机坐标系下点pc,pw的对应关系,即pc=Tcpw。在附图2所示,本研究中相机固定在移动机器人上,相机与机器人间存在固定的旋转平移关系Tcr。在机器人移动过程中,若某一时间间隔机器人位姿增量为Trs,与之对应,相机的位姿增量为Tcs,则:
Trs=TrcTcsTcr (3)
其中,
(2)地平面标定参数
将相机固定在移动机器人上,并将标定靶标平放在地面。相机通过获取具有标定靶标的图像信息建立相机与机器人间位姿关系。Tcp∈SE(3)为相机与标定靶标间的变换矩阵,Rcp,tcp分别表示Tcp的旋转与平移分量,其逆变换Tcp=Tp - c 1。假定机器人的坐标原点与相机保持一致,且机器人的x轴与相机的z轴朝向相同。在靶标坐标系下,机器人的x方向向量可由Tcp的第3行向量的前两个分量表示。此时,机器人坐标系与靶标坐标系的变换关系可表示为:
pr=Trppp
其中,γ为机器人坐标系与靶标坐标系的旋转角度,(xr,yr)为机器人原点在靶标坐标系下的坐标,该坐标可由相机与靶标的平移向量确定。因此机器人与相机间的变换关系可表示为Tcr=TcpTpr,根据相机与靶标平面间的位姿关系,可获取在相机坐标系下的地平面方程:
(0,0,1,0)Tpcpc=0 (5)
其中,pc为相机坐标系下三维点,地平面参数可表示为(nT,d),且n=(0,0,1)Rpc,d=tp(3)。
步骤1.2,相机校正
由于透镜在制造上的原因会存在畸变,畸变主要分为由透镜形状引起的镜向畸变和由摄像机组装过程引起的切向畸变。本文采用FOV模型实现对单目相机的矫正,校正模型如图3。该模型是由Devernay和Faugeras提出的一种针对广角相机去畸变方法,其数学描述如下:
式中,xu是像素归一化坐标,ud是畸变后像素坐标,ω为畸变系数,rd,ru分别为矫正前后归一化坐标到坐标系中心的距离。
利用上述相机模型,将图像像素坐标映射到归一化坐标平面,同时结合相机内参数矩阵K,实现图像畸变矫正,即:
u=Kxu (7)
步骤2,基于地面特征的初始化
步骤2.1,特征跟踪
FAST角点检测是由Edward Rosten和Tom Drummond提出的一种简单快速的角点检测算法。该算法利用像素点某个邻域(通常为圆形区域)内相邻像素点灰度值的差异,判断该像素点是否为角点,如下式:
其中,uf为候选角点,s为候选角点邻域内任意一点,c(uf)表示uf的邻域,I(x)为在x处图像灰度值,若N超出阈值条件,该候选点即为角点。
在相机跟踪线程前,***利用相机获取当前环境纹理信息,并构建四层高斯图像金字塔,采用FAST的角点检测算法,结合块搜索的方式建立角点特征间的数据关联,利用投影关系预测三维点与当前帧中特征点的对应关系,并在位置附近固定区域进行搜索,以获取准确的匹配关系。
步骤2.2,位姿初始化
在机器人移动过程中,通过相机获取地面信息,并利用FAST算法实现角点特征的跟踪。根据上述数据关联信息,可建立平面点的单应性关系,即:
π(Hur)=up (9)
其中,π(p)为投影函数,p=(x,y,z),π(p)=(x/z,y/z,1),ur,up分别为参考帧与当前帧下对应特征点。根据相机平移量Tc以及地平面方程参数(nT,d),可建立平面点的单应性关系:
H=KTc(I|nd)TK-1 (10)
其中,nd=n/d,K为相机内参数矩阵。将式(3)代入式(10),此时机器人的位姿与地面特征单应性关系可描述为:
H=KTrcTrsTrc(I|nd)TK-1 (11)
利用上述图像特征点的单应性关系,可建立位姿估计模型:
其中,r(x)=π(H(x)uref)-up为单应性关系误差函数,即投影误差函数,H(x)为单应性矩阵。根据小位移假设,误差函数r的一阶泰勒展开表示为:
此时,能量函数的极值条件为:
即:
其中,可通过迭代求解上式获取移动机器人的位姿估计。为了进一步提高定位精度,本文引入鲁棒性权值构建基于M-estimation的位姿估计模型,此时能量函数表示为:
其中,w(x)为鲁棒性Tukey加权函数,此时,能量函数的极值条件为:
步骤2.3,平面参数估计
机器人利用基于地面特征的单应性关系实现机器人定位,但由于非地面特征的影响,难以保证定位精度,因此本发明采用一种快速的非地面特征去除方法。根据平行向量叉乘方式构建法向估计模型。实验发现,由于角点检测存在一定误差,使得理想叉乘条件无法满足,法向估计模型适应度差。利用投影误差r作为判定依据,从而确定非地面特征信息。但随着非地面特征与观察点间距离减小,该方法区分度明显降低。相比上述方法,本发明在位姿初始估计的基础上,利用单应性矩阵直接推导法向估计模型,通过获取其与地平面方程参数的差异,判别该角点是否为地面特征信息。根据平面单应性关系式,可建立平面参数nd的估计模型:
其中,r(nd)=π(H(nd)uref)-up为相应投影误差函数。与位姿估计求解过程类似,在小位移假设的基础上,可根据误差函数的一阶泰勒公式建立式(18)的求解模型。
此时,平面参数可通过迭代式(18)获取:
其中,
步骤3,位姿估计
位姿估计模块的主要功能是完成相机位姿的实时更新。其具体实施过程如下。在完成初始化工作后,根据投影误差,建立位姿估计模型,其数学描述如下:
其中,ej是投影误差,且为Tukey双权目标函数,σT为特征点匹配标准差的无偏估计值,μ为相机位姿六元组描述向量。
对于跟踪中存在的失败情况,提出特征观察比值用以评估每帧图像的跟踪质量。若比值低于设定阈值,可以为跟踪效果较差,则继续跟踪,但是***不会将该帧更新到地图中;若在多帧图像的跟踪中都出现了特征观察比值低于设定阈值的情况时,即可认为属于“跟丢”的情况,那么就初始化跟踪过程。通过以上步骤实现了位姿的精确估计,跟踪过程得以正常进行。
步骤4,地图创建
步骤4.1,地图初始化
***利用利用地面特征与标准立体相机算法模型建立当前环境初始化地图。在地图的初始化过程中,利用图像中FAST角点匹配关系,结合RANSAC算法,采用基于地面特征的初始位姿估计方法,运用三角测量法计算当前特征点处的三维坐标,并确定起始点为全局世界坐标系原点,完成三维稀疏地图的初始化。
在地图的初始绘制阶段,获取两个关键帧的具体过程如下,将相机架设在移动机器人上,通过相机与地面标定后开始进行初始化过程。在初始化过程中,移动机器人开始移动,同时相机捕获当前场景中角点信息并建立关联,通过求解式(12)获取当前位姿初始估计。当该初始估计超过设定阈值d0时,运用2.2中基于地面特征的位姿估计方法获取当前位姿的准确估计。
步骤4.2,关键帧更新与极线搜索
地图初始化时,仅仅包含两个关键帧,并且只能对邻近较小的体积空间进行描述,在相机离开初始位置时,需要添加新的关键帧以及地图特征。若相机与当前关键帧间图像帧数超出阈值条件,相机跟踪效果为最佳,且相机与最近的地图关键点距离尽量小时,将自动执行添加关键帧过程。由于实时性的约束,跟踪***可能只是测度到了帧中可视特征的子集,因此映射线程需要重新计划和测量余下的地图特征。
在关键帧的更新中,***首先将会对新增加的关键帧中所有角点进行Shi-Tomas评估,获取当前具有显著特征的角点信息,成功观测的特征点附近的显著点将会被丢弃,保留下来的显著性点将作为候选的地图节点。由于新的地图节点需要已知深度信息,仅靠单帧图像无法获取,因此需要选取与之最近的关键帧作为第二视图,利用极线搜索与块匹配方法建立特征点亚像素精度映射关系。在第二视图中,采用零均值SSD法,结合位姿估计模型实现相机精确重定位。最后将匹配点投影到空间,以生成当前全局环境三维地图。
步骤4.3,优化
利用最优的局部与全局LM(Levenberg-Marquardt)集束调整算法实现当前地图全局一致性优化以提高鲁棒性。该集束调整算法的数学描述为:
其中,σji为在第i个关键帧中,FAST特征点匹配标准差的无偏估计,μi表示第i个关键帧的位姿六元组描述向量,pi为全局地图中的点。
通过不断的集束调整,使得(21)中的稳定代价函数极小。全局集束调整所有关键帧的位姿以及地图点的位置,同时利用结构-运动问题中的内在稀疏性使得整体矩阵分解的复杂度呈现立方级别的下降,由O((N+M)3)降至O(N3),但在多数的估算情况中又受到生成的外点矢量积的制约,随着地图的生长,这个运算量会显著增加。
针对以上问题,引入局部集束调整,这里只对关键帧的子集位姿进行调整,此时的目标函数变为:
X为系列关键帧的待调整集合,Y为固定帧集,Z为地图点子集。集合X由地图中一个最新的关键帧以及4个最接近的关键帧构成,而关键帧的所有地图中的可视点又组成了集合Z,最后Y包含了所有由Z中测量数据所获取的关键帧。由此,局部集束调整优化了最新、最近的关键帧的位姿,更新了地图中的所有点,同时复杂度也显著降低,不超过O(NM)。
与原PTAM算法相比,本发明加入了地面特征来对其进行改进,实现了如下的几个优点:
(1)改进了初始化过程,有效解除了PTAM算法对相机移动的严格限制。
(2)可有效建立相对准确的米制地图,为进一步进行环境测量提供可靠保证。
附图说明
图1为本发明所涉及方法的流程图;
图2相机校正模型;
图3平面参数标定示意图。
具体实施方式
下面结合附图对本发明专利进行进一步详细说明。
基于地面特征的PTAM改进算法流程图如附图1所示,具体包括以下几个步骤:
步骤1,参数校正
步骤1.1,参数定义
由机器人坐标系与世界坐标系的关系,构建机器人位姿表示,而由相机与靶标平面间的位姿关系确定地平面标定参数。
步骤1.2,相机校正
采用FOV模型实现单目相机的校正,将图像像素坐标映射到归一化坐标平面,同时结合相机内参数矩阵K,实现图像畸变矫正。
步骤2,基于地面特征的初始化
步骤2.1,特征跟踪
获取环境纹理信息,提取特征,建立角点特征关联。
步骤2.2,位姿初始化
建立单应性关系以及位姿初始化估计模型,实现位姿初始化。
步骤2.3,平面参数估计
步骤3,位姿估计
在完成初始化的基础上,根据基于地面特征的姿估计模型,实现相机的初始化位姿估计。更进一步,PTAM根据相机初始化位姿,采用极线搜索方式,建立图像金字塔中角点特征亚像素精度匹配关系,并重新带入位姿估计模型,实现相机精确重定位。
步骤4,地图创建
步骤4.1,地图初始化
***利用标准立体相机算法模型建立当前环境初始化地图
步骤4.2,关键帧更新与极线搜索
添加新的关键帧并利用极线搜索与块匹配方法建立特征点亚像素精度映射关系,结合位姿估计模型实现相机精确重定位。最后将匹配点投影到空间,完成当前全局环境三维地图创建。
步骤4.3,优化
利用全局与局部集束调整实现地图的一致性优化。
Claims (2)
1.一种基于智能机器人地面特征的PTAM改进方法,其特征在于:
首先,完成参数校正,这包括参数定义与相机校正;接着对关键帧中的特征进行跟踪,再实现位姿的初始化,再此基础上对平面参数进行估计;然后利用相机获取当前环境纹理信息,并构建四层高斯图像金字塔,运用FAST角点检测算法提取当前图像中的特征信息,建立角点特征间的数据关联,得到位姿估计模型;在地图的初始绘制阶段,获取两个关键帧将相机架设在移动机器人上,通过相机与地面标定后开始进行初始化过程;在初始化过程中,移动机器人开始移动,同时相机捕获当前场景中角点信息并建立关联,由位姿估计模型获取当前位姿初始估计,再运用基于地面特征的位姿估计方法获取当前位姿的准确估计;实现三维稀疏地图的初始化后,更新关键帧并利用极线搜索与块匹配方法建立特征点亚像素精度映射关系,结合位姿估计模型实现相机精确重定位;最后将匹配点投影到空间,完成当前全局环境三维地图创建;同时利用全局与局部集束调整完成算法的一致性优化;
具体包括以下步骤:
步骤1,参数校正
步骤1.1,参数定义
(1)机器人位姿
在移动机器人起始处建立世界坐标系,在机器人移动过程中,其位姿可表示为:
由上式可知移动机器人位姿可由x=(x,y,θ)描述,其中,x,y分别表示移动机器人在x轴,y轴方向的平移量,θ为移动机器人绕z轴的旋转角度;
在世界坐标系下,相机的位姿可表示为:
其中,Tc∈SE(3),SE(3)为特殊刚体变换群,Rc为3×3旋转矩阵,tc为3×1平移矩阵;该位姿矩阵建立了世界坐标系与相机坐标系下点pc,pw的对应关系,即pc=Tcpw;本方法中相机固定在移动机器人上,相机与机器人间存在固定的旋转平移关系Tcr;在机器人移动过程中,若某一时间间隔机器人位姿增量为Trs,与之对应,相机的位姿增量为Tcs,则:
Trs=TrcTcsTcr (3)
其中,
(2)地平面标定参数
将相机固定在移动机器人上,并将标定靶标平放在地面;相机通过获取具有标定靶标的图像信息建立相机与机器人间位姿关系;Tcp∈SE(3)为相机与标定靶标间的变换矩阵,Rcp,tcp分别表示Tcp的旋转与平移分量,其逆变换假定机器人的坐标原点与相机保持一致,且机器人的x轴与相机的z轴朝向相同;在靶标坐标系下,机器人的x方向向量可由Tcp的第3行向量的前两个分量表示;此时,机器人坐标系与靶标坐标系的变换关系可表示为:
pr=Trppp
其中,γ为机器人坐标系与靶标坐标系的旋转角度,(xr,yr)为机器人原点在靶标坐标系下的坐标,该坐标可由相机与靶标的平移向量确定;因此机器人与相机间的变换关系可表示为Tcr=TcpTpr,根据相机与靶标平面间的位姿关系,可获取在相机坐标系下的地平面方程:
(0,0,1,0)Tpcpc=0 (5)
其中,pc为相机坐标系下三维点,地平面参数可表示为(nT,d),且n=(0,0,1)Rpc,d=tp(3);
步骤1.2,相机校正
由于透镜在制造上的原因会存在畸变,畸变主要分为由透镜形状引起的镜向畸变和由摄像机组装过程引起的切向畸变;本方法采用FOV模型实现对单目相机的矫正;该模型是由Devernay和Faugeras提出的一种针对广角相机去畸变方法,其数学描述如下:
式中,xu是像素归一化坐标,ud是畸变后像素坐标,ω为畸变系数,rd,ru分别为
矫正前后归一化坐标到坐标系中心的距离;
利用上述相机模型,将图像像素坐标映射到归一化坐标平面,同时结合相机内参数矩阵K,实现图像畸变矫正,即:
u=Kxu (7)
步骤2,基于地面特征的初始化
步骤2.1,特征跟踪
FAST角点检测是由Edward Rosten和Tom Drummond提出的一种简单快速的角点检测算法;该算法利用像素点某个邻域(通常为圆形区域)内相邻像素点灰度值的差异,判断该像素点是否为角点,如下式:
其中,uf为候选角点,s为候选角点邻域内任意一点,c(uf)表示uf的邻域,I(x)为在x处图像灰度值,若N超出阈值条件,该候选点即为角点;
在相机跟踪线程前,***利用相机获取当前环境纹理信息,并构建四层高斯图像金字塔,采用FAST的角点检测算法,结合块搜索的方式建立角点特征间的数据关联,利用投影关系预测三维点与当前帧中特征点的对应关系,并在位置附近固定区域进行搜索,以获取准确的匹配关系;
步骤2.2,位姿初始化
在机器人移动过程中,通过相机获取地面信息,并利用FAST算法实现角点特征的跟踪;根据上述数据关联信息,可建立平面点的单应性关系,即:
π(Hur)=up (9)
其中,π(p)为投影函数,p=(x,y,z),π(p)=(x/z,y/z,1),ur,up分别为参考帧与当前帧下对应特征点;根据相机平移量Tc以及地平面方程参数(nT,d),可建立平面点的单应性关系:
H=KTc(I|nd)TK-1 (10)
其中,nd=n/d,K为相机内参数矩阵;将式(3)代入式(10),此时机器人的位姿与地面特征单应性关系可描述为:
H=KTrcTrsTrc(I|nd)TK-1 (11)
利用上述图像特征点的单应性关系,可建立位姿估计模型:
(12)
其中,r(x)=π(H(x)uref)-up为单应性关系误差函数,即投影误差函数,H(x)为单应性矩阵;根据小位移假设,误差函数r的一阶泰勒展开表示为:
此时,能量函数的极值条件为:
即:
(15)
其中,可通过迭代求解上式获取移动机器人的位姿估计;为了进一步提高定位精度,本文引入鲁棒性权值构建基于M-estimation的位姿估计模型,此时能量函数表示为:
其中,w(x)为鲁棒性Tukey加权函数,此时,能量函数的极值条件为:
步骤2.3,平面参数估计
机器人利用基于地面特征的单应性关系实现机器人定位,但由于非地面特征的影响,难以保证定位精度,因此本发明采用一种快速的非地面特征去除方法;根据平行向量叉乘方式构建法向估计模型;实验发现,由于角点检测存在一定误差,使得理想叉乘条件无法满足,法向估计模型适应度差;利用投影误差r作为判定依据,从而确定非地面特征信息;但随着非地面特征与观察点间距离减小,该方法区分度明显降低;相比上述方法,本发明在位姿初始估计的基础上,利用单应性矩阵直接推导法向估计模型,通过获取其与地平面方程参数的差异,判别该角点是否为地面特征信息;根据平面单应性关系式,可建立平面参数nd的估计模型:
其中,r(nd)=π(H(nd)uref)-up为相应投影误差函数;与位姿估计求解过程类似,在小位移假设的基础上,可根据误差函数的一阶泰勒公式建立式(18)的求解模型;
此时,平面参数可通过迭代式(18)获取:
其中,
步骤3,位姿估计
位姿估计模块的主要功能是完成相机位姿的实时更新;其具体实施过程如下;在完成初始化工作后,根据投影误差,建立位姿估计模型,其数学描述如下:
其中,ej是投影误差,且为Tukey双权目标函数,σT为特征点匹配标准差的无偏估计值,μ为相机位姿六元组描述向量;
对于跟踪中存在的失败情况,提出特征观察比值用以评估每帧图像的跟踪质量;若比值低于设定阈值,可以为跟踪效果较差,则继续跟踪,但是***不会将该帧更新到地图中;若在多帧图像的跟踪中都出现了特征观察比值低于设定阈值的情况时,即可认为属于“跟丢”的情况,那么就初始化跟踪过程;通过以上步骤实现了位姿的精确估计,跟踪过程得以正常进行;
步骤4,地图创建
步骤4.1,地图初始化
***利用利用地面特征与标准立体相机算法模型建立当前环境初始化地图;在地图的初始化过程中,利用图像中FAST角点匹配关系,结合RANSAC算法,采用基于地面特征的初始位姿估计方法,运用三角测量法计算当前特征点处的三维坐标,并确定起始点为全局世界坐标系原点,完成三维稀疏地图的初始化;
在地图的初始绘制阶段,获取两个关键帧的具体过程如下,将相机架设在移动机器人上,通过相机与地面标定后开始进行初始化过程;在初始化过程中,移动机器人开始移动,同时相机捕获当前场景中角点信息并建立关联,通过求解式(12)获取当前位姿初始估计;当该初始估计超过设定阈值d0时,运用2.2中基于地面特征的位姿估计方法获取当前位姿的准确估计;
步骤4.2,关键帧更新与极线搜索
地图初始化时,仅仅包含两个关键帧,并且只能对邻近较小的体积空间进行描述,在相机离开初始位置时,需要添加新的关键帧以及地图特征;若相机与当前关键帧间图像帧数超出阈值条件,相机跟踪效果为最佳,且相机与最近的地图关键点距离尽量小时,将自动执行添加关键帧过程;由于实时性的约束,跟踪***可能只是测度到了帧中可视特征的子集,因此映射线程需要重新计划和测量余下的地图特征;
在关键帧的更新中,***首先将会对新增加的关键帧中所有角点进行Shi-Tomas评估,获取当前具有显著特征的角点信息,成功观测的特征点附近的显著点将会被丢弃,保留下来的显著性点将作为候选的地图节点;由于新的地图节点需要已知深度信息,仅靠单帧图像无法获取,因此需要选取与之最近的关键帧作为第二视图,利用极线搜索与块匹配方法建立特征点亚像素精度映射关系;在第二视图中,采用零均值SSD法,结合位姿估计模型实现相机精确重定位;最后将匹配点投影到空间,以生成当前全局环境三维地图;
步骤4.3,优化
利用最优的局部与全局LM(Levenberg-Marquardt)集束调整算法实现当前地图全局一致性优化以提高鲁棒性;该集束调整算法的数学描述为:
其中,σji为在第i个关键帧中,FAST特征点匹配标准差的无偏估计,μi表示第i个关键帧的位姿六元组描述向量,pi为全局地图中的点;
通过不断的集束调整,使得(21)中的稳定代价函数极小;全局集束调整所有关键帧的位姿以及地图点的位置,同时利用结构-运动问题中的内在稀疏性使得整体矩阵分解的复杂度呈现立方级别的下降,由O((N+M)3)降至O(N3),但在多数的估算情况中又受到生成的外点矢量积的制约,随着地图的生长,这个运算量会显著增加;
针对以上问题,引入局部集束调整,这里只对关键帧的子集位姿进行调整,此时的目标函数变为:
X为系列关键帧的待调整集合,Y为固定帧集,Z为地图点子集;集合X由地图中一个最新的关键帧以及4个最接近的关键帧构成,而关键帧的所有地图中的可视点又组成了集合Z,最后Y包含了所有由Z中测量数据所获取的关键帧;由此,局部集束调整优化了最新、最近的关键帧的位姿,更新了地图中的所有点,同时复杂度也显著降低,不超过O(NM)。
2.根据权利要求1所述的一种基于智能机器人地面特征的PTAM改进方法,其特征在于:
该方法具体包括以下几个步骤:
步骤1,参数校正
步骤1.1,参数定义
由机器人坐标系与世界坐标系的关系,构建机器人位姿表示,而由相机与靶标平面间的位姿关系确定地平面标定参数;
步骤1.2,相机校正
采用FOV模型实现单目相机的校正,将图像像素坐标映射到归一化坐标平面,同时结合相机内参数矩阵K,实现图像畸变矫正;
步骤2,基于地面特征的初始化
步骤2.1,特征跟踪
获取环境纹理信息,提取特征,建立角点特征关联;
步骤2.2,位姿初始化
建立单应性关系以及位姿初始化估计模型,实现位姿初始化;
步骤2.3,平面参数估计
步骤3,位姿估计
在完成初始化的基础上,根据基于地面特征的姿估计模型,实现相机的初始化位姿估计;更进一步,PTAM根据相机初始化位姿,采用极线搜索方式,建立图像金字塔中角点特征亚像素精度匹配关系,并重新带入位姿估计模型,实现相机精确重定位;
步骤4,地图创建
步骤4.1,地图初始化
***利用标准立体相机算法模型建立当前环境初始化地图
步骤4.2,关键帧更新与极线搜索
添加新的关键帧并利用极线搜索与块匹配方法建立特征点亚像素精度映射关系,结合位姿估计模型实现相机精确重定位;最后将匹配点投影到空间,完成当前全局环境三维地图创建;
步骤4.3,优化
利用全局与局部集束调整实现地图的一致性优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510025810.7A CN104732518B (zh) | 2015-01-19 | 2015-01-19 | 一种基于智能机器人地面特征的ptam改进方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510025810.7A CN104732518B (zh) | 2015-01-19 | 2015-01-19 | 一种基于智能机器人地面特征的ptam改进方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104732518A true CN104732518A (zh) | 2015-06-24 |
CN104732518B CN104732518B (zh) | 2017-09-01 |
Family
ID=53456386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510025810.7A Expired - Fee Related CN104732518B (zh) | 2015-01-19 | 2015-01-19 | 一种基于智能机器人地面特征的ptam改进方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104732518B (zh) |
Cited By (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678754A (zh) * | 2015-12-31 | 2016-06-15 | 西北工业大学 | 一种无人机实时地图重建方法 |
CN106548486A (zh) * | 2016-11-01 | 2017-03-29 | 浙江大学 | 一种基于稀疏视觉特征地图的无人车位置跟踪方法 |
CN106570904A (zh) * | 2016-10-25 | 2017-04-19 | 大连理工大学 | 一种基于Xtion摄像头的多目标相对位姿识别方法 |
CN106600641A (zh) * | 2016-12-07 | 2017-04-26 | 常州工学院 | 基于多特征融合的嵌入式视觉伺服控制方法 |
US20170154429A1 (en) * | 2015-11-27 | 2017-06-01 | Fujitsu Limited | Estimation device and method |
CN106885574A (zh) * | 2017-02-15 | 2017-06-23 | 北京大学深圳研究生院 | 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法 |
CN107272454A (zh) * | 2017-06-19 | 2017-10-20 | 中国人民解放军国防科学技术大学 | 一种基于虚拟现实的实时人机交互方法 |
CN107291093A (zh) * | 2017-07-04 | 2017-10-24 | 西北工业大学 | 基于视觉slam的复杂环境下无人机自主降落区域选择方法 |
CN107358624A (zh) * | 2017-06-06 | 2017-11-17 | 武汉几古几古科技有限公司 | 单目稠密即时定位与地图重建方法 |
CN107687850A (zh) * | 2017-07-26 | 2018-02-13 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法 |
CN107767450A (zh) * | 2017-10-31 | 2018-03-06 | 南京维睛视空信息科技有限公司 | 一种基于sparse‑slam的实时建图方法 |
CN107808395A (zh) * | 2017-10-31 | 2018-03-16 | 南京维睛视空信息科技有限公司 | 一种基于slam的室内定位方法 |
CN107862720A (zh) * | 2017-11-24 | 2018-03-30 | 北京华捷艾米科技有限公司 | 基于多地图融合的位姿优化方法及位姿优化*** |
CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及*** |
CN107885871A (zh) * | 2017-11-24 | 2018-04-06 | 南京华捷艾米软件科技有限公司 | 基于云计算的同步定位与地图构建方法、***、交互*** |
CN108090958A (zh) * | 2017-12-06 | 2018-05-29 | 上海阅面网络科技有限公司 | 一种机器人同步定位和地图构建方法和*** |
CN108109169A (zh) * | 2017-12-12 | 2018-06-01 | 深圳市神州云海智能科技有限公司 | 一种基于矩形标识的位姿估计方法、装置及机器人 |
CN108133496A (zh) * | 2017-12-22 | 2018-06-08 | 北京工业大学 | 一种基于g2o与随机蕨类的稠密地图创建方法 |
CN108171787A (zh) * | 2017-12-18 | 2018-06-15 | 桂林电子科技大学 | 一种基于orb特征检测的三维重建方法 |
CN108253962A (zh) * | 2017-12-18 | 2018-07-06 | 中北智杰科技(北京)有限公司 | 一种低照度环境下新能源无人驾驶汽车定位方法 |
CN108615244A (zh) * | 2018-03-27 | 2018-10-02 | 中国地质大学(武汉) | 一种基于cnn和深度滤波器的图像深度估计方法及*** |
CN108765326A (zh) * | 2018-05-18 | 2018-11-06 | 南京大学 | 一种同步定位与地图构建方法及装置 |
CN108780577A (zh) * | 2017-11-30 | 2018-11-09 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
CN109100731A (zh) * | 2018-07-17 | 2018-12-28 | 重庆大学 | 一种基于激光雷达扫描匹配算法的移动机器人定位方法 |
CN109102525A (zh) * | 2018-07-19 | 2018-12-28 | 浙江工业大学 | 一种基于自适应位姿估计的移动机器人跟随控制方法 |
CN109141393A (zh) * | 2018-07-02 | 2019-01-04 | 北京百度网讯科技有限公司 | 重定位方法、设备及存储介质 |
CN109215059A (zh) * | 2018-10-16 | 2019-01-15 | 西安建筑科技大学 | 一种航拍视频中运动车辆跟踪的局部数据关联方法 |
CN109341707A (zh) * | 2018-12-03 | 2019-02-15 | 南开大学 | 未知环境下移动机器人三维地图构建方法 |
CN109544629A (zh) * | 2018-11-29 | 2019-03-29 | 南京人工智能高等研究院有限公司 | 摄像头位姿确定方法和装置以及电子设备 |
WO2019062651A1 (zh) * | 2017-09-26 | 2019-04-04 | 上海思岚科技有限公司 | 一种定位建图的方法及*** |
CN109643367A (zh) * | 2016-07-21 | 2019-04-16 | 御眼视觉技术有限公司 | 用于自主车辆导航的众包和分发稀疏地图以及车道测量 |
CN109741306A (zh) * | 2018-12-26 | 2019-05-10 | 北京石油化工学院 | 应用于危险化学品库房堆垛的图像处理方法 |
CN109815847A (zh) * | 2018-12-30 | 2019-05-28 | 中国电子科技集团公司信息科学研究院 | 一种基于语义约束的视觉slam方法 |
CN110044358A (zh) * | 2019-04-29 | 2019-07-23 | 清华大学 | 基于现场场线特征的移动机器人定位方法 |
CN110223354A (zh) * | 2019-04-30 | 2019-09-10 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于sfm三维重建的相机自标定方法 |
CN110264509A (zh) * | 2018-04-27 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 确定图像捕捉设备的位姿的方法、装置及其存储介质 |
CN110389349A (zh) * | 2018-04-17 | 2019-10-29 | 北京京东尚科信息技术有限公司 | 定位方法和装置 |
CN110660098A (zh) * | 2018-06-28 | 2020-01-07 | 北京京东尚科信息技术有限公司 | 基于单目视觉的定位方法和装置 |
CN110858403A (zh) * | 2018-08-22 | 2020-03-03 | 杭州萤石软件有限公司 | 一种单目视觉重建中尺度因子的确定方法和移动机器人 |
CN110874100A (zh) * | 2018-08-13 | 2020-03-10 | 北京京东尚科信息技术有限公司 | 用于使用视觉稀疏地图进行自主导航的***和方法 |
CN110992487A (zh) * | 2019-12-10 | 2020-04-10 | 南京航空航天大学 | 手持式飞机油箱快速三维地图重建装置及重建方法 |
CN111102984A (zh) * | 2020-01-21 | 2020-05-05 | 中南民族大学 | 可视化山区公路导航方法、装置、设备及存储介质 |
CN111121774A (zh) * | 2020-01-14 | 2020-05-08 | 上海曼恒数字技术股份有限公司 | 一种可实时检测自身姿态的红外定位相机 |
CN111157009A (zh) * | 2020-04-02 | 2020-05-15 | 深圳司南数据服务有限公司 | 基于移动终端和ar智能的室内定位导航创建方法及*** |
CN111230886A (zh) * | 2020-03-05 | 2020-06-05 | 浙江理工大学 | 具有抗差能力的工业机器人运动学参数标定***和方法 |
CN111568305A (zh) * | 2019-02-18 | 2020-08-25 | 北京奇虎科技有限公司 | 处理扫地机器人重定位的方法、装置及电子设备 |
CN111780763A (zh) * | 2020-06-30 | 2020-10-16 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的视觉定位方法、装置 |
CN111982133A (zh) * | 2019-05-23 | 2020-11-24 | 北京地平线机器人技术研发有限公司 | 基于高精地图对车辆进行定位的方法、装置及电子设备 |
CN112116651A (zh) * | 2020-08-12 | 2020-12-22 | 天津(滨海)人工智能军民融合创新中心 | 一种基于无人机单目视觉的地面目标定位方法和*** |
CN112783995A (zh) * | 2020-12-31 | 2021-05-11 | 杭州海康机器人技术有限公司 | 一种v-slam地图校验方法、装置及设备 |
CN112889091A (zh) * | 2018-10-23 | 2021-06-01 | 微软技术许可有限责任公司 | 使用模糊特征的相机位姿估计 |
CN113129366A (zh) * | 2020-01-10 | 2021-07-16 | 北京字节跳动网络技术有限公司 | 单目slam初始化方法、装置及电子设备 |
CN113156948A (zh) * | 2021-04-19 | 2021-07-23 | 浙江工业大学 | 一种两轮自平衡机器人的地面与障碍物区分识别方法 |
CN113211449A (zh) * | 2021-06-10 | 2021-08-06 | 哈工大机器人集团股份有限公司 | 一种基于路径分析的机器人校准方法及其*** |
US11288883B2 (en) | 2019-07-23 | 2022-03-29 | Toyota Research Institute, Inc. | Autonomous task performance based on visual embeddings |
CN114581517A (zh) * | 2022-02-10 | 2022-06-03 | 北京工业大学 | 一种针对复杂光照环境的改进型vins方法 |
WO2022134057A1 (en) * | 2020-12-25 | 2022-06-30 | Intel Corporation | Re-localization of robot |
CN115451920A (zh) * | 2022-10-27 | 2022-12-09 | 南京航空航天大学 | 一种面向无人自主着降的相对位姿测量方法 |
JP2023509153A (ja) * | 2020-10-30 | 2023-03-07 | 珠海一微半導体股▲ふん▼有限公司 | 局所点群地図の構築方法及び視覚ロボット |
CN110874100B (zh) * | 2018-08-13 | 2024-07-19 | 北京京东乾石科技有限公司 | 用于使用视觉稀疏地图进行自主导航的***和方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993798B (zh) * | 2019-04-09 | 2021-05-28 | 上海肇观电子科技有限公司 | 多摄像头检测运动轨迹的方法、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020048395A1 (en) * | 2000-08-09 | 2002-04-25 | Harman Philip Victor | Image conversion and encoding techniques |
JP2009093412A (ja) * | 2007-10-09 | 2009-04-30 | Fujitsu Ltd | 画像計測方法及び画像計測装置 |
CN102435188A (zh) * | 2011-09-15 | 2012-05-02 | 南京航空航天大学 | 一种用于室内环境的单目视觉/惯性全自主导航方法 |
CN102519481A (zh) * | 2011-12-29 | 2012-06-27 | 中国科学院自动化研究所 | 一种双目视觉里程计实现方法 |
CN104050671A (zh) * | 2014-06-25 | 2014-09-17 | 西安石油大学 | 基于灰色关联分析和Zernike矩的油井管套损图像边缘检测方法 |
-
2015
- 2015-01-19 CN CN201510025810.7A patent/CN104732518B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020048395A1 (en) * | 2000-08-09 | 2002-04-25 | Harman Philip Victor | Image conversion and encoding techniques |
JP2009093412A (ja) * | 2007-10-09 | 2009-04-30 | Fujitsu Ltd | 画像計測方法及び画像計測装置 |
CN102435188A (zh) * | 2011-09-15 | 2012-05-02 | 南京航空航天大学 | 一种用于室内环境的单目视觉/惯性全自主导航方法 |
CN102519481A (zh) * | 2011-12-29 | 2012-06-27 | 中国科学院自动化研究所 | 一种双目视觉里程计实现方法 |
CN104050671A (zh) * | 2014-06-25 | 2014-09-17 | 西安石油大学 | 基于灰色关联分析和Zernike矩的油井管套损图像边缘检测方法 |
Non-Patent Citations (5)
Title |
---|
JIA SONGMIN等: "Mobile Robot 3D Map Building Based on Laser Ranging and Stereovision", 《PROCEEDINGS OF THE 2011 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION》 * |
SHENG JINBO等: "Mobile Robot Localization and Map Building Based on Laser Ranging and PTAM", 《PROCEEDINGS OF THE 2011 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION》 * |
贾松敏等: "RTM框架下基于分层拓扑结构的多机器人***地图拼接", 《机器人》 * |
贾松敏等: "基于RGB-D相机的移动机器人三维SLAM", 《华中科技大学学报(自然科学版)》 * |
贾松敏等: "基于变分模型的单目视觉三维重建方法", 《光学学报》 * |
Cited By (87)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10223804B2 (en) * | 2015-11-27 | 2019-03-05 | Fujitsu Limited | Estimation device and method |
US20170154429A1 (en) * | 2015-11-27 | 2017-06-01 | Fujitsu Limited | Estimation device and method |
CN105678754A (zh) * | 2015-12-31 | 2016-06-15 | 西北工业大学 | 一种无人机实时地图重建方法 |
CN109643367B (zh) * | 2016-07-21 | 2023-08-08 | 御眼视觉技术有限公司 | 用于自主车辆导航的众包和分发稀疏地图以及车道测量的方法、***和可读介质 |
CN109643367A (zh) * | 2016-07-21 | 2019-04-16 | 御眼视觉技术有限公司 | 用于自主车辆导航的众包和分发稀疏地图以及车道测量 |
CN106570904A (zh) * | 2016-10-25 | 2017-04-19 | 大连理工大学 | 一种基于Xtion摄像头的多目标相对位姿识别方法 |
CN106548486B (zh) * | 2016-11-01 | 2024-02-27 | 浙江大学 | 一种基于稀疏视觉特征地图的无人车位置跟踪方法 |
CN106548486A (zh) * | 2016-11-01 | 2017-03-29 | 浙江大学 | 一种基于稀疏视觉特征地图的无人车位置跟踪方法 |
CN106600641A (zh) * | 2016-12-07 | 2017-04-26 | 常州工学院 | 基于多特征融合的嵌入式视觉伺服控制方法 |
CN106600641B (zh) * | 2016-12-07 | 2020-02-11 | 常州工学院 | 基于多特征融合的嵌入式视觉伺服控制方法 |
CN106885574A (zh) * | 2017-02-15 | 2017-06-23 | 北京大学深圳研究生院 | 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法 |
CN106885574B (zh) * | 2017-02-15 | 2020-02-07 | 北京大学深圳研究生院 | 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法 |
CN107358624A (zh) * | 2017-06-06 | 2017-11-17 | 武汉几古几古科技有限公司 | 单目稠密即时定位与地图重建方法 |
CN107358624B (zh) * | 2017-06-06 | 2020-01-07 | 武汉几古几古科技有限公司 | 单目稠密即时定位与地图重建方法 |
CN107272454A (zh) * | 2017-06-19 | 2017-10-20 | 中国人民解放军国防科学技术大学 | 一种基于虚拟现实的实时人机交互方法 |
CN107291093A (zh) * | 2017-07-04 | 2017-10-24 | 西北工业大学 | 基于视觉slam的复杂环境下无人机自主降落区域选择方法 |
CN107687850B (zh) * | 2017-07-26 | 2021-04-23 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法 |
CN107687850A (zh) * | 2017-07-26 | 2018-02-13 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法 |
WO2019062651A1 (zh) * | 2017-09-26 | 2019-04-04 | 上海思岚科技有限公司 | 一种定位建图的方法及*** |
CN107808395B (zh) * | 2017-10-31 | 2020-12-04 | 南京维睛视空信息科技有限公司 | 一种基于slam的室内定位方法 |
CN107767450A (zh) * | 2017-10-31 | 2018-03-06 | 南京维睛视空信息科技有限公司 | 一种基于sparse‑slam的实时建图方法 |
CN107808395A (zh) * | 2017-10-31 | 2018-03-16 | 南京维睛视空信息科技有限公司 | 一种基于slam的室内定位方法 |
CN107767450B (zh) * | 2017-10-31 | 2021-05-28 | 南京维睛视空信息科技有限公司 | 一种基于sparse-slam的实时建图方法 |
CN107869989B (zh) * | 2017-11-06 | 2020-02-07 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及*** |
CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及*** |
CN107862720B (zh) * | 2017-11-24 | 2020-05-22 | 北京华捷艾米科技有限公司 | 基于多地图融合的位姿优化方法及位姿优化*** |
CN107885871A (zh) * | 2017-11-24 | 2018-04-06 | 南京华捷艾米软件科技有限公司 | 基于云计算的同步定位与地图构建方法、***、交互*** |
CN107862720A (zh) * | 2017-11-24 | 2018-03-30 | 北京华捷艾米科技有限公司 | 基于多地图融合的位姿优化方法及位姿优化*** |
CN108780577A (zh) * | 2017-11-30 | 2018-11-09 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
CN108090958A (zh) * | 2017-12-06 | 2018-05-29 | 上海阅面网络科技有限公司 | 一种机器人同步定位和地图构建方法和*** |
CN108090958B (zh) * | 2017-12-06 | 2021-08-27 | 上海阅面网络科技有限公司 | 一种机器人同步定位和地图构建方法和*** |
CN108109169B (zh) * | 2017-12-12 | 2021-12-14 | 深圳市神州云海智能科技有限公司 | 一种基于矩形标识的位姿估计方法、装置及机器人 |
CN108109169A (zh) * | 2017-12-12 | 2018-06-01 | 深圳市神州云海智能科技有限公司 | 一种基于矩形标识的位姿估计方法、装置及机器人 |
CN108253962A (zh) * | 2017-12-18 | 2018-07-06 | 中北智杰科技(北京)有限公司 | 一种低照度环境下新能源无人驾驶汽车定位方法 |
CN108171787A (zh) * | 2017-12-18 | 2018-06-15 | 桂林电子科技大学 | 一种基于orb特征检测的三维重建方法 |
CN108133496A (zh) * | 2017-12-22 | 2018-06-08 | 北京工业大学 | 一种基于g2o与随机蕨类的稠密地图创建方法 |
CN108615244A (zh) * | 2018-03-27 | 2018-10-02 | 中国地质大学(武汉) | 一种基于cnn和深度滤波器的图像深度估计方法及*** |
CN110389349A (zh) * | 2018-04-17 | 2019-10-29 | 北京京东尚科信息技术有限公司 | 定位方法和装置 |
CN110389349B (zh) * | 2018-04-17 | 2021-08-17 | 北京京东尚科信息技术有限公司 | 定位方法和装置 |
CN110264509A (zh) * | 2018-04-27 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 确定图像捕捉设备的位姿的方法、装置及其存储介质 |
CN110264509B (zh) * | 2018-04-27 | 2022-10-14 | 腾讯科技(深圳)有限公司 | 确定图像捕捉设备的位姿的方法、装置及其存储介质 |
CN108765326A (zh) * | 2018-05-18 | 2018-11-06 | 南京大学 | 一种同步定位与地图构建方法及装置 |
CN110660098A (zh) * | 2018-06-28 | 2020-01-07 | 北京京东尚科信息技术有限公司 | 基于单目视觉的定位方法和装置 |
CN110660098B (zh) * | 2018-06-28 | 2022-08-12 | 北京京东叁佰陆拾度电子商务有限公司 | 基于单目视觉的定位方法和装置 |
CN109141393A (zh) * | 2018-07-02 | 2019-01-04 | 北京百度网讯科技有限公司 | 重定位方法、设备及存储介质 |
CN109100731A (zh) * | 2018-07-17 | 2018-12-28 | 重庆大学 | 一种基于激光雷达扫描匹配算法的移动机器人定位方法 |
CN109102525A (zh) * | 2018-07-19 | 2018-12-28 | 浙江工业大学 | 一种基于自适应位姿估计的移动机器人跟随控制方法 |
CN109102525B (zh) * | 2018-07-19 | 2021-06-18 | 浙江工业大学 | 一种基于自适应位姿估计的移动机器人跟随控制方法 |
CN110874100A (zh) * | 2018-08-13 | 2020-03-10 | 北京京东尚科信息技术有限公司 | 用于使用视觉稀疏地图进行自主导航的***和方法 |
CN110874100B (zh) * | 2018-08-13 | 2024-07-19 | 北京京东乾石科技有限公司 | 用于使用视觉稀疏地图进行自主导航的***和方法 |
CN110858403A (zh) * | 2018-08-22 | 2020-03-03 | 杭州萤石软件有限公司 | 一种单目视觉重建中尺度因子的确定方法和移动机器人 |
CN109215059A (zh) * | 2018-10-16 | 2019-01-15 | 西安建筑科技大学 | 一种航拍视频中运动车辆跟踪的局部数据关联方法 |
CN112889091A (zh) * | 2018-10-23 | 2021-06-01 | 微软技术许可有限责任公司 | 使用模糊特征的相机位姿估计 |
CN109544629A (zh) * | 2018-11-29 | 2019-03-29 | 南京人工智能高等研究院有限公司 | 摄像头位姿确定方法和装置以及电子设备 |
CN109544629B (zh) * | 2018-11-29 | 2021-03-23 | 南京人工智能高等研究院有限公司 | 摄像头位姿确定方法和装置以及电子设备 |
CN109341707A (zh) * | 2018-12-03 | 2019-02-15 | 南开大学 | 未知环境下移动机器人三维地图构建方法 |
CN109741306A (zh) * | 2018-12-26 | 2019-05-10 | 北京石油化工学院 | 应用于危险化学品库房堆垛的图像处理方法 |
CN109741306B (zh) * | 2018-12-26 | 2021-07-06 | 北京石油化工学院 | 应用于危险化学品库房堆垛的图像处理方法 |
CN109815847B (zh) * | 2018-12-30 | 2020-12-01 | 中国电子科技集团公司信息科学研究院 | 一种基于语义约束的视觉slam方法 |
CN109815847A (zh) * | 2018-12-30 | 2019-05-28 | 中国电子科技集团公司信息科学研究院 | 一种基于语义约束的视觉slam方法 |
CN111568305B (zh) * | 2019-02-18 | 2023-02-17 | 北京奇虎科技有限公司 | 处理扫地机器人重定位的方法、装置及电子设备 |
CN111568305A (zh) * | 2019-02-18 | 2020-08-25 | 北京奇虎科技有限公司 | 处理扫地机器人重定位的方法、装置及电子设备 |
CN110044358A (zh) * | 2019-04-29 | 2019-07-23 | 清华大学 | 基于现场场线特征的移动机器人定位方法 |
CN110223354A (zh) * | 2019-04-30 | 2019-09-10 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于sfm三维重建的相机自标定方法 |
CN111982133A (zh) * | 2019-05-23 | 2020-11-24 | 北京地平线机器人技术研发有限公司 | 基于高精地图对车辆进行定位的方法、装置及电子设备 |
US11288883B2 (en) | 2019-07-23 | 2022-03-29 | Toyota Research Institute, Inc. | Autonomous task performance based on visual embeddings |
CN110992487A (zh) * | 2019-12-10 | 2020-04-10 | 南京航空航天大学 | 手持式飞机油箱快速三维地图重建装置及重建方法 |
CN113129366A (zh) * | 2020-01-10 | 2021-07-16 | 北京字节跳动网络技术有限公司 | 单目slam初始化方法、装置及电子设备 |
CN113129366B (zh) * | 2020-01-10 | 2024-04-30 | 北京字节跳动网络技术有限公司 | 单目slam初始化方法、装置及电子设备 |
CN111121774A (zh) * | 2020-01-14 | 2020-05-08 | 上海曼恒数字技术股份有限公司 | 一种可实时检测自身姿态的红外定位相机 |
CN111102984A (zh) * | 2020-01-21 | 2020-05-05 | 中南民族大学 | 可视化山区公路导航方法、装置、设备及存储介质 |
CN111230886A (zh) * | 2020-03-05 | 2020-06-05 | 浙江理工大学 | 具有抗差能力的工业机器人运动学参数标定***和方法 |
CN111157009A (zh) * | 2020-04-02 | 2020-05-15 | 深圳司南数据服务有限公司 | 基于移动终端和ar智能的室内定位导航创建方法及*** |
CN111780763A (zh) * | 2020-06-30 | 2020-10-16 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的视觉定位方法、装置 |
CN112116651B (zh) * | 2020-08-12 | 2023-04-07 | 天津(滨海)人工智能军民融合创新中心 | 一种基于无人机单目视觉的地面目标定位方法和*** |
CN112116651A (zh) * | 2020-08-12 | 2020-12-22 | 天津(滨海)人工智能军民融合创新中心 | 一种基于无人机单目视觉的地面目标定位方法和*** |
JP7375206B2 (ja) | 2020-10-30 | 2023-11-07 | 珠海一微半導体股▲ふん▼有限公司 | 局所点群地図の構築方法及び視覚ロボット |
JP2023509153A (ja) * | 2020-10-30 | 2023-03-07 | 珠海一微半導体股▲ふん▼有限公司 | 局所点群地図の構築方法及び視覚ロボット |
WO2022134057A1 (en) * | 2020-12-25 | 2022-06-30 | Intel Corporation | Re-localization of robot |
CN112783995B (zh) * | 2020-12-31 | 2022-06-03 | 杭州海康机器人技术有限公司 | 一种v-slam地图校验方法、装置及设备 |
CN112783995A (zh) * | 2020-12-31 | 2021-05-11 | 杭州海康机器人技术有限公司 | 一种v-slam地图校验方法、装置及设备 |
CN113156948A (zh) * | 2021-04-19 | 2021-07-23 | 浙江工业大学 | 一种两轮自平衡机器人的地面与障碍物区分识别方法 |
CN113156948B (zh) * | 2021-04-19 | 2022-06-28 | 浙江工业大学 | 一种两轮自平衡机器人的地面与障碍物区分识别方法 |
CN113211449A (zh) * | 2021-06-10 | 2021-08-06 | 哈工大机器人集团股份有限公司 | 一种基于路径分析的机器人校准方法及其*** |
CN114581517A (zh) * | 2022-02-10 | 2022-06-03 | 北京工业大学 | 一种针对复杂光照环境的改进型vins方法 |
CN115451920B (zh) * | 2022-10-27 | 2023-03-14 | 南京航空航天大学 | 一种面向无人自主着降的相对位姿测量方法 |
CN115451920A (zh) * | 2022-10-27 | 2022-12-09 | 南京航空航天大学 | 一种面向无人自主着降的相对位姿测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104732518B (zh) | 2017-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104732518A (zh) | 一种基于智能机器人地面特征的ptam改进方法 | |
CN108802785B (zh) | 基于高精度矢量地图和单目视觉传感器的车辆自定位方法 | |
CN110428467B (zh) | 一种相机、imu和激光雷达联合的机器人定位方法 | |
Ramalingam et al. | Skyline2gps: Localization in urban canyons using omni-skylines | |
CN109544636A (zh) | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 | |
CN108534782B (zh) | 一种基于双目视觉***的地标地图车辆即时定位方法 | |
CN103106688B (zh) | 基于双层配准方法的室内三维场景重建方法 | |
CN110070615A (zh) | 一种基于多相机协同的全景视觉slam方法 | |
CN108682027A (zh) | 基于点、线特征融合的vSLAM实现方法及*** | |
CN109583409A (zh) | 一种面向认知地图的智能车定位方法及*** | |
CN107677274B (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
CN110807809A (zh) | 基于点线特征和深度滤波器的轻量级单目视觉定位方法 | |
CN103954275A (zh) | 基于车道线检测和gis地图信息开发的视觉导航方法 | |
CN113658337B (zh) | 一种基于车辙线的多模态里程计方法 | |
CN108801274A (zh) | 一种融合双目视觉和差分卫星定位的地标地图生成方法 | |
CN105352509A (zh) | 地理信息时空约束下的无人机运动目标跟踪与定位方法 | |
CN110033411A (zh) | 基于无人机的公路施工现场全景图像高效拼接方法 | |
CN112484746B (zh) | 一种基于地平面的单目视觉辅助激光雷达里程计方法 | |
CN109579825A (zh) | 基于双目视觉和卷积神经网络的机器人定位***及方法 | |
CN112833892B (zh) | 一种基于轨迹对齐的语义建图方法 | |
CN112767546B (zh) | 移动机器人基于双目图像的视觉地图生成方法 | |
CN114359476A (zh) | 一种用于城市峡谷环境导航的动态3d城市模型构建方法 | |
CN111161334A (zh) | 一种基于深度学习的语义地图构建方法 | |
CN114088081A (zh) | 一种基于多段联合优化的用于精确定位的地图构建方法 | |
Huang et al. | Metric monocular localization using signed distance fields |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170901 Termination date: 20200119 |
|
CF01 | Termination of patent right due to non-payment of annual fee |