CN112964276A - 一种基于激光和视觉融合的在线标定方法 - Google Patents

一种基于激光和视觉融合的在线标定方法 Download PDF

Info

Publication number
CN112964276A
CN112964276A CN202110175180.7A CN202110175180A CN112964276A CN 112964276 A CN112964276 A CN 112964276A CN 202110175180 A CN202110175180 A CN 202110175180A CN 112964276 A CN112964276 A CN 112964276A
Authority
CN
China
Prior art keywords
laser
information
coordinate system
positioning
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110175180.7A
Other languages
English (en)
Other versions
CN112964276B (zh
Inventor
欧勇盛
陈凯
江国来
马鑫波
刘超
王志扬
熊荣
冯伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110175180.7A priority Critical patent/CN112964276B/zh
Publication of CN112964276A publication Critical patent/CN112964276A/zh
Priority to PCT/CN2021/138061 priority patent/WO2022170847A1/zh
Application granted granted Critical
Publication of CN112964276B publication Critical patent/CN112964276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Manipulator (AREA)

Abstract

本发明公开一种基于激光和视觉融合的在线标定方法。该方法包括:在激光SLAM***坐标系,通过激光定位获得移动目标的位置信息和姿态信息;在视觉SLAM***坐标系,根据激光定位输出的位置信息和姿态信息初始化位置信息和姿态信息,并通过视觉定位检测移动目标来更新位置信息,且根据激光定位的时间戳采集通过视觉定位确定的姿态信息;将视觉SLAM***坐标系下的姿态信息输入到神经网络模型进行变换,获得激光SLAM***坐标系下的预测姿态信息;通过比较所述预测姿态信息和在激光SLAM***坐标系下的姿态信息引导进行激光重定位。本发明在定位过程中无需使用标定版和人工干预,并且在发生异常情况时可以自动引导重定位,提高了准确性。

Description

一种基于激光和视觉融合的在线标定方法
技术领域
本发明涉及机器人定位技术领域,更具体地,涉及一种基于激光和视觉融合的在线标定方法。
背景技术
在机器人的定位导航中,有视觉和激光两大主流方案。使用激光的方案在目前的技术条件下具有稳定可靠,精度高的优势。因此激光定位也是目前在移动机器人定位导航方面应用的主要方式。但是基于目前的应用场景,在室内的情况下激光定位易受动态物体遮挡,从而影响定位的收敛,进而导致定位出现偏差或者丢失。而基于视觉的环境信息要丰富很多,在很多视觉定位的工作中,通过对环境信息提取视觉特征能够实现全局定位和重定位。但是在提取视觉特征时对光照十分敏感,在暗处或者一些无纹理区域是无法进行工作的。
随着技术的发展,现有移动机器人越来越多的使用将视觉和激光结合的方案。一般情况下激光定位的精度要高于视觉定位,但激光的价格昂贵。视觉传感器的价格低廉,在定位上的反应相对于激光来说更敏感,易于察觉到环境的快速变化。但视觉定位的效果容易受到各种各样复杂环境的影响,尤其使用视觉建图的方法中,建立的地图难以用于在任何时候定位。此外,在一般情况下对两种传感器的标定和机器人运行时外参的轻微变化的修正也是一件耗费人力的工作。
在现有的激光和视觉融合的定位方法中,首先需要人工对视觉传感器和激光传感器之间的外参进行标定。对于外参的标定,通常通过预先按照固定位置的安装方式或者在安装完成后通过使用其他标定方法(例如,标定板)进行标定。这样会产生更多的人工成本,并且当外参发生变化时,不方便再次人工干预修正。
此外,目前大部分的激光和视觉融合的定位方案,使用视觉传感器的定位方法仍然要建立地图,然后再在地图中根据相机图像中提取的特征进行匹配定位。但使用该方法容易受到光线变化和与预先地图建立时场景动态物体变化的影响。并且,大部分融合方法是将两种方法的定位结果经过转换后进行比较。这种方式在置信度上难以权衡两者的准确性,给参数调节带来困难,并且消耗了更多的性能。
发明内容
本发明的目的是克服上述现有技术的缺陷,提供一种激光和视觉融合的在线标定方法,可自动在线标定激光雷达和相机之间的姿态关系,并且实时检测定位的状态,当发生异常时能够引导激光模块进行重定位。
本发明的技术方案是,提供一种基于激光和视觉融合的在线标定方法,该方法包括:
在激光SLAM***坐标系下,通过激光定位获得移动目标的位置信息和姿态信息;
在视觉SLAM***坐标系下,根据激光定位输出的位置信息和姿态信息初始化自身的位置信息和姿态信息,并通过视觉定位检测移动目标来更新位置信息,且根据激光定位的时间戳采集通过视觉定位确定的姿态信息,进而获得视觉SLAM***坐标系下的位置信息和姿态信息;
将视觉SLAM***坐标系下的姿态信息输入到神经网络模型进行变换,获得激光SLAM***坐标系下的预测姿态信息;
通过比较所述预测姿态信息和在激光SLAM***坐标系下的姿态信息引导进行激光重定位。
与现有技术相比,本发明的优点在于,通过独立的激光定位模块和视觉定位模块进行相对位姿的标定,无需人工介入和标定板,即可完成相对姿态自标定和在线更新。此外,根据求出的外参信息,可以使基于本发明方法的机器人在非自主移动(例如,突然移动,滑动和人为抱起挪动)的情况下,自动进行引导重定位。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的激光和视觉融合的在线标定方法的流程图;
图2是根据本发明一个实施例的激光和视觉融合的在线标定方法的过程示意图;
图3是根据本发明一个实施例的神经网络结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
参见图1所示,简言之,所提供的基于激光和视觉融合的在线标定方法包括:步骤S110,在激光SLAM(simultaneous localization and mapping,同时定位与地图构建)***坐标系下,通过激光定位获得移动目标的位置信息和姿态信息;步骤S120,在视觉SLAM***坐标系下,根据激光定位输出的位置信息和姿态信息初始化自身的位置信息和姿态信息,并通过视觉定位检测移动目标来更新位置信息,且根据激光定位的时间戳采集通过视觉定位确定的姿态信息,进而获得视觉SLAM***坐标系下的位置信息和姿态信息;步骤S130,将视觉SLAM***坐标系下的姿态信息输入到神经网络模型进行变换,获得激光SLAM***坐标系下的预测姿态信息;步骤S140,通过比较所述预测姿态信息和激光SLAM***坐标系下的姿态信息引导进行激光重定位。本发明可用于机器人运动、自动驾驶领域等场景的定位。
以下以利用相机或视觉惯导里程计采集视觉信息、以机器人作为移动目标为例具体说明,其中,视觉SLAM***坐标系也简称相机坐标或视觉坐标,激光SLAM***坐标系也简称激光坐标,除非根据上下文另有所指。
总体上,本发明基于激光雷达、相机(或视觉惯导里程计)等传感器,采用工业控制计算机作为处理单元,使用分别针对激光雷达和相机运行对应的定位***(即激光SLAM***和视觉SLAM***)。以激光定位为主,同时使用基于视觉的里程计作为引导。根据两者返回的位姿信息进行相对姿态的在线自标定,使其在初次使用时可以自动标定姿态,同时在使用过程中,当外参发生变化时能够进行修正补偿。此外,可以利用视觉引导的优势使得在机器人在发生异常情况时(例如,突然移动,滑动和人为抱起挪动),能够引导激光定位进行重定位。在这个过程中该视觉定位模块提供给机器人一个新的可信位姿,来让激光定位模块借助该信息来实现定位的收敛。
在发明中,可以自由的搭配使用激光传感器和视觉传感器,两者不做外参上的人为的强约束。利用本发明可以自动对视觉传感器和激光传感器的相对姿态进行标定,无需使用标定板或是人工预先按照设计固定安装。同时在机器人的运动过程中可以针对视觉传感器和激光传感器两者的外参变化进行自适应的调整,以提高定位的准确率。
以下以一个具体实施例进行说明本发明的激光和视觉融合的在线标定方法的过程,其中,激光SLAM***以激光定位模块为例,视觉SLAM***以视觉惯导里程计模块为例进行说明。
一、实验设置
1)硬件部分
计算处理单元使用普通x86架构计算机,运行Ubuntu操作***,在该***的基础上安装ROS机器人操作***。
使用的激光传感器为单线激光传感器(例如、思岚RPlidar A系列),使用的视觉传感器是集成式视觉惯导里程计(例如、Intel T265,该相机使用双目加惯性测量单元方案)。
底盘为两轮差速运动模型,可在上层使用串口通讯对底盘进行控制。
2)软件部分
在ROS机器人操作***上分别运行激光定位和视觉里程计并输出位姿。
对于单线激光可以使用Gmapping+AMCL的建图定位方法或者Cartographer中的建图和定位方法。在本发明中,使用基于Gmapping建立栅格地图和基于粒子滤波的AMCL定位方法。
对于视觉里程计可以使用ORB-SLAM的里程计方法,或是结合使用惯性测量单元的的VINS和ORB-SLAM3方法。通过各自传感器的方法可以在自己坐标***下的位姿变化关系。
采用视觉里程计的方法,相对于其它里程计(例如,轮式里程计易受到打滑的影响,导致出现定位漂移)而言,可以利用该方式敏感的特点来发现机器人的异常移动。
二、激光和视觉融合的在线标定流程
结合图2所示,所提供的激光和视觉融合的在线标定方法包括以下步骤。
步骤S1,开启激光定位,在定位成功收敛后回生成位置信息和姿态信息。
例如,位置信息和姿态信息(或简称位姿)PL包含以下变量信息[xL,yL,zL,qx,qy,qz,qw]L,其中xL,yL,zL是笛卡尔空间下的三维坐标,表示机器人当前的位置,qx,qy,qz,qw是四元数表示的当前机器人的姿态,在计算上使用四元数(四元数表示一个四维空间超球在三维空间的投影)的方法可以避免奇异性。
步骤S2,等待激光成功定位后,视觉惯导里程计模块将订阅当前的xL,yL,zL作为自身的初始位置,标记为xc0,yc0,zc0
当视觉惯导里程计模块检测机器人发生移动时,计算得到新位置:
Figure BDA0002940464940000061
其中Δx,Δy,Δz表示相对差值,公式(1)表示在当前视觉坐标系下的位置。
在此步骤中,视觉惯导里程计模块根据激光定位的结果初始化位置,并根据自身的检测更新位置。
步骤S3,在后续一段时间内,视觉惯导里程计模块将记录激光定位模块下的位姿信息以完成初始化。
例如,根据手动设置或自动设置参数n=100,记录激光定位成功n次后的值。
在一个实施例中,判定定位成功的方法可以是从激光定位中返回的协方差的值,大于一定的阈值定位误差较大,小于一定的值代表定位误差小。
在收集姿态信息时,以激光定位的时间戳为基准,当其发生变化时,即对视觉惯导里程计的当前值进行采集。在收集姿态值的时候,仅选择协方差小于一定阈值的值,来保证求取外参的质量。
从当前视觉***下采集到的是位置和姿态(以四元数表示),表示为
Figure BDA0002940464940000062
进一步地,根据以下公式将采集到的位置和姿态转换成欧拉角的形式,表示为:
Figure BDA0002940464940000063
其中
Figure BDA0002940464940000064
表示自转角,θ表示章动角,
Figure BDA0002940464940000065
表示旋进角,x,y,z,w分别对应qx,qy,qz,qw
在此步骤中,视觉定位模块根据激光定位的时间戳,采集自身定位的姿态,从而获得视觉***下的位置和姿态,并转换成欧拉角。
步骤S4,在得到以上数据后,得到两个N×3的矩阵,即分别为相机坐标系下的欧拉角矩阵以及LiDAR(激光雷达)坐标系下的欧拉角矩阵。
优选地,可通过剔除异常点提高后续定位的精度,例如包括以下步骤:
步骤S41,对两个矩阵中的每列求和再求平均值,得到
Figure BDA0002940464940000071
Figure BDA0002940464940000072
Figure BDA0002940464940000073
并用各自矩阵中的每一行减去求得的平均值得到新的矩阵ML(表示激光坐标系的矩阵)和MC(表示相机坐标系下的矩阵)。
Figure BDA0002940464940000074
Figure BDA0002940464940000075
步骤S42,对新求得的矩阵MC,通过以下方法分别求得方差
Figure BDA0002940464940000076
Figure BDA0002940464940000077
Figure BDA0002940464940000078
Figure BDA0002940464940000079
步骤S43,计算标准差
Figure BDA00029404649400000710
根据标准差选择数据。
例如,在得到标准差后,根据数据的正态分布剔除异常点,并选取范围[mean(C)-3σC,mean(C+3σC)]的数据,来提高定位精度。
步骤S5,使用神经网络模型求解激光坐标系和视觉坐标系两者的变换关系。
神经网络实现激光SLAM***下的坐标系和视觉SLAM***下的坐标系之间的变换关系,使用神经网络可以将从视觉***和激光***收集到的位姿变换数据加以训练,得到一个模型。该模型的作用是通过变换视觉SLAM***下的坐标系,将其与激光SLAM的坐标***一起来。
神经网络模型可采用多种类型或根据需要设定不同的具体结构,本发明对此不进行限制。例如,参见图3所示,神经网络整体包括输入层、中间层和输出层。在本发明实施例中,输入层为3个节点,对应计算出的
Figure BDA0002940464940000081
θ,ψ。输出层为3个节点,对应转换坐标系后的
Figure BDA0002940464940000082
θ,ψ。中间层使用全连接网络,每一层对应16个节点。在每一层后同时加上激活层,激活函数为relu函数,即f(x)=max(0,x)。
整个神经网络结构的文字描述为:
全连接层(神经网络节点数量:3,输入形状:[n,3]);
激活层(激活函数:relu);
全连接层(神经网络节点数量:16,输入形状:[n,3])
激活层(激活函数:relu);
全连接层(神经网络节点数量:16,输入形状:[n,16])
激活层(激活函数:relu);
全连接层(神经网络节点数量:16,输入形状:[n,16])
激活层(激活函数:relu);
输出层(神经网络节点数量:16,输入形状:[n,16]);
参数的总数量为:659。
然后,使用测试集中的数据根据以下公式计算误差。
err=sum(pred-real_data)/size (5)
其中,err代表误差,pred表示使用网络计算出的欲转换的坐标系下的姿态,real_data表示实际收集数据得到的姿态,size表示数据总量,sum表示求和。
在此步骤中,以激光SLAM***的坐标系为基准,神经网络实现视觉***向激光***坐标下的变换,即将视觉***下得到的姿态数据经过神经网络变换后,得到该数据在激光坐标系下对应的姿态数据。
三)关于异常检测和外参更新
1)异常检测
在***运行过程中,在激光定位中的位姿变化时,实时计算出两者输出的相对误差,即通过以下公式求出姿态误差。
errororientation=model(orientationC)-orientationL (6)
其中,orientationC为相机坐标系下的旋转角,model代表使用神经网络模型预测的结果,orientationL为激光坐标系下的旋转角。
进一步地,可以通过以上求得的相机坐标系下的位置xC,yC,zC,和激光定位中的位置信息xL,yL,zL进行差值比较。在激光定位方法中,例如使用两者欧式距离大于一定阈值来进行判定。即
Figure BDA0002940464940000091
通过将姿态误差和位置差值通过一定比例相加可以得到总的误差。
error=a*errorpose+b*errororientation (8)
其中,a,b为比例系数。
当总误差大于设定阈值之后,该模块便发送一个当前坐标系下(视觉坐标系下)的位姿给激光定位模块,引导其进行重新定位。
通过这种方式,当发生异常移动时,可以根据利用视觉检测敏感的优势来重新引导激光重定位,从而修复异常移动带来定位偏移后,无法再次收敛的问题。
2)外参更新
视觉定位模块会记录误差小于阈值的姿态信息,例如,***在以下两种情况下更新外参:当在一段固定的时间内,重定位的次数超过规定值后,根据记录的姿态信息重新计算更新外参;当记录的姿态信息超过规定的数量后,截取一定比例的值(如10%)使用本发明中的方法进行参数更新,以适应视觉传感器和激光传感器在运动中发生的变化。
经过实物验证,本发明定位精度符合预期,并具有以下优势:
1)、提供一种自动标定相对位姿的方法,该方法不需要人为的去设定初始外参,并且在运行的过程中也可以修正外参,即外参标定可以自动进行,无需使用标定版及人工的干预;
2)、本发明融合了视觉定位和激光定位两种方法的优势,提供对相机和激光雷达的姿态关系进行自标定的方法,定位精度不再依赖于激光传感器的精定位;
3)、提供了一种在机器人发生非正常移动时自动进行引导校准定位的方法,能够弥补激光定位过程中可能发生异常移动的影响,在发生定位错误时能够自行重定位;
4)、相较于现有的基于视觉定位的方法,本发明不用建图,因此不存在多数情况下,由于光线影响出现定位失败的问题,同时能够减少计算量,提高性能。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于激光和视觉融合的在线标定方法,包括:
在激光SLAM***坐标系下,通过激光定位获得移动目标的位置信息和姿态信息;
在视觉SLAM***坐标系下,根据激光定位输出的位置信息和姿态信息初始化自身的位置信息和姿态信息,并通过视觉定位检测移动目标来更新位置信息,且根据激光定位的时间戳采集通过视觉定位确定的姿态信息,进而获得视觉SLAM***坐标系下的位置信息和姿态信息;
将视觉SLAM***坐标系下的姿态信息输入到神经网络模型进行变换,获得激光SLAM***坐标系下的预测姿态信息;
通过比较所述预测姿态信息和激光SLAM***坐标系下的姿态信息引导进行激光重定位。
2.根据权利要求1所述的方法,其中,在视觉SLAM***坐标系下,根据激光定位输出的位置信息和姿态信息初始化自身的位置信息和姿态信息包括:
当开启激光定位并确定成功收敛后,生成位姿信息PL,表示为[xL,yL,zL,qx,qy,qz,qw]L,其中xL,yL,zL表示移动目标当前的位置信息,qx,qy,qz,qw是四元数表示的移动目标当前的姿态信息;
在视觉SLAM***坐标系下,将xL,yL,zL作为自身的初始位置信息并根据激光定位成功收敛后输出的姿态信息确定自身的初始化姿态信息。
3.根据权利要求1所述的方法,其中,在视觉SLAM***坐标系下,根据以下步骤确定姿态信息:
以激光定位的时间戳为基准,采集通过视觉定位获得的姿态值;
对于所采集的姿态值,选择协方差小于设定阈值的值,作为视觉SLAM***坐标系下的姿态信息。
4.根据权利要求1所述的方法,其中,通过比较所述预测姿态信息和激光SLAM***坐标系下的姿态信息引导进行激光重定位包括:
计算姿态误差,表示为:
errororientation=model(orientationC)-orientationL
其中,orientationC为视觉SLAM***坐标系下的旋转角,model()代表使用神经网络模型预测的结果,orientationL表示激光SLAM***坐标系下的旋转角;
比较视觉SLAM***坐标系下的位置和激光SLAM***坐标系下的位置,获得位置误差;
根据所述姿态误差和所述位置误差,决定是否将视觉SLAM***坐标系下的位姿信息发送给激光定位,以引导进行重定位。
5.根据权利要求4所述的方法,其中,根据所述姿态误差和所述位置误差,决定是否将视觉SLAM***坐标系下的位姿信息发送给激光定位,以引导进行重定位包括:
根据所述姿态误差和所述位置误差计算总误差,表示为:
error=a*errorpose+b*errororientation
其中,a,b为比例系数;
当总误差error大于设定阈值时,决定进行重定位。
6.根据权利要求5所述的方法,其中,所述位置误差表示为:
Figure FDA0002940464930000021
其中,xC,yC,zC是视觉SLAM***坐标系下的位置信息,xL,yL,zL是激光SLAM***坐标系下的位置信息。
7.根据权利要求1所述的方法,还包括:当在设定时间段内,重定位的次数超过阈值时触发外参更新。
8.根据权利要求1所述的方法,其中,采用视觉惯导里程计进行视觉定位。
9.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现根据权利要求1至8中任一项所述的方法的步骤。
10.一种计算机设备,包括存储器和处理器,在所述存储器上存储有能够在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。
CN202110175180.7A 2021-02-09 2021-02-09 一种基于激光和视觉融合的在线标定方法 Active CN112964276B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110175180.7A CN112964276B (zh) 2021-02-09 2021-02-09 一种基于激光和视觉融合的在线标定方法
PCT/CN2021/138061 WO2022170847A1 (zh) 2021-02-09 2021-12-14 一种基于激光和视觉融合的在线标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110175180.7A CN112964276B (zh) 2021-02-09 2021-02-09 一种基于激光和视觉融合的在线标定方法

Publications (2)

Publication Number Publication Date
CN112964276A true CN112964276A (zh) 2021-06-15
CN112964276B CN112964276B (zh) 2022-08-05

Family

ID=76284315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110175180.7A Active CN112964276B (zh) 2021-02-09 2021-02-09 一种基于激光和视觉融合的在线标定方法

Country Status (2)

Country Link
CN (1) CN112964276B (zh)
WO (1) WO2022170847A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022170847A1 (zh) * 2021-02-09 2022-08-18 中国科学院深圳先进技术研究院 一种基于激光和视觉融合的在线标定方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115388911A (zh) * 2022-08-24 2022-11-25 Oppo广东移动通信有限公司 光学动作捕捉***的精度测量方法、装置、电子设备
CN115761000B (zh) * 2022-11-06 2023-08-29 卢米纳科技(深圳)有限公司 基于视觉激光的清洗标定方法和***
CN115435816B (zh) * 2022-11-07 2023-04-11 山东大学 在线双舵轮agv内外参标定方法、***、介质及设备
CN116563391B (zh) * 2023-05-16 2024-02-02 深圳市高素科技有限公司 一种基于机器视觉的激光结构自动标定方法
CN116660916B (zh) * 2023-05-26 2024-02-02 广东省农业科学院设施农业研究所 一种用于果园移动机器人的定位方法、建图方法及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108303096A (zh) * 2018-02-12 2018-07-20 杭州蓝芯科技有限公司 一种视觉辅助激光定位***及方法
CN109084732A (zh) * 2018-06-29 2018-12-25 北京旷视科技有限公司 定位与导航方法、装置及处理设备
US20190278288A1 (en) * 2018-03-08 2019-09-12 Ubtech Robotics Corp Simultaneous localization and mapping methods of mobile robot in motion area
CN110243358A (zh) * 2019-04-29 2019-09-17 武汉理工大学 多源融合的无人车室内外定位方法及***
CN110398745A (zh) * 2019-08-05 2019-11-01 湖南海森格诺信息技术有限公司 基于激光雷达和视觉的叉车定位方法
CN111337943A (zh) * 2020-02-26 2020-06-26 同济大学 一种基于视觉引导激光重定位的移动机器人定位方法
CN111521195A (zh) * 2020-04-10 2020-08-11 广州铁路职业技术学院(广州铁路机械学校) 一种智能机器人
CN112230242A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 位姿估计***和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107869989B (zh) * 2017-11-06 2020-02-07 东北大学 一种基于视觉惯导信息融合的定位方法及***
CN109633664B (zh) * 2018-12-29 2023-03-28 南京理工大学工程技术研究院有限公司 基于rgb-d与激光里程计的联合定位方法
US10859684B1 (en) * 2019-11-12 2020-12-08 Huawei Technologies Co., Ltd. Method and system for camera-lidar calibration
CN111965624B (zh) * 2020-08-06 2024-04-09 阿波罗智联(北京)科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
CN112258600A (zh) * 2020-10-19 2021-01-22 浙江大学 一种基于视觉与激光雷达的同时定位与地图构建方法
CN112964276B (zh) * 2021-02-09 2022-08-05 中国科学院深圳先进技术研究院 一种基于激光和视觉融合的在线标定方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108303096A (zh) * 2018-02-12 2018-07-20 杭州蓝芯科技有限公司 一种视觉辅助激光定位***及方法
US20190278288A1 (en) * 2018-03-08 2019-09-12 Ubtech Robotics Corp Simultaneous localization and mapping methods of mobile robot in motion area
CN109084732A (zh) * 2018-06-29 2018-12-25 北京旷视科技有限公司 定位与导航方法、装置及处理设备
CN110243358A (zh) * 2019-04-29 2019-09-17 武汉理工大学 多源融合的无人车室内外定位方法及***
CN110398745A (zh) * 2019-08-05 2019-11-01 湖南海森格诺信息技术有限公司 基于激光雷达和视觉的叉车定位方法
CN111337943A (zh) * 2020-02-26 2020-06-26 同济大学 一种基于视觉引导激光重定位的移动机器人定位方法
CN111521195A (zh) * 2020-04-10 2020-08-11 广州铁路职业技术学院(广州铁路机械学校) 一种智能机器人
CN112230242A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 位姿估计***和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022170847A1 (zh) * 2021-02-09 2022-08-18 中国科学院深圳先进技术研究院 一种基于激光和视觉融合的在线标定方法

Also Published As

Publication number Publication date
WO2022170847A1 (zh) 2022-08-18
CN112964276B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN112964276B (zh) 一种基于激光和视觉融合的在线标定方法
CN111442722B (zh) 定位方法、装置、存储介质及电子设备
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN111102978B (zh) 一种车辆运动状态确定的方法、装置及电子设备
Lupton et al. Visual-inertial-aided navigation for high-dynamic motion in built environments without initial conditions
US9243916B2 (en) Observability-constrained vision-aided inertial navigation
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
KR20210116186A (ko) 장애물 검출 방법, 장치, 전자 기기 및 저장 매체
CN111338383B (zh) 基于gaas的自主飞行方法及***、存储介质
García et al. Real evaluation for designing sensor fusion in UAV platforms
CN114179825B (zh) 多传感器融合获取量测值置信度方法及自动驾驶车辆
CN111127584A (zh) 建立视觉地图的方法和装置、电子设备和存储介质
Nobre et al. Drift-correcting self-calibration for visual-inertial SLAM
WO2021043214A1 (zh) 一种标定方法、装置及飞行器
CN117392241B (zh) 自动驾驶中的传感器标定方法、装置及电子设备
CN112560769B (zh) 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN110674888B (zh) 一种基于数据融合的头部姿态识别方法
CN112729349B (zh) 里程计在线标定的方法、装置、电子设备及存储介质
CN115727871A (zh) 一种轨迹质量检测方法、装置、电子设备和存储介质
CN111538321B (zh) 自移动设备的控制方法、装置、设备及计算机可读存储介质
CN113483762A (zh) 一种位姿优化方法及设备
Ölmez et al. Metric scale and angle estimation in monocular visual odometry with multiple distance sensors
KR20220037212A (ko) 강인한 스테레오 비주얼 관성 항법 장치 및 방법
Vintervold Camera-based integrated indoor positioning
CN113008245B (zh) 一种定位信息融合方法及其装置、计算机服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant