CN114462545A - 一种基于语义slam的地图构建方法及装置 - Google Patents
一种基于语义slam的地图构建方法及装置 Download PDFInfo
- Publication number
- CN114462545A CN114462545A CN202210139118.7A CN202210139118A CN114462545A CN 114462545 A CN114462545 A CN 114462545A CN 202210139118 A CN202210139118 A CN 202210139118A CN 114462545 A CN114462545 A CN 114462545A
- Authority
- CN
- China
- Prior art keywords
- semantic
- image
- map
- slam
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000013136 deep learning model Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009897 systematic effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于语义SLAM的地图构建方法及装置，涉及地图构建技术领域，首先采集两张路径图像；将两张路径图像进行融合；基于融合后的路径图像，采用RANSAC算法对运动路径进行估计，并基于IMU信息进行位姿计算；采用扩展卡尔曼滤波技术将运动估计结果和位姿计算结果进行融合，得到融合后的位姿信息；获取机器人与障碍物的距离；依据距离信息和融合后的位姿信息，构建初始地图图像；将语义SLAM融合深度学习模型，对初始地图图像进行语义识别；基于初始地图图像的语义识别结果，构建最终地图图像。本发明结合多传感器、RANSAC算法、IMU信息等初步构建地图，进而结合语义SLAM和神经网络得到更准确的地图图像。
Description
技术领域
本发明涉及地图构建技术领域，更具体的说是涉及一种基于语义SLAM的地图构建方法及装置。
背景技术
目前，现有技术多采用单一传感器构建地图，单一的传感器自主导航具有不能及时定位、构建地图不精确的问题，并且对机器人的位姿计算存在着计算量大、有较大不确定性等问题，同时无法准确判断并克服可移动物体的影响，因此，如何提供一种依据移动机器人进行地图构建的方法和装置，使地图构建结果更加准确，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于语义SLAM的地图构建方法及装置。
为了实现上述目的，本发明提供如下技术方案：
一种基于语义SLAM的地图构建方法，包括以下步骤：
步骤1、基于双目视觉技术采集两张路径图像；
步骤2、将两张路径图像进行融合；
步骤3、基于融合后的路径图像，采用RANSAC算法对运动路径进行估计，并基于IMU信息进行位姿计算；
步骤4、采用扩展卡尔曼滤波技术将运动估计结果和位姿计算结果进行融合，得到融合后的位姿信息；
步骤5、获取机器人与障碍物的距离；
步骤6、依据距离信息和融合后的位姿信息，定位机器人位置，构建初始地图图像；
步骤7、将语义SLAM融合深度学习模型，对初始地图图像进行语义识别；
步骤8、基于初始地图图像的语义识别结果，构建最终地图图像。
可选的，步骤2中将两张路径图像进行融合的具体过程为：
采用融合SIFT算法的改进ORB算法，对两张路径图像进行特征提取，以使特征提取的过程具有良好的尺度不变性；
依据路径图像特征，对路径图像进行径向畸变校正处理；
对校正后的两张路径图像进行融合。
可选的，步骤3中，采用RANSAC算法对运动路径进行估计的具体过程为：
构建原图像与所需场景图像的变换关系：
其中x1为径向迭代前的参数，y1为切向迭代前的参数，x2为径向迭代后的参数，y2为切向迭代后的参数，ω为迭代系数，h1～8为8个方向上的参数，变换关系矩阵为8个参数的投影变换矩阵；
采用最小二乘法求解8个参数，令：
H＝[h1h2h3h4h5h6h7h8]；
得到变换公式：
H＝min{N0,max{NS,NS log2 μN0}}；
其中，N0是根据最近邻比率方法判断出来的匹配点数，N0≥4，NS为样本步长，μ为比例系数；
令ω初始值为1，得到H的一组值，由H的一组值得出ω的值，多次迭代后得到稳定的H。
可选的，步骤3中，基于IMU信息进行位姿计算的具体过程为：
位姿表示为特殊欧式群：
其中，T是线性坐标，R为旋转矩阵，t为平移向量，SO(3)是特殊正交群，表示为
表示空间中的坐标点，det表示行列式。
可选的，步骤4中采用扩展卡尔曼滤波技术进行融合的具体过程为：
扩展卡尔曼滤波的迭代公式为：
xn＝xo+w(zi-hi)；
其中，向量xo表示位置预测值，向量xn表示校正后的位置，矩阵po和pn分别表示预测的***误差和矫正后的***误差，矩阵zi表示特征点观测值，矩阵hi表示特征点的预测值，矩阵w表示为卡尔曼增益，s为特征点的不确定度。
用ORB算法从双目摄像机中获得的两幅不同视角的图像中寻找所需的特征点并匹配旋转角度。将匹配角度与IMU进行融合，得到更接近于实际的角度值。双目视觉与激光雷达相结合，融合距离和角度信息，定位AGV的初始位置。
可选的，步骤5中采用激光雷达测距方法，测量机器人与障碍物的距离，激光雷达由于其受外界光照强度影响较小，测距范围大，采样密度高的优点，在测量定位中具有很好的鲁棒性和计算精度。
可选的，步骤7中对初始地图图像进行语义识别的具体过程为：
将原始图像导入卷积神经网络，生成抽象的语义向量；
对语义向量进行相似度计算，得到一级语义向量；
把一级语义向量进行序列转换并输出；
将输出的一级语义信息与初始地图图像的特征点进行融合，得到二级语义信息；
将二级语义信息与先验集对照，得到语义识别结果。
本发明采用深度学习框架对所得到的特征地图进行语义分割，将语义SLAM融合深度学习，提高SLAM的识别和感知周围环境的能力。
可选的，步骤8中基于初始地图图像的语义识别结果，构建最终地图图像的具体过程为：
通过语义识别得到初始地图图像中的标识物像素点位置，所述标识物为人、汽车等；
从参与位姿估计的像素点中剔除构建地图时会发生移动的标识物；
用剔除后剩余的像素点进行位姿计算，构建最终地图图像。
通过上述技术手段构建地图的过程，明显降低了动态环境下的位姿估计误差，提高了整个***的稳定性。
本发明基于双目视觉和激光雷达的SLAM***和深度卷积神经网络相结合，实现算法对语义地图的构建，将位置信息和语义信息相融合。
本发明还提供一种基于语义SLAM的地图构建装置，所述装置为自导引车，具体包括底盘、设置在底盘上的驱动装置、控制装置、激光雷达、双目摄像机和惯性导航仪、触摸屏；
所述惯性导航仪与双目摄像机连接，所述控制装置分别与激光雷达、惯性导航仪、驱动装置、触摸屏连接。
可选的，所述控制装置包括运动控制计算机和视觉控制计算机，所述运动控制计算机与驱动装置、触摸屏连接，所述视觉控制计算机与激光雷达、惯性导航仪连接。
经由上述的技术方案可知，本发明公开提供了一种基于语义SLAM的地图构建方法及装置，与现有技术相比，具有以下有益效果：
本发明将双目摄像机和激光雷达进行多传感器融合，不同传感器所感知获得的环境特征经过融合之后加入到全局地图中，对双目摄像机获取到的数据与激光雷达获取到的信息进行融合处理，即对于环境中的同一特征进行匹配，然后进行特征层次的匹配融合，初步实现地图的构建。基于融合后的路径图像，采用RANSAC算法对运动路径进行估计，并基于IMU信息进行位姿计算，采用扩展卡尔曼滤波技术将运动估计结果和位姿计算结果进行融合，得到融合后的位姿信息，进一步的，基于双目视觉和激光雷达的语义SLAM和深度卷积神经网络相结合，语义SLAM可以预知物体的可移动属性，实现算法对语义地图的构建，将位置信息和语义信息相融合，进而得到更准确的地图图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程示意图；
图2为本发明的装置连接示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于语义SLAM的地图构建方法，参见图1，包括以下步骤：
步骤1、基于双目视觉技术采集两张路径图像；
步骤2、将两张路径图像进行融合，具体的：
步骤2.1、采用融合SIFT算法的改进ORB算法，对两张路径图像进行特征提取，以使特征提取的过程具有良好的尺度不变性；
ORB算法的改进方法为：采用融合SIFT算法的ORB算法。ORB算法获得的特征点没有尺度不变信息，虽然可以通过引进特征点方向获得旋转不变性的方法来进行特征描述，但算法仍然没有尺度不变信息，而SIFT算法则能够在图像发生旋转、尺度等变化下较好的检测图像特征点，具备良好的尺度不变性，因此选用SIFT算法中的高斯尺度空间的思想来改进ORB算法。
该算法将FAST角点检测与BRIEF特征描述符进行融合改进，针对FAST算法缺陷，加入了尺度信息与旋转信息，同时计算了特征点的主方向；针对BRIEF算法，添加了旋转不变性。
具体特征点检测方法为：
高斯金字塔构建过程：
假设G0表示原始图像，Gi表示第i次下采样所得到的图像，那么高斯金字塔的计算过程可以表示如下：
Gi＝Down(Gi-1)；
其中Down表示下采样函数，下采样可以通过抛去图像中的偶数行和偶数列来实现，这样图像长宽各减少二分之一，面积减少四分之一。
首先将原图像扩大一倍之后作为高斯金字塔的第1组第1层，将第1组第1层图像经高斯卷积(其实就是高斯平滑或称高斯滤波)之后作为第1组金字塔的第2层，逐层构建图像金字塔，每一层提取的特征点数为：
其中，n1为金字塔第一层所需分配的特征点数，α为尺度因子，n为所需提取的ORB特征点总数，τ为金字塔的层数。
通过等比数列依次求出金字塔每层的特征点数。当完成金字塔构建和实现特征点分配后，选定合适的区域进行图像划分，在区域内利用oFAST特征点检测，保证特征点分布均匀。
oFAST使用灰度质心法，特征点的主方向是通过矩(moment)计算来的：
其中，i,j＝{0,1}，I(x,y)为像素点(x,y)的灰度值，mij表示图像区域中的像素灰度值。
区域I在x,y方向的质心为：
得到的向量角度即为特征点方向：
在BRIEF特征描述的基础上加入旋转因子即为改进的rBRIEF特征描述。BRIEF描述子需要对图像进行平滑处理，在区域内选取n个点对，生成矩阵：
利用上述θ对其进行旋转处理：
Sθ＝RθS
其中，Rθ表示角度为θ的旋转矩阵，Sθ为旋转后对应的矩阵。
步骤2.2、依据路径图像特征，对路径图像进行径向畸变校正处理；
径向畸变校正函数表示为：
x0＝(1+k1r2+k2r2)x1,
其中，x0为校正前径向坐标，x1为校正后径向坐标，y0为校正前切向坐标，f为双目相机的焦距，k1和k2为双目相机两个摄像头的畸变参数。
对校正后的两张路径图像进行融合。
步骤3、基于融合后的路径图像，采用RANSAC算法对运动路径进行估计，并基于IMU信息进行位姿计算，所述机器人即为自导引车；
步骤3.1、采用RANSAC算法对运动路径进行估计：
构建原图像与所需场景图像的变换关系：
其中x1为径向迭代前的参数，y1为切向迭代前的参数，x2为径向迭代后的参数，y2为切向迭代后的参数，ω为迭代系数，h1～8为8个方向上的参数，变换关系矩阵为8个参数的投影变换矩阵；
采用最小二乘法求解8个参数，令：
H＝[h1h2h3h4h5h6h7h8]；
得到变换公式：
H＝min{N0,max{NS,NS log2 μN0}}；
其中，N0是根据最近邻比率方法判断出来的匹配点数，N0≥4，NS为样本步长，μ为比例系数；
令ω初始值为1，得到H的一组值，由H的一组值得出ω的值，多次迭代后得到稳定的H。
在源图像和场景图像中分别做特征点检测之后，会发现有误匹配的情况出现，可以用随机抽样一致算法(简称：RANSAC)解决误匹配的问题。所选图像为前后发生了微小运动的图像。
步骤3.2、基于IMU信息进行位姿计算：
位姿表示为特殊欧式群：
其中，T是线性坐标，R为旋转矩阵，t为平移向量，SO(3)是特殊正交群，表示为
表示空间中的坐标点，det表示行列式。
步骤4、采用扩展卡尔曼滤波技术将运动估计结果和位姿计算结果进行融合，得到融合后的位姿信息；扩展卡尔曼滤波的迭代过程包括预测和校正两部分，通过现有的参数预测下一阶段状态，然后之前的预测状态通过测量值被校正；
扩展卡尔曼滤波的迭代公式为：
xn＝xo+w(zi-hi)；
其中，向量xo表示位置预测值，向量xn表示校正后的位置，矩阵po和pn分别表示预测的***误差和矫正后的***误差，矩阵zi表示特征点观测值，矩阵hi表示特征点的预测值，矩阵w表示为卡尔曼增益，s为特征点的不确定度。
步骤5、采用激光雷达测距方法，获取机器人与障碍物的距离；
激光雷达测量位置公式为：
其中，Pr为回波信号的功率，Pt为激光雷达发射功率，K是发射光束的分布函数，ηt和ηr分别是发射***和接收***的透过率，θt为发射激光的发散角。
步骤6、依据距离信息和融合后的位姿信息，定位机器人位置，构建初始地图图像；
步骤7、将语义SLAM融合深度学习模型，提高SLAM的识别和感知周围环境的能力，对初始地图图像进行语义识别：
将原始图像导入卷积神经网络，生成抽象的语义向量；
对语义向量进行相似度计算，得到一级语义向量，语义相似度公式表示为：
其中，分子表示描述A,B共性所需要的信息量，分母表示描述A，B整体所需要的信息量；
把一级语义向量进行序列转换并输出；
将输出的一级语义信息与初始地图图像的特征点进行融合，得到二级语义信息；
将二级语义信息与先验集对照，得到语义识别结果。考虑语义类别先验，即使用图像中不同区域所属的语义类别作为图像超分辨率的先验条件，比如天空、草地、建筑等，不同类别下的纹理拥有各自独特的特性，也即，语义类别能够更好的约束超分辨中同一低分辨率图存在多个可能解的情况。
此处使用语义SLAM进行语义识别的优点为：(1)语义SLAM可以预知物体(人、汽车等)的可移动属性；(2)语义SLAM中的相似物体知识表示可以共享，通过维护共享知识库提高SLAM***的可扩展性和存储效率；(3)语义SLAM可实现智能路径规划，如机器人可以搬动路径中的可移动物体等实现路径更优。
步骤8、基于初始地图图像的语义识别结果，构建最终地图图像：
通过语义识别得到初始地图图像中的标识物像素点位置，所述标识物为人、汽车等；
依据语义识别结果，从参与位姿估计的像素点中剔除构建地图时会发生移动的标识物；
用剔除后剩余的像素点进行位姿计算，构建最终地图图像。
本发明实施例还公开一种基于语义SLAM的地图构建装置，参见图2，所述装置为自导引车，具体包括底盘、设置在底盘上的驱动装置、控制装置、激光雷达、双目摄像机和惯性导航仪、触摸屏；
所述惯性导航仪与双目摄像机连接，所述控制装置分别与激光雷达、惯性导航仪、驱动装置、触摸屏连接。
自导引车底盘是在电动货运汽车的底盘基础上改造出的，驱动部分采用直流电机加差速器的电动驱动后桥，控制***采用分布式计算机(即运动控制计算机和视觉控制计算机)，通过视觉控制计算机处理由激光雷达、双目摄像机及惯性导航仪(IMU)采集到环境点云数据和自导引车位姿数据，在虚拟空间中建立计算机可识别的稀疏点云环境地图和自导引车模型，最后再由运动控制计算机发送控制命令使自导引车沿规划路线行驶。触摸屏与运动控制计算机相连接，用于修订设定运行参数。运动控制计算机和视觉计算工控机以WIFI无线通信方式传输数据，以方便灵活布置。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于语义SLAM的地图构建方法，其特征在于，包括以下步骤：
基于双目视觉技术采集两张路径图像；
将两张路径图像进行融合；
基于融合后的路径图像，采用RANSAC算法对运动路径进行估计，并基于IMU信息进行位姿计算；
采用扩展卡尔曼滤波技术将运动估计结果和位姿计算结果进行融合，得到融合后的位姿信息；
获取机器人与障碍物的距离；
依据距离信息和融合后的位姿信息，定位机器人位置，构建初始地图图像；
将语义SLAM融合深度学习模型，对初始地图图像进行语义识别；
基于初始地图图像的语义识别结果，构建最终地图图像。
2.根据权利要求1所述的一种基于语义SLAM的地图构建方法，其特征在于，将两张路径图像进行融合的具体过程为：
采用融合SIFT算法的改进ORB算法，对两张路径图像进行特征提取；
依据路径图像特征，对路径图像进行径向畸变校正处理；
对校正后的两张路径图像进行融合。
3.根据权利要求1所述的一种基于语义SLAM的地图构建方法，其特征在于，采用RANSAC算法对运动路径进行估计的具体过程为：
构建原图像与所需场景图像的变换关系：
其中x1为径向迭代前的参数，y1为切向迭代前的参数，x2为径向迭代后的参数，y2为切向迭代后的参数，ω为迭代系数，h1～8为8个方向上的参数，变换关系矩阵为8个参数的投影变换矩阵；
采用最小二乘法求解8个参数，令：
H＝[h1h2h3h4h5h6h7h8]；
得到变换公式：
H＝min{N0,max{NS,NSlog2μN0}}；
其中，N0是根据最近邻比率方法判断出来的匹配点数，N0≥4，NS为样本步长，μ为比例系数；
令ω初始值为1，得到H的一组值，由H的一组值得出ω的值，多次迭代后得到稳定的H。
4.根据权利要求1所述的一种基于语义SLAM的地图构建方法，其特征在于，基于IMU信息进行位姿计算的具体过程为：
位姿表示为特殊欧式群：
其中，T是线性坐标，R为旋转矩阵，t为平移向量，SO(3)是特殊正交群，表示为
表示空间中的坐标点，det表示行列式。
5.根据权利要求1所述的一种基于语义SLAM的地图构建方法，其特征在于，采用扩展卡尔曼滤波技术进行融合的具体过程为：
扩展卡尔曼滤波的迭代公式为：
xn＝xo+w(zi-hi)；
其中，向量xo表示位置预测值，向量xn表示校正后的位置，矩阵po和pn分别表示预测的***误差和矫正后的***误差，矩阵zi表示特征点观测值，矩阵hi表示特征点的预测值，矩阵w表示为卡尔曼增益，s为特征点的不确定度。
6.根据权利要求1所述的一种基于语义SLAM的地图构建方法，其特征在于，采用激光雷达测距方法，测量机器人与障碍物的距离。
7.根据权利要求1所述的一种基于语义SLAM的地图构建方法，其特征在于，对初始地图图像进行语义识别的具体过程为：
将原始图像导入卷积神经网络，生成抽象的语义向量；
对语义向量进行相似度计算，得到一级语义向量；
把一级语义向量进行序列转换并输出；
将输出的一级语义信息与初始地图图像的特征点进行融合，得到二级语义信息；
将二级语义信息与先验集对照，得到语义识别结果。
8.根据权利要求1所述的一种基于语义SLAM的地图构建方法，其特征在于，基于初始地图图像的语义识别结果，构建最终地图图像的具体过程为：
通过语义识别得到初始地图图像中的标识物像素点位置；
从参与位姿估计的像素点中剔除构建地图时会发生移动的标识物；
用剔除后剩余的像素点进行位姿计算，构建最终地图图像。
9.一种基于语义SLAM的地图构建装置，其特征在于，所述装置为自导引车，具体包括底盘、设置在底盘上的驱动装置、控制装置、激光雷达、双目摄像机和惯性导航仪、触摸屏；
所述惯性导航仪与双目摄像机连接，所述控制装置分别与激光雷达、惯性导航仪、驱动装置、触摸屏连接。
10.根据权利要求9所述的一种基于语义SLAM的地图构建装置，其特征在于，所述控制装置包括运动控制计算机和视觉控制计算机，所述运动控制计算机与驱动装置、触摸屏连接，所述视觉控制计算机与激光雷达、惯性导航仪连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210139118.7A CN114462545A (zh) | 2022-02-15 | 2022-02-15 | 一种基于语义slam的地图构建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210139118.7A CN114462545A (zh) | 2022-02-15 | 2022-02-15 | 一种基于语义slam的地图构建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114462545A true CN114462545A (zh) | 2022-05-10 |
Family
ID=81414394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210139118.7A Pending CN114462545A (zh) | 2022-02-15 | 2022-02-15 | 一种基于语义slam的地图构建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114462545A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106679648A (zh) * | 2016-12-08 | 2017-05-17 | 东南大学 | 一种基于遗传算法的视觉惯性组合的slam方法 |
| CN109974707A (zh) * | 2019-03-19 | 2019-07-05 | 重庆邮电大学 | 一种基于改进点云匹配算法的室内移动机器人视觉导航方法 |
| CN110109465A (zh) * | 2019-05-29 | 2019-08-09 | 集美大学 | 一种自导引车以及基于自导引车的地图构建方法 |
| CN111256727A (zh) * | 2020-02-19 | 2020-06-09 | 广州蓝胖子机器人有限公司 | 一种基于Augmented EKF的提高里程计精度的方法 |
| CN112268559A (zh) * | 2020-10-22 | 2021-01-26 | 中国人民解放军战略支援部队信息工程大学 | 复杂环境下融合slam技术的移动测量方法 |
-
2022
- 2022-02-15 CN CN202210139118.7A patent/CN114462545A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106679648A (zh) * | 2016-12-08 | 2017-05-17 | 东南大学 | 一种基于遗传算法的视觉惯性组合的slam方法 |
| CN109974707A (zh) * | 2019-03-19 | 2019-07-05 | 重庆邮电大学 | 一种基于改进点云匹配算法的室内移动机器人视觉导航方法 |
| CN110109465A (zh) * | 2019-05-29 | 2019-08-09 | 集美大学 | 一种自导引车以及基于自导引车的地图构建方法 |
| CN111256727A (zh) * | 2020-02-19 | 2020-06-09 | 广州蓝胖子机器人有限公司 | 一种基于Augmented EKF的提高里程计精度的方法 |
| CN112268559A (zh) * | 2020-10-22 | 2021-01-26 | 中国人民解放军战略支援部队信息工程大学 | 复杂环境下融合slam技术的移动测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈宁等: "基于改进的SIFT算法的集成电路图像拼接", 应用天地, vol. 40, no. 6, 30 June 2021 (2021-06-30), pages 159 - 163 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111429574B (zh) | 基于三维点云和视觉融合的移动机器人定位方法和*** | |
| CN109211251B (zh) | 一种基于激光和二维码融合的即时定位与地图构建方法 | |
| CN112070770B (zh) | 一种高精度三维地图与二维栅格地图同步构建方法 | |
| CN110386142A (zh) | 用于自动驾驶车辆的俯仰角校准方法 | |
| CN113936198B (zh) | 低线束激光雷达与相机融合方法、存储介质及装置 | |
| CN113865580A (zh) | 构建地图的方法、装置、电子设备及计算机可读存储介质 | |
| CN110487286B (zh) | 基于点特征投影与激光点云融合的机器人位姿判断方法 | |
| CN112799096B (zh) | 基于低成本车载二维激光雷达的地图构建方法 | |
| CN114111774B (zh) | 车辆的定位方法、***、设备及计算机可读存储介质 | |
| Li et al. | Automatic targetless LiDAR–camera calibration: a survey | |
| CN115205391A (zh) | 一种三维激光雷达和视觉融合的目标预测方法 | |
| CN114088081B (zh) | 一种基于多段联合优化的用于精确定位的地图构建方法 | |
| Saleem et al. | Neural network-based recent research developments in SLAM for autonomous ground vehicles: A review | |
| CN115639823A (zh) | 崎岖起伏地形下机器人地形感知与移动控制方法及*** | |
| CN115371662A (zh) | 一种基于概率栅格移除动态对象的静态地图构建方法 | |
| CN113759928B (zh) | 用于复杂大尺度室内场景的移动机器人高精度定位方法 | |
| Mharolkar et al. | RGBDTCalibNet: End-to-end online extrinsic calibration between a 3D LiDAR, an RGB camera and a thermal camera | |
| Valente et al. | Evidential SLAM fusing 2D laser scanner and stereo camera | |
| US20220164595A1 (en) | Method, electronic device and storage medium for vehicle localization | |
| Wang et al. | Robust and real-time outdoor localization only with a single 2-D LiDAR | |
| CN117215316A (zh) | 基于协同控制与深度学习的驾驶环境感知的方法和*** | |
| WO2023222671A1 (en) | Position determination of a vehicle using image segmentations | |
| CN116679314A (zh) | 融合点云强度的三维激光雷达同步建图与定位方法及*** | |
| CN113554705B (zh) | 一种变化场景下的激光雷达鲁棒定位方法 | |
| CN115950414A (zh) | 一种不同传感器数据的自适应多重融合slam方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |