CN113903011A - 一种适用于室内停车场的语义地图构建及定位方法 - Google Patents
一种适用于室内停车场的语义地图构建及定位方法 Download PDFInfo
- Publication number
- CN113903011A CN113903011A CN202111247593.8A CN202111247593A CN113903011A CN 113903011 A CN113903011 A CN 113903011A CN 202111247593 A CN202111247593 A CN 202111247593A CN 113903011 A CN113903011 A CN 113903011A
- Authority
- CN
- China
- Prior art keywords
- parking lot
- semantic
- pose
- image
- semantic map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000010276 construction Methods 0.000 title claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000009616 inductively coupled plasma Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000009499 grossing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/024—Guidance services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种适用于室内停车场的语义地图构建及定位方法,通过单目相机和四个环视鱼眼相机采集停车场图像数据;经图像处理技术将采集的数据投影为相机图像‑路面鸟瞰图;通过卷积神经网络模型对图像进行语义分割,并使用车位提取算法生成停车位,从而获得带语义信息的停车场数据;通过回环检测和位姿图优化的方法生成全局停车场语义地图;通过相机和惯性测量单元融合定位车辆,并使用扩展卡尔曼滤波平滑估计的轨迹。本发明不仅提高了停车场视觉语义SLAM的建图精度,而且降低了现有的位姿优化算法的复杂度,满足了视觉SLAM实时性的要求。
Description
技术领域
本发明专利涉及SLAM建图的技术领域,具体地说是一种适用于室内停车场的语义地图构建及定位方法。
背景技术
由于室内停车场区域狭窄,视线不明,故因泊车问题导致的交通拥挤和交通事故等现象时有发生。为了更好的实现自动泊车技术,停车场SLAM建图的精度要求越来越高。传统的停车场SLAM建图经常会出现特征匹配失败,跟踪丢失等现象,使得SLAM的精度较低。此外,由于时间和空间的移动,同一区域的特征信息也会有所差别,这使得很难基于外观的地图重新定位车辆。
SLAM建图可分为视觉SLAM和激光SLAM,激光SLAM受到激光雷达成本的制约,难以实现量产;视觉SLAM由于采集的数据更加丰富,相机的成本较低,一直受到青睐,但视觉SLAM技术较为复杂,对计算机的要求更高,并且视觉SLAM的精度问题一直备受关注。
发明内容
为了提高室内停车场SLAM建图的精度和实时性,本发明提供了一种适用于室内停车场的语义地图构建及定位方法,改善了停车场SLAM建图精度较低,优化方法复杂,从而解决了无人车在室内停车场环境下行驶安全性低的问题。
本发明提供了一种适用于室内停车场的语义地图构建及定位方法,包括如下步骤:
S1、无人车在移动的过程中,通过车载相机采集停车场周围环境数据;
S2、对所采集的停车场周围环境数据进行图像处理,获取相机图像-路面鸟瞰图;
S3、针对所获取的鸟瞰图采用语义分割的方法获取带语义信息的局部语义地图;针对所获取的鸟瞰图使用车位提取算法自动生成停车位,将停车位显示在局部语义地图上;
S4、对显示停车位的局部语义地图通过融合回环检测和位姿图优化的方法生成全局语义地图;
S5、应用所生成全局语义地图,实现其它进入该室内停车场的车辆的定位和导航。
进一步,所述相机图像-路面鸟瞰图是通过对相机进行标定获取相机的内外参,并通过IPM逆投影变换和ORB图像拼接和图像融合的方法获得。
进一步,S3中采用U-net卷积神经网络模型对鸟瞰图进行语义分割,过程如下:
步骤1,对训练数据集进行剪裁和归一化等预处理操作;
步骤2,利用主干特征提取网络获取五个初步有效特征层;
步骤3,利用加强特征提取网络对所获取的五个初步有效特征层进行上采样和特征融合,获得一个融合了所有特征的有效特征层;
步骤4,根据语义类别的个数调整最终获得的有效特征层的通道数,并通过特征预测环节对图像中每个特征点进行分类预测,从而获得带语义信息的停车场图像。
进一步,语义类别包括停车线、停车线拐角,车道线、车标、减速带和自由空间。
进一步,S3中车位提取算法自动生成停车位的过程如下:
步骤1,将鸟瞰图由RGB图转为灰度图,并利用高斯滤波去除噪声;
步骤2,基于滤波后的图像,采用伽马变换进行图像增强,并通过霍夫变换和直线聚类的方法检测停车线标线和停车线拐角;
步骤3,基于检测到的停车线标线和停车线拐角自动生成停车位。
进一步,利用高效位姿优化的方法实现回环检测和位姿图优化的融合进而生成全局语义地图,高效位姿优化方法为:
将每一帧局部语义地图存储到内存中,并输出初始位姿数据;
将每一帧局部语义地图通过滑动窗口的方法进行局部优化,并且随着窗口的移动,每移动一定的位移会产生一个关键帧,计算相邻两个关键帧之间的位姿矩阵,并将位姿矩阵作为后端位姿图优化的位姿约束条件;将关键帧输入到回环检测模块,回环检测的结果也将作为后端位姿图优化的约束条件;每完成一次位姿图优化,需检测位姿发生大变化的关键帧,并通过相对位姿矩阵更新其周围普通帧的位姿矩阵。
进一步,采用基于词袋模型的回环检测,方法包括:
步骤1,通过ORB算法提取局部语义地图上的特征描述子,并根据视觉词典中单词的分布情况,将局部语义地图转为数值向量;
步骤2,根据向量相似度计算当前局部语义图像与先前采集到的各局部语义图像之间的相似度,并依据相似度结果,确定回环候选,计算公式如下,
其中,vc为当前图像,vr为参考图像,s(vc,vr)为当前图像与参考图像的相似度分数,相似度分数在0到1之间,两幅图像越相似,则值越接近于1。
步骤3,基于回环候选,通过时间一致性检验和几何一致性检验确定最终的回环候选单位,并对最终的回环候选通过ICP算法进行闭合校正。
进一步,位姿图优化的过程为:以图的形式建立优化模型;图由结点和边组成,所述结点是指每一帧语义图中车辆和传感器的初始位姿矩阵,所述边是指相邻两帧之间车辆和传感器的相对位姿矩阵,根据图优化模型中边和结点的关系,列出边误差方程,并使用高斯-牛顿法迭代进行优化。
进一步,在S5中,将全局语义地图上传至云服务器中,并在云服务器中进行压缩;进入该室内停车场的车辆通过其自车的相机和IMU(惯性测量单元)所采集的信息相互融合得到车辆实时的位姿,进而生成一条估计的轨迹,最后使用扩展卡尔曼滤波平滑轨迹。
本发明的有益效果:
针对区域狭窄、视线常被遮挡的室内停车场环境,本发明通过将停车场图像合成为环视鸟瞰图的形式,有效的增加了无人车的感知范围,提高了无人车行驶时的安全性和泊车的准确性。
考虑到室内停车场大多是无质感、无纹理的墙壁,本发明采用视觉语义信息构建停车场地图并进行车辆定位。与传统的停车场SLAM建图相比,视觉语义信息对视角和光照变化具有长期稳定性和鲁棒性,可有效的提高停车场SLAM建图的精度。
为了提供无人车足够的、准确的车位信息,本发明提出了一种车位提取算法,有效地提高了自动泊车的效率。
此外,为了满足视觉SLAM实时性的要求,本发明改善了传统的位姿优化的方法,具体地,本发明采用融合回环检测和位姿图优化的方法,在消除里程计累积漂移的同时,有效地降低了后端优化的算法复杂度,提高了优化的效率,满足视觉SLAM实时性的要求。有效地降低了SLAM建图的算法复杂度。
附图说明
图1为本发明提供的算法整体框架示意图
图2为本发明提供的环视鸟瞰图的结果示意图
图3为本发明提供的U-net卷积神经网络模型结构示意图
图4为本发明提供的停车位生成方法的框架示意图
图5为本发明提供的语义地图优化框架示意图
图6为本发明提供的相机和IMU融合定位框架示意图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明
为了使本发明的目的、技术方案及优点更加清楚,下面结合附图对本发明做进一步说明:
如图1所示,本发明提供了一种适用于室内停车场的语义地图构建及定位方法,包括:
S1、无人车在移动的过程中,通过单目相机和四个环视鱼眼相机采集停车场周围环境数据;
S2、对所采集的停车场周围环境数据进行图像处理,获取相机图像-路面鸟瞰图;在进一步的实施方式中,为了提高车辆在狭窄的停车场的视线,本发明S2中通过张正友标定法获取相机的内参和外参,并通过IPM逆投影变换将图像由世界坐标系转到图像像素坐标系,投影公式如公式(1)所示。此外,还需通过ORB算法对图像进行特征点提取和特征点描述,完成图像的配准和拼接,以此生成如图2所示的相机图像-路面鸟瞰图。
其中,s为尺度因子,(u,v)为转换后像素坐标系下的坐标点,fx、fy、cx、cy为相机的内参,R,t为相机的外参,(Xw,Yw,Zw)为转换前世界坐标系下的坐标点。
S3、针对所获取的鸟瞰图采用语义分割的方法获取带语义信息的局部语义地图;针对所获取的鸟瞰图使用车位提取算法自动生成停车位,将停车位显示在局部语义地图上;
在进一步的实施方式中,S3中采用U-net卷积神经网络模型对鸟瞰图进行语义分割,U-net模型包括主干特征提取网络、加强特征提取网络和特征预测三部分,其具体流程如图3所示。
步骤1,对训练数据集(鸟瞰图)进行剪裁和归一化等预处理操作;
步骤2,利用主干特征提取网络获取五个初步有效特征层;
步骤3,利用加强特征提取网络对所获取的五个初步有效特征层进行上采样和特征融合,获得一个融合了所有特征的有效特征层;
步骤4,根据语义类别的个数调整最终获得的有效特征层的通道数,并通过特征预测环节对图像中每个特征点进行分类预测,从而获得带语义信息的停车场图像。。
所述的语义类别包括停车线、停车线拐角,车道线、车标、减速带和自由空间。
在进一步的实施方式中,提供了一种车位提取算法,以便为自动泊车提供准确地位置信息。图4为停车位生成方法的框架示意图。包括如下步骤:
步骤1,将鸟瞰图由RGB图转为灰度图,并利用高斯滤波去除噪声;
步骤2,基于滤波后的图像,采用伽马变换进行图像增强,并通过霍夫变换和直线聚类的方法检测停车线标线和停车线拐角;
步骤3,基于检测到的停车线标线和停车线拐角自动生成停车位。
S4、对显示停车位的局部语义地图通过融合回环检测和位姿图优化的方法生成全局语义地图;
在进一步的实施方式中,为了降低视觉SLAM算法的复杂度,本发明提供了一种融合回环检测和位姿图优化的高效位姿优化的方法。所述的高效位姿优化方法框架如图5所示。一方面,将每一帧局部语义地图存储到内存中,并输出初始位姿数据。另一方面,将每一帧局部语义地图通过滑动窗口的方法进行局部优化,并且随着窗口的移动,每移动一定的位移会产生一个关键帧,计算相邻两个关键帧之间的位姿矩阵,并将位姿矩阵作为后端位姿图优化的位姿约束条件。此外,为了消除累计误差,将关键帧输入到回环检测模块,回环检测的结果也将作为后端位姿图优化的约束条件。每完成一次位姿图优化,还需检测位姿发生较大变化的关键帧,并通过相对位姿矩阵更新其周围普通帧的位姿矩阵。
在进一步的实施方式中,本发明采用基于词袋模型的回环检测,方法包括:
步骤1,通过ORB算法提取局部语义地图上的特征描述子,并根据视觉词典中单词的分布情况,将局部语义地图转为数值向量;
步骤2,根据向量相似度计算当前局部语义图像与先前采集到的各局部语义图像之间的相似度,并依据相似度结果,确定回环候选,计算公式如下,
其中,vc为当前图像,vr为参考图像,s(vc,vr)为当前图像与参考图像的相似度分数,相似度分数在0到1之间,两幅图像越相似,则值越接近于1。
步骤3,基于回环候选,通过时间一致性检验和几何一致性检验确定最终的回环候选单位,并对最终的回环候选通过ICP算法进行闭合校正。
在进一步的实施方式中,S4中位姿图优化的具体过程为:本发明采用图的形式建立优化模型。图由结点和边组成,所述结点是指每一帧语义图中车辆和传感器的初始位姿矩阵,所述边是指相邻两帧之间车辆和传感器的相对位姿矩阵,根据图优化模型中边和结点的关系,列出边误差方程,并使用高斯-牛顿法迭代进行优化。
S5、应用所生成全局语义地图,实现其它进入该室内停车场的车辆的定位。
将全局语义地图上传至云服务器中,并在云服务器中进行压缩;进入该室内停车场的车辆通过其自车的相机和IMU(惯性测量单元)所采集的信息相互融合得到车辆实时的位姿,进而生成一条估计的轨迹,最后使用扩展卡尔曼滤波平滑轨迹。
在进一步的实施方式中,将优化完的语义地图上传到云服务器中,并在云服务器中进行压缩。
在进一步的实施方式中,当车辆再次来到停车场时,通过GPS定位到车辆所在的商场,并从云服务器中加载当前的停车场语义地图,使用相机和IMU对当前位置进行融合定位。如图6所示,一方面,通过相机采集当前的图像数据,并基于IPM变换和语义分割法提取当前位置的特征点,根据ICP配准法将当前特征点与地图进行匹配来估计当前的位姿;另一方面,IMU通过测量车辆当前的加速度和角速度,并与相机的状态量结合起来构建运动观测方程,再对状态量进行状态估计。此外,为了保证输出轨迹的平滑性和***的鲁棒性,采用EKF模型优化估计后的轨迹。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种适用于室内停车场的语义地图构建及定位方法,其特征在于,包括如下步骤:
S1、无人车在移动的过程中,通过车载相机采集停车场周围环境数据;
S2、对所采集的停车场周围环境数据进行图像处理,获取相机图像-路面鸟瞰图;
S3、针对所获取的鸟瞰图采用语义分割的方法获取带语义信息的局部语义地图;针对所获取的鸟瞰图使用车位提取算法自动生成停车位,将停车位显示在局部语义地图上;
S4、对显示停车位的局部语义地图通过融合回环检测和位姿图优化的方法生成全局语义地图;
S5、应用所生成全局语义地图,实现其它进入该室内停车场的车辆的定位和导航。
2.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,所述相机图像-路面鸟瞰图是通过对相机进行标定获取相机的内外参,并通过IPM逆投影变换和ORB图像拼接和图像融合的方法获得。
3.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,S3中采用U-net卷积神经网络模型对鸟瞰图进行语义分割,过程如下:
步骤1,对训练数据集进行剪裁和归一化等预处理操作;
步骤2,利用主干特征提取网络获取五个初步有效特征层;
步骤3,利用加强特征提取网络对所获取的五个初步有效特征层进行上采样和特征融合,获得一个融合了所有特征的有效特征层;
步骤4,根据语义类别的个数调整最终获得的有效特征层的通道数,并通过特征预测环节对图像中每个特征点进行分类预测,从而获得带语义信息的停车场图像。
4.根据权利要求3所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,语义类别包括停车线、停车线拐角,车道线、车标、减速带和自由空间。
5.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,S3中车位提取算法自动生成停车位的过程如下:
步骤1,将鸟瞰图由RGB图转为灰度图,并利用高斯滤波去除噪声;
步骤2,基于滤波后的图像,采用伽马变换进行图像增强,并通过霍夫变换和直线聚类的方法检测停车线标线和停车线拐角;
步骤3,基于检测到的停车线标线和停车线拐角自动生成停车位。
6.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,利用高效位姿优化的方法实现回环检测和位姿图优化的融合进而生成全局语义地图,高效位姿优化方法为:
将每一帧局部语义地图存储到内存中,并输出初始位姿数据;
将每一帧局部语义地图通过滑动窗口的方法进行局部优化,并且随着窗口的移动,每移动一定的位移会产生一个关键帧,计算相邻两个关键帧之间的位姿矩阵,并将位姿矩阵作为后端位姿图优化的位姿约束条件;将关键帧输入到回环检测模块,回环检测的结果也将作为后端位姿图优化的约束条件;每完成一次位姿图优化,需检测位姿发生大变化的关键帧,并通过相对位姿矩阵更新其周围普通帧的位姿矩阵。
7.根据权利要求1或6所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,采用基于词袋模型的回环检测,方法包括:
步骤1,通过ORB算法提取局部语义地图上的特征描述子,并根据视觉词典中单词的分布情况,将局部语义地图转为数值向量;
步骤2,根据向量相似度计算当前局部语义图像与先前采集到的各局部语义图像之间的相似度,并依据相似度结果,确定回环候选,计算公式如下,
其中,vc为当前图像,vr为参考图像,s(vc,vr)为当前图像与参考图像的相似度分数,相似度分数在0到1之间,两幅图像越相似,则值越接近于1。
步骤3,基于回环候选,通过时间一致性检验和几何一致性检验确定最终的回环候选单位,并对最终的回环候选通过ICP算法进行闭合校正。
8.根据权利要求1或6所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,位姿图优化的过程为:以图的形式建立优化模型;图由结点和边组成,所述结点是指每一帧语义图中车辆和传感器的初始位姿矩阵,所述边是指相邻两帧之间车辆和传感器的相对位姿矩阵,根据图优化模型中边和结点的关系,列出边误差方程,并使用高斯-牛顿法迭代进行优化。
9.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,在S5中,将全局语义地图上传至云服务器中,并在云服务器中进行压缩;进入该室内停车场的车辆通过其自车的相机和IMU所采集的信息相互融合得到车辆实时的位姿,进而生成一条估计的轨迹,最后使用扩展卡尔曼滤波平滑轨迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111247593.8A CN113903011B (zh) | 2021-10-26 | 2021-10-26 | 一种适用于室内停车场的语义地图构建及定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111247593.8A CN113903011B (zh) | 2021-10-26 | 2021-10-26 | 一种适用于室内停车场的语义地图构建及定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113903011A true CN113903011A (zh) | 2022-01-07 |
CN113903011B CN113903011B (zh) | 2024-06-11 |
Family
ID=79026281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111247593.8A Active CN113903011B (zh) | 2021-10-26 | 2021-10-26 | 一种适用于室内停车场的语义地图构建及定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113903011B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863375A (zh) * | 2022-06-10 | 2022-08-05 | 无锡雪浪数制科技有限公司 | 一种基于3d视觉识别的加油站车辆多视角定位方法 |
CN114863096A (zh) * | 2022-04-02 | 2022-08-05 | 合众新能源汽车有限公司 | 室内停车场的语义地图构建及定位方法和装置 |
CN114898585A (zh) * | 2022-04-20 | 2022-08-12 | 清华大学 | 基于路口多视角的车辆轨迹预测规划方法及*** |
CN115273028A (zh) * | 2022-07-14 | 2022-11-01 | 清华大学 | 一种基于全域感知的智慧停车场语义地图构建方法及*** |
CN115984417A (zh) * | 2023-03-20 | 2023-04-18 | 知行汽车科技(苏州)股份有限公司 | 一种语义建图方法、装置及存储介质 |
CN116500638A (zh) * | 2023-06-25 | 2023-07-28 | 江苏大学 | 一种基于slam技术的收割机机耕道自动导航方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462135A (zh) * | 2020-03-31 | 2020-07-28 | 华东理工大学 | 基于视觉slam与二维语义分割的语义建图方法 |
CN112734845A (zh) * | 2021-01-08 | 2021-04-30 | 浙江大学 | 一种融合场景语义的室外单目同步建图与定位方法 |
CN113537208A (zh) * | 2021-05-18 | 2021-10-22 | 杭州电子科技大学 | 一种基于语义orb-slam技术的视觉定位方法及*** |
-
2021
- 2021-10-26 CN CN202111247593.8A patent/CN113903011B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462135A (zh) * | 2020-03-31 | 2020-07-28 | 华东理工大学 | 基于视觉slam与二维语义分割的语义建图方法 |
CN112734845A (zh) * | 2021-01-08 | 2021-04-30 | 浙江大学 | 一种融合场景语义的室外单目同步建图与定位方法 |
CN113537208A (zh) * | 2021-05-18 | 2021-10-22 | 杭州电子科技大学 | 一种基于语义orb-slam技术的视觉定位方法及*** |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863096A (zh) * | 2022-04-02 | 2022-08-05 | 合众新能源汽车有限公司 | 室内停车场的语义地图构建及定位方法和装置 |
WO2023184869A1 (zh) * | 2022-04-02 | 2023-10-05 | 合众新能源汽车股份有限公司 | 室内停车场的语义地图构建及定位方法和装置 |
CN114863096B (zh) * | 2022-04-02 | 2024-04-16 | 合众新能源汽车股份有限公司 | 室内停车场的语义地图构建及定位方法和装置 |
CN114898585A (zh) * | 2022-04-20 | 2022-08-12 | 清华大学 | 基于路口多视角的车辆轨迹预测规划方法及*** |
CN114863375A (zh) * | 2022-06-10 | 2022-08-05 | 无锡雪浪数制科技有限公司 | 一种基于3d视觉识别的加油站车辆多视角定位方法 |
CN115273028A (zh) * | 2022-07-14 | 2022-11-01 | 清华大学 | 一种基于全域感知的智慧停车场语义地图构建方法及*** |
CN115984417A (zh) * | 2023-03-20 | 2023-04-18 | 知行汽车科技(苏州)股份有限公司 | 一种语义建图方法、装置及存储介质 |
CN115984417B (zh) * | 2023-03-20 | 2023-10-24 | 知行汽车科技(苏州)股份有限公司 | 一种语义建图方法、装置及存储介质 |
CN116500638A (zh) * | 2023-06-25 | 2023-07-28 | 江苏大学 | 一种基于slam技术的收割机机耕道自动导航方法及*** |
CN116500638B (zh) * | 2023-06-25 | 2023-10-10 | 江苏大学 | 一种基于slam技术的收割机耕道自动导航方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN113903011B (zh) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113903011B (zh) | 一种适用于室内停车场的语义地图构建及定位方法 | |
CN109945858B (zh) | 用于低速泊车驾驶场景的多传感融合定位方法 | |
CN110136199B (zh) | 一种基于摄像头的车辆定位、建图的方法和装置 | |
TWI722355B (zh) | 用於基於障礙物檢測校正高清晰度地圖的系統和方法 | |
CN111986506B (zh) | 基于多视觉***的机械式停车位泊车方法 | |
CN112740268B (zh) | 目标检测方法和装置 | |
CN110569704A (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN111169468B (zh) | 一种自动泊车的***及方法 | |
CN106595659A (zh) | 城市复杂环境下多无人机视觉slam的地图融合方法 | |
CN113313763B (zh) | 一种基于神经网络的单目相机位姿优化方法及装置 | |
WO2022062480A1 (zh) | 移动设备的定位方法和定位装置 | |
CN112556719A (zh) | 一种基于cnn-ekf的视觉惯性里程计实现方法 | |
Ruf et al. | Real-time on-board obstacle avoidance for UAVs based on embedded stereo vision | |
CN114708293A (zh) | 基于深度学习点线特征和imu紧耦合的机器人运动估计方法 | |
CN116518984B (zh) | 一种煤矿井下辅助运输机器人车路协同定位***及方法 | |
CN112700486A (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
CN115147344A (zh) | 一种增强现实辅助汽车维修中的零件三维检测与跟踪方法 | |
CN117058474B (zh) | 一种基于多传感器融合的深度估计方法及*** | |
CN112945233A (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
CN114648639B (zh) | 一种目标车辆的检测方法、***及装置 | |
CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其*** | |
WO2022193193A1 (zh) | 数据处理方法和设备 | |
CN113034538B (zh) | 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备 | |
CN114565669A (zh) | 一种场端多相机融合定位方法 | |
CN113011212A (zh) | 图像识别方法、装置及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |