CN113920198A - 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法 - Google Patents
一种基于语义边缘对齐的由粗到精的多传感器融合定位方法 Download PDFInfo
- Publication number
- CN113920198A CN113920198A CN202111518610.7A CN202111518610A CN113920198A CN 113920198 A CN113920198 A CN 113920198A CN 202111518610 A CN202111518610 A CN 202111518610A CN 113920198 A CN113920198 A CN 113920198A
- Authority
- CN
- China
- Prior art keywords
- pose
- frame
- image
- semantic
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 title claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims description 34
- 230000011218 segmentation Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 9
- 230000003628 erosive effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims 1
- 230000007797 corrosion Effects 0.000 description 4
- 238000005260 corrosion Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
Abstract
本发明涉及无人驾驶、视觉定位技术领域,具体来说是一种基于语义边缘对齐的由粗到精的多传感器融合定位方法,包括获取高精地图、原始图像、消费级的车载GPS以及轮子里程计的步骤,本发明是一种低成本的以视觉传感器为主的高精定位方法,通过融合里程计和车载GPS信息获得鲁棒的定位结果,通过提取图像中稳定的语义特征,进行语义边缘对齐来得到车辆位姿的估计,对齐的方式不需要显式的进行三维地图特征和二维图像特征的数据关联,而是隐式的通过最小化投影点的光度残差来进行位姿的估计。
Description
技术领域
本发明涉及无人驾驶、视觉定位技术领域,具体来说是一种基于语义边缘对齐的由粗到精的多传感器融合定位方法。
背景技术
高精度定位在机器人自主导航,无人驾驶等领域扮演着重要角色。车辆在自主行驶的过程中每个时刻均需要估计其在地图中的位置,即解决“我在哪”这样一个终极命题。根据所使用的传感器的不同,存在着不同的定位方案。使用最广泛的一种定位方案是结合GNSS-IMU的惯性导航***,尽管有着较高的精度和鲁棒性,但其在面对长隧道,高楼林立的闹市区域或遮挡严重的高架桥下等场景的时候,由于GPS信号的缺失或者多路径效应的影响,惯性导航***无法输出高精度的定位估计结果。同时高精度的惯性导航***因为成本较高而无法进行大规模的商业化生产,从而对其使用造成了限制。激光雷达由于其测量精度高,在无人驾驶的定位感知领域得到了广泛应用。但在大尺度范围内的激光雷达slam中,其地图占据的存储量巨大,同时激光雷达高昂的成本使得其更多的应用在配送,仓储机器人等领域,难以在量产无人驾驶的定位中得到应用。视觉传感器由于其成本低,感知信息丰富的特点在智能汽车领域已经得到了广泛的应用。视觉slam中目前较为成熟的特征点法通过提取图像中的显著特征,在不同时刻的图像间通过匹配建立特征关联,最后在一个非线性优化框架中同时完成地图的构建和位姿的估计,但传统的视觉特征点在面对多变的环境,如光照的变化,天气的变化,视角的变化时容易失效,从而无法鲁棒的完成定位任务。近年来,随着深度学习技术的发展,从图像中进行环境的语义感知变得实时且精确。在无人驾驶环境中,包含了如车道线,路牌,杆子等常见的语义信息,这些信息相对鲁棒,不容易发生变化,从而为定位算法提供了丰富稳定的观测,同时为了克服单一视觉定位稳定性不足的问题,引入了车载低精度GPS,车载里程计信息来增加定位输出的鲁棒性和精确性。在这样的背景下,提出了一种基于高精度矢量地图的以视觉传感器为主的多传感器融合定位方法,该方法应用由粗到精的状态估计范式,通过语义边缘对齐来进行车辆位姿的估计。
发明内容
本发明的目的在于解决现有技术的不足,提出了一种应用在结构化的场景中,基于高精地图的以视觉语义信息为主的多传感器融合定位方法,在嵌入式平台上可以鲁棒精确的输出载体相对于地图的位姿。
为了实现上述目的,设计一种基于语义边缘对齐的由粗到精的多传感器融合定位方法,包括获取高精地图、原始图像、消费级的车载GPS以及轮子里程计的步骤,其特征在于方法具体如下:
A.输入的原始图像首先会经过语义分割网络进行处理得到语义分割图;
B.***初始化,获取当前车辆的初始化位姿;
C.计算当前帧的位姿初值;
D.基于当前帧的位姿初值从高精度地图中搜索语义元素,形成对应的地图元素集合,对三维地图点按照一定的距离进行插值采样形成散点;
E.将采样后的三维地图点根据当前帧的位姿初值投影到图像上,并在图像上做均匀采样;
F.将地图点在代价图像上的投影点光度残差作为非线性优化问题的优化目标,优化车辆本体的位姿使得投影点整体光度残差最小;
位姿优化的残差表达式如下:
其中I代表语义代价图像,π为相机成像模型,T_wb代表车辆相对于高精地图的位姿,也就是优化估计的状态量,T_bc表示相机相对于车辆的外参,P_w为三维地图点,1.0为代价图像中的灰度的最大值,即图像中亮度最大值;
G.在***运行的过程中,会实时构建一个基于固定长度的滑动窗口的位姿图;
H.当前帧的位姿跟踪结束后,***输出当前帧的车辆定位结果,即相对于高精地图的位置和姿态。
进一步地,输入的原始图像首先会经过语义分割网络进行处理分别得到车道线的语义分割图、杆子的语义分割图和路牌的语义分割图,为了能够在图像上进行代价构建,会对语义分割图像进行交替的图像腐蚀膨胀处理得到代价图像,对于路牌的分割图像,会首先使用拉普拉斯变换方法从二值分割图像中进行边缘提取,然后再进行腐蚀膨胀处理得到路牌对应的非线性优化的代价图像。
进一步地,***初始化具体方法如下:
步骤一.获取第一帧的输入,判断第一帧输入的GPS信号的有效性, 满足要求则将其记录为第一个有效二维轨迹点,否则退出重新进入步骤A;
步骤二.获取第二帧的输入,判断第二帧输入的GPS信号的有效性,如果有效且与第一个轨迹点的距离适中,则将其记录为第二个有效二维轨迹点,若不满足条件,则重新进步骤一;
步骤三.完成步骤二后,将车辆平面坐标设置为第二个有效轨迹点,车辆高度通过在高精地图中搜索得到,滚动角和俯仰角置为0,航向角根据第一个有效点和第二个有效点的矢量方向确定;
步骤四.在步骤三的初始位置和姿态的基础上,进行位姿搜索,设定搜索间隔和搜索数量,计算每种位姿下的语义地图点在代价图像上的投影得分,将投影得分最高的位姿作为当前车辆的初始化位姿。
进一步地,步骤C中根据前后两帧的里程计数据计算两帧间的位姿增量,利用位姿增量和前一帧的位姿计算当前帧的位姿初值。
进一步地,步骤C中如果当前帧的GPS观测为有效状态且定位***在较长时间内未经过纵向位置的更新,则利用当前帧的GPS测量更新当前帧的车辆纵向位置。
进一步地,步骤F中优化的时候会采用两阶段优化,第一阶段对所有投影点形成的残差施加鲁棒核,以对离群点观测对最小二乘优化问题造成的影响进行约束,第二阶段将一阶段优化后残差超过一定阈值的观测进行去除,对剩余观测不施加鲁棒核,重新进行优化求解。
进一步地,步骤G中新的帧被加入,最老的帧被移除,当车辆处于静止状态的时候,次新帧会被移除,位姿图中的优化变量包括当前帧以及历史帧的位姿,观测约束包括窗口中每帧的视觉边缘对齐的位姿以及两帧之间的里程计的约束。
本发明同现有技术相比,其优点在于:是一种低成本的以视觉传感器为主的高精定位方法,通过融合里程计和车载GPS信息获得鲁棒的定位结果,通过提取图像中稳定的语义特征,进行语义边缘对齐来得到车辆位姿的估计,对齐的方式不需要显式的进行三维地图特征和二维图像特征的数据关联,而是隐式的通过最小化投影点的光度残差来进行位姿的估计;是一种低成本,高精度,鲁棒的应用于自动驾驶的定位方法。
附图说明
图1是本发明高精地图示意图;
图2是本发明车道线语义分割图;
图3是本发明车道线代价图;
图4是本发明路牌语义分割图;
图5是本发明路牌代价图;
图6是本发明流程图;
图7是本发明原始及优化后的位姿地图点投影结果图;
图中:A为原始位姿地图点投影结果 B为优化后的位姿地图点投影结果。
具体实施方式
下面结合附图对本发明作进一步说明,本发明的结构和原理对本专业的人来说是非常清楚的。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提出一种视觉高精定位方法,使得结合单目相机及高精地图数据可以完成高精地图覆盖区域中道路的车辆高精度定位,对地图中的道路语义元素与单目图片中的视觉语义元素进行数据关联,基于优化方法或搜索方法可以对车辆位姿进行估计,构建非线性优化问题使代价最小化,从而完成基于视觉感知的高精度定位。其中所利用的地图语义元素包括但不限于车道线,道路两侧路灯等杆状物体,道路标示牌,停止线等。所采用的高精地图如图1所示。
如图6所示,方法流程如下:
***的输入包含离线建好的高精地图,原始图像(不限于单目,双目或多目图像),消费级的车载GPS以及轮子里程计。输入的原始图像首先会经过语义分割网络进行处理分别得到车道线的语义分割图,杆子的语义分割图和路牌的语义分割图。如图2所示,为车道线的语义分割图。
为了能够在图像上进行代价构建,会对语义分割图像进行交替的图像腐蚀膨胀处理得到代价图像。代价构建指的是图像分割的结果进行后处理,从而形成具有平滑梯度的图像,进而才能够在图像上进行梯度计算以及非线性优化。
图像腐蚀和膨胀是传统计算机视觉领域的基础操作。图像腐蚀剧透对图像“瘦身”的功能,图像膨胀具有对图像“增肥”的功能。
如图3为对车道线的语义分割图先进行多次的膨胀,再进行多次的腐蚀,最后进行一次高斯平滑即可得到车道线的代价图像,这个代价图像被用来进行后续的车辆位姿状态估计。
对于路牌的分割图像,会首先使用边缘提取算法如拉普拉斯变换等方法从二值分割图像中进行边缘提取,然后再进行腐蚀膨胀处理得到路牌对应的非线性优化的代价图像。如图4为路牌的语义分割图,图5为经过腐蚀膨胀后得到的路牌的代价图像。
杆子和车道线的处理方法完全一致,它们在实际场景下基本都是线状物体,因此不需要进行像路牌那样额外的边缘提取,其像车道线分割图像那样直接进行腐蚀膨胀处理即可。
定位***在获得输入后,主要包括***初始化,位姿跟踪两个步骤。初始化模块需要根据初始帧的输入确定车辆的初始位置和姿态。其方法如下:
1.获取第一帧的输入,判断第一帧输入的GPS信号的有效性, 满足要求则将其记录为第一个有效二维轨迹点,否则退出重新进入第一步。
2.获取第二帧的输入,判断第二帧输入的GPS信号的有效性,如果有效且与第一个轨迹点的距离适中,则将其记录为第二个有效二维轨迹点。若不满足条件,则重新进入第一步。
3.完成第二步后,将车辆平面坐标设置为第二个有效轨迹点,车辆高度通过在高精地图中搜索得到,滚动角和俯仰角置为0,航向角根据第一个有效点和第二个有效点的矢量方向确定。
4.在第三步的初始位置和姿态的基础上,进行位姿搜索。位姿搜索就是搜索出最吻合图像观测的位姿,不限于对位姿的6个自由度进行搜索,包括车辆的横向位置,纵向位置,高度,滚动角,俯仰角,航偏角。
设定一定的搜索间隔和搜索数量,如车辆横向位置上搜索间隔为0.2,正负方向上搜索数量均为40,则车辆横向位置的搜索半径为-8m到+8m.对6自由度位姿中的横向位置,航偏角,滚动角进行搜索,计算每种位姿下的语义地图点在代价图像上的投影得分,将投影得分最高的位姿作为当前车辆的初始化位姿。
每种车辆位姿下都会对应一种地图元素在图像上的投影结果,我们会基于在代价图像上的投影结果计算投影的得分,比如说当地图中的车道线投影到图像上的车道线的时候,得分就会高,如果因为位姿的不准确没有投影到图像中的对应位置的时候,得分就会低。比如说有100种位姿的假设,并行计算每种位姿假设下的投影得分,将得分最高的位姿假设作为当前车辆的初始化位姿。
5.搜索结束后,***初始化完成,***进入跟踪状态。
初始化完成后,***进入位姿跟踪状态,其步骤如下:
1.根据前后两帧的里程计数据计算两帧间的位姿增量,利用位姿增量和前一帧的位姿计算当前帧的位姿初值。
2.如果当前帧的GPS观测为有效状态且定位***在较长时间内未经过纵向位置的更新,则利用当前帧的GPS测量更新当前帧的车辆纵向位置。
3.基于当前帧的位姿初值从高精度地图中搜索语义元素,包括车道线,杆子,路牌,形成对应的地图元素集合。对三维地图点按照一定的距离进行插值采样形成散点。
4.将采样后的三维地图点根据当前帧的位姿初值投影到图像上,并在图像上做均匀采样。
5.将地图点在代价图像上的投影点光度残差作为非线性优化问题的优化目标,优化车辆本体的位姿使得投影点整体光度残差最小。当环境信息丰富的时候如路牌,车道线等元素同时存在的时候,将六自由度位姿作为优化变量。当只存在车道线等元素的时候,只对俯仰角,航偏角,横向位置以及高度这四个自由度的状态量进行优化,在这样的情况下,车辆纵向位置不可观。优化的时候会采用两阶段优化,第一阶段对所有投影点形成的残差施加鲁棒核,以对离群点观测对最小二乘优化问题造成的影响进行约束。第二阶段将一阶段优化后残差超过一定阈值的观测进行去除,对剩余观测不施加鲁棒核,重新进行优化求解。如图7所示,为初始位姿地图点投影结果和优化后的位姿地图点投影结果,经过优化后,投影点均落在代价图像上最亮的区域。
上式为位姿优化问题的残差表达式,其中I代表语义代价图像,π为相机成像模型,T_wb代表车辆相对于高精地图的位姿,也就是优化估计的状态量,T_bc表示相机相对于车辆的外参,P_w为三维地图点, 1.0为代价图像中的灰度的最大值,即图像中亮度最大值。
6.在***运行的过程中,会实时构建一个基于固定长度的滑动窗口的位姿图,新的帧被加入,最老的帧被移除。当车辆处于静止状态的时候,次新帧会被移除。位姿图中的优化变量包括当前帧以及历史帧的位姿,观测约束包括窗口中每帧的视觉边缘对齐的位姿以及两帧之间的里程计的约束。通过位姿图优化,可以获得更加鲁棒平滑的位姿输出,有利于无人驾驶***中下游规划模块的使用。
7.当前帧的位姿跟踪结束后,***输出当前帧的车辆定位结果,即相对于高精地图的位置和姿态。
Claims (7)
1.一种基于语义边缘对齐的由粗到精的多传感器融合定位方法,包括获取高精地图、原始图像、消费级的车载GPS以及轮子里程计的步骤,其特征在于方法具体如下:
A.输入的原始图像首先会经过语义分割网络进行处理得到语义分割图;
B.***初始化,获取当前车辆的初始化位姿;
C.计算当前帧的位姿初值;
D.基于当前帧的位姿初值从高精度地图中搜索语义元素,形成对应的地图元素集合,对三维地图点按照一定的距离进行插值采样形成散点;
E.将采样后的三维地图点根据当前帧的位姿初值投影到图像上,并在图像上做均匀采样;
F.将地图点在代价图像上的投影点光度残差作为非线性优化问题的优化目标,优化车辆本体的位姿使得投影点整体光度残差最小;
位姿优化的残差表达式如下:
其中I代表语义代价图像,π为相机成像模型,T_wb代表车辆相对于高精地图的位姿,也就是优化估计的状态量,T_bc表示相机相对于车辆的外参,P_w为三维地图点,1.0为代价图像中的灰度的最大值,即图像中亮度最大值;
G.在***运行的过程中,会实时构建一个基于固定长度的滑动窗口的位姿图;
H.当前帧的位姿跟踪结束后,***输出当前帧的车辆定位结果,即相对于高精地图的位置和姿态。
2.如权利要求1所述的一种基于语义边缘对齐的由粗到精的多传感器融合定位方法,其特征在于输入的原始图像首先会经过语义分割网络进行处理分别得到车道线的语义分割图、杆子的语义分割图和路牌的语义分割图,为了能够在图像上进行代价构建,会对语义分割图像进行交替的图像腐蚀膨胀处理得到代价图像,对于路牌的分割图像,会首先使用拉普拉斯变换方法从二值分割图像中进行边缘提取,然后再进行腐蚀膨胀处理得到路牌对应的非线性优化的代价图像。
3.如权利要求1所述的一种基于语义边缘对齐的由粗到精的多传感器融合定位方法,其特征在于***初始化具体方法如下:
步骤一.获取第一帧的输入,判断第一帧输入的GPS信号的有效性, 满足要求则将其记录为第一个有效二维轨迹点,否则退出重新进入步骤A;
步骤二.获取第二帧的输入,判断第二帧输入的GPS信号的有效性,如果有效且与第一个轨迹点的距离适中,则将其记录为第二个有效二维轨迹点,若不满足条件,则重新进步骤一;
步骤三.完成步骤二后,将车辆平面坐标设置为第二个有效轨迹点,车辆高度通过在高精地图中搜索得到,滚动角和俯仰角置为0,航向角根据第一个有效点和第二个有效点的矢量方向确定;
步骤四.在步骤三的初始位置和姿态的基础上,进行位姿搜索,设定搜索间隔和搜索数量,计算每种位姿下的语义地图点在代价图像上的投影得分,将投影得分最高的位姿作为当前车辆的初始化位姿。
4.如权利要求1所述的一种基于语义边缘对齐的由粗到精的多传感器融合定位方法,其特征在于所述步骤C中根据前后两帧的里程计数据计算两帧间的位姿增量,利用位姿增量和前一帧的位姿计算当前帧的位姿初值。
5.如权利要求4所述的一种基于语义边缘对齐的由粗到精的多传感器融合定位方法,其特征在于所述步骤C中如果当前帧的GPS观测为有效状态且定位***在较长时间内未经过纵向位置的更新,则利用当前帧的GPS测量更新当前帧的车辆纵向位置。
6.如权利要求1所述的一种基于语义边缘对齐的由粗到精的多传感器融合定位方法,其特征在于所述步骤F中优化的时候会采用两阶段优化,第一阶段对所有投影点形成的残差施加鲁棒核,以对离群点观测对最小二乘优化问题造成的影响进行约束,第二阶段将一阶段优化后残差超过一定阈值的观测进行去除,对剩余观测不施加鲁棒核,重新进行优化求解。
7.如权利要求1所述的一种基于语义边缘对齐的由粗到精的多传感器融合定位方法,其特征在于所述步骤G中新的帧被加入,最老的帧被移除,当车辆处于静止状态的时候,次新帧会被移除,位姿图中的优化变量包括当前帧以及历史帧的位姿,观测约束包括窗口中每帧的视觉边缘对齐的位姿以及两帧之间的里程计的约束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111518610.7A CN113920198B (zh) | 2021-12-14 | 2021-12-14 | 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111518610.7A CN113920198B (zh) | 2021-12-14 | 2021-12-14 | 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113920198A true CN113920198A (zh) | 2022-01-11 |
CN113920198B CN113920198B (zh) | 2022-02-15 |
Family
ID=79248963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111518610.7A Active CN113920198B (zh) | 2021-12-14 | 2021-12-14 | 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113920198B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116295457A (zh) * | 2022-12-21 | 2023-06-23 | 辉羲智能科技(上海)有限公司 | 一种基于二维语义地图的车辆视觉定位方法及*** |
GB2615073A (en) * | 2022-01-25 | 2023-08-02 | Mercedes Benz Group Ag | A method for correcting a pose of a motor vehicle, a computer program product, as well as an assistance system |
WO2024077935A1 (zh) * | 2022-10-12 | 2024-04-18 | 中国第一汽车股份有限公司 | 一种基于视觉slam的车辆定位方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2731051A1 (en) * | 2012-11-07 | 2014-05-14 | bioMérieux | Bio-imaging method |
CN109544636A (zh) * | 2018-10-10 | 2019-03-29 | 广州大学 | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 |
CN110781897A (zh) * | 2019-10-22 | 2020-02-11 | 北京工业大学 | 一种基于深度学习的语义边缘检测方法 |
CN111652179A (zh) * | 2020-06-15 | 2020-09-11 | 东风汽车股份有限公司 | 基于点线特征融合激光的语义高精地图构建与定位方法 |
CN111968129A (zh) * | 2020-07-15 | 2020-11-20 | 上海交通大学 | 具有语义感知的即时定位与地图构建***及方法 |
-
2021
- 2021-12-14 CN CN202111518610.7A patent/CN113920198B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2731051A1 (en) * | 2012-11-07 | 2014-05-14 | bioMérieux | Bio-imaging method |
CN109544636A (zh) * | 2018-10-10 | 2019-03-29 | 广州大学 | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 |
CN110781897A (zh) * | 2019-10-22 | 2020-02-11 | 北京工业大学 | 一种基于深度学习的语义边缘检测方法 |
CN111652179A (zh) * | 2020-06-15 | 2020-09-11 | 东风汽车股份有限公司 | 基于点线特征融合激光的语义高精地图构建与定位方法 |
CN111968129A (zh) * | 2020-07-15 | 2020-11-20 | 上海交通大学 | 具有语义感知的即时定位与地图构建***及方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2615073A (en) * | 2022-01-25 | 2023-08-02 | Mercedes Benz Group Ag | A method for correcting a pose of a motor vehicle, a computer program product, as well as an assistance system |
WO2024077935A1 (zh) * | 2022-10-12 | 2024-04-18 | 中国第一汽车股份有限公司 | 一种基于视觉slam的车辆定位方法及装置 |
CN116295457A (zh) * | 2022-12-21 | 2023-06-23 | 辉羲智能科技(上海)有限公司 | 一种基于二维语义地图的车辆视觉定位方法及*** |
CN116295457B (zh) * | 2022-12-21 | 2024-05-24 | 辉羲智能科技(上海)有限公司 | 一种基于二维语义地图的车辆视觉定位方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN113920198B (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109945858B (zh) | 用于低速泊车驾驶场景的多传感融合定位方法 | |
CN113920198B (zh) | 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法 | |
Alonso et al. | Accurate global localization using visual odometry and digital maps on urban environments | |
CN114526745B (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及*** | |
CN107167826B (zh) | 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位***及方法 | |
CN112965063B (zh) | 一种机器人建图定位方法 | |
US11158065B2 (en) | Localization of a mobile unit by means of a multi hypothesis kalman filter method | |
CN110487286B (zh) | 基于点特征投影与激光点云融合的机器人位姿判断方法 | |
CN113819905B (zh) | 一种基于多传感器融合的里程计方法及装置 | |
Cai et al. | Mobile robot localization using gps, imu and visual odometry | |
Guo et al. | Coarse-to-fine semantic localization with HD map for autonomous driving in structural scenes | |
CN115690338A (zh) | 地图构建方法、装置、设备及存储介质 | |
Dawood et al. | Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera | |
CN111007534A (zh) | 一种利用十六线激光雷达的障碍物检测方法及*** | |
CN114323033A (zh) | 基于车道线和特征点的定位方法、设备及自动驾驶车辆 | |
Wen et al. | TM 3 Loc: Tightly-coupled monocular map matching for high precision vehicle localization | |
CN113252051A (zh) | 一种地图构建方法及装置 | |
CN111986261A (zh) | 一种车辆定位方法、装置、电子设备及存储介质 | |
CN114565674A (zh) | 自动驾驶车辆城市结构化场景纯视觉定位方法及装置 | |
CN114136315A (zh) | 一种基于单目视觉辅助惯性组合导航方法及*** | |
CN115792894A (zh) | 一种多传感器融合车辆目标跟踪方法、***及存储介质 | |
Xiong et al. | Road-Model-Based road boundary extraction for high definition map via LIDAR | |
Zhang et al. | Cross-modal monocular localization in prior lidar maps utilizing semantic consistency | |
CN117075158A (zh) | 基于激光雷达的无人变形运动平台的位姿估计方法及*** | |
CN113227713A (zh) | 生成用于定位的环境模型的方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |