CN112767477A - 一种定位方法、装置、存储介质及电子设备 - Google Patents
一种定位方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112767477A CN112767477A CN202011633807.0A CN202011633807A CN112767477A CN 112767477 A CN112767477 A CN 112767477A CN 202011633807 A CN202011633807 A CN 202011633807A CN 112767477 A CN112767477 A CN 112767477A
- Authority
- CN
- China
- Prior art keywords
- grid semantic
- grid
- map
- information
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000003550 marker Substances 0.000 claims abstract description 58
- 230000007613 environmental effect Effects 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 230000002411 adverse Effects 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
Abstract
本发明提供一种定位方法、装置、存储介质及电子设备。所述定位方法包括：获取待定位地点的环境图像信息；提取所述环境图像信息中特定标识物的栅格语义信息；获取栅格语义地图并计算所述栅格语义地图中每个像素点位置的栅格语义值；将所述栅格语义信息与所述栅格语义值进行匹配，并根据匹配结果确定所述待定位地点的定位结果。本发明的定位解决方案稳定性高、成本较低，能有效避免光照和环境变化对定位的不良影响。
Description
技术领域
本发明涉及定位技术领域，特别是涉及一种定位方法、装置、存储介质及电子设备。
背景技术
依靠视觉和激光雷达实现定位是当前自主机器人和自动驾驶所研究的热点问题。
主流的视觉定位方案都是通过对图片提取特征点，建立特征点地图，并基于特征点进行定位。然而，特征点的提取和特征点描述子的计算容易受光照和环境的影响，即在不同光照条件和不同季节提取的特征点和描述子也各不相同。特征点和描述子的不同对定位结果的稳定性会产生很大影响，在实际应用中有较大缺陷。
以激光雷达为主的定位方案利用激光雷达感知周围环境的几何结构，建立激光点云地图，并基于激光点云地图的几何结构进行定位。激光雷达的定位精度很高，但是激光雷达的定位成本也很高，这就限制了激光雷达在实际定位中的应用。
可见，业界亟需提出新型的定位解决方案，以提高定位稳定性、降低定位成本。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种定位方法、装置、存储介质及电子设备，用于解决现有定位技术稳定性不足、成本较高的问题。
为实现上述目的及其他相关目的，本发明提供一种定位方法，包括：获取待定位地点的环境图像信息；提取所述环境图像信息中特定标识物的栅格语义信息；获取栅格语义地图并计算所述栅格语义地图中每个像素点位置的栅格语义值；将所述栅格语义信息与所述栅格语义值进行匹配，并根据匹配结果确定所述待定位地点的定位结果。
于本发明一实施例中，所述获取待定位地点的环境图像信息包括对获取环境图像信息进行预处理，所述预处理包括高斯去噪、图像拼接，其中，所述图像拼接包括3D虚拟投影、视点转换技术，拼接出的图像可被任意转换视角。
于本发明一实施例中，提取所述环境图像信息中特定标识物的栅格语义信息包括：基于深度学习目标检测算法或语义分割算法获取图像中一个或多个特定标识物的所有像素点语义信息；提取所述特定标识物的像素点语义信息作为特定标识物的栅格语义信息。
于本发明一实施例中，所述特定标识物包括路面标识物和非路面空间标识物，其中：当所述特定标识物为路面标识物时，将所述特定标识物的栅格语义信息俯视变换至道路平面进行匹配；当所述特定标识物为非路面标识物时，将所述待定位对象的局部栅格语义地图中非路面空间标识物透视变换至图像平面进行匹配。
于本发明一实施例中，所述栅格语义地图可以是全局栅格语义地图或局部栅格语义地图，其中，所述局部栅格语义地图是基于预估待定位对象在所述全局栅格语义地图中所处位置而确定的特定范围的栅格语义地图。
于本发明一实施例中，所述全局栅格语义地图构建过程包括：基于感知点云数据和定位数据建立点云地图；基于点云地图筛选特定标识物点云；基于特定标识物点云提取特定标识物的所有像素点语义信息；提取特定标识物的像素点语义信息作为特定标识物的栅格语义信息；提取每个特定标识物的栅格语义信息，形成所述全局栅格语义地图。
于本发明一实施例中，所述局部栅格语义地图构建过程包括：获取所述全局栅格语义地图；基于外部定位源或运动趋势确定待定位对象的初始定位估计值；基于初始定位估计值，获取初始定位估计值特定范围的栅格语义地图。
于本发明一实施例中，计算所述栅格语义地图中每个像素点位置的栅格语义值，包括如下步骤：
步骤1)、计算所述全局栅格语义地图或局部栅格语义地图中每个位置相对于每类栅格语义信息的距离值
其中，
o表示栅格语义地图坐标系；
表示栅格语义地图坐标系o中第i行第j列的像素点位置；Sn表示第n类栅格语义信息的集合；
表示栅格语义地图坐标系o中第i行第j列的像素点位置
与Sn的距离集合；Dmax表示预设的最大距离值；
表示距离集合
中各距离值和预设的最大距离值Dmax中的最小值；
步骤2)、根据距离值
计算所述全局栅格语义地图或局部栅格语义地图中每个位置相对于每类栅格语义信息的栅格语义值
其中，
σ表示该类栅格语义信息的离散程度。
于本发明一实施例中，将所述栅格语义信息与所述栅格语义值进行匹配，并根据匹配结果确定所述待定位地点的定位结果，包括如下步骤：
步骤1)、根据k时刻的里程计坐标系位置
k-1时刻的待定位对象世界坐标系位置
以及k-1时刻的里程计坐标系位置
预测k时刻待定位对象世界坐标系位置
其中，b为里程计坐标系；m为世界坐标系；
表示获取待定位对象在世界坐标系m中k-1时刻的位置；
表示获取待定位对象在世界坐标系m中k时刻的位置；
表示获取待定位对象在里程计坐标系b中k-1时刻的位置；
表示获取待定位对象在里程计坐标系b中k时刻的位置；
步骤2)、根据k时刻待定位对象世界坐标系位置
将在该位置获取的环境图像的栅格语义信息投影到栅格语义地图上，构建栅格语义投影误差en，
其中
其中，c表示环境图像坐标系；
表示环境图像坐标系c中第i行第j列像素；
为k时刻环境图像坐标系c中第i行第j列像素
的栅格语义值；
为k时刻
到栅格语义地图坐标系o中对应的像素
的栅格语义值；
为k时刻
到待定位对象自身坐标系的投影，
为世界坐标系m到栅格语义地图o的投影；
步骤3)、在栅格语义投影误差en的基础上，增加里程计约束误差eb：
步骤4)、结合所述里程计约束误差eb及所述栅格语义投影误差en的二范数
构建约束条件：
其中，N为所述环境图像信息中的栅格语义信息的类别数，D为每类栅格语义信息的像素数，ωnd为每个栅格语义像素的权重，ωb为车辆里程计约束权重；
步骤5)、利用G-N或L-M等算法通过计算增量，迭代求解得到当前待定位对象位置
的最优位置，并将最优位置作为所述栅格语义信息与全局栅格语义地图或局部栅格语义地图的匹配结果。
为实现上述目的及其他相关目的，本发明提供一种定位装置，包括：图像信息获取模块，用于获取待定位地点的环境图像信息；语义信息提取模块，用于提取所述环境图像信息中特定标识物的栅格语义信息；栅格语义值计算模块，用于获取栅格语义地图并计算所述栅格语义地图中每个像素点位置的栅格语义值；信息匹配定位模块，用于将所述栅格语义信息与所述栅格语义值进行匹配，并根据匹配结果确定所述待定位地点的定位结果。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序被处理器加载执行时，实现所述的定位方法。
为实现上述目的及其他相关目的，本发明提供一种电子设备，包括：处理器及存储器；其中，所述存储器用于存储计算机程序；所述处理器用于加载执行所述计算机程序，以使所述电子设备执行所述的定位方法。
如上所述，本发明的一种定位方法、装置、存储介质及电子设备获取待定位地点的环境图像信息；提取所述环境图像信息中特定标识物的栅格语义信息；获取栅格语义地图并计算所述栅格语义地图中每个像素点位置的栅格语义值计算出所述栅格语义地图中每类栅格语义信息的栅格语义值；将所述栅格语义信息与所述栅格语义值进行匹配，并根据匹配结果确定所述待定位地点的定位结果；稳定性高、成本较低，能有效避免光照和环境变化对定位的不良影响。
附图说明
图1显示为本发明一实施例中的定位方法的流程示意图。
图2显示为本发明一实施例中的全局栅格语义地图的构建流程示意图。
图3显示为本发明一实施例中的局部栅格语义地图的获取流程示意图。
图4显示为本发明一实施例中栅格语义地图中每个位置相对于一类栅格语义信息的距离值示意图。
图5显示为本发明一实施例中的定位装置的模块示意图。
图6显示为本发明一实施例中的电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。另外，本申请不对以下实施例中各步骤的执行顺序进行限定，在实际应用中各步骤之间的顺序不以本申请所提供的实施例为限。
现有技术中依靠视觉和激光雷达实现定位是自主机器人和自动驾驶所研究的热点问题。然而，这两种定位方式分别存在一些不足。
基于视觉定位技术主要通过特征点匹配，得到帧与帧之间特征点的匹配关系，通过多视角几何方程计算出这些帧对应时刻的位姿以及匹配特征点的三维坐标，构成特征点云，然后重投影到当前图像上，通过最小化所有特征点的投影误差平方和，得到最优的位置估计和特征点坐标。基于特征点的定位算法中，常用的特征点检测算法包括SIFT、SURF、FAST、ORB等。SIFT和SURF算法对旋转、尺度缩放、亮度等保持不变性，但是运算速度慢，无法实时提取和匹配。FAST算法只检测像素的灰度值，速度快，但是没有方向和尺度信息。ORB算法是在FAST算法基础上使用了BRIEF描述子，并利用图像金字塔和灰度质心法解决尺度和旋转问题，但是仍然存在对光照和环境变化敏感问题。另外，基于光流的定位算法利用图像的像素灰度信息计算相机运动，但是光流法的前提是同一空间点的像素灰度值，在各个图像中是固定不变的。由于灰度不变的假设在实际中很难满足，因此基于视觉的定位算法在实际应用中有较大缺陷。
基于激光雷达的定位算法主要通过在每帧激光点云中提取线、面特征，利用几何特征匹配得到两帧激光点云的相对位姿，构成激光点云地图，并把当前帧的激光点云特征与激光点云地图加以匹配从而得到最优位置，也即生成的点云地图只能使用激光雷达进行定位。但是激光点云地图数据量较大并且激光雷达的成本很高，要求每个使用激光点云地图定位的设备都必须装备激光雷达，这在实际应用中很难实现，很大程度上限制了基于激光雷达定位的应用。
鉴于现有技术的不足，本申请提出一种定位方法，相比于前述基于视觉定位技术的稳定性高，相比于前述基于激光雷达定位的成本较低，还能有效避免光照和环境变化对定位的不良影响。
本申请的基于语义地图的定位方法可由机器人、车机、智能手机、平板电脑、服务器等电子设备单独执行，也可以由几个电子设备组合执行，本申请对此不做限定。
如图1所示，本申请的定位方法包括如下步骤：
S11：获取待定位地点的环境图像信息。
在一实施例中，较佳的，可以通过待定位对象的图像信息获取装置获取待定位地点的环境图像信息。所述环境图像信息可以是由单个图像信息获取装置获取，也可以是由多个不同方向的图像信息获取装置获取以后通过图像拼接而成。其中，所述图像拼接包括：3D虚拟投影、视点转换技术等，拼接出的图像可被任意转换视角进行显示。
在一实施例中，较佳的，所述获取待定位地点的环境图像信息包括对获取环境图像信息进行预处理的步骤，所述预处理包括：高斯去噪、图像拼接等。
例如，步骤S11中，待定位对象在待定位地点1通过单个图像信息获取装置获得了一张环境图片，并对环境图片进行高斯去噪预处理。
又例如，步骤S11中，待定位对象在待定位地点1通过多个不同方向的图像信息获取装置获取了多张环境图片，可以通过3D虚拟投影、视点转换等技术将多张环境图片拼接成一张图片，同样地，可以对前述环境图片进行高斯去噪预处理。
S12：提取所述环境图像信息中特定标识物的栅格语义信息。
具体的，所述特定标识物包括：路面标识物和非路面空间标识物。路面标识物主要包括车道线、箭头、减速带、车位线等较为标准和稳定的地面人造标志物，非路面标识物包括除路面标识物的其它标识物，如电线杆、交通标志、建筑、景观等，本领域技术人员可自行定义。
在一实施例中，较佳的，提取所述环境图像信息中特定标识物的栅格语义信息包括：首先，基于深度学习目标检测算法或语义分割算法获取图像中一个或多个特定标识物的所有像素点语义信息；然后，提取所述特定标识物的像素点语义信息作为特定标识物的栅格语义信息。
需要说明的是，本领域技术人员可采用现有的深度学习目标检测算法、语义分割算法进行图像的语义提取，也可以采用其它算法进行图像的语义提取，本申请对此不做限定。
S13：获取栅格语义地图并计算所述栅格语义地图中每个像素点位置的栅格语义值。
其中，具体的，所述栅格语义地图可以是全局栅格语义地图或局部栅格语义地图。
如图2所示，所述全局栅格语义地图构建过程包括以下步骤：
S21：基于感知点云数据和定位数据建立点云地图；
其中，感知点云数据可由激光雷达负责生成，定位数据可由北斗装置、GPS装置负责生成。由于如何建立点云地图并不是本申请的关键发明点，故于此不再详细展开，本领域技术人员可采用现有的算法或软件基于感知点云数据和定位数据建立点云地图。
S22：基于点云地图筛选特定标识物点云；
其中，为降低全局栅格语义地图的数据量，采用点云地图中的特定标识物点云来构建全局栅格语义地图。特定标识物点云包括：路面标识物点云和非路面空间标识物点云，本领域技术人员可根据实际需要选择特定标识物的具体对象。
S23：基于特定标识物点云提取特定标识物的所有像素点语义信息；
举例而言，特定标识物为车道线，则本步骤从车道线标识物点云中提取车道线的所有像素点语义信息。
S24：提取特定标识物的像素点语义信息作为特定标识物的栅格语义信息；
S25：提取每个特定标识物的栅格语义信息，形成全局栅格语义地图。
其中，具体的，所述局部栅格语义地图是基于预估待定位对象在所述全局栅格语义地图中所处位置而确定的特定范围的栅格语义地图。
如图3所示，获取所述局部栅格语义地图包括如下步骤：
S31：获取所述全局栅格语义地图；
S32：基于外部定位源或运动趋势确定待定位对象的初始定位估计值；
其中，所述外部定位源，例如GPS、北斗、视觉SLAM、激光雷达SLAM等。所述运动趋势可以通过车辆里程计的行驶距离、行驶方向来综合判断，例如：在获取全局栅格语义地图的基础上，根据GPS获取车辆初始位置，或者利用硬件设备将获取的环境图像信息与车身数据进行时钟同步，当一帧的深度学习感知结果(提取的所述环境图像信息中特定标识物的栅格语义信息)到来时，根据时间戳查找对应车身信息。根据时间戳得到当前车身里程计值
根据k-1时刻车身位置
和车身里程计值
预测当前车身位置：
S33：基于初始定位估计值，获取初始定位估计值特定范围的栅格语义地图。
承接上述举例，本步骤从全局栅格语义地图中提取初始定位估计值特定范围的对应部分，从而形成包含初始定位估计值所在位置的一定范围的局部栅格语义地图。其中特定范围值大小可以根据实际需要进行预设。例如，将特定范围值设为10米后，即从全局栅格语义地图中选取包含当前定位估计值周围10米范围内的栅格语义地图作为局部栅格语义地图。
其中，具体的，计算所述栅格语义地图中每个像素点位置的栅格语义值，包括如下步骤：
步骤1)、计算所述全局栅格语义地图或局部栅格语义地图中每个位置相对于每类栅格语义信息的距离值
其中，
o表示栅格语义地图坐标系；
表示栅格语义地图坐标系o中第i行第j列的像素点位置；Sn表示第n类栅格语义信息的集合；
表示栅格语义地图坐标系o中第i行第j列的像素点位置
与Sn的距离集合；Dmax表示预设的最大距离值；
表示距离集合
中各距离值和预设的最大距离值Dmax中的最小值；
例如，若栅格语义地图中第一类栅格语义信息有2个，如图4中的2个黑色块所示，Dmax预设为5，则在该栅格语义地图中每个位置与第一类栅格语义信息的距离值如图4所示；
步骤2)、根据距离值
计算所述全局栅格语义地图或局部栅格语义地图中每个位置相对于每类栅格语义信息的栅格语义值
其中，
σ表示该类栅格语义信息的离散程度。
S14：将所述栅格语义信息与所述栅格语义值进行匹配，并根据匹配结果确定所述待定位地点的定位结果。
其中，具体的，将所述栅格语义信息与所述栅格语义值进行匹配，并根据匹配结果确定所述待定位地点的定位结果，包括如下步骤：
步骤1)、根据k时刻的里程计坐标系位置
k-1时刻的待定位对象世界坐标系位置
以及k-1时刻的里程计坐标系位置
预测k时刻待定位对象世界坐标系位置
其中，b为里程计坐标系；m为世界坐标系；
表示获取待定位对象在世界坐标系m中k-1时刻的位置；
表示获取待定位对象在世界坐标系m中k时刻的位置；
表示获取待定位对象在里程计坐标系b中k-1时刻的位置；
表示获取待定位对象在里程计坐标系b中k时刻的位置；
步骤2)、根据k时刻待定位对象世界坐标系位置
将在该位置获取的环境图像的栅格语义信息投影到栅格语义地图上，构建栅格语义投影误差en，
其中
其中，c表示环境图像坐标系；
表示环境图像坐标系c中第i行第j列像素；
为k时刻环境图像坐标系c中第i行第j列像素
的栅格语义值；
为k时刻
到栅格语义地图坐标系o中对应的像素
的栅格语义值；
为k时刻
到待定位对象自身坐标系的投影，
为世界坐标系m到栅格语义地图o的投影；
步骤3)、在栅格语义投影误差en的基础上，增加里程计约束误差eb：
步骤4)、结合所述里程计约束误差eb及所述栅格语义投影误差en的二范数
构建约束条件：
其中，N为所述环境图像信息中的栅格语义信息的类别数，D为每类栅格语义信息的像素数，ωnd为每个栅格语义像素的权重，ωb为车辆里程计约束权重；
步骤5)、利用G-N或L-M等算法通过计算增量，迭代求解得到当前待定位对象位置
的最优位置，并将最优位置作为所述栅格语义信息与全局栅格语义地图或局部栅格语义地图的匹配结果。
在一实施例中，当所述特定标识物为路面标识物时，将所述特定标识物的栅格语义信息俯视变换至道路平面进行匹配；当所述特定标识物为非路面标识物时，将所述待定位对象的局部栅格语义地图中非路面空间标识物透视变换至图像平面进行匹配。
值得说明的是，相比于将所述栅格语义信息与全局栅格语义地图进行匹配而言，将所述栅格语义信息与局部栅格语义地图进行匹配的速度更快、精确程度也更高。
此外，重复执行步骤S11～S14，可对定位目标进行实时、持续的定位。
实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。基于这样的理解，本发明还提供一种计算机程序产品，包括一个或多个计算机指令。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(如：软盘、硬盘、磁带)、光介质(如：DVD)、或者半导体介质(如：固态硬盘Solid State Disk(SSD))等。
如图5所示，本申请还提供一种定位装置50，由于本装置的具体实施方式与前述方法实施例的一致，故于此不再对同样的内容做重复赘述。定位装置50主要包括以下模块：
图像信息获取模块51，用于获取待定位地点的环境图像信息；
语义信息提取模块52，用于提取所述环境图像信息中特定标识物的栅格语义信息；
栅格语义值计算模块53，用于获取栅格语义地图并计算所述栅格语义地图中每个像素点位置的栅格语义值；
信息匹配定位模块54，用于将所述栅格语义信息与所述栅格语义值进行匹配，并根据匹配结果确定所述待定位地点的定位结果。
参阅图6，本实施例提供一种电子设备，电子设备可以是台式机、平板电脑、智能手机、车机等设备。详细的，电子设备至少包括通过总线连接的：存储器、处理器，其中，存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以执行前述方法实施例中的全部或部分步骤。
上述提到的***总线可以是外设部件互连标准(Peripheral PomponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该***总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上，本发明的一种定位方法、装置、存储介质及电子设备，利用点云地图提取栅格语义地图，保证栅格语义地图的准确性，降低地图数据量，并且在实时定位时利用视觉感知栅格语义信息进行定位，成本低，地图复用性高，并且感知栅格语义信息不受光照和环境变化影响，有利于提高定位的稳定性，有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (12)
1.一种定位方法，其特征在于，包括：
获取待定位地点的环境图像信息；
提取所述环境图像信息中特定标识物的栅格语义信息；
获取栅格语义地图并计算所述栅格语义地图中每个像素点位置的栅格语义值；
将所述栅格语义信息与所述栅格语义值进行匹配，并根据匹配结果确定所述待定位地点的定位结果。
2.根据权利要求1所述的方法，其特征在于，所述获取待定位地点的环境图像信息包括对获取环境图像信息进行预处理，所述预处理包括高斯去噪、图像拼接，其中，所述图像拼接包括3D虚拟投影、视点转换技术，拼接出的图像可被任意转换视角。
3.根据权利要求1所述的方法，其特征在于，提取所述环境图像信息中特定标识物的栅格语义信息，包括：
基于深度学习目标检测算法或语义分割算法获取图像中一个或多个特定标识物的所有像素点语义信息；
提取所述特定标识物的像素点语义信息作为特定标识物的栅格语义信息。
4.根据权利要求1或2所述的方法，其特征在于，所述特定标识物包括路面标识物和非路面空间标识物，其中：
当所述特定标识物为路面标识物时，将所述特定标识物的栅格语义信息俯视变换至道路平面进行匹配；
当所述特定标识物为非路面标识物时，将所述待定位对象的局部栅格语义地图中非路面空间标识物透视变换至图像平面进行匹配。
5.根据权利要求1所述的方法，其特征在于，所述栅格语义地图可以是全局栅格语义地图或局部栅格语义地图，其中，所述局部栅格语义地图是基于预估待定位对象在所述全局栅格语义地图中所处位置而确定的特定范围的栅格语义地图。
6.根据权利要求5所述的方法，其特征在于，所述全局栅格语义地图构建过程包括：
基于感知点云数据和定位数据建立点云地图；
基于点云地图筛选特定标识物点云；
基于特定标识物点云提取特定标识物的所有像素点语义信息；
提取特定标识物的像素点语义信息作为特定标识物的栅格语义信息；
基于每个特定标识物的栅格语义信息，形成所述全局栅格语义地图。
7.根据权利要求5所述的方法，其特征在于，所述局部栅格语义地图构建过程包括：
获取所述全局栅格语义地图；
基于外部定位源或运动趋势确定待定位对象的初始定位估计值；
基于初始定位估计值，获取初始定位估计值特定范围的栅格语义地图。
8.根据权利要求1或5所述的方法，其特征在于，计算所述栅格语义地图中每个像素点位置的栅格语义值，包括如下步骤：
步骤1)、计算所述全局栅格语义地图或局部栅格语义地图中每个位置相对于每类栅格语义信息的距离值
其中，
o表示栅格语义地图坐标系；
表示栅格语义地图坐标系o中第i行第j列的像素点位置；Sn表示第n类栅格语义信息的集合；
表示栅格语义地图坐标系o中第i行第j列的像素点位置
与Sn的距离集合；Dmax表示预设的最大距离值；
表示距离集合
中各距离值和预设的最大距离值Dmax中的最小值；
步骤2)、根据距离值
计算所述全局栅格语义地图或局部栅格语义地图中每个位置相对于每类栅格语义信息的栅格语义值
其中，
σ表示该类栅格语义信息的离散程度。
9.根据权利要求1所述的方法，其特征在于，将所述栅格语义信息与所述栅格语义值进行匹配，并根据匹配结果确定所述待定位地点的定位结果，包括如下步骤：
步骤1)、根据k时刻的里程计坐标系位置
k-1时刻的待定位对象世界坐标系位置
以及k-1时刻的里程计坐标系位置
预测k时刻待定位对象世界坐标系位置
其中，b为里程计坐标系；m为世界坐标系；
表示获取待定位对象在世界坐标系m中k-1时刻的位置；
表示获取待定位对象在世界坐标系m中k时刻的位置；
表示获取待定位对象在里程计坐标系b中k-1时刻的位置；
表示获取待定位对象在里程计坐标系b中k时刻的位置；
步骤2)、根据k时刻待定位对象世界坐标系位置
将在该位置获取的环境图像的栅格语义信息投影到栅格语义地图上，构建栅格语义投影误差en，
其中
其中，c表示环境图像坐标系；
表示环境图像坐标系c中第i行第j列像素；
为k时刻环境图像坐标系c中第i行第j列像素
的栅格语义值；
为k时刻
到栅格语义地图坐标系o中对应的像素
的栅格语义值；
为k时刻
到待定位对象自身坐标系的投影，
为世界坐标系m到栅格语义地图o的投影；
步骤3)、在栅格语义投影误差en的基础上，增加里程计约束误差eb：
步骤4)、结合所述里程计约束误差eb及所述栅格语义投影误差en的二范数
构建约束条件：
其中，N为所述环境图像信息中的栅格语义信息的类别数，D为每类栅格语义信息的像素数，ωnd为每个栅格语义像素的权重，ωb为车辆里程计约束权重；
步骤5)、利用G-N或L-M等算法通过计算增量，迭代求解得到当前待定位对象位置
的最优位置，并将最优位置作为所述栅格语义信息与全局栅格语义地图或局部栅格语义地图的匹配结果。
10.一种定位装置，其特征在于，包括：
图像信息获取模块，用于获取待定位地点的环境图像信息；
语义信息提取模块，用于提取所述环境图像信息中特定标识物的栅格语义信息；
栅格语义值计算模块，用于获取栅格语义地图并计算所述栅格语义地图中每个像素点位置的栅格语义值；
信息匹配定位模块，用于将所述栅格语义信息与所述栅格语义值进行匹配，并根据匹配结果确定所述待定位地点的定位结果。
11.一种计算机可读存储介质，其中存储有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1至9中任一所述的定位方法。
12.一种电子设备，其特征在于，包括：处理器及存储器；其中，
所述存储器用于存储计算机程序；
所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1至9中任一所述的定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011633807.0A CN112767477A (zh) | 2020-12-31 | 2020-12-31 | 一种定位方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011633807.0A CN112767477A (zh) | 2020-12-31 | 2020-12-31 | 一种定位方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112767477A true CN112767477A (zh) | 2021-05-07 |
Family
ID=75697904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011633807.0A Pending CN112767477A (zh) | 2020-12-31 | 2020-12-31 | 一种定位方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767477A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591847A (zh) * | 2021-07-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 一种车辆定位方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109900280A (zh) * | 2019-03-27 | 2019-06-18 | 浙江大学 | 一种基于自主导航的畜禽信息感知机器人与地图构建方法 |
| US20190234746A1 (en) * | 2016-09-14 | 2019-08-01 | Zhejiang University | Method for simultaneous localization and mapping |
| CN111539994A (zh) * | 2020-04-28 | 2020-08-14 | 武汉科技大学 | 一种基于语义似然估计的粒子滤波重定位方法 |
| CN111707275A (zh) * | 2020-05-12 | 2020-09-25 | 驭势科技（北京）有限公司 | 一种定位方法、装置、电子设备及计算机可读存储介质 |
| CN111780771A (zh) * | 2020-05-12 | 2020-10-16 | 驭势科技（北京）有限公司 | 一种定位方法、装置、电子设备及计算机可读存储介质 |
-
2020
- 2020-12-31 CN CN202011633807.0A patent/CN112767477A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190234746A1 (en) * | 2016-09-14 | 2019-08-01 | Zhejiang University | Method for simultaneous localization and mapping |
| CN109900280A (zh) * | 2019-03-27 | 2019-06-18 | 浙江大学 | 一种基于自主导航的畜禽信息感知机器人与地图构建方法 |
| CN111539994A (zh) * | 2020-04-28 | 2020-08-14 | 武汉科技大学 | 一种基于语义似然估计的粒子滤波重定位方法 |
| CN111707275A (zh) * | 2020-05-12 | 2020-09-25 | 驭势科技（北京）有限公司 | 一种定位方法、装置、电子设备及计算机可读存储介质 |
| CN111780771A (zh) * | 2020-05-12 | 2020-10-16 | 驭势科技（北京）有限公司 | 一种定位方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 胡章芳;鲍合章;陈旭;范霆铠;赵立明;: "基于改进闭环检测算法的视觉同时定位与地图构建", 计算机应用, no. 03 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591847A (zh) * | 2021-07-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 一种车辆定位方法、装置、电子设备及存储介质 |
| CN113591847B (zh) * | 2021-07-28 | 2022-12-20 | 北京百度网讯科技有限公司 | 一种车辆定位方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11145073B2 (en) | Computer vision systems and methods for detecting and modeling features of structures in images | |
| US20210390329A1 (en) | Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium | |
| CN109520500B (zh) | 一种基于终端拍摄图像匹配的精确定位及街景库采集方法 | |
| CN112836698A (zh) | 一种定位方法、装置、存储介质及电子设备 | |
| Zhang et al. | Vehicle global 6-DoF pose estimation under traffic surveillance camera | |
| CN114120149B (zh) | 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质 | |
| CN111986214A (zh) | 一种地图中人行横道的构建方法和电子设备 | |
| CN114217665A (zh) | 一种相机和激光雷达时间同步方法、装置及存储介质 | |
| WO2023284358A1 (zh) | 相机标定方法、装置、电子设备及存储介质 | |
| Kaufmann et al. | Shadow-based matching for precise and robust absolute self-localization during lunar landings | |
| Marelli et al. | ENRICH: Multi-purposE dataset for beNchmaRking In Computer vision and pHotogrammetry | |
| CN114299230A (zh) | 一种数据生成方法、装置、电子设备及存储介质 | |
| CN112767477A (zh) | 一种定位方法、装置、存储介质及电子设备 | |
| CN117132649A (zh) | 人工智能融合北斗卫星导航的船舶视频定位方法及装置 | |
| CN115578432B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN116844124A (zh) | 三维目标检测框标注方法、装置、电子设备和存储介质 | |
| CN110827340B (zh) | 地图的更新方法、装置及存储介质 | |
| CN115565072A (zh) | 一种道路垃圾识别和定位方法、装置、电子设备及介质 | |
| Sulaj et al. | Examples of real-time UAV data processing with cloud computing | |
| Ayadi et al. | A skyline-based approach for mobile augmented reality | |
| US11776148B1 (en) | Multi-view height estimation from satellite images | |
| CN117197361B (zh) | 实景三维数据库构建方法、电子设备和计算机可读介质 | |
| Armenakis et al. | Feasibility study for pose estimation of small UAS in known 3D environment using geometric hashing | |
| Ping et al. | A Rapid Method of Monocular Image Measurement Based on Rectangle Information | |
| Chu et al. | Removing past data of dynamic objects using static Velodyne LiDAR sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |