CN117252999A - 一种基于语义标签和稀疏点云的稠密地图构建方法 - Google Patents

一种基于语义标签和稀疏点云的稠密地图构建方法 Download PDF

Info

Publication number
CN117252999A
CN117252999A CN202311064044.6A CN202311064044A CN117252999A CN 117252999 A CN117252999 A CN 117252999A CN 202311064044 A CN202311064044 A CN 202311064044A CN 117252999 A CN117252999 A CN 117252999A
Authority
CN
China
Prior art keywords
semantic
pixel
pixels
distance
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311064044.6A
Other languages
English (en)
Inventor
李健华
王茂帅
谢恩鹏
秦西运
王辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Original Assignee
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong New Generation Information Industry Technology Research Institute Co Ltd filed Critical Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority to CN202311064044.6A priority Critical patent/CN117252999A/zh
Publication of CN117252999A publication Critical patent/CN117252999A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于语义标签和稀疏点云的稠密地图构建方法，涉及三维地图构建技术领域；包括步骤1：采集数据；步骤2：进行语义分割和点云配准；步骤3：基于点云信息进行局部地图联合优化处理；步骤4：融合局部地图，并进行闭环检测与优化；步骤5：完善稠密地图；快速准确实现稠密地图的构建。

Description

一种基于语义标签和稀疏点云的稠密地图构建方法
技术领域
本发明公开一种方法，涉及三维地图构建技术领域，具体地说是一种基于语义标签和稀疏点云的稠密地图构建方法。
背景技术
现有的地图构建方法主要关注几何准确度，通过传感器数据获取环境的几何信息，例如点云、激光雷达数据等。然而几何信息往往缺乏语义属性，无法提供对环境中物体特征和场景布局的详细描述，不能通过结合语义信息和地图构建，使机器人可以更好地理解周围环境，执行障碍物识别、目标跟踪、路径规划等任务。
发明内容
本发明针对现有技术的问题，提供一种基于语义标签和稀疏点云的稠密地图构建方法，通过语义标签分割特征，结合点云配置和稀疏点云地图的插值操作，基于语义平面的像素点再选择策略和语义点运动一致性的检测，生成新关键帧，优化局部地图的数据，通过语义平面拟合和像素点深度估计，实现稠密地图的构建。
本发明提出的具体方案是：
本发明提供一种基于语义标签和稀疏点云的稠密地图构建方法，包括：
步骤1：采集数据：采集关键帧和稀疏点云数据，定义关键帧图片像素点的语义标签，所述语义标签包括静态语义标签和动态语义标签；
步骤2：进行语义分割和点云配准：利用语义分割模型将关键帧按照语义标签分割成区域块，根据区域块将稀疏点云数据中每个点分配映射到对应的语义标签，完成稀疏点云数据与像素点对应，
利用配准算法将不同坐标系下的稀疏点云数据进行配准对齐，获得全局一致的点云信息；
步骤3：基于点云信息进行局部地图联合优化处理：检测冗余的关键帧并删除，获得最新的关键帧，滤除所述最新的关键帧中具有动态标签的像素点，
利用平面拟合算法构建语义平面：计算相同静态语义标签的像素点之间的距离，根据距离和对应的静态语义标签将边缘化的关键帧中被追踪的像素点聚合成为若干像素点组，每个像素点组中的像素点具有相同的静态语义标签且相互靠近，组成像素点组的语义平面，过滤与语义平面分布不一致的像素点；
步骤4：融合局部地图，并进行闭环检测与优化；
步骤5：根据融合后的地图，利用平面拟合算法构建语义平面，基于语义平面通过插值算法结合像素点组和静态语义标签，完善稠密地图。
进一步，所述的一种基于语义标签和稀疏点云的稠密地图构建方法中步骤1中所述静态语义标签包括道路Road、人行道Sidewalk、建筑Building、墙Wall、栏杆Fense、柱子Pole、交通信号灯Traffic Sign、交通标志Traffic Sign、绿植Vegetation、地形Terrain，
所述动态语义标签包括人、汽车、自行车、摩托车、狗和猫。
进一步，所述的一种基于语义标签和稀疏点云的稠密地图构建方法中步骤3中检测冗余的关键帧并删除，包括：设置冗余数量，若一个关键帧中超过冗余数量的像素点被至少3个关键帧所观察到，则删除所述一个关键帧。
进一步，所述的一种基于语义标签和稀疏点云的稠密地图构建方法中所述步骤3中利用平面拟合算法根据关键帧中像素点的欧几里得距离和像素点灰度差异计算组合距离，所述组合距离表示相同静态语义标签的像素点之间的距离，
根据组合距离将边缘化的关键帧中相同静态语义标签的被追踪的像素点聚合成点对，通过点对里面像素点之间的欧几里得距离和点对平均灰度差异，将点对聚合成像素点组，并设定距离阈值，防止像素点组内存在像素点超过距离阈值跨越静态语义标签，
根据像素点组中像素点的三维坐标，利用RANSAC方法，组成像素点组对应的语义平面。
进一步，所述的一种基于语义标签和稀疏点云的稠密地图构建方法中步骤3中设置采集关键帧像素点的网格间隔为S，采集关键帧图片中像素点，像素点间的欧几里得距离disO,像素点灰度差异disG,组合距离disC,利用如下公式表示：
通过上述公式计算组合距离disC，Nc表示像素点间最大颜色距离，设定为常数，使Ns等于S，表示网格间隔内采集的像素点间的最大空间距离，(xi,yi)和(xj,yj)分别表示像素点坐标，[li,ai,bi]和[lj,aj,bj]分别表示像素点在cielab颜色空间的像素颜色。
本发明提供一种基于语义标签和稀疏点云的稠密地图构建装置，包括采集模块、语义分割和点云配准模块、联合优化处理模块、融合和检测模块以及更新模块，
采集模块采集数据：采集关键帧和稀疏点云数据，定义关键帧图片像素点的语义标签，所述语义标签包括静态语义标签和动态语义标签；
语义分割和点云配准模块进行语义分割和点云配准：利用语义分割模型将关键帧按照语义标签分割成区域块，根据区域块将稀疏点云数据中每个点分配映射到对应的语义标签，完成稀疏点云数据与像素点对应，
利用配准算法将不同坐标系下的稀疏点云数据进行配准对齐，获得全局一致的点云信息；
联合优化处理模块基于点云信息进行局部地图联合优化处理：检测冗余的关键帧并删除，获得最新的关键帧，滤除所述最新的关键帧中具有动态标签的像素点，
利用平面拟合算法构建语义平面：计算相同静态语义标签的像素点之间的距离，根据距离和对应的静态语义标签将边缘化的关键帧中被追踪的像素点聚合成为若干像素点组，每个像素点组中的像素点具有相同的静态语义标签且相互靠近，组成像素点组的语义平面，过滤与语义平面分布不一致的像素点；
融合和检测模块融合局部地图，并进行闭环检测与优化；
更新模块根据融合后的地图，利用平面拟合算法构建语义平面，基于语义平面通过插值算法结合像素点组和静态语义标签，完善稠密地图。
进一步，所述的一种基于语义标签和稀疏点云的稠密地图构建装置中采集模块定义的所述静态语义标签包括道路Road、人行道Sidewalk、建筑Building、墙Wall、栏杆Fense、柱子Pole、交通信号灯Traffic Sign、交通标志Traffic Sign、绿植Vegetation、地形Terrain，
所述动态语义标签包括人、汽车、自行车、摩托车、狗和猫。
进一步，所述的一种基于语义标签和稀疏点云的稠密地图构建装置中联合优化处理模块检测冗余的关键帧并删除，包括：设置冗余数量，若一个关键帧中超过冗余数量的像素点被至少3个关键帧所观察到，则删除所述一个关键帧。
进一步，所述的一种基于语义标签和稀疏点云的稠密地图构建装置中联合优化处理模块中利用平面拟合算法根据关键帧中像素点的欧几里得距离和像素点灰度差异计算组合距离，所述组合距离表示相同静态语义标签的像素点之间的距离，
根据组合距离将边缘化的关键帧中相同静态语义标签的被追踪的像素点聚合成点对，通过点对里面像素点之间的欧几里得距离和点对平均灰度差异，将点对聚合成像素点组，并设定距离阈值，防止像素点组内存在像素点超过距离阈值跨越静态语义标签，
根据像素点组中像素点的三维坐标，利用RANSAC方法，组成像素点组对应的语义平面。
进一步，所述的一种基于语义标签和稀疏点云的稠密地图构建装置中联合优化处理模块中设置采集关键帧像素点的网格间隔为S，采集关键帧图片中像素点，像素点间的欧几里得距离disO,像素点灰度差异disG,组合距离disC,利用如下公式表示：
通过上述公式计算组合距离disC，Nc表示像素点间最大颜色距离，设定为常数，使Ns等于S，表示网格间隔内采集的像素点间的最大空间距离，(xi,yi)和(xj,yj)分别表示像素点坐标，[li,ai,bi]和[lj,aj,bj]分别表示像素点在cielab颜色空间的像素颜色。
本发明的有益之处是：
本发明提供一种基于语义标签和稀疏点云的稠密地图构建方法，通过语义标签分割特征，结合点云配准和稀疏点云地图的插值操作，基于语义平面的像素点再选择策略，生成新关键帧，优化局部地图的数据，通过语义平面拟合和像素点深度估计，快速准确实现稠密地图的构建。
附图说明
图1是本发明方法流程示意图。
图2是本发明方法应用布局示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供一种基于语义标签和稀疏点云的稠密地图构建方法，包括：
步骤1：采集数据：采集关键帧和稀疏点云数据，定义关键帧图片像素点的语义标签，所述语义标签包括静态语义标签和动态语义标签；
步骤2：进行语义分割和点云配准：利用语义分割模型将关键帧按照语义标签分割成区域块，根据区域块将稀疏点云数据中每个点分配映射到对应的语义标签，
利用配准算法将不同坐标系下的稀疏点云数据进行配准对齐，获得全局一致的点云信息；
步骤3：基于点云信息进行局部地图联合优化处理：检测冗余的关键帧并删除，获得最新的关键帧，滤除所述最新的关键帧中具有动态标签的像素点，
利用平面拟合算法构建语义平面：计算相同静态语义标签的像素点之间的距离，根据距离和对应的静态语义标签将边缘化的关键帧中被追踪的像素点聚合成为若干像素点组，每个像素点组中的像素点具有相同的静态语义标签且相互靠近，组成像素点组的语义平面，过滤与语义平面分布不一致的像素点；
步骤4：融合局部地图，并进行闭环检测与优化；
步骤5：根据融合后的地图，利用平面拟合算法构建语义平面，基于语义平面通过插值算法结合像素点组和静态语义标签，完善稠密地图。
本发明方法对地图构建丰富了语义信息，而基于语义信息的地图构建方法可以为每个地图点分配语义标签，例如道路、建筑、树木、行人等，丰富了地图的含义和表达能力；
增强了环境感知能力：语义信息使机器人能够更好地理解和感知周围环境。通过语义标签，机器人可以识别出不同的物体和场景，从而更准确地进行位置定位、障碍物检测、目标跟踪等任务。
进一步提高导航和路径规划的效率：机器人可以根据目标的语义属性进行路径规划和导航，更快地到达目的地。例如可以选择穿过行人区域而避开车辆区域，或者选择适合行人的路径而非车辆道路。
优化决策和交互能力：基于语义信息的地图可以为机器人提供更多的上下文和语义信息，帮助它做出更准确的决策。例如，机器人可以根据语义标签区分不同类型的障碍物，选择适当的绕行策略。
更好的人机交互和可解释性：语义信息不仅对机器人智能决策有帮助，还可以为人机交互提供更丰富的表达能力。通过语义地图，人们可以更直观地了解机器人的环境感知和决策过程。
具体应用中，在本发明方法的一些实施例中，基于语义标签和稀疏点云构建稠密地图时，可参考过程如下：
步骤1：采集数据：利用激光雷达等传感器采集关键帧和稀疏点云数据，定义关键帧图片像素点的语义标签，所述语义标签包括静态语义标签和动态语义标签。采集数据后可进行初始化处理。
进一步地，所述静态语义标签包括道路Road、人行道Sidewalk、建筑Building、墙Wall、栏杆Fense、柱子Pole、交通信号灯Traffic Sign、交通标志Traffic Sign、绿植Vegetation、地形Terrain，
所述动态语义标签包括人、汽车、自行车、摩托车、狗和猫。本发明使用静态语义标签，降低语义分割网络上的计算资源消耗。
步骤2：进行语义分割和点云配准：利用语义分割模型将关键帧按照语义标签分割成区域块，根据区域块将稀疏点云数据中每个点分配映射到对应的语义标签，
利用配准算法将不同坐标系下的稀疏点云数据进行配准对齐，获得全局一致的点云信息。其中语义分割模型可选用现有的语义分割模型，将关键帧按照语义标签分割成区域块，根据区域块将稀疏点云数据中每个点分配映射到对应的语义标签。
对于多次采集的稀疏点云数据，通过配准算法(Iterative Closest Point，ICP)将不同位置的点云进行对齐，使其在同一个坐标系下，获得全局一致的点云信息。
步骤3：基于点云信息进行局部地图联合优化处理：检测冗余的关键帧并删除。其中检测冗余的关键帧并删除，包括：设置冗余数量，若一个关键帧中超过冗余数量的像素点被至少3个关键帧所观察到，则删除所述一个关键帧。冗余数量通常包含90％的像素点。可以利用光束平差法获取关键帧，计算关键帧的生长树和词袋BOW模型，追踪两个关键帧中相同像素点的不同位置。
获得最新的关键帧，滤除所述最新的关键帧中具有动态标签的像素点。其中利用检测运动一致性像素点：利用像素点的语义标签和像素点在图像中位置信息，将被追踪的像素点分为若干像素点组，然后基于像素点组和极平面几何限制滤除具有动态标签的像素点，并在最新的关键帧中对应滤除具有动态标签的像素点的区域将像素点设置成不追踪，减少动态语义标签目标的影响。
利用平面拟合算法构建语义平面：计算相同静态语义标签的像素点之间的距离，根据距离和对应的静态语义标签将边缘化的关键帧中被追踪的像素点聚合成为若干像素点组，每个像素点组中的像素点具有相同的静态语义标签且相互靠近，组成像素点组的语义平面，过滤与语义平面分布不一致的像素点。
进一步，步骤3中利用平面拟合算法根据关键帧中像素点的欧几里得距离和像素点灰度的差异组合距离，计算相同静态语义标签的像素点之间的距离，
根据组合距离将边缘化的关键帧中相同静态语义标签的被追踪的像素点聚合成点对，通过点对里面像素点之间的欧几里得距离和点对平均灰度差异，将点对聚合成像素点组，并设定距离阈值，防止像素点组内存在像素点超过距离阈值跨越静态语义标签，
根据像素点组中像素点的三维坐标，利用RANSAC方法，组成像素点组对应的语义平面。其中平面拟合算法执行时，首先设置采集关键帧像素点的网格间隔为S，采集关键帧图片中像素点，像素点间的欧几里得距离disO,像素点灰度差异disG,组合距离disC,利用如下公式表示：
通过上述公式计算组合距离disC，Nc表示像素点间最大颜色距离，设定为常数，使Ns等于S，表示网格间隔内采集的像素点间的最大空间距离，(xi,yi)和(xj,yj)分别表示像素点坐标，[li,ai,bi]和[lj,aj,bj]分别表示像素点在cielab颜色空间的像素颜色。本发明使用像素点灰度差异来区分同一个物体的不同位置的点，例如同一栋房子的墙壁和顶面。首先使用组合距离disC将边缘化帧中相同语义标签的被追踪像素点聚合成点对，然后通过点对里面的点之间的欧几里得距离dism-O和点对平均灰度差异dism-G，将最近的、次近的点对聚合成像素点组。然后通过设定距离阈值disthp防止生成的像素点组跨越同一静态语义标签。经过去除重复的点之后，以上每个像素点组内可以至少有四个不在同一条线上的点，同时像素点组中的点属于同一个语义标签且相互靠近，再根据点组中点的三维坐标，使用RANSAC方法，估计出像素点组对应的语义平面，比如道路平面或建筑物平面等。以上生成的语义平面都有一个对应的标志，这个标志具有位置、灰度和语义标签信息。
步骤4：融合局部地图，并进行闭环检测与优化。通过闭环检测、闭环校正、和全局位姿优化操作，将多个稠密点云地图进行融合，消除重叠区域的冲突，得到更完整的地图表示。使用图优化算法对融合后的地图进行优化，消除噪声和估计误差，其中图优化算法有g2o、iSAM、HOG-Man、SPA2d等，一般定义优化图中的点是相机位姿，边是相机位姿变换关系，一般是误差项。构建优化图之后，选择初值进行迭代，计算对应于当前估计值的雅可比矩阵和海塞矩阵，同时求解稀疏线性方程HkΔx＝-bkHkΔx＝-bk，得到梯度方向，继续用高斯-牛顿或L-M方法进行迭代。直到迭代结束，返回优化值。
步骤5：根据融合后的地图，利用平面拟合算法构建语义平面，基于语义平面通过插值算法结合像素点组和静态语义标签，完善稠密地图。其中将稠密地图表示为三维网格形式，利用边缘化帧像素点在图像中的位置信息和对应语义标签将边缘化帧中的被追踪像素分为若干像素点组，每一个像素点组中的点具有相同的静态语义标签且相互靠近，可视在同一个语义平面上。根据像素点的三维坐标拟合语义平面，通过插值算法，如最近邻插值、高斯过程插值等，结合点位和静态语义标签，根据语义平面恢复城市道路环境的稠密语义地图，最终达到从稀疏点云中完善稠密地图的目的。可以在导航、路径规划等应用中使用，利用地图中的语义信息，优化机器人的导航和决策能力。
本发明提供一种基于语义标签和稀疏点云的稠密地图构建装置，包括采集模块、语义分割和点云配准模块、联合优化处理模块、融合和检测模块以及更新模块，
采集模块采集数据：采集关键帧和稀疏点云数据，定义关键帧图片像素点的语义标签，所述语义标签包括静态语义标签和动态语义标签；
语义分割和点云配准模块进行语义分割和点云配准：利用语义分割模型将关键帧按照语义标签分割成区域块，根据区域块将稀疏点云数据中每个点分配映射到对应的语义标签，
利用配准算法将不同坐标系下的稀疏点云数据进行配准对齐，获得全局一致的点云信息；
联合优化处理模块基于点云信息进行局部地图联合优化处理：检测冗余的关键帧并删除，获得最新的关键帧，滤除所述最新的关键帧中具有动态标签的像素点，
利用平面拟合算法构建语义平面：计算相同静态语义标签的像素点之间的距离，根据距离和对应的静态语义标签将边缘化的关键帧中被追踪的像素点聚合成为若干像素点组，每个像素点组中的像素点具有相同的静态语义标签且相互靠近，组成像素点组的语义平面，过滤与语义平面分布不一致的像素点；
融合和检测模块融合局部地图，并进行闭环检测与优化；
更新模块根据融合后的地图，利用平面拟合算法构建语义平面，基于语义平面通过插值算法结合像素点组和静态语义标签，完善稠密地图。
上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
同样地，本发明装置通过语义标签分割特征，结合点云配准和稀疏点云地图的插值操作，基于语义平面的像素点再选择策略，生成新关键帧，优化局部地图的数据，通过语义平面拟合和像素点深度估计，快速准确实现稠密地图的构建。
需要说明的是，上述各流程和各装置结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的***结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种基于语义标签和稀疏点云的稠密地图构建方法，其特征是包括：
步骤1：采集数据：采集关键帧和稀疏点云数据，定义关键帧图片像素点的语义标签，所述语义标签包括静态语义标签和动态语义标签；
步骤2：进行语义分割和点云配准：利用语义分割模型将关键帧按照语义标签分割成区域块，根据区域块将稀疏点云数据中每个点分配映射到对应的语义标签，完成稀疏点云数据与像素点对应，
利用配准算法将不同坐标系下的稀疏点云数据进行配准对齐，获得全局一致的点云信息；
步骤3：基于点云信息进行局部地图联合优化处理：检测冗余的关键帧并删除，获得最新的关键帧，滤除所述最新的关键帧中具有动态标签的像素点，
利用平面拟合算法构建语义平面：计算相同静态语义标签的像素点之间的距离，根据距离和对应的静态语义标签将边缘化的关键帧中被追踪的像素点聚合成为若干像素点组，每个像素点组中的像素点具有相同的静态语义标签且相互靠近，组成像素点组的语义平面，过滤与语义平面分布不一致的像素点；
步骤4：融合局部地图，并进行闭环检测与优化；
步骤5：根据融合后的地图，利用平面拟合算法构建语义平面，基于语义平面通过插值算法结合像素点组和静态语义标签，完善稠密地图。
2.根据权利要求1所述的一种基于语义标签和稀疏点云的稠密地图构建方法，其特征是步骤1中所述静态语义标签包括道路Road、人行道Sidewalk、建筑Building、墙Wall、栏杆Fense、柱子Pole、交通信号灯Traffic Sign、交通标志Traffic Sign、绿植Vegetation、地形Terrain，
所述动态语义标签包括人、汽车、自行车、摩托车、狗和猫。
3.根据权利要求1所述的一种基于语义标签和稀疏点云的稠密地图构建方法，其特征是步骤3中检测冗余的关键帧并删除，包括：设置冗余数量，若一个关键帧中超过冗余数量的像素点被至少3个关键帧所观察到，则删除所述一个关键帧。
4.根据权利要求1所述的一种基于语义标签和稀疏点云的稠密地图构建方法，其特征是所述步骤3中利用平面拟合算法根据关键帧中像素点的欧几里得距离和像素点灰度差异计算组合距离，所述组合距离表示相同静态语义标签的像素点之间的距离，
根据组合距离将边缘化的关键帧中相同静态语义标签的被追踪的像素点聚合成点对，通过点对里面像素点之间的欧几里得距离和点对平均灰度差异，将点对聚合成像素点组，并设定距离阈值，防止像素点组内存在像素点超过距离阈值跨越静态语义标签，
根据像素点组中像素点的三维坐标，利用RANSAC方法，组成像素点组对应的语义平面。
5.根据权利要求4所述的一种基于语义标签和稀疏点云的稠密地图构建方法，其特征是步骤3中设置采集关键帧像素点的网格间隔为S，采集关键帧图片中像素点，像素点间的欧几里得距离disO,像素点灰度差异disG,组合距离disC,利用如下公式表示：
通过上述公式计算组合距离disC，Nc表示像素点间最大颜色距离，设定为常数，使Ns等于S，表示网格间隔内采集的像素点间的最大空间距离，(xi,yi)和(xj,yj)分别表示像素点坐标，[li,ai,bi]和[lj,aj,bj]分别表示像素点在cielab颜色空间的像素颜色。
6.一种基于语义标签和稀疏点云的稠密地图构建装置，其特征是包括采集模块、语义分割和点云配准模块、联合优化处理模块、融合和检测模块以及更新模块，
采集模块采集数据：采集关键帧和稀疏点云数据，定义关键帧图片像素点的语义标签，所述语义标签包括静态语义标签和动态语义标签；
语义分割和点云配准模块进行语义分割和点云配准：利用语义分割模型将关键帧按照语义标签分割成区域块，根据区域块将稀疏点云数据中每个点分配映射到对应的语义标签，完成稀疏点云数据与像素点对应，
利用配准算法将不同坐标系下的稀疏点云数据进行配准对齐，获得全局一致的点云信息；
联合优化处理模块基于点云信息进行局部地图联合优化处理：检测冗余的关键帧并删除，获得最新的关键帧，滤除所述最新的关键帧中具有动态标签的像素点，
利用平面拟合算法构建语义平面：计算相同静态语义标签的像素点之间的距离，根据距离和对应的静态语义标签将边缘化的关键帧中被追踪的像素点聚合成为若干像素点组，每个像素点组中的像素点具有相同的静态语义标签且相互靠近，组成像素点组的语义平面，过滤与语义平面分布不一致的像素点；
融合和检测模块融合局部地图，并进行闭环检测与优化；
更新模块根据融合后的地图，利用平面拟合算法构建语义平面，基于语义平面通过插值算法结合像素点组和静态语义标签，完善稠密地图。
7.根据权利要求6所述的一种基于语义标签和稀疏点云的稠密地图构建装置，其特征是采集模块定义的所述静态语义标签包括道路Road、人行道Sidewalk、建筑Building、墙Wall、栏杆Fense、柱子Pole、交通信号灯Traffic Sign、交通标志Traffic Sign、绿植Vegetation、地形Terrain，
所述动态语义标签包括人、汽车、自行车、摩托车、狗和猫。
8.根据权利要求6所述的一种基于语义标签和稀疏点云的稠密地图构建装置，其特征是联合优化处理模块检测冗余的关键帧并删除，包括：设置冗余数量，若一个关键帧中超过冗余数量的像素点被至少3个关键帧所观察到，则删除所述一个关键帧。
9.根据权利要求6所述的一种基于语义标签和稀疏点云的稠密地图构建装置，其特征是联合优化处理模块中利用平面拟合算法根据关键帧中像素点的欧几里得距离和像素点灰度差异计算组合距离，所述组合距离表示相同静态语义标签的像素点之间的距离，
根据组合距离将边缘化的关键帧中相同静态语义标签的被追踪的像素点聚合成点对，通过点对里面像素点之间的欧几里得距离和点对平均灰度差异，将点对聚合成像素点组，并设定距离阈值，防止像素点组内存在像素点超过距离阈值跨越静态语义标签，
根据像素点组中像素点的三维坐标，利用RANSAC方法，组成像素点组对应的语义平面。
10.根据权利要求9所述的一种基于语义标签和稀疏点云的稠密地图构建方法，其特征是联合优化处理模块中设置采集关键帧像素点的网格间隔为S，采集关键帧图片中像素点，像素点间的欧几里得距离disO,像素点灰度差异disG,组合距离disC,利用如下公式表示：
通过上述公式计算组合距离disC，Nc表示像素点间最大颜色距离，设定为常数，使Ns等于S，表示网格间隔内采集的像素点间的最大空间距离，(xi,yi)和(xj,yj)分别表示像素点坐标，[li,ai,bi]和[lj,aj,bj]分别表示像素点在cielab颜色空间的像素颜色。
CN202311064044.6A 2023-08-23 2023-08-23 一种基于语义标签和稀疏点云的稠密地图构建方法 Pending CN117252999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311064044.6A CN117252999A (zh) 2023-08-23 2023-08-23 一种基于语义标签和稀疏点云的稠密地图构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311064044.6A CN117252999A (zh) 2023-08-23 2023-08-23 一种基于语义标签和稀疏点云的稠密地图构建方法

Publications (1)

Publication Number Publication Date
CN117252999A true CN117252999A (zh) 2023-12-19

Family

ID=89134037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311064044.6A Pending CN117252999A (zh) 2023-08-23 2023-08-23 一种基于语义标签和稀疏点云的稠密地图构建方法

Country Status (1)

Country Link
CN (1) CN117252999A (zh)

Similar Documents

Publication Publication Date Title
CN111928862B (zh) 利用激光雷达和视觉传感器融合在线构建语义地图的方法
Zai et al. 3-D road boundary extraction from mobile laser scanning data via supervoxels and graph cuts
CN110084272B (zh) 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
US10437252B1 (en) High-precision multi-layer visual and semantic map for autonomous driving
CN114842438B (zh) 用于自动驾驶汽车的地形检测方法、***及可读存储介质
US10794710B1 (en) High-precision multi-layer visual and semantic map by autonomous units
Liang et al. Video stabilization for a camcorder mounted on a moving vehicle
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和***
CN111652179A (zh) 基于点线特征融合激光的语义高精地图构建与定位方法
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN111006655A (zh) 机场巡检机器人多场景自主导航定位方法
Zou et al. Real-time full-stack traffic scene perception for autonomous driving with roadside cameras
CN114509065B (zh) 地图构建方法、***、车辆终端、服务器端及存储介质
KR20170126740A (ko) 물체 탐지 장치 및 방법
CN113126115A (zh) 基于点云的语义slam方法、装置、电子设备和存储介质
CN114815810A (zh) 无人机协同的水上清洁机器人路径规划方法及设备
Jang et al. Road lane semantic segmentation for high definition map
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN114120283A (zh) 一种道路场景三维语义分割中未知障碍物的判别方法
Muresan et al. Real-time object detection using a sparse 4-layer LIDAR
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN116597122A (zh) 数据标注方法、装置、电子设备及存储介质
CN117593685B (zh) 真值数据的构建方法和装置、存储介质
CN113671522B (zh) 基于语义约束的动态环境激光slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination