CN111461245B - 一种融合点云和图像的轮式机器人语义建图方法及*** - Google Patents

一种融合点云和图像的轮式机器人语义建图方法及*** Download PDF

Info

Publication number
CN111461245B
CN111461245B CN202010272666.8A CN202010272666A CN111461245B CN 111461245 B CN111461245 B CN 111461245B CN 202010272666 A CN202010272666 A CN 202010272666A CN 111461245 B CN111461245 B CN 111461245B
Authority
CN
China
Prior art keywords
semantic
point cloud
grid
laser
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010272666.8A
Other languages
English (en)
Other versions
CN111461245A (zh
Inventor
张沪寅
黄凯
郭迟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010272666.8A priority Critical patent/CN111461245B/zh
Publication of CN111461245A publication Critical patent/CN111461245A/zh
Application granted granted Critical
Publication of CN111461245B publication Critical patent/CN111461245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种融合点云和图像的轮式机器人语义建图方法及***，其解决了激光SLAM构建的地图仅支持机器人导航的问题，构建嵌入语义标注的地图，属于移动机器人SLAM领域。本发明的主要内容是一种从二维点云中提取语义，在二维栅格地图中保存、更新和优化语义的方法，其主要步骤包括图像上基于深度学习的目标检测、点云分割、包围盒与分割的匹配、地图单元语义更新，以及基于SLAM全局优化和聚类的语义优化。本发明方法具有实时、装置简单、地图信息丰富等优点，旨在实现室内移动机器人智能导航及人机交互。

Description

一种融合点云和图像的轮式机器人语义建图方法及***
技术领域
本发明涉及同步定位与建图技术领域，具体涉及一种融合点云和图像的轮式机器人语义建图方法及***。
背景技术
随着人工智能的迅猛发展，移动机器人领域正发生翻天覆地的变化，机器人的智能化进程也随之加快。机器人依靠SLAM算法构建可用于导航的地图这一方法已相当成熟，而当环境十分复杂或处于动态变化之中，机器人需要具备理解场景及其中各个物体部件的能力，语义地图作为这项能力的基本实现方式同时也是智能导航及人机交互的基础。
现有技术中，SLAM(Simultaneous Localization And Mapping同步定位与建图)技术按使用的传感器可以分为激光SLAM和视觉SLAM。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
激光SLAM中，单线激光雷达在低成本服务机器人领域使用广泛但其提取的二维点云信息匮乏以致难以提取语义，多线激光雷达价格昂贵且多用于自动驾驶场景。视觉SLAM，视觉传感器成本较为低廉，但难以支持SLAM算法构建可供机器人导航的稠密地图。
由此可知，现有技术中的建图方法构建的地图仅支持机器人导航，包含的信息不够丰富。
发明内容
本发明提出一种融合点云和图像的轮式机器人语义建图方法及***，用于解决或者至少部分解决现有技术的方法构建的地图信息不够丰富的技术问题。
本发明面向搭载单线激光雷达和相机的轮式机器人，提供一种构建语义地图的方法。以二维点云和图像为输入，输出标记有各个物体的二维栅格地图。该发明为使用低成本室内移动机器人实时构建语义地图提供一种可靠的解决方案，具有非常大的研究和应用价值。
本发明第一方面提供了一种融合点云和图像的轮式机器人语义建图方法，包括：
S1：采用目标检测卷积神经网络从单目相机读取的图像中提取标识物***置的包围盒及对应的语义类别和置信度；
S2：将单线激光雷达读取的二维点云基于几何特征进行分割，得到点云分割；
S3：将包围盒与点云分割进行匹配，将匹配得到的点云分割、与包围盒对应的语义类别和置信度组合成语义激光；
S4：将语义激光作为输入，采用激光SLAM算法构建二维栅格地图，在仅包含占据概率的栅格中加入由各类别累计置信度、更新次数组成的语义结构体，通过点云帧间匹配找到语义激光观测到的栅格后，累计指定类别的置信度并将更新次数递增，当前子图构建完成时计算每个栅格中平均置信度最大的语义类别并保存，其中，占据概率表示栅格被障碍物占据的可能性大小；
S5：利用SLAM的后端优化调整子图和子图所包含的栅格的全局位姿，采用聚类方法对栅格进行聚类，得到最终的轮式机器人语义地图。
在一种实施方式中，S1中去除置信度低于预设值、语义类别不属于常见室内静态物体以及包围盒不经过激光扫描平面的目标检测结果。
在一种实施方式中，S2具体包括：
根据处于同一水平面的激光扫描点之间的几何距离是否大于阈值对二维点云进行分割，同时对处于相机视野内外的两部分点云作区分，将视野外的点云直接用于激光SLAM建图，将视野内的点云与图像的信息融合再用于SLAM建图。
在一种实施方式中，S3具体包括：
S3.1：根据预先获得的激光雷达与单目相机之间的标定关系，将分割后的二维点云投影至图像上；
S3.2：将投影后的结果与包围盒进行匹配，根据落入包围盒内的点云投影点数在总点数中的占比，判定点云分割是否与包围盒匹配。
在一种实施方式中，S4具体包括：
S4.1：通过点云帧间匹配找到语义激光观测到的栅格，对于每一个栅格，更新栅格的占据概率，同时累计语义激光对应语义类别的置信度并使更新次数递增；
S4.2：设置子图大小并融入相应数量的点云，子图构建完成后，计算每个栅格平均置信度最大的语义类别，当该类别对应置信度小于阈值时，将该栅格的语义类别视为背景并清除语义信息。
在一种实施方式中，S5具体包括：
S5.1：将具有除背景外语义类别的栅格与所在子图绑定，采用SLAM后端优化调整子图位姿后获取上述栅格的全局位姿，并在全局地图相应位置进行语义标注，语义标注包括语义类别、物体序号和包围盒；
S5.2：利用基于密度的聚类算法DBSCAN算法对栅格进行聚类，剔除因错误语义更新出现的离群点，组合具有相同语义类别的邻近栅格并以包围盒标注，最后分配标签号以代表各个独立物体。
基于同样的发明构思，本发明第二方面提供了一种融合点云和图像的轮式机器人语义建图***，包括：
语义提取模块，用于采用目标检测卷积神经网络从单目相机读取的图像中提取标识物***置的包围盒及对应的语义类别和置信度；
点云分割模块，用于将单线激光雷达读取的二维点云基于几何特征进行分割，得到点云分割；
语义匹配模块，用于将包围盒与点云分割进行匹配，将匹配得到的点云分割、与包围盒对应的语义类别和置信度组合成语义激光；
二维栅格地图构建模块，用于将语义激光作为输入，采用激光SLAM算法构建二维栅格地图，在仅包含占据概率的栅格中加入由各类别累计置信度、更新次数组成的语义结构体，通过点云帧间匹配找到语义激光观测到的栅格后，累计指定类别的置信度并将更新次数递增，当前子图构建完成时计算每个栅格中平均置信度最大的语义类别并保存，其中，占据概率表示栅格被障碍物占据的可能性大小；
优化模块，用于利用SLAM的后端优化调整子图和子图所包含的栅格的全局位姿，采用聚类方法对栅格进行聚类，得到最终的语义地图。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的一种融合点云和图像的轮式机器人语义建图方法，首先利用目标检测卷积神经网络从单目相机读取的图像中提取出物体的语义，包括标识物***置的包围盒、类别和置信度；然后，将单线激光雷达读取的二维点云基于几何特征进行分割；接着将包围盒与点云分割进行匹配，将匹配得到的点云分割、与包围盒对应的语义类别和置信度组合成语义激光；然后将语义激光作为输入，采用激光SLAM算法构建二维栅格地图，累计栅格中各类别的语义置信度，所在子图构建完成时计算置信度最大的语义类别，最后利用SLAM的后端优化调整语义的全局位姿，对包含明确语义类别的栅格进行聚类，生成全局一致的语义地图。
通过本发明的方法，可以将神经网络提取的物体语义与单线激光雷达读取的二维点云进行融合，并形成语义激光用于二维栅格地图的构建，更新二维栅格地图中原有占有概率的同时，累计栅格中各类别的语义置信度，语义激光按照局部SLAM估计的位姿融入地图，最后利用SLAM的后端优化调整语义的全局位姿，使得构建的地图具有丰富的语义信息，使得机器人能够突破仅能自主导航的局限，通过对语义地图的信息推理完成智能导航、人机交互等任务。
本发明面向安装单线激光雷达和单目相机的轮式机器人，装置简单、成本低且应用范围广。
本发明使用的轻量级目标检测神经、二维点云分割算法、聚类算法等能够满足常见室内环境下低成本轮式机器人的实时建图需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种融合点云和图像的轮式机器人语义建图方法的示意图；
图2为本发明实施例的二维点云与图像信息融合模块的物理结构示意图；
图3为本发明采用的二维点云语义提取方法的实例示意图；
图4为本发明提供的语义建图方法在走廊环境下的实例示意图；
图5是本发明提供的一种融合点云和图像的轮式机器人语义建图***的结构框图。
具体实施方式
本发明针对激光SLAM构建的地图，包含的信息不够丰富仅支持机器人导航的问题，提供一种融合点云和图像的轮式机器人语义建图方法，具有实时、装置简单、地图信息丰富等优点，旨在实现室内移动机器人智能导航及人机交互。
为了实现上述目的，本发明的主要构思如下：
通过深度学习方法准确地从图像提取语义，融合点云和图像来进行轮式机器人语义建图，本发明的方法是一种从二维点云中提取语义，在二维栅格地图中保存、更新和优化语义的方法，其主要步骤包括图像上基于深度学习的目标检测、点云分割、包围盒与分割的匹配、地图单元语义更新，以及基于SLAM全局优化和聚类的语义优化。本发明方法具有实时、装置简单、地图信息丰富等优点，旨在实现室内移动机器人智能导航及人机交互。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例提供了一种融合点云和图像的轮式机器人语义建图方法，该方法包括：
S1：采用目标检测卷积神经网络从单目相机读取的图像中提取标识物***置的包围盒及对应的语义类别和置信度；
S2：将单线激光雷达读取的二维点云基于几何特征进行分割，得到点云分割；
S3：将包围盒与点云分割进行匹配，将匹配得到的点云分割、与包围盒对应的语义类别和置信度组合成语义激光；
S4：将语义激光作为输入，采用激光SLAM算法构建二维栅格地图，在仅包含占据概率的栅格中加入由各类别累计置信度、更新次数组成的语义结构体，通过点云帧间匹配找到语义激光观测到的栅格后，累计指定类别的置信度并将更新次数递增，当前子图构建完成时计算每个栅格中平均置信度最大的语义类别并保存，其中，占据概率表示栅格被障碍物占据的可能性大小；
S5：利用SLAM的后端优化调整子图和子图所包含的栅格的全局位姿，采用聚类方法对栅格进行聚类，得到最终的轮式机器人语义地图。
具体来说，目标检测卷积神经网络可以采用现有的神经网络，提取的结果为物体的语义。
激光SLAM算法可以为Cartographer算法，其运用子图的概念，将得到的点云数据进行匹配，一个子图通常包括若干数量的点云数据。更新栅格占据概率的同时，会统计栅格中每一个类别被语义激光更新的次数。
图1示出了本发明描述的语义建图方法的***框图，以单目相机采集的RGB图像和单线激光雷达采集的二维点云为输入，点云和图像的信息传输、地图的输出和可视化均通过机器人操作***(ROS)实现。
在一种实施方式中，S1中去除置信度低于预设值、语义类别不属于常见室内静态物体以及包围盒不经过激光扫描平面的目标检测结果。
具体实施过程中，置信度预设值可以根据实际情况设置，例如0.5、0.6、0.7等等。采用的卷积神经网络可以为YOLOv3的Darknet-53网络，获取可识别物体的类别、置信度和标识位置的包围盒，接着将以上信息封装为ROS机器人操作***消息发布到指定话题以供SLAM节点读取，该节点建有一定长度的缓冲队列保存消息以应对消息过多的情况。
在一种实施方式中，S2具体包括：
根据处于同一水平面的二维点云之间的几何距离是否大于距离阈值，对二维点云进行分割，同时对处于相机视野内外的两部分点云作区分，将视野外的点云直接用于激光SLAM建图，将视野内的点云与图像的信息融合再用于SLAM建图。
具体实施过程中，距离阈值基于激光雷达的扫描分辨率和室内环境复杂程度设置。
在一种实施方式中，S3具体包括：
S3.1：根据预先获得的激光雷达与单目相机之间的标定关系，将分割后的二维点云投影至图像上；
S3.2：将投影后的结果与包围盒进行匹配，根据落入包围盒内的点云投影点数在总点数中的占比，判定点云分割是否与包围盒匹配。
具体来说，通过预先得到的激光雷达-相机联合标定获取两个传感器之间的相对位姿变换，将点云投影到图像上并与包围盒一一匹配，单个包围盒可以匹配多个点云分割。具有最佳匹配效果的点云分割与包围盒被封装为语义激光，并作为建图的语义观测输入。
图2展示了二维点云与图像信息融合模块的物理结构。图中符号标识含义如下：BOX表示第一步获得的目标检测结果中的物体包围盒，SEG表示第二步获得的点云分割，世界坐标系可视作SLAM开始时机器人的位姿，雷达坐标系与相机坐标系间的位姿变换由旋转矩阵R和平移向量T表示。该物理结构假设地面水平，只有当机器人具备IMU传感器时才能缓解地面不平造成的点云帧间匹配困难这一问题。
本发明在该物理结构基础上作点云与图像的信息融合，其主要步骤包含点云向图像的投影及之后的包围盒-点云分割匹配，包围盒-点云分割匹配标准是点云投影点落入某个包围盒内的个数占总数的比例，选择比例最高的包围盒作为该点云分割的匹配，点云分割与包围盒的关系为多对一，以应对物体遮挡、检测框抖动等情况。下面对点云投影过程作详细描述：
投影的必要步骤是解算相机坐标系与激光雷达坐标系之间位姿变换关系，即[R，T]。该过程利用了最小二乘解算，解算式如下：
Figure BDA0002443669450000071
其中p为某3D空间点的在图像上的像素坐标，Pl为该空间点在雷达坐标系下的坐标，N为采集坐标对的数目，K是经过平面标定法得来的相机内参。将处于相机视野内的激光扫描点根据下式变换到像素平面：
p＝K(R·Pl+T)
在一种实施方式中，S4具体包括：
S4.1：通过点云帧间匹配找到语义激光观测到的栅格，对于每一个栅格，更新栅格的占据概率，同时累计语义激光对应语义类别的置信度并使更新次数递增；
S4.2：设置子图大小并融入相应数量的点云，子图构建完成后，计算每个栅格平均置信度最大的语义类别，当该类别对应置信度小于阈值时，将该栅格的语义类别视为背景并清除语义信息。
具体来说，基于激光SLAM算法Cartographer构建二维栅格地图。对于每一个处于语义激光观测范围的栅格，更新其栅格占据概率的同时，累计各类别置信度并使更新次数递增。置信度阈值根据所使用神经网络的精度设置。
在一种实施方式中，S5具体包括：
S5.1：将具有除背景外语义类别的栅格与所在子图绑定，采用SLAM后端优化调整子图位姿后获取上述栅格的全局位姿，并在全局地图相应位置进行语义标注，语义标注包括语义类别、物体序号和包围盒；
S5.2：利用基于密度的聚类算法DBSCAN算法对栅格进行聚类，剔除因错误语义更新出现的离群点，组合具有相同语义类别的邻近栅格并以包围盒标注，最后分配标签号以代表各个独立物体。
具体来说，SLAM和目标检测都会引入误差，语义激光也是按照局部SLAM估计的位姿融入地图，一次性的语义标注会在地图随SLAM后端优化动态调整的过程中造成混乱。
因此本发明采用了优化方法，首先将具有除背景语义类别的栅格与所在子图绑定，借助SLAM后端优化调整子图位姿后获取上述栅格的全局位姿，并在全局地图相应位置作语义标注，且使该标注随SLAM后端优化的结果动态调整位置；然后基于密度的聚类算法DBSCAN算法对栅格进行聚类，剔除因错误语义更新出现的离群点，组合具有相同语义类别的邻近栅格并以包围盒标注，最后分配标签号以代表各个独立物体。
其中DBSCAN算法的相关参数：单个邻域内点个数和内点距离阈值，可以根据激光雷达的扫描分辨率设置。
图3展示了二维点云语义提取实例，本实施例选择了椅子、微波炉、雨伞和冰箱四种典型的室内物件作语义提取示例。(a)展示了目标检测的结果，物体的包围盒以边框显示，边框左上角显示语义类别及置信度，例如chair 0.98，chair表示语义类别，0.98表示置信度。(b)展示了点云分割的结果，视野内外的点云以不同颜色渲染，灰色为视野内的点云，黑色为视野外的点云。(c)示出了点云向图像投影的结果，图中显示了点云分割的序号及其两个端点在所有激光扫描点中的序号。二维点云语义提取的效果会因各个物体的表面平整程度和雷达与物体间的距离变化而变化，总的来说，物体表面越平整，物体与背景的几何距离越大，语义提取的效果越好。
图4为本发明提供的语义建图方法在走廊环境下的实例示意图，(a)到(d)分别表示建图过程的几个关键节点，即从图像上检测到物体或语义优化完毕从而出现语义标注。如图4(c)(d)所示，识别的人因不属于静态物体会在建图过程中忽略，盆栽因点云分割失败也不会出现在地图上。SLAM的后端优化在建图过程中一直运行，地图上的语义标注也随之不断调整。
实施例二
基于同样的发明构思，本实施例提供了一种融合点云和图像的轮式机器人语义建图***，请参见图5，该***包括：
语义提取模块201，用于采用目标检测卷积神经网络从单目相机读取的图像中提取标识物***置的包围盒及对应的语义类别和置信度；
点云分割模块202，用于将单线激光雷达读取的二维点云基于几何特征进行分割，得到点云分割；
语义匹配模块203，用于将包围盒与点云分割进行匹配，将匹配得到的点云分割、与包围盒对应的语义类别和置信度组合成语义激光；
二维栅格地图构建模块204，用于将语义激光作为输入，采用激光SLAM算法构建二维栅格地图，在仅包含占据概率的栅格中加入由各类别累计置信度、更新次数组成的语义结构体，通过点云帧间匹配找到语义激光观测到的栅格后，累计指定类别的置信度并将更新次数递增，当前子图构建完成时计算每个栅格中平均置信度最大的语义类别并保存，其中，占据概率表示栅格被障碍物占据的可能性大小；
优化模块205，用于利用SLAM的后端优化调整子图和子图所包含的栅格的全局位姿，采用聚类方法对栅格进行聚类，得到最终的语义地图。
由于本发明实施例二所介绍的***，为实施本发明实施例一中融合点云和图像的轮式机器人语义建图方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该***的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的***都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种融合点云和图像的轮式机器人语义建图方法，其特征在于，包括：
S1：采用目标检测卷积神经网络从单目相机读取的图像中提取标识物***置的包围盒及对应的语义类别和置信度；
S2：将单线激光雷达读取的二维点云基于几何特征进行分割，得到点云分割；
S3：将包围盒与点云分割进行匹配，将匹配得到的点云分割、与包围盒对应的语义类别和置信度组合成语义激光；
S4：将语义激光作为输入，采用激光SLAM算法构建二维栅格地图，在仅包含占据概率的栅格中加入由各类别累计置信度、更新次数组成的语义结构体，通过点云帧间匹配找到语义激光观测到的栅格后，累计指定类别的置信度并将更新次数递增，当前子图构建完成时计算每个栅格中平均置信度最大的语义类别并保存，其中，占据概率表示栅格被障碍物占据的可能性大小；
S5：利用SLAM的后端优化调整子图和子图所包含的栅格的全局位姿，采用聚类方法对栅格进行聚类，得到最终的轮式机器人语义地图；
S2具体包括：
根据处于同一水平面的二维点云之间的几何距离是否大于距离阈值，对二维点云进行分割，同时对处于相机视野内外的两部分点云作区分，将视野外的点云直接用于激光SLAM建图，将视野内的点云与图像的信息融合再用于SLAM建图；
S4具体包括：
S4.1：通过点云帧间匹配找到语义激光观测到的栅格，对于每一个栅格，更新栅格的占据概率，同时累计语义激光对应语义类别的置信度并使更新次数递增；
S4.2：设置子图大小并融入相应数量的点云，子图构建完成后，计算每个栅格平均置信度最大的语义类别，当该类别对应置信度小于阈值时，将该栅格的语义类别视为背景并清除语义信息。
2.如权利要求1所述的方法，其特征在于，S1中去除置信度低于预设值、语义类别不属于常见室内静态物体以及包围盒不经过激光扫描平面的目标检测结果。
3.如权利要求1所述的方法，其特征在于，S3具体包括：
S3.1：根据预先获得的激光雷达与单目相机之间的标定关系，将分割后的二维点云投影至图像上；
S3.2：将投影后的结果与包围盒进行匹配，根据落入包围盒内的点云投影点数在总点数中的占比，判定点云分割是否与包围盒匹配。
4.如权利要求1所述的方法，其特征在于，S5具体包括：
S5.1：将具有除背景外语义类别的栅格与所在子图绑定，采用SLAM后端优化调整子图位姿后获取上述栅格的全局位姿，并在全局地图相应位置进行语义标注，语义标注包括语义类别、物体序号和包围盒；
S5.2：利用基于密度的聚类算法DBSCAN算法对栅格进行聚类，剔除因错误语义更新出现的离群点，组合具有相同语义类别的邻近栅格并以包围盒标注，最后分配标签号以代表各个独立物体。
5.一种融合点云和图像的轮式机器人语义建图***，其特征在于，包括：
语义提取模块，用于采用目标检测卷积神经网络从单目相机读取的图像中提取标识物***置的包围盒及对应的语义类别和置信度；
点云分割模块，用于将单线激光雷达读取的二维点云基于几何特征进行分割，得到点云分割；
语义匹配模块，用于将包围盒与点云分割进行匹配，将匹配得到的点云分割、与包围盒对应的语义类别和置信度组合成语义激光；
二维栅格地图构建模块，用于将语义激光作为输入，采用激光SLAM算法构建二维栅格地图，在仅包含占据概率的栅格中加入由各类别累计置信度、更新次数组成的语义结构体，通过点云帧间匹配找到语义激光观测到的栅格后，累计指定类别的置信度并将更新次数递增，当前子图构建完成时计算每个栅格中平均置信度最大的语义类别并保存，其中，占据概率表示栅格被障碍物占据的可能性大小；
优化模块，用于利用SLAM的后端优化调整子图和子图所包含的栅格的全局位姿，采用聚类方法对栅格进行聚类，得到最终的语义地图；
点云分割模块具体用于：
根据处于同一水平面的二维点云之间的几何距离是否大于距离阈值，对二维点云进行分割，同时对处于相机视野内外的两部分点云作区分，将视野外的点云直接用于激光SLAM建图，将视野内的点云与图像的信息融合再用于SLAM建图；
二维栅格地图构建模块具体用于：
通过点云帧间匹配找到语义激光观测到的栅格，对于每一个栅格，更新栅格的占据概率，同时累计语义激光对应语义类别的置信度并使更新次数递增；
设置子图大小并融入相应数量的点云，子图构建完成后，计算每个栅格平均置信度最大的语义类别，当该类别对应置信度小于阈值时，将该栅格的语义类别视为背景并清除语义信息。
CN202010272666.8A 2020-04-09 2020-04-09 一种融合点云和图像的轮式机器人语义建图方法及*** Active CN111461245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010272666.8A CN111461245B (zh) 2020-04-09 2020-04-09 一种融合点云和图像的轮式机器人语义建图方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010272666.8A CN111461245B (zh) 2020-04-09 2020-04-09 一种融合点云和图像的轮式机器人语义建图方法及***

Publications (2)

Publication Number Publication Date
CN111461245A CN111461245A (zh) 2020-07-28
CN111461245B true CN111461245B (zh) 2022-11-04

Family

ID=71685200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010272666.8A Active CN111461245B (zh) 2020-04-09 2020-04-09 一种融合点云和图像的轮式机器人语义建图方法及***

Country Status (1)

Country Link
CN (1) CN111461245B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111928862B (zh) * 2020-08-10 2023-11-21 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法
CN112419512B (zh) * 2020-10-13 2022-09-13 南昌大学 一种基于语义信息的空中三维模型修复***及方法
CN112461227B (zh) * 2020-10-22 2023-07-21 新兴际华集团有限公司 轮式底盘机器人巡检智能化自主导航方法
CN112462758B (zh) * 2020-11-06 2022-05-06 深圳市优必选科技股份有限公司 一种建图方法、装置、计算机可读存储介质及机器人
CN112327851B (zh) * 2020-11-09 2023-08-22 达闼机器人股份有限公司 基于点云的地图校准方法、***、机器人及云端平台
WO2022099530A1 (zh) * 2020-11-12 2022-05-19 深圳元戎启行科技有限公司 点云数据运动分割方法、装置、计算机设备和存储介质
CN112859873B (zh) * 2021-01-25 2022-11-25 山东亚历山大智能科技有限公司 一种基于语义激光的移动机器人多级避障***及方法
CN112925322B (zh) * 2021-01-26 2023-01-13 哈尔滨工业大学（深圳） 一种长期场景下无人车的自主定位方法
CN113052903B (zh) * 2021-03-17 2023-03-10 浙江大学 一种用于移动机器人的视觉与雷达融合定位方法
CN113126115B (zh) * 2021-04-06 2023-11-17 北京航空航天大学杭州创新研究院 基于点云的语义slam方法、装置、电子设备和存储介质
CN113094457B (zh) * 2021-04-15 2023-11-03 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113362363B (zh) * 2021-06-18 2022-11-04 广东工业大学 一种基于视觉slam的图像自动标注方法、装置及存储介质
CN116148879B (zh) * 2021-11-22 2024-05-03 珠海一微半导体股份有限公司 一种机器人提升障碍物标注精度的方法
CN114440858B (zh) * 2022-01-25 2023-12-19 中国人民解放军总医院第一医学中心 移动机器人定位丢失检测方法、***、设备及存储介质
WO2023173243A1 (zh) * 2022-03-14 2023-09-21 罗伯特·博世有限公司 二维激光雷达扫描图的语义标注生成
CN115376109B (zh) * 2022-10-25 2023-03-24 杭州华橙软件技术有限公司 障碍物检测方法、障碍物检测装置以及存储介质
CN115512147B (zh) * 2022-11-16 2023-04-11 北京亮道智能汽车技术有限公司 基于语义信息的聚类方法、装置、电子设备及存储介质
CN115655262B (zh) * 2022-12-26 2023-03-21 广东省科学院智能制造研究所 基于深度学习感知的多层级语义地图构建方法和装置
CN117576200B (zh) * 2024-01-15 2024-05-03 山东大学 一种长周期移动机器人定位方法、***、设备及介质
CN117949968B (zh) * 2024-03-26 2024-06-21 深圳市其域创新科技有限公司 激光雷达slam定位方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109631919A (zh) * 2018-12-28 2019-04-16 芜湖哈特机器人产业技术研究院有限公司 一种融合反光板和占据栅格的混合导航地图构建方法
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
US10366508B1 (en) * 2016-08-29 2019-07-30 Perceptin Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
CN110362083A (zh) * 2019-07-17 2019-10-22 北京理工大学 一种基于多目标跟踪预测的时空地图下自主导航方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103472823B (zh) * 2013-08-20 2015-11-18 苏州两江科技有限公司 一种智能机器人用的栅格地图创建方法
CN110349247B (zh) * 2018-04-08 2022-10-14 哈尔滨工业大学 一种基于语义理解的室内场景cad三维重建方法
CN108920584B (zh) * 2018-06-25 2020-10-30 广州视源电子科技股份有限公司 一种语义栅格地图生成方法及其装置
CN109272554A (zh) * 2018-09-18 2019-01-25 北京云迹科技有限公司 一种识别目标的坐标系定位和语义地图构建的方法及***
CN110728751A (zh) * 2019-06-19 2020-01-24 武汉科技大学 一种室内3d点云语义地图的构建方法
CN110264572B (zh) * 2019-06-21 2021-07-30 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及***
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366508B1 (en) * 2016-08-29 2019-07-30 Perceptin Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN109631919A (zh) * 2018-12-28 2019-04-16 芜湖哈特机器人产业技术研究院有限公司 一种融合反光板和占据栅格的混合导航地图构建方法
CN110362083A (zh) * 2019-07-17 2019-10-22 北京理工大学 一种基于多目标跟踪预测的时空地图下自主导航方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Automatic crestion of semantically rich 3D building models from laser scanner data;Xuehan Xiong等;《Automation in Construction》;20130531;全文 *
基于三维激光传感器的移动机器人室内未知;张彪;《中国优秀硕士学位论文全文数据库信息科技辑》;20150615(第06期);全文 *
室内环境的二维语义地图构建与路径规划研究;光兴屿;《中国优秀硕士学位论文全文数据库信息科技辑》;20190915(第09期);全文 *

Also Published As

Publication number Publication date
CN111461245A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111461245B (zh) 一种融合点云和图像的轮式机器人语义建图方法及***
CN110097553B (zh) 基于即时定位建图与三维语义分割的语义建图***
WO2019153245A1 (en) Systems and methods for deep localization and segmentation with 3d semantic map
CN111080659A (zh) 一种基于视觉信息的环境语义感知方法
EP3408848A1 (en) Systems and methods for extracting information about objects from scene information
CN106951830B (zh) 一种基于先验条件约束的图像场景多对象标记方法
CN112991487B (zh) 一种多线程实时构建正射影像语义地图的***
CN112991534B (zh) 一种基于多粒度物体模型的室内语义地图构建方法及***
CN113408584B (zh) Rgb-d多模态特征融合3d目标检测方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
US20230394829A1 (en) Methods, systems, and computer-readable storage mediums for detecting a state of a signal light
Berrio et al. Octree map based on sparse point cloud and heuristic probability distribution for labeled images
CN113989744A (zh) 一种基于超大尺寸高分辨图像的行人目标检测方法及***
CN114972758B (zh) 一种基于点云弱监督的实例分割方法
CN116597122A (zh) 数据标注方法、装置、电子设备及存储介质
Li et al. Enhancing 3-D LiDAR point clouds with event-based camera
CN115937461A (zh) 多源融合模型构建及纹理生成方法、装置、介质及设备
Chen et al. Semantic segmentation and data fusion of microsoft bing 3d cities and small uav-based photogrammetric data
CN117146841A (zh) 一种基于激光雷达和双目视觉结合的语义地图构建方法
CN115410173B (zh) 多模态融合的高精地图要素识别方法、装置、设备及介质
CN113379748A (zh) 一种点云全景分割方法和装置
CN116843867A (zh) 增强现实虚实融合方法、电子设备和存储介质
Shi et al. Lane-level road network construction based on street-view images
Mao et al. City object detection from airborne Lidar data with OpenStreetMap‐tagged superpixels
CN114820931A (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant