CN117576200A - 一种长周期移动机器人定位方法、***、设备及介质 - Google Patents

一种长周期移动机器人定位方法、***、设备及介质 Download PDF

Info

Publication number
CN117576200A
CN117576200A CN202410050100.9A CN202410050100A CN117576200A CN 117576200 A CN117576200 A CN 117576200A CN 202410050100 A CN202410050100 A CN 202410050100A CN 117576200 A CN117576200 A CN 117576200A
Authority
CN
China
Prior art keywords
semantic
scene
map
information
occupation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410050100.9A
Other languages
English (en)
Other versions
CN117576200B (zh
Inventor
皇攀凌
欧金顺
李文广
任纪颖
高新彪
史建杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202410050100.9A priority Critical patent/CN117576200B/zh
Publication of CN117576200A publication Critical patent/CN117576200A/zh
Application granted granted Critical
Publication of CN117576200B publication Critical patent/CN117576200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开一种长周期移动机器人定位方法、***、设备及介质，涉及图像处理技术领域，包括：获取场景图像和场景点云，对场景图像进行语义分割，将场景点云投影到语义分割结果上，估计场景中各实体的位置和类别，得到场景语义占用信息；估计机器人在当前场景下的位姿及位置，构建栅格地图；将场景语义占用信息映射到栅格地图中，构建语义占用地图；根据机器人在移动过程中视野内的场景图像和场景点云，并与语义占用地图进行对比，以对语义占用地图进行更新；采用更新后的语义占用地图，根据当前时刻机器人视野内的场景图像和场景点云定位机器人位置。解决变化环境下的移动机器长周期定位问题。

Description

一种长周期移动机器人定位方法、***、设备及介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种长周期移动机器人定位方法、***、设备及介质。
背景技术
在变化环境中实现长周期的移动机器人稳定定位是移动机器人能保持长期稳定作业的关键。目前对移动机器人的定位主要还是基于预先构建的地图，针对环境变化的问题，一般采用人工或自动定时定点更新地图的方式。
其中，自动地图更新技术是目前应对环境变化的主流技术，这种地图更新技术一般需要一段时间的迭代来确定环境的真实变化，不适合变化较频繁的物流仓储等场景。
针对频繁发生变化的场景，有些方法通过增加传感器来获取环境中的更多信息，或使用特定的环境标记来增加预构建地图中的不变性特征，以保证地图的长期可靠性，但是这种方式往往会提高部署成本且某些限制区域不易部署。
发明内容
为了解决上述问题，本发明提出了一种长周期移动机器人定位方法、***、设备及介质，通过实时监测环境中变化的语义信息进行语义占用地图的更新和辅助移动机器人定位，动态即时的更新环境中的语义信息，解决变化环境下的移动机器长周期定位问题。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种长周期移动机器人定位方法，包括：
获取场景图像和场景点云，对场景图像进行语义分割，将场景点云投影到语义分割结果上，估计场景中各实体的位置和类别，得到场景语义占用信息；
估计机器人在当前场景下的位姿及位置，以此构建栅格地图；
将场景语义占用信息映射到栅格地图中，构建语义占用地图；
根据机器人在移动过程中视野内的场景图像和场景点云，确定实体语义信息和对应的点云信息，通过与语义占用地图的对比确定变化区域和定位约束残差，根据变化区域计算联合信息熵，通过联合信息熵结合定位约束残差对语义占用地图进行更新；
采用更新后的语义占用地图，根据当前时刻机器人视野内的场景图像和场景点云定位机器人位置。
作为可选择的实施方式，栅格地图的构建包括：从场景图像中提取环境关键点，通过特征匹配算法匹配环境关键点以及里程计和IMU数据来估计机器人位姿，并确定机器人位置，通过不断迭代更新，完成栅格地图的构建。
作为可选择的实施方式，定位机器人位置的过程中，根据场景图像估计当前视野内的所有实体的语义信息，通过语义信息与语义占用地图进行匹配得到变化区域，将变化区域映射到栅格地图中并进行剔除。
作为可选择的实施方式，对剔除变化区域的栅格地图，结合激光点云的扫描匹配定位机器人位姿。
作为可选择的实施方式，定位约束残差包括点云信息及实体语义信息在与语义占用地图进行对比时的空间位置差异和角度或姿态差异；通过联合信息熵结合定位约束残差对语义占用地图进行更新的过程包括：联合信息熵为：，其中，X为当前实体语义信息与历史语义占用信息对比发生变化的情况，Y为当前点云信息与历史栅格占用信息对比发生变化的情况，表示上述两种情况发生的联合概率，/>，/>、/>分别为当前实体语义信息和当前点云信息与语义占用地图进行对比时发生变化的概率；具体为：
；/>；；/>；其中，/>、/>为分配系数；A、B为中间参数，/>、/>分别为历史语义占用地图中的实体语义信息及点云信息数量；/>、/>分别为与历史语义占用地图对比时匹配的实体语义信息及点云信息数量；/>为当前实体语义信息数量；max()为取最大值函数；min()为取最小值函数；
当联合信息熵大于第一设定阈值时，不更新语义占用地图；当联合信息熵小于第一设定阈值时，比较定位约束残差与第二设定阈值，若定位约束残差小于第二设定阈值，则定位无跳变，进行语义占用地图的更新；否则判断此时机器人发生定位跳变，则不执行语义占用地图的更新。
作为可选择的实施方式，对语义占用地图进行更新的过程中，在机器人移动过程中累计多个位置不同角度的多帧场景图像来判断当前场景中的物体是否变化；根据机器人在移动过程中视野内的场景点云，对栅格地图进行更新，由此结合更新后的场景语义占用信息完成对语义占用地图的更新。
作为可选择的实施方式，该方法还包括对相机和激光雷达的外参进行标定，具体的：
将二维码设于反光柱正上方，使二者中心在水平面上的投影重合；
估计相机在二维码中的位姿，并将该位姿投影到水平面上，记；
根据激光雷达的点云光强筛选所有反光柱点云，使用平均点云计算每个反光柱中心及其法向量，根据所有反光柱位姿拟合激光雷达位姿，记；
构建相机和激光雷达与二维码和反光柱之间的约束，并求解得到相机与激光雷达之间的最优外参，约束为：/>。
第二方面，本发明提供一种长周期移动机器人定位***，包括：
语义占用确定模块，被配置为获取场景图像和场景点云，对场景图像进行语义分割，将场景点云投影到语义分割结果上，估计场景中各实体的位置和类别，得到场景语义占用信息；
栅格地图构建模块，被配置为估计机器人在当前场景下的位姿及位置，以此构建栅格地图；
语义占用地图构建模块，被配置为将场景语义占用信息映射到栅格地图中，构建语义占用地图；
地图更新模块，被配置为根据机器人在移动过程中视野内的场景图像和场景点云，确定实体语义信息和对应的点云信息，通过与语义占用地图的对比确定变化区域和定位约束残差，根据变化区域计算联合信息熵，通过联合信息熵结合定位约束残差对语义占用地图进行更新；
定位模块，被配置为采用更新后的语义占用地图，根据当前时刻机器人视野内的场景图像和场景点云定位机器人位置。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果为：
本发明提出一种基于语义占用估计的长周期移动机器人定位方法及***，解决变化环境下的移动机器长周期定位问题。首先通过基于视觉的3D语义占用估计方法推断场景几何体，然后将带语义信息的几何体与2D栅格地图进行融合，获得带语义占用地图，最后通过实时监测环境中变化的语义信息进行语义占用地图的更新和辅助移动机器人定位，动态即时的更新环境中的语义信息，以达到提高长期定位稳定性的目的，不需要对现有场景重新部署，不会增加额外的部署成本，同时能有效提高动态环境中的长期定位稳定性。
由于环境变化往往是导致移动机器人定位丢失的一个重要因素，本发明利用环境中的语义信息构建带语义占用信息的地图，并在移动机器人定位的过程中，通过将当前的语义信息与原始的带语义占用信息的地图进行对比，在环境中找出发生变化的区域，然后排除这些变化区域对移动机器人定位的干扰，能有效地提高定位精度和定位稳定性。对于一个逐渐变化的场景，在机器人运行过程中实时检测发生变化的语义占用区域，并对语义占用地图进行实时更新能有效地保持地图的长期可靠性。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的长周期移动机器人定位方法流程图；
图2为本发明实施例1提供的二维码及反光柱布置正视图；
图3为本发明实施例1提供的二维码及反光柱布置俯视图；
图4为本发明实施例1提供的语义占用地图构建流程图；
图5为本发明实施例1提供的语义占用估计及移动机器人定位流程图；
图6为本发明实施例1提供的语义占用地图更新流程图；
图7为本发明实施例1提供的语义占用地图更新判断逻辑示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“包含”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1
本实施例提供一种长周期移动机器人定位方法，如图1所示，包括：
获取场景图像和场景点云，对场景图像进行语义分割，将场景点云投影到语义分割结果上，估计场景中各实体的位置和类别，得到场景语义占用信息；
估计机器人在当前场景下的位姿及位置，以此构建栅格地图；
将场景语义占用信息映射到栅格地图中，构建语义占用地图；
根据机器人在移动过程中视野内的场景图像和场景点云，确定实体语义信息和对应的点云信息，通过与语义占用地图的对比确定变化区域和定位约束残差，根据变化区域计算联合信息熵，通过联合信息熵结合定位约束残差对语义占用地图进行更新；
采用更新后的语义占用地图，根据当前时刻机器人视野内的场景图像和场景点云定位机器人位置。
在本实施例中，首先对相机和激光雷达的外参进行标定，通过标定相机和激光雷达之间的外参使二者数据进行空间对齐；具体包括：
（1）场景布置；将二维码和反光柱贴在竖直墙面上，其中二维码贴在反光柱正上方，即使得二者中心在水平面上的投影重合，如图2-图3所示。
（2）估计相机的位姿；使用二维码位姿估计方法，估计相机在每个二维码中的位姿，该位姿为一个3×3的齐次变换矩阵，将该位姿投影到水平面（记为平面）上，记作：。
可以理解的，二维码位姿估计方法采用常规方法即可，在此不做赘述。
（3）估计激光雷达的位姿；根据激光雷达点云光强筛选所有反光柱点云，使用聚类方法（如欧氏聚类）提取各个反光柱，使用平均点云计算每个反光柱中心及其法向量，并根据所有反光柱位姿拟合激光雷达位姿，记作：；该位姿同样为一个3×3的齐次变换矩阵。
（4）外参计算；构建相机和激光雷达与二维码和反光柱之间的约束，并求解得到相机与激光雷达之间的最优外参，约束方程为：/>。
在本实施例中，语义占用地图是通过融合相机和激光雷达所采集的信息构建的带语义占用信息的栅格地图，用于供移动机器人定位使用。
如图4所示，语义占用地图的构建过程包括：
（1）语义识别及几何体占用估计；获取由相机采集的场景图像数据和由激光雷达采集的场景激光点云数据，使用深度学习算法对场景图像数据进行语义分割，将场景激光点云数据投影到语义分割结果上，估计出场景中各个几何体（即场景中的物理实体）的位置和类别，得到该场景的语义占用信息；其中，基于相机与激光雷达之间的最优外参实现投影过程。
（2）栅格地图构建；
首先，获取环境数据，环境数据包括相机图像数据和雷达点云数据；常用的传感器包括激光雷达、摄像头、惯性测量单元（IMU）、轮式里程计等；
然后，从传感器数据中提取特征点，这些特征点可以是环境中的关键点，如线特征、直角特征、圆弧特征等，也可以是激光雷达点云数据中的所有点云；
接着，通过特征匹配算法匹配上述提取的特征点以及里程计和IMU数据来估计机器人的位姿，包括平移和旋转，并确定在地图中的位置；位姿估计可以使用粒子滤波等算法，不做限定。
最后，将新的特征点融合到地图中完成当前局部栅格地图的构建，同时更新机器人的估计位姿；
重复上述过程，完成整个栅格地图的构建。
（3）语义占用地图构建；通过带语义信息的几何体占用估计以及栅格地图，根据语义占用估计信息中的位置信息，将其中的语义信息及几何体占用信息映射到栅格地图中，通过将语义占用信息和栅格地图进行融合，完成语义占用地图的构建。
在本实施例中，基于语义占用估计的移动机器人定位，通过相机获取的图像信息进行语义占用估计，辅助激光雷达使用语义占用地图进行精确定位；
如图5所示，包括：对于当前时刻及位姿的图像，根据图像数据估计当前视野内的所有实体的语义信息，通过语义信息与语义占用地图进行匹配计算出所有的变化区域，并将所有的变化区域根据相机模型映射到栅格地图中，对于这部分变化区域在栅格地图中进行剔除，以去除干扰信息，减少对精确定位的干扰；将变化区域剔除后，结合激光点云的扫描匹配定位机器人精确位姿。
在本实施例中，通过语义信息监测环境中的变化区域，并根据地图更新判断逻辑和变化区域对语义占用地图进行更新，以实现移动机器人的长期定位稳定性；整体流程如图6所示，包括：首先通过图像进行语义占用估计，计算出当前场景中所有存在的实体，并与此时语义占用地图中的占用信息进行对比；在机器人移动过程中累计多个位置不同角度的多帧数据判断当前环境中的物体是否发生了新增、移动或去除。
对于上述所有的变化区域，通过地图更新判断逻辑对该区域的语义占用地图进行更新；地图更新判断逻辑具体实施方法如图7所示，包括：
（1）根据当前环境中的实体语义信息、点云信息以及历史语义占用地图计算当前状态下的联合信息熵：，其中，X为当前状态下实体语义信息与历史语义占用地图中语义占用信息对比发生变化的情况，Y为当前状态下点云信息与历史语义占用地图中栅格占用信息对比发生变化的情况，/>表示上述两种情况发生的联合概率。
联合概率可以简化为/>；/>、/>分别为当前状态下实体语义信息和点云信息与历史语义占用地图进行对比时发生变化的概率。
其中，，/>；/>、/>为分配系数，该系数越大对环境变化的敏感度越高；A、B为中间参数，具体为，/>，/>、/>为当前位姿下历史语义占用地图中可观测的实体语义信息及点云信息数量；/>、/>为当前状态与历史语义占用地图中匹配的实体语义信息及点云信息数量；/>为当前状态检测到的实体语义信息数量；max()为取最大值函数；min()为取最小值函数。
（2）联合信息熵越小表示当前环境发生变化的概率越大，当大于第一设定阈值threshold1时，认为当前环境未发生变化，不执行地图更新操作。
（3）当小于第一设定阈值threshold1时，计算当前定位状态的定位约束残差constrain_res；
其中，定位约束残差包括激光雷达点云信息及实体语义信息在与历史语义占用地图匹配时，空间位置差异和角度或姿态差异，具体计算方法取决于使用的优化框架，一般可以使用非线性优化库来计算定位约束残差，计算方式不做具体限定。
（4）如果该定位约束残差小于第二设定阈值threshold2，则认为此时定位状态良好，环境变化时，机器人定位无跳变，进行语义占用地图的更新；否则判断此时机器人会发生定位跳变，则不执行语义占用地图的更新。
其中，上述阈值可以根据不同定位算法及环境进行调试设置。
需要说明的是，变化区域的剔除与更新是两个不同的过程，在定位过程中当观测到变化区域就进行剔除；更新则需要连续观察多帧数据，并根据地图更新判断逻辑执行更新操作，地图更新是移动机器人长周期定位的根本保障。
实施例2
本实施例提供一种长周期移动机器人定位***，包括：
语义占用确定模块，被配置为获取场景图像和场景点云，对场景图像进行语义分割，将场景点云投影到语义分割结果上，估计场景中各实体的位置和类别，得到场景语义占用信息；
栅格地图构建模块，被配置为估计机器人在当前场景下的位姿及位置，以此构建栅格地图；
语义占用地图构建模块，被配置为将场景语义占用信息映射到栅格地图中，构建语义占用地图；
地图更新模块，被配置为根据机器人在移动过程中视野内的场景图像和场景点云，确定实体语义信息和对应的点云信息，通过与语义占用地图的对比确定变化区域和定位约束残差，根据变化区域计算联合信息熵，通过联合信息熵结合定位约束残差对语义占用地图进行更新；
定位模块，被配置为采用更新后的语义占用地图，根据当前时刻机器人视野内的场景图像和场景点云定位机器人位置。
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种长周期移动机器人定位方法，其特征在于，包括：
获取场景图像和场景点云，对场景图像进行语义分割，将场景点云投影到语义分割结果上，估计场景中各实体的位置和类别，得到场景语义占用信息；
估计机器人在当前场景下的位姿及位置，以此构建栅格地图；
将场景语义占用信息映射到栅格地图中，构建语义占用地图；
根据机器人在移动过程中视野内的场景图像和场景点云，确定实体语义信息和对应的点云信息，通过与语义占用地图的对比确定变化区域和定位约束残差，根据变化区域计算联合信息熵，通过联合信息熵结合定位约束残差对语义占用地图进行更新；
采用更新后的语义占用地图，根据当前时刻机器人视野内的场景图像和场景点云定位机器人位置。
2.如权利要求1所述的一种长周期移动机器人定位方法，其特征在于，栅格地图的构建包括：从场景图像中提取环境关键点，通过特征匹配算法匹配环境关键点以及里程计和IMU数据来估计机器人位姿，并确定机器人位置，通过不断迭代更新，完成栅格地图的构建。
3.如权利要求1所述的一种长周期移动机器人定位方法，其特征在于，定位机器人位置的过程中，根据场景图像估计当前视野内的所有实体的语义信息，通过语义信息与语义占用地图进行匹配得到变化区域，将变化区域映射到栅格地图中并进行剔除。
4.如权利要求3所述的一种长周期移动机器人定位方法，其特征在于，对剔除变化区域的栅格地图，结合激光点云的扫描匹配定位机器人位姿。
5.如权利要求1所述的一种长周期移动机器人定位方法，其特征在于，通过联合信息熵结合定位约束残差对语义占用地图进行更新的过程包括：定位约束残差包括点云信息及实体语义信息在与语义占用地图进行对比时的空间位置差异和角度或姿态差异；联合信息熵为：，其中，X为当前实体语义信息与历史语义占用信息对比发生变化的情况，Y为当前点云信息与历史栅格占用信息对比发生变化的情况，表示上述两种情况发生的联合概率，/>，/>、/>分别为当前实体语义信息和当前点云信息与语义占用地图进行对比时发生变化的概率；具体为：
；/>；
；/>；
其中，、/>为分配系数；A、B为中间参数，/>、/>分别为历史语义占用地图中的实体语义信息及点云信息数量；/>、/>分别为与历史语义占用地图对比时匹配的实体语义信息及点云信息数量；/>为当前实体语义信息数量；max()为取最大值函数；min()为取最小值函数；
当联合信息熵大于第一设定阈值时，不更新语义占用地图；当联合信息熵小于第一设定阈值时，比较定位约束残差与第二设定阈值，若定位约束残差小于第二设定阈值，则定位无跳变，进行语义占用地图的更新；否则判断此时机器人发生定位跳变，则不执行语义占用地图的更新。
6.如权利要求5所述的一种长周期移动机器人定位方法，其特征在于，对语义占用地图进行更新的过程中，在机器人移动过程中累计多个位置不同角度的多帧场景图像来判断当前场景中的物体是否变化；
根据机器人在移动过程中视野内的场景点云，对栅格地图进行更新，由此结合更新后的场景语义占用信息完成对语义占用地图的更新。
7.如权利要求1所述的一种长周期移动机器人定位方法，其特征在于，该方法还包括对相机和激光雷达的外参进行标定，具体的：
将二维码设于反光柱正上方，使二者中心在水平面上的投影重合；
估计相机在二维码中的位姿，并将该位姿投影到水平面上，记；
根据激光雷达的点云光强筛选所有反光柱点云，使用平均点云计算每个反光柱中心及其法向量，根据所有反光柱位姿拟合激光雷达位姿，记；
构建相机和激光雷达与二维码和反光柱之间的约束，并求解得到相机与激光雷达之间的最优外参，约束为：/>。
8.一种长周期移动机器人定位***，其特征在于，包括：
语义占用确定模块，被配置为获取场景图像和场景点云，对场景图像进行语义分割，将场景点云投影到语义分割结果上，估计场景中各实体的位置和类别，得到场景语义占用信息；
栅格地图构建模块，被配置为估计机器人在当前场景下的位姿及位置，以此构建栅格地图；
语义占用地图构建模块，被配置为将场景语义占用信息映射到栅格地图中，构建语义占用地图；
地图更新模块，被配置为根据机器人在移动过程中视野内的场景图像和场景点云，确定实体语义信息和对应的点云信息，通过与语义占用地图的对比确定变化区域和定位约束残差，根据变化区域计算联合信息熵，通过联合信息熵结合定位约束残差对语义占用地图进行更新；
定位模块，被配置为采用更新后的语义占用地图，根据当前时刻机器人视野内的场景图像和场景点云定位机器人位置。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
CN202410050100.9A 2024-01-15 2024-01-15 一种长周期移动机器人定位方法、***、设备及介质 Active CN117576200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410050100.9A CN117576200B (zh) 2024-01-15 2024-01-15 一种长周期移动机器人定位方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410050100.9A CN117576200B (zh) 2024-01-15 2024-01-15 一种长周期移动机器人定位方法、***、设备及介质

Publications (2)

Publication Number Publication Date
CN117576200A true CN117576200A (zh) 2024-02-20
CN117576200B CN117576200B (zh) 2024-05-03

Family

ID=89884764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410050100.9A Active CN117576200B (zh) 2024-01-15 2024-01-15 一种长周期移动机器人定位方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN117576200B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190981A (zh) * 2019-12-25 2020-05-22 中国科学院上海微***与信息技术研究所 一种三维语义地图的构建方法、装置、电子设备及存储介质
WO2020119684A1 (zh) * 2018-12-14 2020-06-18 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN111461245A (zh) * 2020-04-09 2020-07-28 武汉大学 一种融合点云和图像的轮式机器人语义建图方法及***
CN112097742A (zh) * 2019-06-17 2020-12-18 北京地平线机器人技术研发有限公司 一种位姿确定方法及装置
WO2021053031A1 (en) * 2019-09-20 2021-03-25 Continental Automotive Gmbh Method for detecting a moving state of a vehicle
CN113674416A (zh) * 2021-08-26 2021-11-19 中国电子科技集团公司信息科学研究院 三维地图的构建方法、装置、电子设备及存储介质
CN113920044A (zh) * 2021-09-30 2022-01-11 杭州电子科技大学 一种基于无人机成像的光伏热斑组件检测后定位方法
WO2022143360A1 (zh) * 2021-01-04 2022-07-07 炬星科技（深圳）有限公司 一种环境地图自主更新方法、设备及计算机可读存储介质
US20230113331A1 (en) * 2021-10-12 2023-04-13 Avidbots Corp Localization framework for dynamic environments for autonomous indoor semi-autonomous devices
CN116608850A (zh) * 2023-06-13 2023-08-18 五八智能科技(杭州)有限公司 一种机器人导航地图的构建方法、***、装置和介质
CN116734834A (zh) * 2023-05-31 2023-09-12 人工智能与数字经济广东省实验室(深圳) 应用于动态场景的定位建图方法、装置和智能设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020119684A1 (zh) * 2018-12-14 2020-06-18 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN112097742A (zh) * 2019-06-17 2020-12-18 北京地平线机器人技术研发有限公司 一种位姿确定方法及装置
WO2021053031A1 (en) * 2019-09-20 2021-03-25 Continental Automotive Gmbh Method for detecting a moving state of a vehicle
CN111190981A (zh) * 2019-12-25 2020-05-22 中国科学院上海微***与信息技术研究所 一种三维语义地图的构建方法、装置、电子设备及存储介质
CN111461245A (zh) * 2020-04-09 2020-07-28 武汉大学 一种融合点云和图像的轮式机器人语义建图方法及***
WO2022143360A1 (zh) * 2021-01-04 2022-07-07 炬星科技（深圳）有限公司 一种环境地图自主更新方法、设备及计算机可读存储介质
CN113674416A (zh) * 2021-08-26 2021-11-19 中国电子科技集团公司信息科学研究院 三维地图的构建方法、装置、电子设备及存储介质
CN113920044A (zh) * 2021-09-30 2022-01-11 杭州电子科技大学 一种基于无人机成像的光伏热斑组件检测后定位方法
US20230113331A1 (en) * 2021-10-12 2023-04-13 Avidbots Corp Localization framework for dynamic environments for autonomous indoor semi-autonomous devices
CN116734834A (zh) * 2023-05-31 2023-09-12 人工智能与数字经济广东省实验室(深圳) 应用于动态场景的定位建图方法、装置和智能设备
CN116608850A (zh) * 2023-06-13 2023-08-18 五八智能科技(杭州)有限公司 一种机器人导航地图的构建方法、***、装置和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于宁波;王石荣;徐昌;: "一种基于RGB-D的移动机器人未知室内环境自主探索与地图构建方法", 机器人, no. 06, 15 November 2017 (2017-11-15) *
张文;刘勇;张超凡;张龙;夏营威;: "基于语义建图的室内机器人实时场景分类", 传感器与微***, no. 08, 20 August 2017 (2017-08-20) *

Also Published As

Publication number Publication date
CN117576200B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN112292711B (zh) 关联lidar数据和图像数据
US20190311494A1 (en) Automatic camera calibration
CN113313763B (zh) 一种基于神经网络的单目相机位姿优化方法及装置
CN108332752B (zh) 机器人室内定位的方法及装置
WO2020000737A1 (zh) 移动机器人定位方法、存储介质及计算机设备
JP2010061655A (ja) 線形特徴を用いた対象追跡
CN110853085B (zh) 基于语义slam的建图方法和装置及电子设备
CN113903011B (zh) 一种适用于室内停车场的语义地图构建及定位方法
KR20220025028A (ko) 시각적 비콘 기반의 비콘 맵 구축 방법, 장치
WO2019136613A1 (zh) 机器人室内定位的方法及装置
US20220108544A1 (en) Object detection apparatus, system and method
CN112150448B (zh) 图像处理方法、装置及设备、存储介质
CN114550042A (zh) 一种道路消失点提取方法、车载传感器标定方法及装置
CN114943952A (zh) 多相机重叠视域下障碍物融合方法、***、设备和介质
CN114217665A (zh) 一种相机和激光雷达时间同步方法、装置及存储介质
CN114179788A (zh) 自动泊车方法、***、计算机可读存储介质及车机端
CN115063550A (zh) 一种语义点云地图构建方法、***及智能机器人
CN113188509B (zh) 一种测距方法、装置、电子设备及存储介质
CN115511970B (zh) 一种面向自主泊车的视觉定位方法
CN117576200B (zh) 一种长周期移动机器人定位方法、***、设备及介质
CN112837404A (zh) 一种平面对象的三维信息的构建方法及装置
CN114510031A (zh) 机器人视觉导航方法、装置、机器人及存储介质
CN114051627A (zh) 相机校准方法
CN115236672A (zh) 障碍物信息生成方法、装置、设备及计算机可读存储介质
CN112904365A (zh) 地图的更新方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant