CN114236553A - 一种基于深度学习的自主移动机器人定位方法 - Google Patents

一种基于深度学习的自主移动机器人定位方法 Download PDF

Info

Publication number
CN114236553A
CN114236553A CN202210165624.3A CN202210165624A CN114236553A CN 114236553 A CN114236553 A CN 114236553A CN 202210165624 A CN202210165624 A CN 202210165624A CN 114236553 A CN114236553 A CN 114236553A
Authority
CN
China
Prior art keywords
mobile robot
autonomous mobile
information
deep learning
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210165624.3A
Other languages
English (en)
Other versions
CN114236553B (zh
Inventor
钱誉钦
张易学
周玄昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lanxin Technology Co ltd
Original Assignee
Hangzhou Lanxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lanxin Technology Co ltd filed Critical Hangzhou Lanxin Technology Co ltd
Priority to CN202210165624.3A priority Critical patent/CN114236553B/zh
Publication of CN114236553A publication Critical patent/CN114236553A/zh
Application granted granted Critical
Publication of CN114236553B publication Critical patent/CN114236553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种基于深度学习的自主移动机器人定位方法，包括：S10、获取当前时刻自主移动机器人对周边障碍物的检测数据，以及获取当前时刻自主移动机器人在激光地图中的初始估计位置信息，激光地图为基于自主移动机器人行驶路径区域信息预先建立的栅格图形式的地图；S20、将检测数据和初始估计位置信息输入到预先训练的深度学习神经网络中，得到深度学习神经网络输出的校正后的检测数据；S30、将校正后的检测数据和激光地图进行匹配，获取自主移动机器人在当前时刻的定位信息；深度学习神经网络为基于UNET架构搭建的能够接收位置信息和检测数据并实现对检测数据进行校正的模型。上述定位方法能够有效提升自主移动机器人定位的精度。

Description

一种基于深度学习的自主移动机器人定位方法
技术领域
本发明涉及机器人技术领域，尤其涉及一种基于深度学习的自主移动机器人定位方法。
背景技术
目前，在自主移动机器人（如AGV、AMR）领域主要采用的定位方法有激光定位，二维码定位，磁条定位，视觉定位等，其中，激光定位采用激光雷达获取周围环境的激光数据，这些数据是周围障碍物到激光雷达的距离信息，将障碍物信息与环境地图进行匹配，就能获取机器人在地图中的精确位姿，由于其无需人为添加标记物，激光定位属于自然导航方式，因此，近年来成为主流的自主移动机器人定位方法，得到了越来越广泛的运用。
在消费级市场上普遍采用低成本激光雷达（比如三角测量法激光雷达），同时，也有相当数量机器人安装了其他类型的测距传感器，比如TOF相机，由于测量原理相较于典型的激光雷达不同，这些距离传感器测距的精度与一致性等方面相较于典型的激光雷达是有一定差距的，且测距数据中噪点、飞行像素等现象更为严重，因此，如果采用这些低精度距离传感器数据配合普通的激光定位算法进行定位计算，将会产生较大的定位误差，进而影响机器人的自主导航行走，比如机器人在直线行走的情况测得的定位值是左右来回跳动，将会导致机器人无法沿直线行走。严重时将会导致机器人定位丢失。
发明内容
（一）要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于深度学习的自主移动机器人定位方法。
（二）技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种基于深度学习的自主移动机器人定位方法，包括：
S10、获取当前时刻自主移动机器人与周边障碍物的检测数据，以及获取当前时刻自主移动机器人在激光地图中的初始估计位置信息，所述激光地图为基于自主移动机器人行驶路径区域信息预先建立的栅格图形式的地图；
S20、将所述检测数据和所述初始估计位置信息输入到预先训练的深度学习神经网络中，得到所述深度学习神经网络输出的校正后的检测数据；
S30、将校正后的检测数据和所述激光地图进行匹配，获取所述自主移动机器人在当前时刻的定位信息（即准确的位置信息）；
所述深度学习神经网络为基于UNET架构搭建的能够接收初始估计位置信息和检测数据并实现对检测数据进行校正的模型。
可选地，所述S10之前，所述方法包括：
获取行驶路径区域自主移动机器人按照路径行驶时实时的第一数据对，每一第一数据对包括：同时刻的雷达数据和第一检测数据，所述第一检测数据为自主移动机器人与行驶路径区域内障碍物之间的距离信息；
采用SLAM（即同步定位与建图）方式对所有第一数据对中的雷达数据进行处理，建立所述激光地图，并获得每一第一数据对对应的第一位置信息，该第一位置信息为自主移动机器人在激光地图中与各雷达数据对应的位置信息。应说明的是，该第一位置信息为采用SLAM方式进行处理建立激光地图的过程中同步生成的。
将所有的第一数据对及第一位置信息作为用于训练深度学习神经网络的训练样本；
根据所述训练样本，构建训练样本数据集，基于所述训练样本数据集对UNET架构的深度学习神经网络进行训练，获得训练后的深度学习神经网络。本申请中基于UNET架构搭建的深度学习神经网络是能够同时接收图片信息和初始估计位置信息并输出图片信息。
可选地，获取行驶路径区域自主移动机器人按照路径行驶时实时的第一数据对，包括：
采用手动控制方式使自主移动机器人按照指定路径在行驶路径区域行进，且采用指定帧率实时获取第一数据对。
可选地，将所有的第一数据对作为用于训练深度学习神经网络的训练样本，包括：
将每一个第一数据对转换为栅格图表示的数据对，将每一栅格图表示的数据对以及对应的第一位置信息作为所述训练样本。
可选地，所述S20包括：
将所述检测数据转换为栅格图表示的检测数据；
将栅格图表示的检测数据和初始估计位置信息输入到预先训练的深度学习神经网络中，得到所述深度学习神经网络输出的校正后的检测数据，校正后的检测数据为栅格图表示的数据。
可选地，输入至深度学习神经网络的信息的栅格图为M×N尺寸的栅格图，该尺寸大小可由栅格化精度与栅格图最大坐标范围共同确定栅格化的尺寸；M和N均为大于0的自然数；
所述深度学习神经网络包括：特征提取网络、特征融合网络、位置融合网络；
所述特征提取网络，用于使用至少三层结构的多个卷积层和池化层交替对输入栅格图表示的信息进行先卷积后池化的处理，特征提取网络能够提取输入栅格图表示的信息中各层次的特征信息，所述特征信息为具有语义级别的稳定性与显著性的信息；
所述特征融合网络，用于采用上采样方式对特征提取网络输出的全部特征信息进行采样处理，以及对上采样处理的信息和特征提取网络倒数第二层输出的信息进行concatenate连接操作，接着重复上采样方式对连接操作的信息进行采样处理及处理后的信息与特征提取网络倒数第Q层输出的信息进行concatenate连接操作，直至遍历完特征提取网络的所有层（即concatenate连接操作的层数与特征提取网络的层结构是对应的），输出M×N尺寸的第一输出数据，Q为大于1的自然数；
所述位置融合网络，用于将输入的位置信息（x,y,θ）各构造一张M×N尺寸的栅格图，与特征融合网络的第一输出数据组合以形成4×M×N的特征图信息，将4×M×N的特征图信息输入1×1的卷积核，该1×1的卷积核对输入的特征图信息进行卷积处理后输出M×N的栅格图。
可选地，所述特征提取网络包括三层结构，每一层结构包括：依次连接的两个以上卷积层和一个池化层；每一卷积层用于对输入的信息进行卷积处理，池化层用于对输入的信息进行池化处理；
所述特征融合网络包括三层结构，每一层结构包括：依次连接的上采样层和两个以上的卷积层，每一上采样层用于对输入的信息进行采样处理，每一卷积层用于对输入的信息进行卷积处理；特征融合网络的每一层对应所述特征提取网络的每一层，由此，每一层结构中第一个卷积层接收的输入信息包括：上采样层输入的信息和特征提取网络对应层的输出信息。
所述采样处理为线性插值的方式处理。
可选地，所述S10中的获取当前时刻自主移动机器人在激光地图中的初始估计位置信息，包括：
根据上一时刻自主移动机器人的定位信息（即准确的位置信息）Pk-1以及预先定义的自主移动机器人运动模型，计算得到当前时刻自主移动机器人的初始估计位置信息的预估值P'k；
其中，自主移动机器人的起始估计位置信息为预先设定的。
可选地，所述S10中获取当前时刻自主移动机器人对周边障碍物的检测数据，包括：
借助于自主移动机器人上设置的低精度距离传感器获取当前时刻自主移动机器人对周边障碍物的检测数据；
所述S10中的激光地图为借助于自主移动机器人上的激光雷达按照行驶路径行驶时实时获取的雷达数据建立的栅格图形式的地图。
第二方面，本发明实施例还提供一种自主移动机器人，包括控制装置、低精度传感器，所述低精度传感器连接所述控制装置，所述控制装置执行上述第一方面任一所述的基于深度学习的自主移动机器人定位方法。
第三方面，本发明实施例还提供一种自主移动机器人的控制装置，其包括：存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序并执行上述第一方面任一所述的基于深度学习的自主移动机器人定位方法的步骤。
（三）有益效果
本发明实施例的定位方法借助于预先训练的深度学习神经网络对位置信息和检测数据进行校正处理，进而提升自主移动机器人定位的精度。
在具体实现中，借助于激光雷达可以预先建立高精度激光地图，同时保存每帧普通激光雷达数据所对应的低精度距离传感器检测数据，采用深度学习神经网络学习并拟合在地图不同区域二者之间的映射关系，可保证后续的定位精度，即，在自主移动机器人的定位阶段，可以根据自主移动机器人所处的地图的初始估计位置将低精度距离传感器检测数据校正优化成近似的普通激光雷达数据，再采用地图匹配的方法计算自主移动机器人的实时位置即准确的位置信息，简化了计算过程，同时提高了处理结果的准确性和可靠性。
附图说明
图1为本发明一实施例提供的基于深度学习的自主移动机器人定位方法的流程示意图；
图2为栅格图形式表示的雷达数据和距离传感器的检测数据的示意图；
图3为深度学习神经网络的结构示意图；
图4为本发明另一实施例提供的基于深度学习的自主移动机器人定位方法的流程示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
实施例一
如图4所示，本发明实施例提供一种基于深度学习的自主移动机器人定位方法，本实施例的方法的执行主体可为自主移动机器人的控制装置，以下步骤均为对应实施例二中的在线识别阶段的步骤；其具体实现方法包括下述步骤：
S10、获取当前时刻自主移动机器人对周边障碍物的检测数据，以及获取当前时刻自主移动机器人在激光地图中的初始估计位置信息，所述激光地图为基于自主移动机器人行驶路径区域信息预先建立的栅格图形式的地图。
在本实施例中，可借助于自主移动机器人上设置的低精度距离传感器获取当前时刻自主移动机器人对周边障碍物的检测数据。
特别地，激光地图为借助于自主移动机器人上的激光雷达按照行驶路径行驶时实时获取的雷达数据建立的栅格图形式的地图。
另外，初始估计位置信息可为采用递推方式获取，例如，根据上一时刻自主移动机器人的定位信息（即准确的位置信息）Pk-1以及预先定义的自主移动机器人运动模型，计算得到当前时刻自主移动机器人的初始估计位置信息的预估值P'k；其中，自主移动机器人的起始估计位置信息为预先设定的。
S20、将所述检测数据和所述初始估计位置信息输入到预先训练的深度学习神经网络中，得到所述深度学习神经网络输出的校正后的检测数据。
在具体应用中，可将所述检测数据转换为栅格图表示的检测数据；此时，将栅格图表示的检测数据及位置信息输入到预先训练的深度学习神经网络中，得到所述深度学习神经网络输出的校正后的检测数据，校正后的检测数据为栅格图表示的数据。
该步骤的深度学习神经网络为预先训练的，并基于UNET架构搭建的能够对距离传感器的栅格图进行校正并输出校正后的栅格图的模型。现有的UNET架构的模型不能接收图片并处理输出图片，而本实施例中的深度学习神经网络是能够接收图片和初始估计位置信息并处理输出图片格式的信息。
S30、将校正后的检测数据和所述激光地图进行匹配，获取所述自主移动机器人在当前时刻的定位信息。
该步骤中的定位信息，是指AGV（即自主移动机器人的一种）在激光地图的坐标与角度（x, y, θ），基于精确的定位信息，自主移动机器人如AGV才能进行正常的自主导航行走，如果定位出现跳变，则AGV会出现到点，容易出现S型行走或定位丢失问题。
本实施例的方法能够有效提高计算速度，同时可提高定位信息的准确性和可靠性。
本实施例的深度学习神经网络为基于UNET架构搭建的能够接收初始估计位置信息和检测数据并实现对检测数据进行校正的模型，如图3所示。实施例二中进行详细说明。
实施例二
如图1所示，本实施例的基于深度学习的自主移动机器人定位方法，可分为建图与定位两个阶段；以下对这两个阶段进行详细说明。以下实施例中的自主移动机器人可为AGV，本实施例中以AGV进行举例说明，但是并不限定仅仅是AGV一种机器人。
建图阶段
在建图阶段可分为建立激光地图与训练深度学习神经网络两个过程。
首先，在AGV上安装普通激光雷达与低精度距离传感器，在实际应用中激光雷达和距离传感器的高度一致，且安装位置临近，即高度和位置均接近。
建图过程中同时保存每一帧的普通激光雷达的雷达数据与低精度距离传感器的检测数据，采用SLAM方法基于上述雷达数据建立全局激光地图（简称激光地图），并获得建立激光地图过程中每一帧AGV所处的位置（即第一位置信息）；
也就是说，开始建激光地图后，采用手动控制方式使AGV在运行区域行走一圈，行走过程中以固定帧率（如5Hz）同步采集普通激光雷达的雷达数据Di(i = 1,2,3,…,N)与低精度距离传感器的检测数据Si (i = 1,2,3,…,N)，N为整个建图过程的数据采集次数，此时，采用SLAM方法基于雷达数据Di (i = 1,2,3,…,N)建立全局激光地图，并记录下建图过程中每一帧雷达数据对应的AGV所处的位置Pi (i = 1,2,3,…,N)。
本实施例中雷达数据Di和距离传感器的检测数据Si均以栅格图的形式的表示如图2所示。图2中的（a）示出的是栅格图表示的雷达数据Di，图2中的（b）示出的是栅格图表示的低精度距离传感器的检测数据Si。
接着，搭建一个深度学习神经网络并进行训练，其中每个训练样本的输入为任一帧记录的低精度距离传感器的检测数据以及该帧AGV所处的位置，输出为该帧记录的普通激光雷达数据。
深度学习神经网络的输入为任意一帧低精度距离传感器的栅格图表示的检测数据与AGV所处的位置，输出为校正完的栅格图的位置信息即准确的位置信息。可理解的是，该深度学习神经网络采用改进的UNET架构，且深度学习神经网络中输入的栅格图尺寸为M×N，该处栅格图的尺寸可由栅格化精度与栅格图最大坐标范围共同确定栅格化的尺寸。
如图3所示，图3示出了一种深度学习神经网络的结构，该深度学习神经网络可包括：特征提取网络、特征融合网络、位置融合网络，且特征提取网络为三层结构，特征融合网络为对应特征提取网络的三层结构；
特征提取网络中每一层结构可包括：依次连接的两个以上卷积层和一个池化层；每一卷积层用于对输入的信息进行卷积处理，池化层用于对输入的信息进行池化处理，并在池化处理之后输入到下一层结构；
所述特征融合网络包括三层结构，每一层结构包括：依次连接的上采样层和两个以上的卷积层，每一上采样层用于对输入的信息进行采样处理，每一卷积层用于对输入的信息进行卷积处理；最后一层结构中上采样层可对特征提取网络的输出进行采样处理。
即，图3中深度学习神经网络左侧为特征提取网络：使用卷积层和池化层交替对输入栅格图进行处理。深度学习神经网络右侧部分为特征融合网络，该特征融合网络使用上采样产生的特征图与特征提取网络的特征图进行concatenate（即连接）操作，直到输出数据维数达到M×N。该处上采样的方式可以采用线性插值，特征融合网络的输出与输入的栅格图尺寸大小相同。
图3中特征融合网络，用于使用上采样层对特征提取网络输出的特征信息进行采样处理以产生特征图，且与特征提取网络中第二层输出的特征信息进行concatenate连接操作，得到新的特征信息，对新的特征信息进行采样处理并产生特征图且与特征提取网络中第一层输出的特征信息进行concatenate连接操作，以输出M×N的输出数据；
所述特征融合网络输出的信息的栅格图与输入深度学习神经网络的栅格图尺寸一致；且所述特征融合网络用于将输入的栅格图表示的信息与所述特征信息进行融合处理。
本实施例中，特征融合网络的输出图，迭加上三个输入位置值输入（x, y, z）, 形成最终的输出栅格图。具体而言，x, y, z输入后各生成一张M×N的图，这三个与特征融合网络的输出图构成 4×M×N的输入，后面接上一个1×1的卷积核，即最终输出M×N的栅格图，M和N均为大于0的自然数。
需要说明的是，训练深度学习神经网络，可理解为将Si，Pi (i = 1,2,3,…,N)作为深度学习神经网络输入，Di (i = 1,2,3,…,N)作为输出，构成训练数据集，采用梯度反向传播方法更新深度学习神经网络的权重。
进一步地，上述的普通激光雷达仅在建图过程中安装在车上，建完图后即可拆除，定位过程中不需要普通激光雷达。因此该激光雷达可以复用于不同场景。
定位阶段
在定位阶段，首先根据上一时刻AGV所处的位置与预先定义的运动模型计算得到当前AGV大致所处的位置，将该位置与当前时刻低精度距离传感器的检测数据输入深度学习神经网络，输出校正完的周边障碍物距离数据，
接着，将该校正的数据与激光地图进行匹配以计算当前AGV所处的位置。
举例来说，定位阶段的步骤可为：
第一步：AGV在运行过程中，实时计算当前AGV在激光地图中的初始估计位置，不失一般性，令当前时刻为k，则上一时刻k-1，AGV的初始估计位置为Pk-1。
具体地，根据上一时刻AGV的准确的定位信息及位置Pk-1，以及AGV的运动模型（基于里程计信息计算），计算得到当前时刻AGV初始估计位置的预估值P'k，该位置预估值虽然不一定完全准确，但由于帧间的位移相对较少，因此误差不会很大。
第二步：采集低精度距离传感器当前时刻的检测数据转换成栅格图Sk，与初始估计位置的预估值P'k一起输入训练的深度学习神经网络，输出校正完的当前传感器的栅格图S'k；
第三步：将栅格图S'k与全局激光地图作匹配，定位计算得到当前时刻AGV的定位值Pk即准确的位置信息，结束本次计算。
需要说明的是，前述实施例的低精度距离传感器，是指由于制造成本，测距原理相较于普通激光雷达不同，其对于某些构造的物体距离测量值存在一定的偏差，比如笔直的墙体测量数据成一定弧线。同时，低精度距离传感器测量数据亦会产生相当量的噪点，坏数据等。
在本实施例的方法中，借助于激光雷达可以预先建立高精度激光地图，同时保存每帧普通激光雷达数据所对应的低精度距离传感器检测数据，采用深度学习神经网络学习并拟合在地图不同区域二者之间的映射关系，可保证后续的定位精度，即，在自主移动机器人的定位阶段，可以根据自主移动机器人所处的地图的初始估计位置将低精度距离传感器检测数据校正优化成近似的普通激光雷达数据，再采用地图匹配的方法计算自主移动机器人的实时位置即准确的位置信息，简化了计算过程，同时提高了处理结果的准确性和可靠性。
实施例三
本发明实施例还提供一种自主移动机器人，包括控制装置、低精度传感器，所述低精度传感器连接所述控制装置，所述控制装置执行上述第一方面任一所述的基于深度学习的自主移动机器人定位方法。本实施例中低精度传感器和激光雷达安装位置接近，高度一致。
第三方面，本发明实施例还提供一种自主移动机器人的控制装置，其包括：存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序并执行上述第一方面任一所述的基于深度学习的自主移动机器人定位方法的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种基于深度学习的自主移动机器人定位方法，其特征在于，包括：
S10、获取当前时刻自主移动机器人对周边障碍物的检测数据，以及获取当前时刻自主移动机器人在激光地图中的初始估计位置信息，所述激光地图为基于自主移动机器人行驶路径区域信息预先建立的栅格图形式的地图；
S20、将所述检测数据和所述初始估计位置信息输入到预先训练的深度学习神经网络中，得到所述深度学习神经网络输出的校正后的检测数据；
S30、将校正后的检测数据和所述激光地图进行匹配，获取所述自主移动机器人在当前时刻的定位信息；
所述深度学习神经网络为基于UNET架构搭建的能够接收初始估计位置信息和检测数据并实现对检测数据进行校正的模型。
2.根据权利要求1所述的方法，其特征在于，所述S10之前，所述方法包括：
获取行驶路径区域自主移动机器人按照路径行驶时实时的第一数据对，每一第一数据对包括：同时刻的雷达数据和第一检测数据，所述第一检测数据为自主移动机器人与行驶路径区域内障碍物之间的距离信息；
采用同步定位与建图SLAM方式对所有第一数据对中的雷达数据进行处理，建立所述激光地图，并获得每一第一数据对对应的第一位置信息，该第一位置信息为自主移动机器人在激光地图中与各雷达数据对应的位置信息；
将所有的第一数据对及第一位置信息作为用于训练深度学习神经网络的训练样本；
根据所述训练样本，构建训练样本数据集，基于所述训练样本数据集对UNET架构的深度学习神经网络进行训练，获得训练后的深度学习神经网络。
3.根据权利要求2所述的方法，其特征在于，获取行驶路径区域自主移动机器人按照路径行驶时实时的第一数据对，包括：
采用手动控制方式使自主移动机器人按照指定路径在行驶路径区域行进，且采用指定帧率实时获取第一数据对。
4.根据权利要求2所述的方法，其特征在于，将所有的第一数据对作为用于训练深度学习神经网络的训练样本，包括：
将每一个第一数据对转换为栅格图表示的数据对，将每一栅格图表示的数据对以及对应的第一位置信息作为所述训练样本。
5.根据权利要求4所述的方法，其特征在于，所述S20包括：
将所述检测数据转换为栅格图表示的检测数据；
将栅格图表示的检测数据和初始估计位置信息输入到预先训练的深度学习神经网络中，得到所述深度学习神经网络输出的校正后的检测数据，校正后的检测数据为栅格图表示的数据。
6.根据权利要求4或5所述的方法，其特征在于，输入至深度学习神经网络的信息的栅格图为M×N尺寸的栅格图；
所述深度学习神经网络包括：特征提取网络、特征融合网络、位置融合网络；
所述特征提取网络，用于使用至少三层结构的多个卷积层和池化层交替对输入栅格图表示的信息进行先卷积后池化的处理，特征提取网络能够提取输入栅格图表示的信息中各层次的特征信息，所述特征信息为具有语义级别的稳定性与显著性的信息；
所述特征融合网络，用于采用上采样方式对特征提取网络输出的全部特征信息进行采样处理，以及对上采样处理的信息和特征提取网络倒数第二层输出的信息进行concatenate连接操作，接着重复上采样方式对连接操作的信息进行采样处理及处理后的信息与特征提取网络倒数第Q层输出的信息进行concatenate连接操作，直至遍历完特征提取网络的所有层，输出M×N尺寸的第一输出数据；
所述位置融合网络，用于将输入的位置信息（x,y,θ）各构造一张M×N尺寸的栅格图，与特征融合网络的第一输出数据组合以形成4×M×N的特征图信息，将4×M×N的特征图信息输入1×1的卷积核，该1×1的卷积核对输入的特征图信息进行卷积处理后输出M×N的栅格图。
7.根据权利要求6所述的方法，其特征在于，
所述特征提取网络包括三层结构，每一层结构包括：依次连接的两个以上卷积层和一个池化层；每一卷积层用于对输入的信息进行卷积处理，池化层用于对输入的信息进行池化处理；
所述特征融合网络包括三层结构，每一层结构包括：依次连接的上采样层和两个以上的卷积层，每一上采样层用于对输入的信息进行采样处理，每一卷积层用于对输入的信息进行卷积处理；
和/或，
所述采样处理为线性插值的方式处理。
8.根据权利要求1至5任一所述的方法，其特征在于，所述S10中的获取当前时刻自主移动机器人在激光地图中的初始估计位置信息，包括：
根据上一时刻自主移动机器人的定位信息Pk-1以及预先定义的自主移动机器人运动模型，计算得到当前时刻自主移动机器人的初始估计位置信息的预估值P'k；
其中，自主移动机器人的起始估计位置信息为预先设定的。
9.根据权利要求1所述的方法，其特征在于，所述S10中获取当前时刻自主移动机器人对周边障碍物的检测数据，包括：
借助于自主移动机器人上设置的低精度距离传感器获取当前时刻自主移动机器人对周边障碍物的检测数据；
所述S10中的激光地图为借助于自主移动机器人上的激光雷达按照行驶路径行驶时实时获取的雷达数据建立的栅格图形式的地图。
10.一种自主移动机器人，其特征在于，包括控制装置、低精度传感器，所述低精度传感器连接所述控制装置，所述控制装置执行上述权利要求1至9任一所述的基于深度学习的自主移动机器人定位方法。
CN202210165624.3A 2022-02-23 2022-02-23 一种基于深度学习的自主移动机器人定位方法 Active CN114236553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210165624.3A CN114236553B (zh) 2022-02-23 2022-02-23 一种基于深度学习的自主移动机器人定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210165624.3A CN114236553B (zh) 2022-02-23 2022-02-23 一种基于深度学习的自主移动机器人定位方法

Publications (2)

Publication Number Publication Date
CN114236553A true CN114236553A (zh) 2022-03-25
CN114236553B CN114236553B (zh) 2022-06-10

Family

ID=80747988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210165624.3A Active CN114236553B (zh) 2022-02-23 2022-02-23 一种基于深度学习的自主移动机器人定位方法

Country Status (1)

Country Link
CN (1) CN114236553B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111578946A (zh) * 2020-05-27 2020-08-25 杭州蓝芯科技有限公司 一种基于深度学习的激光导航agv重定位方法和装置
CN112629520A (zh) * 2020-11-25 2021-04-09 北京集光通达科技股份有限公司 一种机器人导航与定位方法、***、设备及存储介质
CN113228043A (zh) * 2019-01-22 2021-08-06 深圳市大疆创新科技有限公司 移动平台基于神经网络的障碍物检测及关联的***和方法
CN113376650A (zh) * 2021-08-09 2021-09-10 浙江华睿科技股份有限公司 移动机器人定位方法及装置、电子设备及存储介质
KR20210116004A (ko) * 2020-03-17 2021-09-27 전남대학교산학협력단 확률 체계 기반 충돌격자지도를 이용한 충돌 상황을 학습 및 인지하기 위한 장치 및 이를 위한 방법
CN113486726A (zh) * 2021-06-10 2021-10-08 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113228043A (zh) * 2019-01-22 2021-08-06 深圳市大疆创新科技有限公司 移动平台基于神经网络的障碍物检测及关联的***和方法
KR20210116004A (ko) * 2020-03-17 2021-09-27 전남대학교산학협력단 확률 체계 기반 충돌격자지도를 이용한 충돌 상황을 학습 및 인지하기 위한 장치 및 이를 위한 방법
CN111578946A (zh) * 2020-05-27 2020-08-25 杭州蓝芯科技有限公司 一种基于深度学习的激光导航agv重定位方法和装置
CN112629520A (zh) * 2020-11-25 2021-04-09 北京集光通达科技股份有限公司 一种机器人导航与定位方法、***、设备及存储介质
CN113486726A (zh) * 2021-06-10 2021-10-08 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113376650A (zh) * 2021-08-09 2021-09-10 浙江华睿科技股份有限公司 移动机器人定位方法及装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114236553B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN109682381B (zh) 基于全向视觉的大视场场景感知方法、***、介质及设备
CN108550318B (zh) 一种构建地图的方法及装置
Nieto et al. Recursive scan-matching SLAM
CN109186606B (zh) 一种基于slam和图像信息的机器人构图及导航方法
CN109813319B (zh) 一种基于slam建图的开环优化方法及***
CN110189366B (zh) 一种激光粗配准方法、装置、移动终端及存储介质
JP6855524B2 (ja) 低速特徴からのメトリック表現の教師なし学習
US11231283B2 (en) Localization with neural network based image registration of sensor data and map data
KR20190064311A (ko) 라이다를 이용한 지도 생성 방법 및 장치
CN111338383B (zh) 基于gaas的自主飞行方法及***、存储介质
WO2014190208A2 (en) Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
CN109325979B (zh) 基于深度学习的机器人回环检测方法
KR20220004203A (ko) 기기 포지셔닝을 위한 방법, 장치 및 기기
US7747348B2 (en) Method and apparatus for using rotational movement amount of mobile device and computer-readable recording medium for storing computer program
JP2009157430A (ja) 座標補正方法、座標補正プログラム、及び自律移動ロボット
JP2020064056A (ja) 位置推定装置及び方法
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
Tomažič et al. Fusion of visual odometry and inertial navigation system on a smartphone
CN113433937B (zh) 基于启发式探索的分层导航避障***、分层导航避障方法
CN113776519A (zh) 一种无光动态开放环境下agv车辆建图与自主导航避障方法
Herath et al. Fusion-dhl: Wifi, imu, and floorplan fusion for dense history of locations in indoor environments
Li et al. Hybrid filtering framework based robust localization for industrial vehicles
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
Park et al. Least-square matching for mobile robot SLAM based on line-segment model
CN110989619A (zh) 用于定位对象的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant