CN113269803B - 基于2d激光与深度图像融合的扫描定位方法、***及设备 - Google Patents

基于2d激光与深度图像融合的扫描定位方法、***及设备 Download PDF

Info

Publication number
CN113269803B
CN113269803B CN202110644112.0A CN202110644112A CN113269803B CN 113269803 B CN113269803 B CN 113269803B CN 202110644112 A CN202110644112 A CN 202110644112A CN 113269803 B CN113269803 B CN 113269803B
Authority
CN
China
Prior art keywords
map
feature vector
laser
grid
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110644112.0A
Other languages
English (en)
Other versions
CN113269803A (zh
Inventor
杨明浩
张家清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110644112.0A priority Critical patent/CN113269803B/zh
Publication of CN113269803A publication Critical patent/CN113269803A/zh
Application granted granted Critical
Publication of CN113269803B publication Critical patent/CN113269803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于地图创建与扫描定位领域，具体涉及了一种基于2D激光与深度图像融合的扫描定位方法、***及设备，旨在解决现有扫描定位结果无法实时显示，效率、准确性及精度低的问题。本发明包括：创建网格地图，使用2D激光雷达数据在网格地图中逐帧创建2D地图轮廓；把RGB‑D相机图像数据压缩为一维特征向量，并与2D激光雷达数据特征向量融合为表示当前角度和位置的图像特征的一维向量；将地图多次采样构建为金字塔结构，把当前视图的RGB‑D相机和2D激光雷达获得的信息转化为一维特征向量，采用由粗到精的策略将转化后的一维向量与地图中保存的一维特征向量对比，确定准确位置。本发明扫描定位效率高，准确性和精度高，并可实时显示定位结果。

Description

基于2D激光与深度图像融合的扫描定位方法、***及设备
技术领域
本发明属于地图创建与扫描定位领域，具体涉及了一种基于2D激光与深度图像融合的扫描定位方法、***及设备。
背景技术
地图创建是室内实时定位和建图(SLAM)的基础与关键组成部分。当前有多种地图创建方法，根据他们的生成和存储方式，可以分为2D网格地图和3D体素地图等。
2D网格地图具有在平面环境中快速定位、重新定位、易于避障等优点。但是在地图中并不能显示其他信息。与2D网格图相比，3D体素图可以在其体素中包含丰富的信息。但是，由于在3D地图中包含特征点提取、当前视图与地图数据库中现有特征点之间的匹配等高耗时步骤，因此在3D地图中进行定位与重定位都变得非常耗时，无法做到实时进行。
总的来说，现有地图创建方法无法兼顾存储视图信息与减低地图创建耗时，从而使得扫描定位速度低、精度和准确性低以及定位结果无法实时显示。
发明内容
为了解决现有技术中的上述问题，即现有扫描定位结果无法实时显示，效率、准确性及精度低的问题，本发明提供了一种基于2D激光与深度图像融合的扫描定位方法，该扫描定位方法包括：
步骤S10，根据预设环境在网格地图中所占行数、列数以及机器人旋转360°的间隔次数，创建网格地图；
步骤S20，使用2D激光雷达数据在所述网格地图中逐帧创建2D地图轮廓，并通过旋转和平移将相邻帧的2D地图轮廓匹配对齐，获得2D地图；
步骤S30，将所述2D地图的轮廓点转换的轮廓点特征向量与RGB-D相机图像压缩的图像特征向量融合，获得融合特征向量；
步骤S40，通过多次采样将所述网格地图构建为金字塔结构，将当前视图的RGB-D相机和2D激光雷达获得的数据转化为特征向量，并采用由粗到精策略将转化后的特征向量与所述融合特征向量进行对比，获得当前定位位置。
在一些优选的实施例中，所述预设环境在网格地图中所占行数k列数为：
M＝(max(Cx)-min(Cx))/Gx
N＝(max(Cy)-min(Cy))/Gy
其中，M、N分别代表预设环境在网格地图中所占行数、列数，Cx、Cy分别代表网格地图的x轴长度、y轴长度，Gx、Gy分别代表网格地图中每个网格的宽度、高度，max代表求最大值，max代表求最小值。
在一些优选的实施例中，所述机器人旋转360°的间隔次数为：
γ＝360°/Gθ
其中，γ代表机器人旋转360°的间隔次数，Gθ为机器人逆时针旋转时每次间隔的角度。
在一些优选的实施例中，步骤S20中通过旋转和平移将相邻帧的2D地图轮廓匹配对齐，其方法为：
Xt＝[R T]Xt-1
Figure GDA0003822401130000031
Figure GDA0003822401130000032
其中，Xt、Xt-1分别代表第t帧、第t-1帧的2D地图轮廓点的均匀坐标值，R、T分别为旋转矩阵、平移矩阵，α代表相邻两帧之间的2D地图轮廓点的旋转角度偏移量，tx、ty分别代表相邻两帧之间的2D地图轮廓点在2D地图中x轴、y轴方向的距离偏移量。
在一些优选的实施例中，步骤S30包括：
步骤S31，将所述2D地图的轮廓点转换为轮廓点特征向量，通过基于CNN卷积神经网络的自动编码器将RGB-D相机图像压缩为图像特征向量；
步骤S32，将所述轮廓点特征向量与所述图像特征向量融合，获得表征当前位置与朝向角度的融合特征向量。
在一些优选的实施例中，所述轮廓点特征向量为：
X＝[x1，x2，…，xc，…，xC]
其中，X代表轮廓点特征向量，xc，1≤c≤C代表轮廓点特征向量中的元素，C为轮廓点数量。
在一些优选的实施例中，所述图像特征向量为：
Y＝[y1，y2，…，yk，…yk]
其中，Y代表图像特征向量，yk，1≤k≤K代表图像特征向量中的元素，K为图像特征向量的维度。
在一些优选的实施例中，所述当前定位位置，其计算方法为：
Figure GDA0003822401130000033
其中，i，j，θ为机器人当前在2D地图中的网格位置以及旋转角度，u，v为沿着2D地图x轴和y轴进行下采样的矩形空间的列数和行数，R代表机器人旋转360°的间隔次数，fview为当前视图的RGB-D相机和2D激光雷达获得的数据转化的特征向量，F(i，j，θ)为2D地图中机器人位置(i，j)和旋转角度θ处的融合特征向量，dist为向量fview和F(i，j，θ)之间的距离度量函数，min代表求最小值，arg代表对i，j，θ最小dist函数的求值，
Figure GDA0003822401130000041
代表在向量fview和F(i，j，θ)之间找到最小距离时的机器人位置和旋转角度。
本发明的另一方面，提出了一种基于2D激光与深度图像融合的扫描定位***，该扫描定位***包括以下模块：
网格地图创建模块，配置为根据预设环境在网格地图中所占行数、列数以及机器人旋转360°的间隔次数，创建网格地图；
2D地图创建模块，配置为使用2D激光雷达数据在所述网格地图中逐帧创建2D地图轮廓，并通过旋转和平移将相邻帧的2D地图轮廓匹配对齐，获得2D地图；
地图信息提取模块，配置为将所述2D地图的轮廓点转换的轮廓点特征向量与RGB-D相机图像压缩的图像特征向量融合，获得融合特征向量；
定位模块，配置为通过多次采样将所述网格地图构建为金字塔结构，将当前视图的RGB-D相机和2D激光雷达获得的数据转化为特征向量，并采用由粗到精策略将转化后的特征向量与所述融合特征向量进行对比，获得当前定位位置。
本发明的第三方面，提出了一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于2D激光与深度图像融合的扫描定位方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于2D激光与深度图像融合的扫描定位方法。
本发明的有益效果：
(1)本发明基于2D激光与深度图像融合的扫描定位方法，首先，基于室内环境信息创建网格地图，并使用2D激光雷达数据在网格地图中逐帧创建2D地图轮廓；然后将当前视图的图像数据压缩为一维特征向量与2D激光雷达数据融合存入网格中；最后，使用Siamesenetwork+Autoencoder将地图多次采样构建为金字塔结构，把当前视图的RGB-D相机和2D激光雷达获得的信息转化为一维特征向量，采用由粗到精的策略将转化后的一维向量与保存的一维特征向量对比，确定准确位置，将重定位任务转化为最近向量检索问题，使得定位速度相比于传统的方式更加快速，准确性与精度更高，并可实时显示定位结果。
(2)本发明基于2D激光与深度图像融合的扫描定位方法，计算过程简单、占用资源少，在计算资源有限的嵌入式设备或移动设备中以及实时性要求较高的场合都可获得较好的效果，应用广泛、鲁棒性好。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于2D激光与深度图像融合的扫描定位方法的流程示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于2D激光与深度图像融合的扫描定位方法，本方法针对传统方法不能存储视图信息与耗时长的问题，首先，在传统方法的地图生成阶段，把多个传感器获得的当前视图的数据压缩为一维特征向量并分别存入其原始网格地图中，在进行重定位时，采用金字塔结构进行从粗到精的相似度评估，从而获得最佳相似度图像来进行判断当前具***置信息。通过这种方法，可以将重定位任务转化为最近向量检索问题，使得定位速度相比于传统的方式更加快速，准确性和精度高，并且可以实时显示定位结果。
本发明的一种基于2D激光与深度图像融合的扫描定位方法，该扫描定位方法包括：
步骤S10，根据预设环境在网格地图中所占行数、列数以及机器人旋转360°的间隔次数，创建网格地图；
步骤S20，使用2D激光雷达数据在所述网格地图中逐帧创建2D地图轮廓，并通过旋转和平移将相邻帧的2D地图轮廓匹配对齐，获得2D地图；
步骤S30，将所述2D地图的轮廓点转换的轮廓点特征向量与RGB-D相机图像压缩的图像特征向量融合，获得融合特征向量；
步骤S40，通过多次采样将所述网格地图构建为金字塔结构，将当前视图的RGB-D相机和2D激光雷达获得的数据转化为特征向量，并采用由粗到精策略将转化后的特征向量与所述融合特征向量进行对比，获得当前定位位置。
为了更清晰地对本发明基于2D激光与深度图像融合的扫描定位方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于2D激光与深度图像融合的扫描定位方法，包括步骤S10-步骤S40，各步骤详细描述如下：
步骤S10，根据预设环境在网格地图中所占行数、列数以及机器人旋转360°的间隔次数，创建网格地图。
预设环境在网格地图中所占行数、列数如式(1)和式(2)所示：
N＝(max(Cx)-min(Cx))/Gx (1)
N＝(max(Cy)-min(Cy))/Gy (2)
其中，M、N分别代表预设环境在网格地图中所占行数、列数，Cx、Cy分别代表网格地图的x轴长度、y轴长度，Gx、Gy分别代表网格地图中每个网格的宽度、高度，max代表求最大值，min代表求最小值。
机器人旋转360°的间隔次数如式(3)所示：
γ＝360°/Gθ (3)
其中，γ代表机器人旋转360°的间隔次数，Gθ为机器人逆时针旋转时每次间隔的角度。
在本发明一个优选的实施例中，通过经验确定Cx、Cy以及Gθ的值，通常将Cx、Cy设置为0.4到0.7区间内，Gθ设置为15°到30°区间内。
步骤S20，使用2D激光雷达数据在所述网格地图中逐帧创建2D地图轮廓，并通过旋转和平移将相邻帧的2D地图轮廓匹配对齐，获得2D地图。
在网格地图中逐帧创建2D地图轮廓，在创建的同时，通过旋转和平移将相邻帧的2D地图轮廓点匹配对齐，如式(4)-式(6)所示：
Xt＝[R T]Xt-1 (4)
Figure GDA0003822401130000081
Figure GDA0003822401130000082
其中，Xt、Xt-1分别代表第t帧、第t-1帧的2D地图轮廓点的均匀坐标值，R、T分别为旋转矩阵、平移矩阵，α代表相邻两帧之间的2D地图轮廓点的旋转角度偏移量，tx、ty分别代表相邻两帧之间的2D地图轮廓点在2D地图中x轴、y轴方向的距离偏移量。
Xt-1的尺寸为3×C，Xt的尺寸为2×C，C为轮廓点数量。
在此步骤中，式(4)的求解依赖于重叠视图中至少四个点之间的关系。在近似全局最优解的情况下，使用Newton-Raphson方法进行计算可以得到R、T的精确值。此外，还可以采用迭代接近点算法(ICP)和任何类似的轮廓匹配方法进行轮廓匹配对齐，本发明在此不一一详述。
步骤S30，将所述2D地图的轮廓点转换的轮廓点特征向量与RGB-D相机图像压缩的图像特征向量融合，获得融合特征向量。
步骤S31，将所述2D地图的轮廓点转换为轮廓点特征向量，通过基于CNN卷积神经网络的自动编码器将RGB-D相机图像压缩为图像特征向量。
轮廓点特征向量如式(7)所示：
X＝[x1，x2，…，xc，…，xC] (7)
其中，X代表轮廓点特征向量，xc，1≤c≤C代表轮廓点特征向量中的元素，C为轮廓点数量。
匹配后的2D激光雷达数据创建出的2D地图轮廓共由C点组成，则将给出的点的位置与角度数据转化为一维特征向量X＝[x1，x2，…，xc，…，xC]，(1≤c≤C)。
图像特征向量如式(8)所示：
Y＝[y1，y2，…，yk，…，yK] (8)
其中，Y代表图像特征向量，yk，1≤k≤K代表图像特征向量中的元素，K为图像特征向量的维度。
通过基于卷积神经网络(CNN)的自动编码器将获取到的RGB图像与深度图像压缩为一维特征向量Y＝[y1，y2，…，yk，…，yK]，当前RGB图像的分辨率为Iw×Ih。
步骤S32，将所述轮廓点特征向量与所述图像特征向量融合，获得表征当前位置与朝向角度的融合特征向量。
获取图像的一维特征向量后，将2D雷达信息与RGB图像压缩得到的一维特征向量X＝[x1，x2，…，xc，…，xC]和Y＝[y1，y2，…，yk，…，yK]融合为一个向量，用来表示当前的位置与朝向角度的图像特征信息。
此处获取的轮廓点特征向量、图像特征向量以及融合特征向量均为一维特征向量，后续在定位中与实施的一维特征向量进行比较定位，将重定位任务转化为最近向量检索的问题，使得定位速度相比于传统的方式更加快速。
步骤S40，通过多次采样将所述网格地图构建为金字塔结构，将当前视图的RGB-D相机和2D激光雷达获得的数据转化为特征向量，并采用由粗到精策略将转化后的特征向量与所述融合特征向量进行对比，获得当前定位位置。
通过室内环境确定在网格地图内网格大小与旋转间隔角度后，首先将地图多次采样构建金字塔结构，在金字塔的顶层进行匹配有助于快速找到初始位置和视角，在金字塔底层的匹配过程有助于从较高层次的粗值中逐步获得准确的位置和视角。
构建金字塔结构后，在网格(i，j)处对机器人所在位置进行定位，设沿着x轴和y轴进行下采样的样本分别为u，v，若初次匹配位于金字塔的第l层
Figure GDA0003822401130000101
处，则定位范围为在矩形空间u×v内。
当前定位位置，其计算方法如式(9)所示：
Figure GDA0003822401130000102
其中，i，j，θ为机器人当前在2D地图中的网格位置以及旋转角度，u，v为沿着2D地图x轴和y轴进行下采样的矩形空间的列数和行数，R代表机器人旋转360°的间隔次数，fview为当前视图的RGB-D相机和2D激光雷达获得的数据转化的特征向量，F(i，j，θ)为2D地图中机器人位置(i，j)和旋转角度θ处的融合特征向量，dist为向量fview和F(i，j，θ)之间的距离度量函数，min代表求最小值，arg代表对i，j，θ最小dist函数的求值，
Figure GDA0003822401130000103
代表在向量fview和F(i，j，θ)之间找到最小距离时的机器人位置和旋转角度。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于2D激光与深度图像融合的扫描定位***，该扫描定位***包括以下模块：
网格地图创建模块，配置为根据预设环境在网格地图中所占行数、列数以及机器人旋转360°的间隔次数，创建网格地图；
2D地图创建模块，配置为使用2D激光雷达数据在所述网格地图中逐帧创建2D地图轮廓，并通过旋转和平移将相邻帧的2D地图轮廓匹配对齐，获得2D地图；
地图信息提取模块，配置为将所述2D地图的轮廓点转换的轮廓点特征向量与RGB-D相机图像压缩的图像特征向量融合，获得融合特征向量；
定位模块，配置为通过多次采样将所述网格地图构建为金字塔结构，将当前视图的RGB-D相机和2D激光雷达获得的数据转化为特征向量，并采用由粗到精策略将转化后的特征向量与所述融合特征向量进行对比，获得当前定位位置。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于2D激光与深度图像融合的扫描定位***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于2D激光与深度图像融合的扫描定位方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于2D激光与深度图像融合的扫描定位方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于2D激光与深度图像融合的扫描定位方法，其特征在于，该扫描定位方法包括：
步骤S10，根据预设环境在网格地图中所占行数、列数以及机器人旋转360°的间隔次数，创建网格地图；
步骤S20，使用2D激光雷达数据在所述网格地图中逐帧创建2D地图轮廓，并通过旋转和平移将相邻帧的2D地图轮廓匹配对齐，获得2D地图；
步骤S30，将所述2D地图的轮廓点转换的轮廓点特征向量与RGB-D相机图像压缩的图像特征向量融合，获得融合特征向量；
步骤S40，通过多次采样将所述网格地图构建为金字塔结构，将当前视图的RGB-D相机和2D激光雷达获得的数据转化为特征向量，并采用由粗到精策略将转化后的特征向量与所述融合特征向量进行对比，获得当前定位位置：
Figure FDA0003822401120000011
其中，i，j，θ为机器人当前在2D地图中的网格位置以及旋转角度，u，v为沿着2D地图x轴和y轴进行下采样的矩形空间的列数和行数，γ代表机器人旋转360°的间隔次数，fview为当前视图的RGB-D相机和2D激光雷达获得的数据转化的特征向量，F(i，j，θ)为2D地图中机器人位置(i，j)和旋转角度θ处的融合特征向量，dist为向量fview和F(i，j，θ)之间的距离度量函数，min代表求最小值，arg代表对i，j，θ最小dist函数的求值，
Figure FDA0003822401120000012
代表在向量fview和F(i，j，θ)之间找到最小距离时的机器人位置和旋转角度。
2.根据权利要求1所述的基于2D激光与深度图像融合的扫描定位方法，其特征在于，所述预设环境在网格地图中所占行数、列数为：
M＝(max(Cx)-min(Cx))/Gx
N＝(max(Cy)-min(Cy))/Gy
其中，M、N分别代表预设环境在网格地图中所占行数、列数，Cx、Cy分别代表网格地图的x轴长度、y轴长度，Gx、Gy分别代表网格地图中每个网格的宽度、高度，max代表求最大值，min代表求最小值。
3.根据权利要求1所述的基于2D激光与深度图像融合的扫描定位方法，其特征在于，所述机器人旋转360°的间隔次数为：
γ＝360°/Gθ
其中，γ代表机器人旋转360°的间隔次数，Gθ为机器人逆时针旋转时每次间隔的角度。
4.根据权利要求1所述的基于2D激光与深度图像融合的扫描定位方法，其特征在于，步骤S20中通过旋转和平移将相邻帧的2D地图轮廓匹配对齐，其方法为：
Xt＝[R T]Xt-1
Figure FDA0003822401120000021
Figure FDA0003822401120000022
其中，Xt、Xt-1分别代表第t帧、第t-1帧的2D地图轮廓点的均匀坐标值，R、T分别为旋转矩阵、平移矩阵，α代表相邻两帧之间的2D地图轮廓点的旋转角度偏移量，tx、ty分别代表相邻两帧之间的2D地图轮廓点在2D地图中x轴、y轴方向的距离偏移量。
5.根据权利要求1所述的基于2D激光与深度图像融合的扫描定位方法，其特征在于，步骤S30包括：
步骤S31，将所述2D地图的轮廓点转换为轮廓点特征向量，通过基于CNN卷积神经网络的自动编码器将RGB-D相机图像压缩为图像特征向量；
步骤S32，将所述轮廓点特征向量与所述图像特征向量融合，获得表征当前位置与朝向角度的融合特征向量。
6.根据权利要求5所述的基于2D激光与深度图像融合的扫描定位方法，其特征在于，所述轮廓点特征向量为：
X＝[x1，x2，…，xc，…，xC]
其中，X代表轮廓点特征向量，xc，1≤c≤C代表轮廓点特征向量中的元素，C为轮廓点数量。
7.根据权利要求5所述的基于2D激光与深度图像融合的扫描定位方法，其特征在于，所述图像特征向量为：
Y＝[y1，y2，…，yk，…，yK]
其中，Y代表图像特征向量，yk，1≤k≤K代表图像特征向量中的元素，K为图像特征向量的维度。
8.一种基于2D激光与深度图像融合的扫描定位***，其特征在于，该扫描定位***包括以下模块：
网格地图创建模块，配置为根据预设环境在网格地图中所占行数、列数以及机器人旋转360°的间隔次数，创建网格地图；
2D地图创建模块，配置为使用2D激光雷达数据在所述网格地图中逐帧创建2D地图轮廓，并通过旋转和平移将相邻帧的2D地图轮廓匹配对齐，获得2D地图；
地图信息提取模块，配置为将所述2D地图的轮廓点转换的轮廓点特征向量与RGB-D相机图像压缩的图像特征向量融合，获得融合特征向量；
定位模块，配置为通过多次采样将所述网格地图构建为金字塔结构，将当前视图的RGB-D相机和2D激光雷达获得的数据转化为特征向量，并采用由粗到精策略将转化后的特征向量与所述融合特征向量进行对比，获得当前定位位置：
Figure FDA0003822401120000041
其中，i，j，θ为机器人当前在2D地图中的网格位置以及旋转角度，u，v为沿着2D地图x轴和y轴进行下采样的矩形空间的列数和行数，R代表机器人旋转360°的间隔次数，fview为当前视图的RGB-D相机和2D激光雷达获得的数据转化的特征向量，F(i，j，θ)为2D地图中机器人位置(i，j)和旋转角度θ处的融合特征向量，dist为向量fview和F(i，j，θ)之间的距离度量函数，min代表求最小值，arg代表对i，j，θ最小dist函数的求值，
Figure FDA0003822401120000042
代表在向量fview和F(i，j,θ)之间找到最小距离时的机器人位置和旋转角度。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-7任一项所述的基于2D激光与深度图像融合的扫描定位方法。
CN202110644112.0A 2021-06-09 2021-06-09 基于2d激光与深度图像融合的扫描定位方法、***及设备 Active CN113269803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110644112.0A CN113269803B (zh) 2021-06-09 2021-06-09 基于2d激光与深度图像融合的扫描定位方法、***及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110644112.0A CN113269803B (zh) 2021-06-09 2021-06-09 基于2d激光与深度图像融合的扫描定位方法、***及设备

Publications (2)

Publication Number Publication Date
CN113269803A CN113269803A (zh) 2021-08-17
CN113269803B true CN113269803B (zh) 2023-01-13

Family

ID=77234750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110644112.0A Active CN113269803B (zh) 2021-06-09 2021-06-09 基于2d激光与深度图像融合的扫描定位方法、***及设备

Country Status (1)

Country Link
CN (1) CN113269803B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114993286B (zh) * 2022-05-13 2024-04-12 桂林电子科技大学 基于图像、激光雷达与里程计的网格地图创建方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256574A (zh) * 2018-01-16 2018-07-06 广东省智能制造研究所 机器人定位方法及装置
CN111563442A (zh) * 2020-04-29 2020-08-21 上海交通大学 基于激光雷达的点云和相机图像数据融合的slam方法及***
CN112525202A (zh) * 2020-12-21 2021-03-19 北京工商大学 一种基于多传感器融合的slam定位导航方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256574A (zh) * 2018-01-16 2018-07-06 广东省智能制造研究所 机器人定位方法及装置
CN111563442A (zh) * 2020-04-29 2020-08-21 上海交通大学 基于激光雷达的点云和相机图像数据融合的slam方法及***
CN112525202A (zh) * 2020-12-21 2021-03-19 北京工商大学 一种基于多传感器融合的slam定位导航方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Scan-to-Locality Map Strategy for 2D LiDAR and RGB-D Data Fusion;Jiaqing Zhang 等;《Springer Nature Switzerland AG 2021》;20211202 *
An Outline of Multi-Sensor Fusion Methods for Mobile Agents Indoor Navigation;Yuanhao Qu 等;《Sensors 2021》;20210225;全文 *
多通道人机交互信息融合的智能方法;杨明浩 等;《中国科学》;20181231;第48卷(第4期);全文 *

Also Published As

Publication number Publication date
CN113269803A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110031824B (zh) 激光雷达联合标定方法及装置
Brenner et al. Coarse orientation of terrestrial laser scans in urban environments
CN110163064B (zh) 一种道路标志物的识别方法、装置及存储介质
CN107705328B (zh) 用于3d对准算法的平衡探针位置选择
CN109685855B (zh) 一种道路云监控平台下的摄像机标定优化方法
Houshiar et al. A study of projections for key point based registration of panoramic terrestrial 3D laser scan
CN115290097B (zh) 基于bim的实时精确地图构建方法、终端及存储介质
WO2022179094A1 (zh) 车载激光雷达外参数联合标定方法、***、介质及设备
Wei et al. Automatic coarse registration of point clouds using plane contour shape descriptor and topological graph voting
CN113192174B (zh) 建图方法、装置及计算机存储介质
CN111429344B (zh) 基于感知哈希的激光slam闭环检测方法及***
CN113269803B (zh) 基于2d激光与深度图像融合的扫描定位方法、***及设备
CN114372992A (zh) 一种基于动平台的边缘角点检测四目视觉算法
CN117392237A (zh) 一种鲁棒的激光雷达-相机自标定方法
CN112581511A (zh) 基于近似直立扫描点云快速配准的三维重建方法及***
CN114782556B (zh) 相机与激光雷达的配准方法、***及存储介质
Shark et al. Development and evaluation of fast branch-and-bound algorithm for feature matching based on line segments
CN110223250B (zh) 基于单应变换的sar几何校正方法
CN107246863A (zh) 一种不规则断面隧道内壁影像投影展开方法
Avidar et al. Point cloud registration using a viewpoint dictionary
Zhang et al. LiDAR and Camera Calibration Using Pyramid and Checkerboard Calibrators
CN117788529B (zh) 三维平面点云粗配准方法、***、介质及设备
Kotthäuser et al. Triangulation-based plane extraction for 3D point clouds
Albrecht An analysis of visual mono-slam
CN117765047B (zh) 一种工件配准方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant