CN112767482B - 一种多传感器融合的室内外定位方法及*** - Google Patents

一种多传感器融合的室内外定位方法及*** Download PDF

Info

Publication number
CN112767482B
CN112767482B CN202110083601.3A CN202110083601A CN112767482B CN 112767482 B CN112767482 B CN 112767482B CN 202110083601 A CN202110083601 A CN 202110083601A CN 112767482 B CN112767482 B CN 112767482B
Authority
CN
China
Prior art keywords
edge
image
projection
pyramid
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110083601.3A
Other languages
English (en)
Other versions
CN112767482A (zh
Inventor
周有杰
万熠
梁西昌
侯嘉瑞
李亚男
鞠昆廷
秦齐
贺翔
李庆民
陈飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110083601.3A priority Critical patent/CN112767482B/zh
Publication of CN112767482A publication Critical patent/CN112767482A/zh
Application granted granted Critical
Publication of CN112767482B publication Critical patent/CN112767482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/43—Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种多传感器融合的室内外定位方法及***，包括以下步骤：对获取的RGB图像和depth图像进行特征采集和处理，生成边缘图像金字塔；计算DT距离矩阵，对边缘图像金子塔进行处理，生成DT距离矩阵金字塔；对RGB图像和depth图像当前帧的边缘特征进行投影操作，确定当前帧和关键帧的投影关联范围。将投影关联范围内的边缘特征映射到关键帧的DT距离矩阵上，确定重投影误差；根据重投影误差求解相对位姿信息；将接收的GPS数据与求解的相对位姿信息进行融合得到定位信息，采用本发明的方法定位精度高。

Description

一种多传感器融合的室内外定位方法及***
技术领域
本发明涉及定位方法技术领域，具体涉及一种多传感器融合的室内外定位方法及***。
背景技术
这里的陈述仅提供与本发明相关的背景技术，而不必然地构成现有技术。
随着机器人技术的发展与提升，基于多传感器融合的机器人定位技术逐渐成为机器人关键技术领域的研究热点。目前常用的定位传感器包括GPS、IMU以及相机。而相机又包括单目相机、双目相机以及深度相机。
目前大部分通过融合视觉、GPS以及IMU的信息实现最终的定位。目前在视觉方面大都使用点特征和线特征来进行位姿估计。但这种特征容易受光照变化的影响，稳定性不高。实现在申请号2020105268498的文献中公开了一种边缘定位方法，检测拍摄图像中是否包括楼梯；当拍摄图像中包括楼梯时，根据拍摄图像提取楼梯边缘信息；根据楼梯边缘信息进行边缘定位，得到边缘定位信息。然而发明人发现，该方法使用的是单一的视觉传感器，稳定性不高，在大范围场景下无法进行高精度定位。
发明内容
本发明的目的是为克服现有技术的不足，提供一种多传感器融合的室内外定位方法，环境适应性强，能够实现大场景范围内的高精度定位。
为实现上述目的，本发明采用如下技术方案：
第一方面，本发明的实施例提供了一种多传感器融合的室内外定位方法，包括以下步骤：
对获取的RGB图像和depth图像进行特征采集和处理，生成边缘图像金字塔；
计算DT距离矩阵，对边缘图像金子塔进行处理，生成DT距离矩阵金字塔；
对RGB图像和depth图像当前帧的边缘特征进行投影操作，确定当前帧和关键帧的投影关联范围。
将投影关联范围内的边缘特征映射到关键帧的DT距离矩阵上，确定重投影误差；
根据重投影误差求解相对位姿信息；
将接收的GPS数据与求解的相对位姿信息进行融合得到定位信息。
进一步的，边缘图像金字塔的生成步骤为：
对RGB图像和depth图像进行高斯金字塔操作；
采用canny算法提取RGB图像和depth图像金字塔中的边缘特征，生成边缘图像金字塔。
进一步的，确定当前帧和关键帧的投影关联范围的具体步骤为：
基于图像当前帧边缘信息及深度信息将当前帧的边缘特征进行初始化；
将初始化后的当前帧的边缘特征根据旋转矩阵和平移向量进行投影，投影到设定的关键帧的DT距离矩阵金字塔上。
将关键帧的边缘特征根据旋转矩阵和平移向量反投影到当前帧中；
根据两次投影结果确定当前帧和关键帧的投影关联范围。
进一步的，重投影误差的确定方法为：将投影关联范围内的边缘特征映射到关键帧的DT距离矩阵上后，根据当前帧投影过去的边缘点在DT距离矩阵上的位置确定投影误差，并将所有边缘点的投影误差进行加权，得到最终的重投影误差。
进一步的，位姿信息的求解方法为：以旋转矩阵R及平移向量t作为变量，根据得到的重投影误差进行最小二乘化迭代处理，通过不断迭代得到最终的相对位姿信息。
进一步的，将接收的基于RTK的GPS数据和求解得到的相对位姿信息基于卡尔曼滤波进行融合。
进一步的，基于得到的定位信息及生成的点云数据进行建图，生成实时的三维地图。
第二方面，本发明的实施例提供了一种多传感器融合的室内外定位***，包括：
边缘图像金字塔生成模块：用于对获取的RGB图像和deph图像进行特征采集和处理，生成边缘图像金字塔；
DT距离矩阵金字塔生成模块：用于计算DT距离矩阵，对边缘图像金子塔进行处理，生成DT距离矩阵金字塔；
投影模块：用于对RGB图像和deph图像当前帧的边缘特征进行投影操作，并剔除无关联边缘，确定当前帧和关键帧的投影关联范围。
重投影误差计算模块：用于将投影关联范围内的边缘特征映射到关键帧的DT距离矩阵上，确定重投影误差；
相对位姿信息计算模块：用于根据重投影误差求解相对位姿信息；
融合模块：用于将接收的GPS数据与求解的相对位姿信息进行融合得到定位信息。
第三方面，本发明提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面方法所述的步骤。
第四方面，本发明提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面方法所述的步骤。
本发明的有益效果：
1.本发明的方法，使用受光照变化影响较小的边缘特征作为视觉里程计中的信息来源，提高了视觉里程计算法在低纹理环境中的环境适应性，同时适用于室内外场景定位及建图。
2.本发明的方法，使用DT距离矩阵作为重投影误差的计算考量标准，计算简单且鲁棒性强。
3.本发明的方法，将投影的关联范围内的边缘特征映射到关键帧的DT距离图像上，并确定重投影误差，剔除了在相邻帧中无相互关联的边缘特征，在减少了计算量的同时，还提高了重投影误差的描述精度。
4.本发明的方法，利用GPS数据与相对位姿信息融合作为定位信息，提出了基于RTK-GPS技术作为全局定位的回环矫正方法，提高算法在大范围场景下的定位精度，并减小累计误差。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的限定。
图1为本发明实施例1流程示意图；
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
正如背景技术所介绍的，目前的室内外定位方法使用的是单一的视觉传感器，稳定性不高，在大范围场景下无法进行高精度定位，针对上述问题，本申请提出了一种多传感器融合的室内外定位方法。
本申请的一种典型实施方式中，如图1所示，一种多传感器融合的室内外定位方法，包括以下步骤：
步骤1：对获取的RGB图像和depth图像进行特征采集和处理，生成边缘图像金字塔。
具体的，所述RGB图像和depth图像利用深度相机采集，使用深度相机对环境中的场景信息进行采集，获取实时的环境信息，形成连续的图像序列。在生成的图像序列中包括两种：RGB图像和depth图像，接收深度相机采集的RGB图像和depth图像，对RGB图像和depth图像进行特征采集和处理的具体方法为：
步骤1.1对接收的由深度相机提取的RGB图像和depth图像进行高斯金字塔操作，生成RGB图像和depth图像的图像金字塔。
步骤1.2使用canny算法提取RGB图像和depth图像金字塔中的边缘特征，生成RGB图像和depth图像的边缘图像金字塔。
使用受光照变化影响较小的边缘特征作为视觉里程计中的信息来源，提高了视觉里程计算法在低纹理环境中的环境适应性，同时适用于室内外场景定位及建图。
步骤2：计算DT距离矩阵，使用DT距离矩阵算法对提取的边缘图像金子塔进行处理，生成DT距离矩阵金字塔。
使用DT距离矩阵作为重投影误差的计算考量标准，计算简单且鲁棒性强。
步骤3：对RGB图像和depth图像当前帧的边缘特征进行投影操作，确定当前帧和关键帧的投影关联范围，其包括以下具体步骤：
步骤3.1：基于图像当前帧边缘信息及深度信息将当前帧的边缘特征进行初始化。
Figure BDA0002910010700000061
其中，pc表示当前帧边缘信息中的二维点的二维坐标向量值，Z表示由depth图像获得的p点的深度信息，cx,cy,fx,fy表示相机内参，其中cx、cy表示相机光轴在图像坐标系中的偏移量，fx、fy表示焦距，Pc表示由当前帧二维点pc的二维坐标向量值及其深度信息计算出的三维点的三维坐标向量值。
步骤3.2：将初始化后的当前帧的边缘特征(三维)根据旋转矩阵R和平移向量t进行投影，投影到设定的关键帧的DT距离矩阵金字塔上。
在初始的第一次投影时，旋转矩阵R和平移向量t都设定为0。在接下来的投影中，R和t设定为当前帧的前一帧的相对旋转位姿。
P'c＝R·Pc+t
Figure BDA0002910010700000062
其中，Pc’表示经位姿转换后的三维点的三维坐标向量值，pc’表示当前帧投影在关键帧上的像素点的二维坐标向量值，X、Y代表Pc’的三维坐标值。
步骤3.3：同时根据旋转矩阵R和平移向量t进行反投影，将关键帧上的边缘特征根据旋转矩阵R和平移向量t反投影到当前帧中。
Figure BDA0002910010700000071
P'k＝R-1(Pk-t)
Figure BDA0002910010700000072
其中，pk表示关键帧边缘信息中的二维点的二维坐标向量值，Z表示由depth图像获得的pk点的深度信息，Pk表示由关键帧二维点pk的二维坐标向量值及其深度信息计算出的三维点的三维坐标向量值，Pk’表示经位姿转换后的三维点的三维坐标向量值，pk’表示关键帧投影在当前帧上的像素点的二维坐标向量值。
步骤3.4：根据两次投影的结果确定当前帧与关键帧的投影关联范围。
本实施例中，采用现有关键帧的确定方法来对关键帧进行确定即可，其具体方法在此不进行详细叙述。
步骤4：将投影关联范围内的边缘特征映射到关键帧的DT距离矩阵上，确定重投影误差；
具体的，将投影关联范围内的边缘特征映射到关键帧的DT距离矩阵上，根据投影过去的边缘点在DT距离矩阵上的位置确定投影误差，并将所有边缘点的投影误差进行加权，得到最终的重投影误差。
Figure BDA0002910010700000073
其中，r表示单个像素计算得到的重投影误差，ξkc表示由R和t组成的旋转平移矩阵，S表示当前帧中具有有效值的边缘的集合。
步骤5：根据重投影误差求解相对位姿信息；
具体的，以旋转矩阵R及平移向量t作为变量，根据得到的重投影误差进行最小二乘化迭代处理，通过不断迭代得到最终的相对位姿ξ*。
ξ*＝arg min∑r2
通过步骤1-步骤5，实现了基于EDGE-V0的相对位姿信息。
步骤6：将接收的GPS数据与求解的位姿信息进行融合进行定位矫正，得到定位信息。
具体的，通过ROS串口指令接收基于RTK的GPS数据，使用数据判别融合策略融合GPS数据，当GPS的数据质量较高时，自适应提高GPS数据对应的权重系数，将GPS的定位数据与步骤5得到的相对位姿信息基于卡尔曼滤波进行融合，得到基于多传感器融合的定位信息。
当GPS的数据质量信号一般时，自适应降低GPS数据的权重系数，将GPS的定位数据与步骤5得到的相对位姿信息基于卡尔曼滤波进行融合，得到基于多传感器融合的定位信息。
(x，y，z)＝tranform(lon，lat，alt)
ΔtGPS＝(Δx，Δy，Δz)
t融合＝EKF(ΔtGPS，tVO)
T最终＝(R，t融合)
其中，lon代表精度信息，lat表示维度信息，alt表示高度信息，ΔtGPS表示基于GPS数据的相对位移变化，tVO表示视觉VO结算出的位移变换，(x、y、z)代表由gps数据获得的经过转换后ecef坐标系下的坐标，(Δx，Δy，ΔZ)为GPS数据转换为相对坐标后与ecef坐标系下的绝对坐标的差值，t融合表示融合的平移向量。
当信号质量很差时，则不引入GPS数据，不进行融合。
其中GPS的数据质量信号判断标准可根据实际需要进行设置，在此不进行详细叙述。
通过这种数据判别融合策略提高多传感器融合定位的精度及鲁棒性，减少了GPS数据信号不稳定对算法的影响。
本实施例的方法，利用GPS数据与相对位姿信息融合作为定位信息，提出了基于RTK-GPS技术作为全局定位的回环矫正方法，提高算法在大范围场景下的定位精度，并减小累计误差。
步骤7：基于定位信息及生成的点云数据进行建图，生成实时的三维地图。
本实施例中，未详细叙述的步骤采用现有方法即可。
实施例2：
本实施例公开了一种多传感器融合的室内外定位***，包括：
边缘图像金字塔生成模块：用于对获取的RGB图像和deph图像进行特征采集和处理，生成边缘图像金字塔；
DT距离矩阵金字塔生成模块：用于计算DT距离矩阵，对边缘图像金子塔进行处理，生成DT距离矩阵金字塔；
投影模块：用于对RGB图像和deph图像当前帧的边缘特征进行投影操作，并剔除无关联边缘，确定当前帧和关键帧的投影关联范围。
重投影误差计算模块：用于将投影关联范围内的边缘特征映射到关键帧的DT距离矩阵上，确定重投影误差；
相对位姿信息计算模块：用于根据重投影误差求解相对位姿信息；
融合模块：用于将接收的GPS数据与求解的相对位姿信息进行融合得到定位信息。
实施例3：
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1所述的多传感器融合的室内外定位方法。
实施例4：
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1所述的多传感器融合的室内外定位方法。
以上实施例2-4中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种多传感器融合的室内外定位方法，其特征在于，包括以下步骤：
对获取的RGB图像和depth图像进行特征采集和处理，生成边缘图像金字塔；
所述边缘图像金字塔的生成步骤为：
对RGB图像和depth图像进行高斯金字塔操作；
采用canny算法提取RGB图像和depth图像金字塔中的边缘特征，生成边缘图像金字塔；
计算DT距离矩阵，对边缘图像金字塔进行处理，生成DT距离矩阵金字塔；
对RGB图像和depth图像当前帧的边缘特征进行投影操作，确定当前帧和关键帧的投影关联范围；
确定当前帧和关键帧的投影关联范围的具体步骤为：
基于图像当前帧边缘信息及深度信息将当前帧的边缘特征进行初始化；
将初始化后的当前帧的边缘特征根据旋转矩阵和平移向量进行投影，投影到设定的关键帧的DT距离矩阵金字塔上；
将关键帧的边缘特征根据旋转矩阵和平移向量反投影到当前帧中；
根据两次投影结果确定当前帧和关键帧的投影关联范围；
将投影关联范围内的边缘特征映射到关键帧的DT距离矩阵上，确定重投影误差；
根据重投影误差求解相对位姿信息；
将接收的GPS数据与求解的相对位姿信息进行融合得到定位信息。
2.如权利要求1所述的一种多传感器融合的室内外定位方法，其特征在于，重投影误差的确定方法为：将投影关联范围内的边缘特征映射到关键帧的DT距离矩阵上后，根据当前帧投影过去的边缘点在DT距离矩阵上的位置确定投影误差，并将所有边缘点的投影误差进行加权，得到最终的重投影误差。
3.如权利要求1所述的一种多传感器融合的室内外定位方法，其特征在于，位姿信息的求解方法为：以旋转矩阵R及平移向量t作为变量，根据得到的重投影误差进行最小二乘化迭代处理，通过不断迭代得到最终的相对位姿信息。
4.如权利要求1所述的一种多传感器融合的室内外定位方法，其特征在于，将接收的基于RTK的GPS数据和求解得到的相对位姿信息基于卡尔曼滤波进行融合。
5.如权利要求1所述的一种多传感器融合的室内外定位方法，其特征在于，基于得到的定位信息及生成的点云数据进行建图，生成实时的三维地图。
6.一种多传感器融合的室内外定位***，其特征在于，包括：
边缘图像金字塔生成模块：用于对获取的RGB图像和deph图像进行特征采集和处理，生成边缘图像金字塔；
所述边缘图像金字塔的生成步骤为：
对RGB图像和depth图像进行高斯金字塔操作；
采用canny算法提取RGB图像和depth图像金字塔中的边缘特征，生成边缘图像金字塔；
DT距离矩阵金字塔生成模块：用于计算DT距离矩阵，对边缘图像金字塔进行处理，生成DT距离矩阵金字塔；
投影模块：用于对RGB图像和deph图像当前帧的边缘特征进行投影操作，并剔除无关联边缘，确定当前帧和关键帧的投影关联范围；
确定当前帧和关键帧的投影关联范围的具体步骤为：
基于图像当前帧边缘信息及深度信息将当前帧的边缘特征进行初始化；
将初始化后的当前帧的边缘特征根据旋转矩阵和平移向量进行投影，投影到设定的关键帧的DT距离矩阵金字塔上；
将关键帧的边缘特征根据旋转矩阵和平移向量反投影到当前帧中；
根据两次投影结果确定当前帧和关键帧的投影关联范围；
重投影误差计算模块：用于将投影关联范围内的边缘特征映射到关键帧的DT距离矩阵上，确定重投影误差；
相对位姿信息计算模块：用于根据重投影误差求解相对位姿信息；
融合模块：用于将接收的GPS数据与求解的相对位姿信息进行融合得到定位信息。
7.一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，其特征在于，所述计算机指令被处理器运行时，完成权利要求1-5任一项所述的多传感器融合的室内外定位方法步骤。
8.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时，完成权利要求1-5任一项所述的多传感器融合的室内外定位方法步骤。
CN202110083601.3A 2021-01-21 2021-01-21 一种多传感器融合的室内外定位方法及*** Active CN112767482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110083601.3A CN112767482B (zh) 2021-01-21 2021-01-21 一种多传感器融合的室内外定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110083601.3A CN112767482B (zh) 2021-01-21 2021-01-21 一种多传感器融合的室内外定位方法及***

Publications (2)

Publication Number Publication Date
CN112767482A CN112767482A (zh) 2021-05-07
CN112767482B true CN112767482B (zh) 2022-09-02

Family

ID=75703576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110083601.3A Active CN112767482B (zh) 2021-01-21 2021-01-21 一种多传感器融合的室内外定位方法及***

Country Status (1)

Country Link
CN (1) CN112767482B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908730A (zh) * 2022-11-11 2023-04-04 南京理工大学 一种在低通信带宽下远程操控端基于边缘的三维场景重建***方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111060115A (zh) * 2019-11-29 2020-04-24 中国科学院计算技术研究所 一种基于图像边缘特征的视觉slam方法及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018049581A1 (zh) * 2016-09-14 2018-03-22 浙江大学 一种同时定位与地图构建方法
EP3474230B1 (en) * 2017-10-18 2020-07-22 Tata Consultancy Services Limited Systems and methods for edge points based monocular visual slam
US10928207B2 (en) * 2018-03-02 2021-02-23 DeepMap Inc. Camera based localization for autonomous vehicles
CN109993113B (zh) * 2019-03-29 2023-05-02 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110706248B (zh) * 2019-08-20 2024-03-12 广东工业大学 一种基于slam的视觉感知建图方法及移动机器人
CN111882613B (zh) * 2020-07-24 2024-06-14 中国科学院上海微***与信息技术研究所 基于边缘语义的视觉里程计方法、装置、存储介质及设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111060115A (zh) * 2019-11-29 2020-04-24 中国科学院计算技术研究所 一种基于图像边缘特征的视觉slam方法及***

Also Published As

Publication number Publication date
CN112767482A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN111561923B (zh) 基于多传感器融合的slam制图方法、***
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与***
CN111337947B (zh) 即时建图与定位方法、装置、***及存储介质
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN111210463B (zh) 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及***
WO2021035669A1 (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
CN112304307A (zh) 一种基于多传感器融合的定位方法、装置和存储介质
CN108052103B (zh) 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法
CN111462207A (zh) 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
CN113108771B (zh) 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法
CN113706626B (zh) 一种基于多传感器融合及二维码校正的定位与建图方法
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN113658337B (zh) 一种基于车辙线的多模态里程计方法
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及***
CN112083403B (zh) 用于虚拟场景的定位追踪误差校正方法及***
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及***
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN111798373A (zh) 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法
CN110827353A (zh) 一种基于单目摄像头辅助的机器人定位方法
CN114494150A (zh) 一种基于半直接法的单目视觉里程计的设计方法
CN116619358A (zh) 一种矿山自主探测机器人自适应定位优化与建图方法
CN112767482B (zh) 一种多传感器融合的室内外定位方法及***
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
CN113345032A (zh) 一种基于广角相机大畸变图的初始化建图方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant