CN111811502A - 一种运动载体多源信息融合导航方法及*** - Google Patents

一种运动载体多源信息融合导航方法及*** Download PDF

Info

Publication number
CN111811502A
CN111811502A CN202010663066.4A CN202010663066A CN111811502A CN 111811502 A CN111811502 A CN 111811502A CN 202010663066 A CN202010663066 A CN 202010663066A CN 111811502 A CN111811502 A CN 111811502A
Authority
CN
China
Prior art keywords
environment
information
carrier
data
source information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010663066.4A
Other languages
English (en)
Other versions
CN111811502B (zh
Inventor
赵龙
穆梦雪
多靖赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010663066.4A priority Critical patent/CN111811502B/zh
Publication of CN111811502A publication Critical patent/CN111811502A/zh
Application granted granted Critical
Publication of CN111811502B publication Critical patent/CN111811502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种运动载体多源信息融合导航方法及***，包括采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；利用载体搭载的IMU、摄像机和雷达传感器实时感知载体的运动环境，并形成环境感知信息；利用环境地图、环境三维模型、典型环境特征库和环境感知信息计算得到多源信息自适应融合目标函数；通过目标函数实时计算载体动态定位导航信息，并动态更新环境地图、环境三维模型，实现了环境感知信息辅助的多源信息融合导航，有效解决了运动载体在复杂环境下的长航自主环境适应和连续动态定位导航问题。

Description

一种运动载体多源信息融合导航方法及***
技术领域
本发明涉及信息技术领域，更具体的说是涉及一种运动载体多源信息融合导航方法及***。
背景技术
目前，随着新信息技术的发展，特别是中国制造2025和人工智能国家战略计划的推进，无人智能自主***及应用已经成为我国社会发展中的重大科学技术问题。无人***智能化需经历单机智能、多机协同智能和任务自主智能三个发展阶段，而且单机智能是基础。在复杂应用环境下，无人***自主探测并感知，连续可靠获得定位、导航和授时(Positioning，Navigation and Timing，PNT)信息是实现无人***智能航行的关键。目前，无人***主要通过惯性导航(Inertial Navigation System，INS)和全球导航卫星***(Global Navigation Satellite System，GNSS)等传感器组合来获取其导航定位信息并实现自主航行，在军用和民用领域中取得了巨大的经济和社会效益。但在卫星信号拒止、电磁干扰和物理空间变化等复杂应用环境下如何解决无人***或载体长期环境适应并实现其动态定位导航依然是具有挑战性的难题。
因此，如何提供一种运动载体多源信息融合导航方法及***是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种运动载体多源信息融合导航方法及***，实现环境感知信息辅助的多源信息融合导航，有效解决运动载体在复杂环境下的长航自主环境适应和连续动态定位导航问题。
为了实现上述目的，本发明采用如下技术方案：
一种运动载体多源信息融合导航方法，包括以下步骤：
S1、采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
S2、利用载体搭载的IMU、摄像机和雷达传感器实时感知载体的运动环境，并形成环境感知信息；
S3、利用所述环境地图、所述环境三维模型、所述典型环境特征库和所述环境感知信息计算得到多源信息自适应融合目标函数；
S4、通过所述目标函数实时计算载体动态定位导航信息，并动态更新所述环境地图、所述环境三维模型。
优选的，所述空间环境数据包括数字正射影像DOM、数字高程模型DEM和数字地表模型DSM。
优选的，所述步骤S1包括：采集应用区域的空间环境数据的方式是通过专业测绘部门或通过外部设备或运动载体搭载IMU、摄像机、雷达传感器得到。
优选的，所述步骤S2包括：
S21、将所述载体的运动环境分为室内环境和室外环境两大类，所述室内环境再根据光照、功能和用途进行细致分类；所述室外环境再根据天气条件、开阔程度和植被覆盖进行细致分类；
S22、利用所述不同运动环境数据构建特征数据集并通过环境特征识别深度学习网络进行学习和训练，对所述不同运动环境和场景进行分类，形成环境分类信息；
S23、通过移动机器人采集环境中典型特征数据并形成环境先验特征数据集，对所述环境先验特征通过识别深度学习网络进行学习和训练，进而对所述典型特征进行检测、识别和跟踪，并通过所述移动机器人的位置信息、摄像机成像模型和环境特征的物理尺寸与地理坐标计算移动机器人的精确位置信息，形成环境感知信息，建立环境先验模型。
优选的，所述步骤S3包括：
S31、根据摄像机、激光雷达和毫米波雷达间的标定参数，实现雷达点云数据和图像点云数据融合，形成点云数据融合信息；
S32、利用IMU数据、云数据融合信息和环境先验模型及特征数据计算得到多源信息自适应融合目标函数，构建多源信息自适应融合模型。
优选的，所述步骤S4包括：
S41、利用非线性优化方法或最优滤波对多源信息自适应融合目标函数进行求解，获得载体动态定位导航信息；
S42、实时建立局部环境地图和环境三维模型并对已有环境地图、环境三维模型和所述典型环境特征库进行更新。
优选的，所述步骤S32中多源信息自适应融合目标函数为
Figure BDA0002579332400000031
其中，eI为IMU的测量误差；ec为图像特征点的重投影误差；er为雷达点云的重投影误差；es为环境特征的重投影误差；k为各传感器数据帧数的标号；KI、Kc、Kr和Ks分别为IMU数据、图像特征点数据、雷达点云数据和环境特征数据在时间K内的总帧数；i、j和m分别为图像特征点、雷达扫描点和环境特征的标号；F(k)、Ω(k)和M(k)分别为摄像机、雷达和环境特征在第k帧时观测到的地标点集合、雷达扫描点集合和环境特征集合；
Figure BDA0002579332400000032
为第k帧时IMU误差的信息矩阵；
Figure BDA0002579332400000033
表示相关地标点测量的信息矩阵；
Figure BDA0002579332400000034
表示雷达扫描点测量的信息矩阵；
Figure BDA0002579332400000035
表示环境特征测量的信息矩阵；α、β、γ和λ分别为IMU、摄像机、雷达和环境特征参与视觉导航解优化计算的权系数。
一种运动载体多源信息融合导航***，包括，采集单元、感知单元、与所述采集单元和所述感知单元分别连接的建模单元、与所述建模单元连接的载体定位导航及动态更新单元；
所述采集单元，用于采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
所述感知单元，用于感知载体的运动环境，并形成环境感知信息；
所述建模单元，用于构建多源信息自适应融合模型；
所述载体定位导航及动态更新单元，用于实时计算载体动态定位导航信息，并动态更新所述环境地图、所述环境三维模型。
优选的，所述采集单元、所述感知单元、所述建模单元和所述载体定位导航及动态更新单元通过终端处理器实现空间环境数据的采集、环境感知信息的获取、多源信息自适应融合模型的建立和载体定位导航和动态实时更新。
优选的，所述终端处理器为普通计算机、工控计算机、移动设备终端或嵌入式***部分。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种运动载体多源信息融合导航方法及***，该方法利用多传感器原始观测数据形成环境感知信息，实现环境感知信息辅助的多源信息融合导航，有效解决运动载体在复杂环境下的长航自主环境适应和连续动态定位导航问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的结构示意图。
图2附图为本发明提供的环境感知分类示意图。
图3附图为本发明提供的激光雷达、毫米波雷达和图像点云融合过程示意图。
图4附图为本发明提供的环境先验特征识别及定位辅助信息计算流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种运动载体多源信息融合导航方法，包括以下步骤：
S1、采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
S2、利用载体搭载的IMU、摄像机和雷达传感器实时感知载体的运动环境，并形成环境感知信息；
S3、利用环境地图、环境三维模型、典型环境特征库和环境感知信息计算得到多源信息自适应融合目标函数，构建多源信息自适应融合模型；
S4、通过目标函数实时计算载体动态定位导航信息，并动态更新环境地图、环境三维模型。
为了进一步优化上述技术方案，空间环境数据包括数字正射影像DOM、数字高程模型DEM和数字地表模型DSM。
为了进一步优化上述技术方案，步骤S1包括：采集应用区域的空间环境数据的方式是通过专业测绘部门或通过外部设备或运动载体搭载IMU、摄像机、雷达传感器得到。
为了进一步优化上述技术方案，步骤S2包括：
S21、将载体的运动环境分为室内环境和室外环境两大类，室内环境再根据光照、功能和用途进行细致分类；室外环境再根据天气条件、开阔程度和植被覆盖进行细致分类；
S22、利用不同运动环境数据构建特征数据集并通过环境特征识别深度学习网络进行学习和训练，对不同运动环境和场景进行分类，形成环境分类信息，并给出视觉传感器适用因子；
S23、通过移动机器人采集环境中典型特征数据并形成环境先验特征数据集，对环境先验特征通过识别深度学习网络进行学习和训练，进而对典型特征进行检测、识别和跟踪，并通过移动机器人的位置信息、摄像机成像模型和环境特征的物理尺寸与地理坐标计算移动机器人的精确位置信息，形成环境感知信息，建立环境先验模型。
为了进一步优化上述技术方案，步骤S3包括：
S31、根据摄像机、激光雷达和毫米波雷达间的标定参数，实现雷达点云数据和图像点云数据融合，形成点云数据融合信息；
S32、利用IMU数据、云数据融合信息和环境先验模型及特征数据计算得到多源信息自适应融合目标函数，构建多源信息自适应融合模型。
为了进一步优化上述技术方案，步骤S4包括：
S41、利用非线性优化方法或最优滤波对多源信息自适应融合目标函数进行求解，获得载体动态定位导航信息；
S42、实时建立局部环境地图和环境三维模型并对已有环境地图、环境三维模型和典型环境特征库进行更新。
为了进一步优化上述技术方案，步骤S32中多源信息自适应融合目标函数为
Figure BDA0002579332400000061
其中，eI为IMU的测量误差；ec为图像特征点的重投影误差；er为雷达点云的重投影误差；es为环境特征的重投影误差；k为各传感器数据帧数的标号；KI、Kc、Kr和Ks分别为IMU数据、图像特征点数据、雷达点云数据和环境特征数据在时间K内的总帧数；i、j和m分别为图像特征点、雷达扫描点和环境特征的标号；F(k)、Ω(k)和M(k)分别为摄像机、雷达和环境特征在第k帧时观测到的地标点集合、雷达扫描点集合和环境特征集合；
Figure BDA0002579332400000062
为第k帧时IMU误差的信息矩阵；
Figure BDA0002579332400000063
表示相关地标点测量的信息矩阵；
Figure BDA0002579332400000064
表示雷达扫描点测量的信息矩阵；
Figure BDA0002579332400000065
表示环境特征测量的信息矩阵；α、β、γ和λ分别为IMU、摄像机、雷达和环境特征参与视觉导航解优化计算的权系数，权系数可以根据环境分类感知信息确定。
一种运动载体多源信息融合导航***，包括，采集单元、感知单元、与采集单元和感知单元分别连接的建模单元、与建模单元连接的载体定位导航及动态更新单元；
采集单元，用于采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
感知单元，用于感知载体的运动环境，并形成环境感知信息；
建模单元，用于构建多源信息自适应融合模型；
载体定位导航及动态更新单元，用于实时计算载体动态定位导航信息，并动态更新环境地图、环境三维模型。
为了进一步优化上述技术方案，采集单元、感知单元、建模单元和载体定位导航及动态更新单元通过终端处理器实现空间环境数据的采集、环境感知信息的获取、多源信息自适应融合模型的建立和载体定位导航和动态实时更新。
为了进一步优化上述技术方案，终端处理器为普通计算机、工控计算机、移动设备终端或嵌入式***部分。
本发明公开了一种环境信息辅助的运动载体多源信息融合导航方法，通过编程实现，利用终端处理器实现环境分类信息、环境感知信息、多源信息自适应融合目标函数求解、载体动态导航定位和环境模型与特征更新，形成一种环境信息辅助的运动载体多源信息融合导航***，计算处理器可以是普通计算机、工控计算机，也可以是移动设备终端，还可以将其移植到嵌入式***中形成环境信息辅助的运动载体多源信息融合导航***。
本发明实施例公开了一种环境信息辅助的运动载体多源信息融合导航方法，如图1所示，具体实现步骤为：
步骤一：预先建立无人车航行环境的环境地图和典型环境特征库，其具体实现过程为：
从专业测绘部门获得应用区域的环境数据，包括数字正射影像DOM、数字高程模型DEM和数字地表模型DSM，进而完成环境建模和环境先验特征库构建；也可以利用移动测图设备或运动载体搭载IMU、摄像机和雷达传感器采集应用区域的空间环境数据，建立应用区域环境地图、环境三维模型和环境特征库。
步骤二：利用无人车搭载的IMU、摄像机和雷达传感器实时感知无人车的运动环境，并形成无人车环境感知信息，如图2和图3所示，其具体实现过程为：
步骤①：将载体的运动环境分为室内和室外两大类，其中室内环境又根据光照、功能和用途进行更细致分类；室外环境根据天气条件、开阔程度和植被覆盖等因素进行更细致分类；
步骤②：利用实际采集的不同运动环境数据构建特征数据集并对深度学习网络进行学习和训练，对不同运动环境和场景进行分类，形成环境分类信息，并给出视觉传感器适用因子；
步骤③：采集环境中典型特征数据并形成环境先验特征数据集，对环境特征识别深度学习网络进行学习和训练，进而对实际采集的环境特征进行检测、识别和跟踪，并根据移动机器人的位置信息、摄像机成像模型和环境特征的物理尺寸与地理坐标计算移动机器人的精确位置信息，形成环境先验特征辅助信息。
步骤3：利用IMU、摄像机和雷达的原始观测数据和环境感知信息构建无人车多源信息自适应融合模型，其具体实现过程为：
步骤①：如图4所示，根据摄像机、激光雷达和毫米波雷达间的标定参数，实现雷达点云数据和图像点云数据融合；
步骤②：利用IMU数据、图像数据、雷达点云数据和环境先验模型及特征数据构建多源信息自适应融合目标函数为
Figure BDA0002579332400000081
式中，eI为IMU的测量误差；ec为图像特征点的重投影误差；er为雷达点云的重投影误差；es为环境特征的重投影误差；k为各传感器数据帧数的标号；KI、Kc、Kr和Ks分别为IMU数据、图像特征点数据、雷达点云数据和环境特征数据在时间K内的总帧数；i、j和m分别为图像特征点、雷达扫描点和环境特征的标号；F(k)、Ω(k)和M(k)分别为摄像机、雷达和环境特征在第k帧时观测到的地标点集合、雷达扫描点集合和环境特征集合；
Figure BDA0002579332400000082
为第k帧时IMU误差的信息矩阵；
Figure BDA0002579332400000083
表示相关地标点测量的信息矩阵；
Figure BDA0002579332400000084
表示雷达扫描点测量的信息矩阵；
Figure BDA0002579332400000085
表示环境特征测量的信息矩阵；α、β、γ和λ分别为IMU、摄像机、雷达和环境特征参与视觉导航解优化计算的权系数，该权系数可以根据环境分类感知信息确定。
步骤4：实时计算无人车定位导航信息，并动态更新环境模型和环境特征库。
进一步，将步骤1-步骤4的一种环境信息辅助的运动载体多源信息融合导航方法编程实现，利用终端处理器实现环境分类信息、环境感知信息、多源信息自适应融合目标函数求解、载体动态导航定位和环境模型与特征更新，形成一种环境信息辅助的运动载体多源信息融合导航***，计算处理器可以是普通计算机、工控计算机，也可以是移动设备终端，还可以将其移植到嵌入式***中形成环境信息辅助的运动载体多源信息融合导航***。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种运动载体多源信息融合导航方法，其特征在于，包括以下步骤：
S1、采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
S2、利用载体搭载的IMU、摄像机和雷达传感器实时感知载体的运动环境，并形成环境感知信息；
S3、利用所述环境地图、所述环境三维模型、所述典型环境特征库和所述环境感知信息计算得到多源信息自适应融合目标函数；
S4、通过所述目标函数实时计算载体动态定位导航信息，并动态更新所述环境地图、所述环境三维模型。
2.根据权利要求1所述的一种运动载体多源信息融合导航方法，其特征在于，所述空间环境数据包括数字正射影像DOM、数字高程模型DEM和数字地表模型DSM。
3.根据权利要求1所述的一种运动载体多源信息融合导航方法，其特征在于，所述步骤S1包括：采集应用区域的空间环境数据的方式是通过专业测绘部门或通过外部设备或运动载体搭载IMU、摄像机、雷达传感器得到。
4.根据权利要求1所述的一种运动载体多源信息融合导航方法，其特征在于，所述步骤S2包括：
S21、将所述载体的运动环境分为室内环境和室外环境两大类，所述室内环境再根据光照、功能和用途进行细致分类；所述室外环境再根据天气条件、开阔程度和植被覆盖进行细致分类；
S22、利用所述不同运动环境数据构建特征数据集并通过环境特征识别深度学习网络进行学习和训练，对所述不同运动环境和场景进行分类，形成环境分类信息；
S23、通过移动机器人采集环境中典型特征数据并形成环境先验特征数据集，对所述环境先验特征通过识别深度学习网络进行学习和训练，进而对所述典型特征进行检测、识别和跟踪，并通过所述移动机器人的位置信息、摄像机成像模型和环境特征的物理尺寸与地理坐标计算移动机器人的精确位置信息，形成环境感知信息，建立环境先验模型。
5.根据权利要求1所述的一种运动载体多源信息融合导航方法，其特征在于，所述步骤S3包括：
S31、根据摄像机、激光雷达和毫米波雷达间的标定参数，实现雷达点云数据和图像点云数据融合，形成点云数据融合信息；
S32、利用IMU数据、云数据融合信息和环境先验模型及特征数据计算得到多源信息自适应融合目标函数，构建多源信息自适应融合模型。
6.根据权利要求1所述的一种运动载体多源信息融合导航方法，其特征在于，所述步骤S4包括：
S41、利用非线性优化方法或最优滤波对多源信息自适应融合目标函数进行求解，获得载体动态定位导航信息；
S42、实时建立局部环境地图和环境三维模型并对已有环境地图、环境三维模型和所述典型环境特征库进行更新。
7.根据权利要求5所述的一种运动载体多源信息融合导航***，其特征在于，所述步骤S32中多源信息自适应融合目标函数为
Figure FDA0002579332390000021
其中，eI为IMU的测量误差；ec为图像特征点的重投影误差；er为雷达点云的重投影误差；es为环境特征的重投影误差；k为各传感器数据帧数的标号；KI、Kc、Kr和Ks分别为IMU数据、图像特征点数据、雷达点云数据和环境特征数据在时间K内的总帧数；i、j和m分别为图像特征点、雷达扫描点和环境特征的标号；F(k)、Ω(k)和M(k)分别为摄像机、雷达和环境特征在第k帧时观测到的地标点集合、雷达扫描点集合和环境特征集合；
Figure FDA0002579332390000022
为第k帧时IMU误差的信息矩阵；
Figure FDA0002579332390000023
表示相关地标点测量的信息矩阵；
Figure FDA0002579332390000024
表示雷达扫描点测量的信息矩阵；
Figure FDA0002579332390000025
表示环境特征测量的信息矩阵；α、β、γ和λ分别为IMU、摄像机、雷达和环境特征参与视觉导航解优化计算的权系数。
8.一种运动载体多源信息融合导航***，其特征在于，包括，采集单元、感知单元、与所述采集单元和所述感知单元分别连接的建模单元、与所述建模单元连接的载体定位导航及动态更新单元；
所述采集单元，用于采集应用区域的空间环境数据，建立环境地图、环境三维模型和典型环境特征库；
所述感知单元，用于感知载体的运动环境，并形成环境感知信息；
所述建模单元，用于构建多源信息自适应融合模型；
所述载体定位导航及动态更新单元，用于实时计算载体动态定位导航信息，并动态更新所述环境地图、所述环境三维模型。
9.根据权利要求7所述的一种运动载体多源信息融合导航***，其特征在于，所述采集单元、所述感知单元、所述建模单元和所述载体定位导航及动态更新单元通过终端处理器实现空间环境数据的采集、环境感知信息的获取、多源信息自适应融合模型的建立和载体定位导航和动态实时更新。
10.根据权利要求8所述的一种运动载体多源信息融合导航***，其特征在于，所述终端处理器为普通计算机、工控计算机、移动设备终端或嵌入式***部分。
CN202010663066.4A 2020-07-10 2020-07-10 一种运动载体多源信息融合导航方法及*** Active CN111811502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010663066.4A CN111811502B (zh) 2020-07-10 2020-07-10 一种运动载体多源信息融合导航方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010663066.4A CN111811502B (zh) 2020-07-10 2020-07-10 一种运动载体多源信息融合导航方法及***

Publications (2)

Publication Number Publication Date
CN111811502A true CN111811502A (zh) 2020-10-23
CN111811502B CN111811502B (zh) 2022-07-22

Family

ID=72842669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010663066.4A Active CN111811502B (zh) 2020-07-10 2020-07-10 一种运动载体多源信息融合导航方法及***

Country Status (1)

Country Link
CN (1) CN111811502B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465987A (zh) * 2020-12-17 2021-03-09 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) 一种视觉融合信息三维重建的导航地图构建方法
CN113640802A (zh) * 2021-07-30 2021-11-12 国网上海市电力公司 一种基于多融合传感器的机器人空间定位方法和***
CN115900712A (zh) * 2022-11-03 2023-04-04 深圳大学 一种信源可信度评价组合定位方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103697889A (zh) * 2013-12-29 2014-04-02 北京航空航天大学 一种基于多模型分布式滤波的无人机自主导航与定位方法
KR20140120466A (ko) * 2013-04-03 2014-10-14 국방과학연구소 자율 이동 차량의 위치 추정 시스템 및 방법
CN105606096A (zh) * 2016-01-28 2016-05-25 北京航空航天大学 一种载体运动状态信息辅助的姿态和航向计算方法和***
CN106679648A (zh) * 2016-12-08 2017-05-17 东南大学 一种基于遗传算法的视觉惯性组合的slam方法
CN106709462A (zh) * 2016-12-29 2017-05-24 天津中科智能识别产业技术研究院有限公司 一种室内定位方法及其装置
WO2017215024A1 (zh) * 2016-06-16 2017-12-21 东南大学 一种基于新型多传感器融合技术的行人导航装置和方法
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及***
US20180259341A1 (en) * 2017-03-08 2018-09-13 Northrop Grumman Systems Corporation Adaptive navigation for airborne, ground and dismount applications (anagda)
CN109405824A (zh) * 2018-09-05 2019-03-01 武汉契友科技股份有限公司 一种适用于智能网联汽车的多源感知定位***
CN109425348A (zh) * 2017-08-23 2019-03-05 北京图森未来科技有限公司 一种同时定位与建图的方法和装置
US20190178646A1 (en) * 2017-12-08 2019-06-13 Regents Of The University Of Minnesota Square root inverse schmidt-kalman filters for vision-aided inertial navigation and mapping
CN109977813A (zh) * 2019-03-13 2019-07-05 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法
CN110160522A (zh) * 2019-04-16 2019-08-23 浙江大学 一种基于稀疏特征法的视觉惯导里程计的位姿估计方法
CN110243358A (zh) * 2019-04-29 2019-09-17 武汉理工大学 多源融合的无人车室内外定位方法及***
CN111089585A (zh) * 2019-12-30 2020-05-01 哈尔滨理工大学 一种基于传感器信息融合的建图及定位方法
CN111210477A (zh) * 2019-12-26 2020-05-29 深圳大学 一种运动目标的定位方法及***
CN111340851A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 基于双目视觉与imu融合的slam方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140120466A (ko) * 2013-04-03 2014-10-14 국방과학연구소 자율 이동 차량의 위치 추정 시스템 및 방법
CN103697889A (zh) * 2013-12-29 2014-04-02 北京航空航天大学 一种基于多模型分布式滤波的无人机自主导航与定位方法
CN105606096A (zh) * 2016-01-28 2016-05-25 北京航空航天大学 一种载体运动状态信息辅助的姿态和航向计算方法和***
WO2017215024A1 (zh) * 2016-06-16 2017-12-21 东南大学 一种基于新型多传感器融合技术的行人导航装置和方法
CN106679648A (zh) * 2016-12-08 2017-05-17 东南大学 一种基于遗传算法的视觉惯性组合的slam方法
CN106709462A (zh) * 2016-12-29 2017-05-24 天津中科智能识别产业技术研究院有限公司 一种室内定位方法及其装置
US20180259341A1 (en) * 2017-03-08 2018-09-13 Northrop Grumman Systems Corporation Adaptive navigation for airborne, ground and dismount applications (anagda)
CN109425348A (zh) * 2017-08-23 2019-03-05 北京图森未来科技有限公司 一种同时定位与建图的方法和装置
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及***
US20190178646A1 (en) * 2017-12-08 2019-06-13 Regents Of The University Of Minnesota Square root inverse schmidt-kalman filters for vision-aided inertial navigation and mapping
CN109405824A (zh) * 2018-09-05 2019-03-01 武汉契友科技股份有限公司 一种适用于智能网联汽车的多源感知定位***
CN109977813A (zh) * 2019-03-13 2019-07-05 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法
CN110160522A (zh) * 2019-04-16 2019-08-23 浙江大学 一种基于稀疏特征法的视觉惯导里程计的位姿估计方法
CN110243358A (zh) * 2019-04-29 2019-09-17 武汉理工大学 多源融合的无人车室内外定位方法及***
CN111210477A (zh) * 2019-12-26 2020-05-29 深圳大学 一种运动目标的定位方法及***
CN111089585A (zh) * 2019-12-30 2020-05-01 哈尔滨理工大学 一种基于传感器信息融合的建图及定位方法
CN111340851A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 基于双目视觉与imu融合的slam方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
ARUANTOU: "非线性优化中的信息矩阵知识补充", 《知乎 HTTPS://ZHUANLAN.ZHIHU.COM/P/149627392》 *
FLY1NG_DUCK: "信息矩阵在图优化slam里面的作用", 《CSDN HTTPS://BLOG.CSDN.NET/FLY1NG_DUCK/ARTICLE/DETAILS/101236559》 *
HESHAM ISMAIL 等: "Algorithm Fusion for Feature Extraction and Map Construction From SONAR Data", 《IEEE SENSORS JOURNAL》 *
SHESHENG GAO.ET AL: "Multi-sensor optimal data fusion for INS/GPS/SAR integrated navigation system", 《AEROSPACE SCIENCE AND TECHNOLOGY》 *
毛家宁等: "基于滑窗非线性优化的双目视觉SLAM算法", 《应用科技》 *
王小刚: "非线性滤波方法在无人机相对导航上的应用研究", 《中国博士学位论文全文数据库·工程科技Ⅱ辑》 *
王消为 等: "基于激光雷达与双目视觉的移动机器人SLAM研究", 《传感技术学报》 *
穆梦雪等: "A GNSS/INS‑integrated system for an arbitrarily mounted land vehicle navigation device", 《GPS SOLUTIONS》 *
赵龙等: "UAV autonomous navigation system for GNSS invalidation", 《PROCEEDINGS OF THE 36TH CHINESE CONTROL CONFERENCE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465987A (zh) * 2020-12-17 2021-03-09 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) 一种视觉融合信息三维重建的导航地图构建方法
CN113640802A (zh) * 2021-07-30 2021-11-12 国网上海市电力公司 一种基于多融合传感器的机器人空间定位方法和***
CN113640802B (zh) * 2021-07-30 2024-05-17 国网上海市电力公司 一种基于多融合传感器的机器人空间定位方法和***
CN115900712A (zh) * 2022-11-03 2023-04-04 深圳大学 一种信源可信度评价组合定位方法
CN115900712B (zh) * 2022-11-03 2023-08-29 深圳大学 一种信源可信度评价组合定位方法

Also Published As

Publication number Publication date
CN111811502B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN110243358B (zh) 多源融合的无人车室内外定位方法及***
CN110084272B (zh) 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法
CN111811502B (zh) 一种运动载体多源信息融合导航方法及***
CN109341706B (zh) 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN112014857A (zh) 用于智能巡检的三维激光雷达定位导航方法及巡检机器人
WO2017028653A1 (zh) 一种移动机器人室内自建地图的方法和***
CN109446973B (zh) 一种基于深度神经网络图像识别的车辆定位方法
CN112734765B (zh) 基于实例分割与多传感器融合的移动机器人定位方法、***及介质
CN110298914B (zh) 一种建立果园中果树冠层特征地图的方法
CN112325883B (zh) 一种WiFi和视觉多源融合的移动机器人室内定位方法
CN111340939B (zh) 一种室内三维语义地图构建方法
US20230236280A1 (en) Method and system for positioning indoor autonomous mobile robot
CN109815300A (zh) 一种车辆定位方法
CN110187375A (zh) 一种基于slam定位结果提高定位精度的方法及装置
CN112833883A (zh) 一种基于多相机的室内移动机器人定位方法
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN112629520A (zh) 一种机器人导航与定位方法、***、设备及存储介质
CN111812978B (zh) 一种多无人机协作slam方法与***
Xian et al. A bionic autonomous navigation system by using polarization navigation sensor and stereo camera
CN115451948A (zh) 一种基于多传感器融合的农业无人车定位里程计方法及***
Sun et al. A review of visual SLAM based on unmanned systems
CN115574816A (zh) 仿生视觉多源信息智能感知无人平台
CN114821363A (zh) 一种基于语义信息匹配的无人机定位建图方法及***
CN117075158A (zh) 基于激光雷达的无人变形运动平台的位姿估计方法及***
CN117310627A (zh) 一种应用于车路协同路侧感知***的联合标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant