CN114612560A - 一种三维拓扑经验地图的构建方法、装置及相关设备 - Google Patents

一种三维拓扑经验地图的构建方法、装置及相关设备 Download PDF

Info

Publication number
CN114612560A
CN114612560A CN202210265891.8A CN202210265891A CN114612560A CN 114612560 A CN114612560 A CN 114612560A CN 202210265891 A CN202210265891 A CN 202210265891A CN 114612560 A CN114612560 A CN 114612560A
Authority
CN
China
Prior art keywords
information
dimensional
matrix
cell
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210265891.8A
Other languages
English (en)
Inventor
朱祥维
沈丹
李天赐
刘格陆
戴志强
刘九龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202210265891.8A priority Critical patent/CN114612560A/zh
Publication of CN114612560A publication Critical patent/CN114612560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种三维拓扑经验地图的构建方法、装置及相关设备，所述方法包括：获取设备在当前周围环境的图像信息；根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息；根据所述角速度信息，基于多层头朝向细胞模型，计算得到所述设备在多层头朝向细胞的方向信息表征；根据所述线速度信息，基于三维网格细胞模型，计算得到所述设备在三维网格细胞的位置信息表征；根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图。本申请采用生物脑启发式的认知方法，实现了对三维拓扑经验地图的构建，对于满足一定精度条件下实现各种无人智能移动机器人的鲁棒稳健低功耗导航，具有重要的应用价值。

Description

一种三维拓扑经验地图的构建方法、装置及相关设备
技术领域
本申请涉及类脑计算及智能机器人导航技术领域，更具体地说，是涉及一种三维拓扑经验地图的构建方法、装置及相关设备。
背景技术
一方面，随着各种传感器变得丰富且廉价，GNSS(Global Navigation SatelliteSystem，全球导航卫星***)、惯导、相机、毫米波雷达、激光雷达等为代表的PNT传感器能够从环境中获得更多的信息。另一方面，随着计算机算力的提升以及存储器容量的增大，使得各种机器人载体能够在线计算各种PNT(Positioning Navigation Timing)传感器的信息数据，为机器人提供环境感知、路径规划、导航定位、避障等各种信息。
3D同时定位和映射(simultaneous localization and mapping，SLAM)***使机器人能够从任意初始3D位置在未知的3D环境中进行探索。并且，它可以递增地构建3D空间地图，以使机器人能够在3D空间中导航。在结构化环境下，机器人面向目标导航的3D SLAM技术日渐成熟。
传统的3D SLAM的后端通常是基于滤波器或优化实现，但还存在一些问题，例如高能耗，高计算成本，较差的环境适应性和低级智能。特别是用于军事自主机器人，例如战斗无人机、超音速飞行器、水下机器人、太空机器人等，它们通常在尺寸、重量、能耗、可靠性、环境适应性和智能性方面要求更高。另外，卫星导航信号容易受到干扰和欺骗，这使智能机器人不能完全依赖外部卫星导航信号。
与当前的机器人技术相比，人类和许多动物(如蝙蝠和老鼠)在一系列3D环境中能够稳健地进行地图和导航。无论在白天或黑夜、晴天或雨天、冬天或夏天、峡谷或洞穴等复杂的3D环境中，蝙蝠都可以通过小脑以及诸如眼睛和耳朵的感知来实现智能导航。蝙蝠在导航和空间认知过程中不仅消耗很少的能量，而且效率和鲁棒性很高。
如果能借鉴生物三维导航机理设计出应用于机器人的地图认知，实现机器人在三维环境下的定位与地图构建，将具有重要的意义。
发明内容
有鉴于此，本申请提供了一种三维拓扑经验地图的构建方法、装置及相关设备，以实现对三维拓扑经验地图的构建。
为实现上述目的，本申请第一方面提供了一种三维拓扑经验地图的构建方法，包括：
获取设备在当前周围环境的图像信息；
根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息；
根据所述角速度信息，基于多层头朝向细胞模型，计算得到所述设备在多层头朝向细胞的方向信息表征；
根据所述线速度信息，基于三维网格细胞模型，计算得到所述设备在三维网格细胞的位置信息表征；
根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图。
优选地，所述多层头朝向细胞模型的构建过程，包括：
根据所述角速度信息，利用二维高斯分布构建多层头朝向细胞模型的第一局部激励权重矩阵
Figure BDA0003552487750000021
以及第一局部抑制权重矩阵
Figure BDA0003552487750000022
根据第一局部激励权重矩阵
Figure BDA0003552487750000023
构建经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000024
根据第一局部抑制权重矩阵
Figure BDA0003552487750000025
以及经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000026
构建经过全局抑制的第一细胞活性矩阵
Figure BDA0003552487750000027
对经过全局抑制的第一细胞活性矩阵
Figure BDA0003552487750000028
进行归一化处理，得到目标第一细胞活性矩阵
Figure BDA0003552487750000029
优选地，根据所述角速度信息，利用二维高斯分布构建多层头朝向细胞模型的第一局部激励权重矩阵
Figure BDA0003552487750000031
的过程，包括：
采用以下方程式计算第一局部激励权重矩阵
Figure BDA0003552487750000032
Figure BDA0003552487750000033
其中，δeθ和δeh分别为多层头朝向细胞局部激活矩阵在偏航方向θ和高度h上的高斯分布标准差常量，u、v分别表征邻域细胞与中心细胞之间的距离；
根据第一局部激励权重矩阵
Figure BDA0003552487750000034
构建经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000035
的过程，包括：
采用以下方程式计算经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000036
Figure BDA0003552487750000037
其中，
Figure BDA0003552487750000038
表示偏航方向θ为i、高度h为j的细胞活性；
根据第一局部抑制权重矩阵
Figure BDA0003552487750000039
及经过局部激活的第一细胞活性矩阵
Figure BDA00035524877500000310
构建经过全局抑制的第一细胞活性矩阵
Figure BDA00035524877500000311
的过程，包括：
采用以下方程式计算经过全局抑制的第一细胞活性矩阵
Figure BDA00035524877500000312
Figure BDA00035524877500000313
其中，
Figure BDA00035524877500000314
为全局抑制常数；
对经过全局抑制的第一细胞活性矩阵
Figure BDA00035524877500000315
进行归一化处理，得到目标第一细胞活性矩阵
Figure BDA00035524877500000316
的过程，包括：
采用以下方程式计算目标第一细胞活性矩阵
Figure BDA00035524877500000317
Figure BDA00035524877500000318
优选地，所述三维网格细胞模型的构建过程，包括：
根据所述线速度信息，利用三维高斯分布构建三维网格细胞模型的第二局部激励权重矩阵
Figure BDA00035524877500000319
以及第二局部抑制权重矩阵
Figure BDA00035524877500000320
根据第二局部激励权重矩阵
Figure BDA0003552487750000041
构建经过局部激活的第二细胞活性矩阵
Figure BDA0003552487750000042
根据第二局部抑制权重矩阵
Figure BDA0003552487750000043
及经过局部激活的第二细胞活性矩阵
Figure BDA0003552487750000044
构建经过全局抑制的第二细胞活性矩阵
Figure BDA0003552487750000045
对经过全局抑制的第二细胞活性矩阵
Figure BDA0003552487750000046
进行归一化处理，得到目标第二细胞活性矩阵
Figure BDA0003552487750000047
优选地，根据所述线速度信息，利用三维高斯分布构建三维网格细胞模型的第二局部激励权重矩阵
Figure BDA0003552487750000048
的过程，包括：
采用以下方程式计算第二局部激励权重矩阵
Figure BDA0003552487750000049
Figure BDA00035524877500000410
其中，δex、δey和δez分别为三维网格细胞局部激活矩阵在三维坐标上的高斯分布标准差常量，u、v和w分别表征邻域细胞与中心细胞之间的距离；
根据第二局部激励权重矩阵
Figure BDA00035524877500000411
构建经过局部激活的第二细胞活性矩阵
Figure BDA00035524877500000412
的过程，包括：
采用以下方程式计算经过局部激活的第二细胞活性矩阵
Figure BDA00035524877500000413
Figure BDA00035524877500000414
其中，
Figure BDA00035524877500000415
表示三维网格细胞在坐标位置(i,j,k)的细胞活性；
根据第二局部抑制权重矩阵
Figure BDA00035524877500000416
及经过局部激活的第二细胞活性矩阵
Figure BDA00035524877500000417
构建经过全局抑制的第二细胞活性矩阵
Figure BDA00035524877500000418
的过程，包括：
采用以下方程式计算经过全局抑制的第二细胞活性矩阵
Figure BDA00035524877500000419
Figure BDA00035524877500000420
其中，
Figure BDA0003552487750000051
为全局抑制常数；
对经过全局抑制的第二细胞活性矩阵
Figure BDA0003552487750000052
进行归一化处理，得到目标第二细胞活性矩阵
Figure BDA0003552487750000053
的过程，包括：
采用以下方程式计算目标第二细胞活性矩阵
Figure BDA0003552487750000054
Figure BDA0003552487750000055
优选地，根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图的过程，包括：
根据所述特征信息进行回环检测，判断当前是否经过熟悉场景；
若是：
获取与所述特征信息相关联的空间经验节点；
根据所述方向信息表征、所述位置信息表征，对所述空间经验节点进行更新，得到更新后的空间经验节点；
根据更新后的空间经验节点，以及已有的空间经验节点构建三维拓扑经验地图。
若否：
根据所述方向信息表征、所述位置信息表征，创建新的空间经验节点；
根据所述新的空间经验节点以及已有的空间经验节点构建三维拓扑经验地图。
优选地，根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息的过程，包括：
基于ORB特征提取算法获取所述设备的三维自运行信息；
根据所述三维自运动信息获取所述设备的角速度信息、线速度信息及周围环境的特征信息。
本申请第二方面提供了一种三维拓扑经验地图的构建装置，包括：
图像信息获取单元，用于获取设备在当前周围环境的图像信息；
特征信息获取单元，用于根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息；
第一细胞计算单元，用于根据所述角速度信息，基于多层头朝向细胞模型，计算得到所述设备在多层头朝向细胞的方向信息表征；
第二细胞计算单元，用于根据所述线速度信息，基于三维网格细胞模型，计算得到所述设备在三维网格细胞的位置信息表征；
经验地图构建单元，用于根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图。
本申请第三方面提供了一种三维拓扑经验地图的构建设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上述的三维拓扑经验地图的构建方法的各个步骤。
本申请第四方面提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的三维拓扑经验地图的构建方法的各个步骤。
经由上述的技术方案可知，本申请实施例首先获取设备在当前周围环境的图像信息，然后根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息。其中，该特征信息为所述设备对周围环境的关键特征线索，其通过基于图像ORB特征进行关键帧计算得到，通过将关键特征线索存储在设备中，便于以后对熟悉场景的回忆联想，以及便于根据所述基于关键帧的视觉线索完成对所述设备是否经过熟悉场景进行检测。根据所述角速度信息，基于多层头朝向细胞模型，计算得到所述设备在多层头朝向细胞的方向信息表征，以及，根据所述线速度信息，基于三维网格细胞模型，计算得到所述设备在三维网格细胞的位置信息表征，实现所述设备在环境中对自身方位的感知。最后，根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图。本申请采用生物脑启发式的认知方法，实现了对三维拓扑经验地图的构建，对于满足一定精度条件下实现各种无人智能移动机器人的鲁棒稳健低功耗导航，具有重要的应用价值。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示例了本申请实施例公开的三维拓扑经验地图的构建方法的***架构图；
图2为本申请实施例公开的三维拓扑经验地图的构建方法的示意图；
图3示例了本申请实施例公开的三维拓扑经验地图的构建方法的流程图；
图4为本申请实施例公开的三维拓扑经验地图的构建装置的示意图；
图5为本申请实施例公开的三维拓扑经验地图的构建装置的另一示意图；
图6为本申请实施例公开的三维拓扑经验地图的构建装置的另一示意图；
图7为本申请实施例公开的三维拓扑经验地图的构建设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，本申请的技术方案中，机器人(设备)从周围环境获取的连续图像，得到图像序列，以视觉图像ORB(Oriented FAST and Rotated BRIEF)特征作为获取自运动信息为基础，估计出机器人的局部运动姿态；对所经历的场景生成具有关键帧的视觉模板存储记忆，然后借鉴生物大脑三维导航神经机制，利用三维网格细胞、多层头朝向细胞模型，基于三维连续吸引子神经网络构建机器人的三维空间经验地图，基于视觉模板对经历的熟悉场景时对路径进行回环校正，并且利用三维经验图松弛算法修正闭环后三维路径积分的累积误差，实现机器人在三维环境下低功耗鲁棒的制图。
本发明研究对于满足一定精度条件下实现鲁棒稳健低功耗的各种无人智能移动机器人(如：搜救机器人、无人货运车等)的研究有着广泛的参考价值。下面介绍本申请实施例提供的三维拓扑经验地图的构建方法。
请参阅图2，本申请实施例提供的三维拓扑经验地图的构建方法可以包括如下步骤：
步骤S101，获取设备在当前周围环境的图像信息。
其中，这里的设备可以是各种无人智能移动机器人，如搜救机器人、无人货运车等。具体地，可以通过相机等设备实时地采集设备在当前周围环境的图像信息。进一步地，该图像信息除了图像要素，还可以包括拍摄该图像的时间要素等信息。可以理解的是，视频可以看成是由一帧帧图像画面组成的，因此，可选地，该图像信息还可以包括视频信息。
步骤S102，根据该图像信息，获取该设备的角速度信息、线速度信息及周围环境的特征信息。
其中，角速度信息表征了设备的转向状况，线速度信息表征了设备的线性移动状况。根据角速度信息和线速度信息，可以计算得到设备在航向偏航角度θ下的x、y平面的平移速度vx、vy和z轴上的高度变化速度vz，旋转方向的变化ωθ和高度变化vh。
特征信息可以是相机对当前周围环境成像的图像中存在明显变化特征的信息，可以通过采集的序列图像，基于ORB特征的图像构建关键帧，生成视觉模板，以视觉模板的形式保存该特征信息，以便于机器人经过熟悉环境时能够校正其位置信息。
步骤S103，根据该角速度信息，基于多层头朝向细胞模型，计算得到该设备在多层头朝向细胞的方向信息表征。
步骤S104，根据该线速度信息，基于三维网格细胞模型，计算得到该设备在三维网格细胞的位置信息表征。
其中，多层头朝向细胞和三维网格细胞均是采用基于动力学的连续吸引子神经网络(continuous attractor neural network，CANN)进行建模，是当前为数不多的得到了实验验证和广泛应用的正则化神经计算模型。
步骤S105，根据该方向信息表征、该位置信息表征以及该特征信息，构建三维拓扑经验地图。
其中，构建三维拓扑经验地图包括路径积分构建局部地图，在经历熟悉场景时完成回环检测对认知地图进行校正，最终完成三维拓扑经验地图的构建。
本申请实施例首先获取设备在当前周围环境的图像信息，然后根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息。其中，该特征信息为所述设备对周围环境的关键特征线索，其通过基于图像ORB特征进行关键帧计算得到，通过将关键特征线索存储在设备中，便于以后对熟悉场景的回忆联想，以及便于根据所述基于关键帧的视觉线索完成对所述设备是否经过熟悉场景进行检测。根据所述角速度信息，基于多层头朝向细胞模型，计算得到所述设备在多层头朝向细胞的方向信息表征，以及，根据所述线速度信息，基于三维网格细胞模型，计算得到所述设备在三维网格细胞的位置信息表征，实现所述设备在环境中对自身方位的感知。最后，根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图。本申请采用生物脑启发式的认知方法，实现了对三维拓扑经验地图的构建，对于满足一定精度条件下实现各种无人智能移动机器人的鲁棒稳健低功耗导航，具有重要的应用价值。
请参阅图3，在上述实施例的基础上，以机器人为例，在外部环境进行探索，通过相机获取周围环境的图像信息之后，通过视觉里程计基于ORB特征估计机器人三维自运动信息，获取自身姿态变化。然后将三维自运动信息传递给多层头朝向细胞和三维网格细胞，导航细胞基于三维吸引子神经网络进行数据滤波优化，多层头朝向细胞基于自运动信息获得角度估计更新，三维网格细胞基于自运动信息得到的平移速度信息，并实现机器人的路径积分。机器人经历的每一幅场景与关键帧比较，判断是否经过熟悉场景。当没有经历熟悉场景时，根据三维网格细胞和多层头朝向细胞的神经网络活动的变化实时生成局部三维拓扑空间经验地图；当经历熟悉场景时，对经过的场景通过视图模板进行回环检测和重新定位，并且利用三维经验图松弛算法修正闭环后三维路径积分的累积误差，完成三维拓扑经验地图构建。
在本申请的一些实施例中，上述步骤S102根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息的过程，可以包括：
S1，基于ORB特征提取算法获取该设备的三维自运行信息。
S2，根据该三维自运动信息获取该设备的角速度信息、线速度信息及周围环境的特征信息。
其中，ORB算法的特征提取是由FAST算法改进的，FAST算法是公认的最快的特征点提取方法。在使用FAST提取出特征点之后，给其定义一个特征点方向，以此来实现特征点的旋转不变形。
在本申请的一些实施例中，上述步骤S103所提及的多层头朝向细胞模型的构建过程，可以包括：
S1，根据角速度信息，利用二维高斯分布构建多层头朝向细胞模型的第一局部激励权重矩阵
Figure BDA0003552487750000101
以及第一局部抑制权重矩阵
Figure BDA0003552487750000102
其中，第一局部激励权重矩阵
Figure BDA0003552487750000103
的矩阵维度为(nθ,nh)，可以实现对偏航角和高度矩阵(θ,h)的局部加权；第一局部抑制权重矩阵
Figure BDA0003552487750000104
可以采用二维高斯分布表示，其维度为(nθ,nh)。
S2，根据第一局部激励权重矩阵
Figure BDA0003552487750000105
构建经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000106
S3，根据第一局部抑制权重矩阵
Figure BDA0003552487750000107
以及经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000108
构建经过全局抑制的第一细胞活性矩阵
Figure BDA0003552487750000109
S4，对经过全局抑制的第一细胞活性矩阵
Figure BDA00035524877500001010
进行归一化处理，得到目标第一细胞活性矩阵
Figure BDA00035524877500001011
在本申请的一些实施例中，上述S1根据角速度信息，利用二维高斯分布构建多层头朝向细胞模型的第一局部激励权重矩阵
Figure BDA00035524877500001012
的过程，可以包括：
采用以下方程式计算第一局部激励权重矩阵
Figure BDA00035524877500001013
Figure BDA00035524877500001014
其中，δeθ和δeh分别为多层头朝向细胞局部激活矩阵在偏航方向θ和高度h上的高斯分布标准差常量，u、v分别表征邻域细胞与中心细胞之间的距离。
在一个具体的实施例中，多层头朝向细胞的大小可以为360*360、细胞间隔为1deg*1，第一局部激励权重矩阵
Figure BDA00035524877500001015
的矩阵维度可以是7*7，δeθ和δeh均可以取值为1.8。
上述S2根据第一局部激励权重矩阵
Figure BDA00035524877500001016
构建经过局部激活的第一细胞活性矩阵
Figure BDA00035524877500001017
的过程，可以包括：
采用以下方程式计算经过局部激活的第一细胞活性矩阵
Figure BDA00035524877500001018
Figure BDA00035524877500001019
其中，
Figure BDA00035524877500001020
表示偏航方向θ为i、高度h为j的细胞活性。
邻域细胞与中心细胞距离的计算公式为：
Figure BDA0003552487750000111
即需要将Phd的坐标(i,j)转换到以(θ,h)为中心细胞的(u,v)坐标。
上述S3根据第一局部抑制权重矩阵
Figure BDA0003552487750000112
及经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000113
构建经过全局抑制的第一细胞活性矩阵
Figure BDA0003552487750000114
的过程，可以包括：
采用以下方程式计算经过全局抑制的第一细胞活性矩阵
Figure BDA0003552487750000115
Figure BDA0003552487750000116
其中，全局抑制权重矩阵
Figure BDA0003552487750000117
采用二维高斯分布表示，其维度为njθ和njh，可以均取值为5，即抑制状态细胞为5*5，每个维度方差均取值为3，其计算方法与第一局部激励权重矩阵一致；
Figure BDA0003552487750000118
为全局抑制常数，可以取值为0.0002；
Figure BDA0003552487750000119
中的所有值均为非负值。
上述S4对经过全局抑制的第一细胞活性矩阵
Figure BDA00035524877500001110
进行归一化处理，得到目标第一细胞活性矩阵
Figure BDA00035524877500001111
的过程，可以包括：
采用以下方程式计算目标第一细胞活性矩阵
Figure BDA00035524877500001112
Figure BDA00035524877500001113
在完成了多层头朝向细胞模型的构建后，还可以对多层头朝向细胞进行更新。多层头朝向细胞通过将活动从当前激活的细胞所感知的自运动信息投射到附近的细胞中，分别根据旋转方向变化ωθ和高度变化vh进行更新，偏航角旋转方向变化ωθ和高度变化vh值由前端视觉里程计估计自运动信息获得。
注入领域细胞的活动量包括多层头朝向细胞原始活动量Uhdc基础上注入整数活动量
Figure BDA00035524877500001114
和残差量η，
Figure BDA00035524877500001115
由偏移量整数部分
Figure BDA00035524877500001116
和
Figure BDA00035524877500001117
直接分别平移变换，η由偏移量小数部分
Figure BDA00035524877500001118
和
Figure BDA00035524877500001119
计算。
Figure BDA00035524877500001120
的活动变化由下式计算：
Figure BDA00035524877500001121
其中，
Figure BDA00035524877500001122
及
Figure BDA00035524877500001123
定义如下：
Figure BDA0003552487750000121
Figure BDA0003552487750000122
其中kθ和kh是用于头朝向更新的常数，由于偏移量有可能介于两个细胞之间，所以对两个细胞都有影响，一个上取整，一个下取整。因此残差矩阵η可以由下式计算：
Figure BDA0003552487750000123
Figure BDA0003552487750000124
在本申请的一些实施例中，上述步骤S104所提及的三维网格细胞模型的构建过程，可以包括：
S1，根据该线速度信息，利用三维高斯分布构建三维网格细胞模型的第二局部激励权重矩阵
Figure BDA0003552487750000125
以及第二局部抑制权重矩阵
Figure BDA0003552487750000126
其中，第二局部激励权重矩阵
Figure BDA0003552487750000127
的维度为(nex,ney,nez)，可以实现对三维坐标(x,y,z)矩阵的局部加权；第二局部抑制权重矩阵
Figure BDA0003552487750000128
可以采用三维高斯分布表示，其维度为(nix,niy,niz)。
S2，根据第二局部激励权重矩阵
Figure BDA0003552487750000129
构建经过局部激活的第二细胞活性矩阵
Figure BDA00035524877500001210
S3，根据第二局部抑制权重矩阵
Figure BDA00035524877500001211
及经过局部激活的第二细胞活性矩阵
Figure BDA00035524877500001212
构建经过全局抑制的第二细胞活性矩阵
Figure BDA00035524877500001213
S4，对经过全局抑制的第二细胞活性矩阵
Figure BDA00035524877500001214
进行归一化处理，得到目标第二细胞活性矩阵
Figure BDA00035524877500001215
在本申请的一些实施例中，上述S1根据所述线速度信息，利用三维高斯分布构建三维网格细胞模型的第二局部激励权重矩阵
Figure BDA00035524877500001216
的过程，可以包括：
采用以下方程式计算第二局部激励权重矩阵
Figure BDA00035524877500001217
Figure BDA00035524877500001218
其中，δex、δey和δez分别为三维网格细胞局部激活矩阵在三维坐标上的高斯分布标准差常量，u、v和w分别表征邻域细胞与中心细胞之间的距离。
在一个具体的实施例中，三维网格细胞的大小可以为36*36*36、细胞间隔为1*1*1，第二局部激励权重矩阵
Figure BDA0003552487750000131
的矩阵维度可以是7*7*7，δex、δey和δez均可以取值为1.5。
上述S2根据第二局部激励权重矩阵
Figure BDA0003552487750000132
构建经过局部激活的第二细胞活性矩阵
Figure BDA0003552487750000133
的过程，可以包括：
采用以下方程式计算经过局部激活的第二细胞活性矩阵
Figure BDA0003552487750000134
Figure BDA0003552487750000135
其中，
Figure BDA0003552487750000136
表示三维网格细胞在坐标位置(i,j,k)的细胞活性。
邻域细胞与中心细胞距离的计算公式为：
Figure BDA0003552487750000137
即需要将Pgc的坐标(i,j,k)转换到以(x,y,z)为中心细胞的(u,v,w)坐标。
上述S3根据第二局部抑制权重矩阵
Figure BDA0003552487750000138
及经过局部激活的第二细胞活性矩阵
Figure BDA0003552487750000139
构建经过全局抑制的第二细胞活性矩阵
Figure BDA00035524877500001310
的过程，可以包括：
采用以下方程式计算经过全局抑制的第二细胞活性矩阵
Figure BDA00035524877500001311
Figure BDA00035524877500001312
其中，
Figure BDA00035524877500001313
为全局抑制常数；局部抑制权重矩阵
Figure BDA00035524877500001314
采用三维高斯分布表示，局部抑制矩阵的维度为(nex,ney,nez)，取值都为5，即抑制状态细胞为5*5*5，每个维度方差均取值为2，计算方法与第二局部激励权重矩阵一致。
上述S4对经过全局抑制的第二细胞活性矩阵
Figure BDA00035524877500001315
进行归一化处理，得到目标第二细胞活性矩阵
Figure BDA00035524877500001316
的过程，包括：
采用以下方程式计算目标第二细胞活性矩阵
Figure BDA00035524877500001317
Figure BDA00035524877500001318
在完成了三维网格细胞模型的构建后，还可以对三维网格细胞进行更新。三维网格细胞的活动更新将活动从当前激活的细胞所感知的自运动信息投射到邻域细胞中，确定每个路径节点，将所经过的路径平滑实现3D路径积分。根据所获得的当前航向偏航角度θ下的x、y平面的平移速度vx、vy和z轴上的高度变化速度vz，分别在x、y、z轴上进行活动位移。注入领域细胞的活动量包括三维网格细胞原始活动量Ugc基础上注入整数活动量
Figure BDA0003552487750000141
和残差量η，
Figure BDA0003552487750000142
由偏移量整数部分
Figure BDA0003552487750000143
和
Figure BDA0003552487750000144
直接分别平移变换，γ由偏移量小数部分
Figure BDA0003552487750000145
和
Figure BDA0003552487750000146
计算。
Figure BDA0003552487750000147
的活动变化由下式计算：
Figure BDA0003552487750000148
其中，
Figure BDA0003552487750000149
和
Figure BDA00035524877500001410
以及
Figure BDA00035524877500001411
和
Figure BDA00035524877500001412
分别定义如下：
Figure BDA00035524877500001413
Figure BDA00035524877500001414
其中kx、ky、kz为三维网格细胞x、y、z方向的三维路径积分常数，均取值为1。由于偏移量有可能介于两个细胞之间，所以对两个细胞都有影响，一个上取整，一个下取整。因此残差γ由如下公式计算：
Figure BDA00035524877500001415
Figure BDA00035524877500001416
在本申请的一些实施例中，上述步骤S105根据方向信息表征、位置信息表征以及特征信息，构建三维拓扑经验地图的过程，可以包括：
S1，根据特征信息进行回环检测，判断当前是否经过熟悉场景。若是，执行S2；若否，执行S5。
S2，获取与该特征信息相关联的空间经验节点。
S3，根据该方向信息表征、该位置信息表征，对该空间经验节点进行更新，得到更新后的空间经验节点。
S4，根据更新后的空间经验节点，以及已有的空间经验节点构建三维拓扑经验地图。
S5，根据该方向信息表征、该位置信息表征，创建新的空间经验节点。
S6，根据所述新的空间经验节点以及已有的空间经验节点构建三维拓扑经验地图。
其中，三维拓扑经验地图的构建包括路径积分构建局部地图，在经历熟悉场景时对认知地图进行校正，最终完成认知地图的构建。
三维拓扑经验地图由若干3D空间经验节点Ei组成，空间经验节点Ei其由相关联的局部视场细胞编码
Figure BDA0003552487750000151
多层头朝向细胞编码
Figure BDA0003552487750000152
3D网格细胞编码
Figure BDA0003552487750000153
和自运动线索估计的机器人初始位姿
Figure BDA0003552487750000154
定义：
Figure BDA0003552487750000155
每个空间经验都具有3D空间状态(x,y,z,θ)，初次经验设置为(0,0,0,0)。经验的姿态由平移和旋转速度估算。
上述S1中的回环检测可以是通过对机器人当前场景图像的特征与所有保存的关键帧的特征进行比较，判断机器人是否经历熟悉的场景。其具体实现过程可以包括：
S11，对相机获取的当前场景图像的ORB特征点描述子采用K-means++算法聚类，构建一个8叉树结构字典；
S12，根据当前图像ORB特征点描述子查找字典中的单词，计算TF-IDF作为单词的权重，并以此组成当前图像的词袋向量；
S13，采取L1范数等方法计算词袋向量相似度并归一化处理。其中，若当前帧与之前某关键帧的相似度超过当前帧与上一个关键帧相似度的3倍，并且通过空间一致性检测，则判定为回环。
当机器人没有经历熟悉场景时，机器人正常创建多层经验地图。机器人当前状态下3D网格细胞
Figure BDA0003552487750000156
和多层头朝向细胞
Figure BDA0003552487750000157
组成的当前经验联合编码与当前全部已有3D空间经验节点一一比较，当差异超过阈值时则可以创建新的节点；当差异没有超过阈值时，且与当前的经验节点差异最小，则用当前的经验节点进行表示。
经验节点的差异使用得分度量Si表示，具体方法为将当前状态下由3D网格细胞
Figure BDA0003552487750000161
和多层头朝向细胞
Figure BDA0003552487750000162
组成的当前经验联合编码与当前已有3D空间经验节点作差：
Figure BDA0003552487750000163
其中μgc和μhdc分别是3D网格细胞和多层头朝向细胞的贡献权重，均取值为1；Smax取值为20。
活跃的3D空间经验节点代表了当前机器人在3D空间中的4DoF姿态。转移量Tij存储4DoF姿态变化
Figure BDA0003552487750000164
和距离变化
Figure BDA0003552487750000165
Figure BDA0003552487750000166
Figure BDA0003552487750000167
根据机器人运动和已知的4DoF姿态
Figure BDA0003552487750000168
计算新经验Ej的4DoF姿态
Figure BDA0003552487750000169
形成了两种经验节点之间的联系Tij。
Figure BDA00035524877500001610
当机器人看见熟悉的场景时，将当前视觉活动注入到与该场景关联的局部视图单元、3D网格细胞和多层头朝向细胞中，机器人的姿态确定为现有的经验节点。
为了减少机器人姿态估计的累积误差，采用合适的校正率λ的多层经验图校正和松弛的迭代方法，取值为0.5；姿态变化
Figure BDA00035524877500001611
通过以下公式计算：
Figure BDA00035524877500001612
其中Nf分别是从Ei到其他3D空间经验节点的连接数，Nt是从其他3D空间经验节点到Ei的连接数；Pi为对应节点i的位姿信息。
下面对本申请实施例提供的三维拓扑经验地图的构建装置进行描述，下文描述的三维拓扑经验地图的构建装置与上文描述的三维拓扑经验地图的构建方法可相互对应参照。
请参见图4，本申请实施例提供的三维拓扑经验地图的构建装置，可以包括：
图像信息获取单元21，用于获取设备在当前周围环境的图像信息；
特征信息获取单元22，用于根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息；
第一细胞计算单元23，用于根据所述角速度信息，基于多层头朝向细胞模型，计算得到所述设备在多层头朝向细胞的方向信息表征；
第二细胞计算单元24，用于根据所述线速度信息，基于三维网格细胞模型，计算得到所述设备在三维网格细胞的位置信息表征；
经验地图构建单元25，用于根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图。
在本申请的一些实施例中，请参见图5，上述三维拓扑经验地图的构建装置还可以包括第一模型构建单元26，用于对多层头朝向细胞模型的进行构建。第一模型构建单元26对多层头朝向细胞模型的进行构建过程，可以包括：
根据所述角速度信息，利用二维高斯分布构建多层头朝向细胞模型的第一局部激励权重矩阵
Figure BDA0003552487750000171
以及第一局部抑制权重矩阵
Figure BDA0003552487750000172
根据第一局部激励权重矩阵
Figure BDA0003552487750000173
构建经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000174
根据第一局部抑制权重矩阵
Figure BDA0003552487750000175
以及经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000176
构建经过全局抑制的第一细胞活性矩阵
Figure BDA0003552487750000177
对经过全局抑制的第一细胞活性矩阵
Figure BDA0003552487750000178
进行归一化处理，得到目标第一细胞活性矩阵
Figure BDA0003552487750000179
在本申请的一些实施例中，第一模型构建单元26根据所述角速度信息，利用二维高斯分布构建多层头朝向细胞模型的第一局部激励权重矩阵
Figure BDA00035524877500001710
的过程，可以包括：
采用以下方程式计算第一局部激励权重矩阵
Figure BDA00035524877500001711
Figure BDA00035524877500001712
其中，δeθ和δeh分别为多层头朝向细胞局部激活矩阵在偏航方向θ和高度h上的高斯分布标准差常量，u、v分别表征邻域细胞与中心细胞之间的距离。
在本申请的一些实施例中，第一模型构建单元26根据第一局部激励权重矩阵
Figure BDA0003552487750000181
构建经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000182
的过程，可以包括：
采用以下方程式计算经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000183
Figure BDA0003552487750000184
其中，
Figure BDA0003552487750000185
表示偏航方向θ为i、高度h为j的细胞活性。
在本申请的一些实施例中，第一模型构建单元26根据第一局部抑制权重矩阵
Figure BDA0003552487750000186
及经过局部激活的第一细胞活性矩阵
Figure BDA0003552487750000187
构建经过全局抑制的第一细胞活性矩阵
Figure BDA0003552487750000188
的过程，可以包括：
采用以下方程式计算经过全局抑制的第一细胞活性矩阵
Figure BDA0003552487750000189
Figure BDA00035524877500001810
其中，
Figure BDA00035524877500001811
为全局抑制常数。
在本申请的一些实施例中，第一模型构建单元26对经过全局抑制的第一细胞活性矩阵
Figure BDA00035524877500001812
进行归一化处理，得到目标第一细胞活性矩阵
Figure BDA00035524877500001813
的过程，可以包括：
采用以下方程式计算目标第一细胞活性矩阵
Figure BDA00035524877500001814
Figure BDA00035524877500001815
在本申请的一些实施例中，请参见图6，上述三维拓扑经验地图的构建装置还可以包括第二模型构建单元27，用于对对三维网格细胞模型的进行构建。第二模型构建单元27对三维网格细胞模型的进行构建过程，可以包括：
根据所述线速度信息，利用三维高斯分布构建三维网格细胞模型的第二局部激励权重矩阵
Figure BDA00035524877500001816
以及第二局部抑制权重矩阵
Figure BDA00035524877500001817
根据第二局部激励权重矩阵
Figure BDA00035524877500001818
构建经过局部激活的第二细胞活性矩阵
Figure BDA00035524877500001819
根据第二局部抑制权重矩阵
Figure BDA0003552487750000191
及经过局部激活的第二细胞活性矩阵
Figure BDA0003552487750000192
构建经过全局抑制的第二细胞活性矩阵
Figure BDA0003552487750000193
对经过全局抑制的第二细胞活性矩阵
Figure BDA0003552487750000194
进行归一化处理，得到目标第二细胞活性矩阵
Figure BDA0003552487750000195
在本申请的一些实施例中，第二模型构建单元27根据所述线速度信息，利用三维高斯分布构建三维网格细胞模型的第二局部激励权重矩阵
Figure BDA0003552487750000196
的过程，可以包括：
采用以下方程式计算第二局部激励权重矩阵
Figure BDA0003552487750000197
Figure BDA0003552487750000198
其中，δex、δey和δez分别为三维网格细胞局部激活矩阵在三维坐标上的高斯分布标准差常量，u、v和w分别表征邻域细胞与中心细胞之间的距离。
在本申请的一些实施例中，第二模型构建单元27根据第二局部激励权重矩阵
Figure BDA0003552487750000199
构建经过局部激活的第二细胞活性矩阵
Figure BDA00035524877500001910
的过程，可以包括：
采用以下方程式计算经过局部激活的第二细胞活性矩阵
Figure BDA00035524877500001911
Figure BDA00035524877500001912
其中，
Figure BDA00035524877500001913
表示三维网格细胞在坐标位置(i,j,k)的细胞活性。
在本申请的一些实施例中，第二模型构建单元27根据第二局部抑制权重矩阵
Figure BDA00035524877500001914
及经过局部激活的第二细胞活性矩阵
Figure BDA00035524877500001915
构建经过全局抑制的第二细胞活性矩阵
Figure BDA00035524877500001916
的过程，可以包括：
采用以下方程式计算经过全局抑制的第二细胞活性矩阵
Figure BDA00035524877500001917
Figure BDA00035524877500001918
其中，
Figure BDA00035524877500001919
为全局抑制常数。
在本申请的一些实施例中，第二模型构建单元27对经过全局抑制的第二细胞活性矩阵
Figure BDA00035524877500001920
进行归一化处理，得到目标第二细胞活性矩阵
Figure BDA00035524877500001921
的过程，可以包括：
采用以下方程式计算目标第二细胞活性矩阵
Figure BDA00035524877500001922
Figure BDA0003552487750000201
在本申请的一些实施例中，经验地图构建单元25根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图的过程，可以包括：
根据所述特征信息进行回环检测，判断当前是否经过熟悉场景；
若是：
获取与所述特征信息相关联的空间经验节点；
根据所述方向信息表征、所述位置信息表征，对所述空间经验节点进行更新，得到更新后的空间经验节点；
根据更新后的空间经验节点，以及已有的空间经验节点构建三维拓扑经验地图；
若否：
根据所述方向信息表征、所述位置信息表征，创建新的空间经验节点；
根据所述新的空间经验节点以及已有的空间经验节点构建三维拓扑经验地图。
在本申请的一些实施例中，特征信息获取单元22根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息的过程，包括：
基于ORB特征提取算法获取所述设备的三维自运行信息；
根据所述三维自运动信息获取所述设备的角速度信息、线速度信息及周围环境的特征信息。
本申请实施例提供的三维拓扑经验地图的构建装置可应用于三维拓扑经验地图的构建设备，如计算机等智能设备。可选的，图7示出了三维拓扑经验地图的构建设备的硬件结构框图，参照图7，三维拓扑经验地图的构建设备的硬件结构可以包括：至少一个处理器31，至少一个通信接口32，至少一个存储器33和至少一个通信总线34。
在本申请实施例中，处理器31、通信接口32、存储器33、通信总线34的数量为至少一个，且处理器31、通信接口32、存储器33通过通信总线34完成相互间的通信；
处理器31可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路等；
存储器32可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器33存储有程序，处理器31可调用存储器33存储的程序，所述程序用于：
获取设备在当前周围环境的图像信息；
根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息；
根据所述角速度信息，基于多层头朝向细胞模型，计算得到表征方向信息的目标多层头朝向细胞；
根据所述线速度信息，基于三维网格细胞模型，计算得到表征位置信息的目标三维网格细胞；
根据所述目标多层头朝向细胞、所述目标三维网格细胞以及所述特征信息，构建三维拓扑经验地图。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
获取设备在当前周围环境的图像信息；
根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息；
根据所述角速度信息，基于多层头朝向细胞模型，计算得到表征方向信息的目标多层头朝向细胞；
根据所述线速度信息，基于三维网格细胞模型，计算得到表征位置信息的目标三维网格细胞；
根据所述目标多层头朝向细胞、所述目标三维网格细胞以及所述特征信息，构建三维拓扑经验地图。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
综上所述：
本申请实施例首先获取设备在当前周围环境的图像信息，然后根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息。其中，该特征信息为所述设备对周围环境的关键特征线索，其通过基于图像ORB特征进行关键帧计算得到，通过将关键特征线索存储在设备中，便于以后对熟悉场景的回忆联想，以及便于根据所述基于关键帧的视觉线索完成对所述设备是否经过熟悉场景进行检测。根据所述角速度信息，基于多层头朝向细胞模型，计算得到所述设备在多层头朝向细胞的方向信息表征，以及，根据所述线速度信息，基于三维网格细胞模型，计算得到所述设备在三维网格细胞的位置信息表征，实现所述设备在环境中对自身方位的感知。最后，根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图。本申请采用生物脑启发式的认知方法，实现了对三维拓扑经验地图的构建，对于满足一定精度条件下实现各种无人智能移动机器人的鲁棒稳健低功耗导航，具有重要的应用价值。
进一步地，本申请实施例提出了基于视觉图像ORB特征获取自运动信息，利用连续吸引子神经网络的三维网格细胞、多层头朝向细胞，视觉模板的仿视觉脑的三维脑启发智能导航方法，生成关键节点具有准确坐标的三维拓扑地图，有效降低了能耗与存储空间。其次，将基于ORB特征的视觉图像处理方法引入进本***，提升了本方法在自运动信息估计的性能，并且改进了视觉模板的计算方法，有效提高了回环检测的性能。再有，改进了经验地图节点的创建与校正方法，有效提高了路径积分的精度，拓展了三维经验地图的可用性。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种三维拓扑经验地图的构建方法，其特征在于，包括：
获取设备在当前周围环境的图像信息；
根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息；
根据所述角速度信息，基于多层头朝向细胞模型，计算得到所述设备在多层头朝向细胞的方向信息表征；
根据所述线速度信息，基于三维网格细胞模型，计算得到所述设备在三维网格细胞的位置信息表征；
根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图。
2.根据权利要求1所述的方法，其特征在于，所述多层头朝向细胞模型的构建过程，包括：
根据所述角速度信息，利用二维高斯分布构建多层头朝向细胞模型的第一局部激励权重矩阵
Figure FDA0003552487740000011
以及第一局部抑制权重矩阵
Figure FDA0003552487740000012
根据第一局部激励权重矩阵
Figure FDA0003552487740000013
构建经过局部激活的第一细胞活性矩阵
Figure FDA0003552487740000014
根据第一局部抑制权重矩阵
Figure FDA0003552487740000015
以及经过局部激活的第一细胞活性矩阵
Figure FDA0003552487740000016
构建经过全局抑制的第一细胞活性矩阵
Figure FDA0003552487740000017
对经过全局抑制的第一细胞活性矩阵
Figure FDA0003552487740000018
进行归一化处理，得到目标第一细胞活性矩阵
Figure FDA0003552487740000019
3.根据权利要求2所述的方法，其特征在于，根据所述角速度信息，利用二维高斯分布构建多层头朝向细胞模型的第一局部激励权重矩阵
Figure FDA00035524877400000110
的过程，包括：
采用以下方程式计算第一局部激励权重矩阵
Figure FDA00035524877400000111
Figure FDA00035524877400000112
其中，δeθ和δeh分别为多层头朝向细胞局部激活矩阵在偏航方向θ和高度h上的高斯分布标准差常量，u、v分别表征邻域细胞与中心细胞之间的距离；
根据第一局部激励权重矩阵
Figure FDA0003552487740000021
构建经过局部激活的第一细胞活性矩阵
Figure FDA0003552487740000022
的过程，包括：
采用以下方程式计算经过局部激活的第一细胞活性矩阵
Figure FDA0003552487740000023
Figure FDA0003552487740000024
其中，
Figure FDA0003552487740000025
表示偏航方向θ为i、高度h为j的细胞活性；
根据第一局部抑制权重矩阵
Figure FDA0003552487740000026
及经过局部激活的第一细胞活性矩阵
Figure FDA0003552487740000027
构建经过全局抑制的第一细胞活性矩阵
Figure FDA0003552487740000028
的过程，包括：
采用以下方程式计算经过全局抑制的第一细胞活性矩阵
Figure FDA0003552487740000029
Figure FDA00035524877400000210
其中，
Figure FDA00035524877400000211
为全局抑制常数；
对经过全局抑制的第一细胞活性矩阵
Figure FDA00035524877400000212
进行归一化处理，得到目标第一细胞活性矩阵
Figure FDA00035524877400000213
的过程，包括：
采用以下方程式计算目标第一细胞活性矩阵
Figure FDA00035524877400000214
Figure FDA00035524877400000215
4.根据权利要求1所述的方法，其特征在于，所述三维网格细胞模型的构建过程，包括：
根据所述线速度信息，利用三维高斯分布构建三维网格细胞模型的第二局部激励权重矩阵
Figure FDA00035524877400000216
以及第二局部抑制权重矩阵
Figure FDA00035524877400000217
根据第二局部激励权重矩阵
Figure FDA00035524877400000218
构建经过局部激活的第二细胞活性矩阵
Figure FDA00035524877400000219
根据第二局部抑制权重矩阵
Figure FDA0003552487740000031
及经过局部激活的第二细胞活性矩阵
Figure FDA0003552487740000032
构建经过全局抑制的第二细胞活性矩阵
Figure FDA0003552487740000033
对经过全局抑制的第二细胞活性矩阵
Figure FDA0003552487740000034
进行归一化处理，得到目标第二细胞活性矩阵
Figure FDA0003552487740000035
5.根据权利要求4所述的方法，其特征在于，根据所述线速度信息，利用三维高斯分布构建三维网格细胞模型的第二局部激励权重矩阵
Figure FDA0003552487740000036
的过程，包括：
采用以下方程式计算第二局部激励权重矩阵
Figure FDA0003552487740000037
Figure FDA0003552487740000038
其中，δex、δey和δez分别为三维网格细胞局部激活矩阵在三维坐标上的高斯分布标准差常量，u、v和w分别表征邻域细胞与中心细胞之间的距离；
根据第二局部激励权重矩阵
Figure FDA0003552487740000039
构建经过局部激活的第二细胞活性矩阵
Figure FDA00035524877400000310
的过程，包括：
采用以下方程式计算经过局部激活的第二细胞活性矩阵
Figure FDA00035524877400000311
Figure FDA00035524877400000312
其中，
Figure FDA00035524877400000313
表示三维网格细胞在坐标位置(i,j,k)的细胞活性；
根据第二局部抑制权重矩阵
Figure FDA00035524877400000314
及经过局部激活的第二细胞活性矩阵
Figure FDA00035524877400000315
构建经过全局抑制的第二细胞活性矩阵
Figure FDA00035524877400000316
的过程，包括：
采用以下方程式计算经过全局抑制的第二细胞活性矩阵
Figure FDA00035524877400000317
Figure FDA00035524877400000318
其中，
Figure FDA00035524877400000319
为全局抑制常数；
对经过全局抑制的第二细胞活性矩阵
Figure FDA0003552487740000041
进行归一化处理，得到目标第二细胞活性矩阵
Figure FDA0003552487740000042
的过程，包括：
采用以下方程式计算目标第二细胞活性矩阵
Figure FDA0003552487740000043
Figure FDA0003552487740000044
6.根据权利要求1所述的方法，其特征在于，根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图的过程，包括：
根据所述特征信息进行回环检测，判断当前是否经过熟悉场景；
若是：
获取与所述特征信息相关联的空间经验节点；
根据所述方向信息表征、所述位置信息表征，对所述空间经验节点进行更新，得到更新后的空间经验节点；
根据更新后的空间经验节点，以及已有的空间经验节点构建三维拓扑经验地图；
若否：
根据所述方向信息表征、所述位置信息表征，创建新的空间经验节点；
根据所述新的空间经验节点以及已有的空间经验节点构建三维拓扑经验地图。
7.根据权利要求1所述的方法，其特征在于，根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息的过程，包括：
基于ORB特征提取算法获取所述设备的三维自运行信息；
根据所述三维自运动信息获取所述设备的角速度信息、线速度信息及周围环境的特征信息。
8.一种三维拓扑经验地图的构建装置，其特征在于，包括：
图像信息获取单元，用于获取设备在当前周围环境的图像信息；
特征信息获取单元，用于根据所述图像信息，获取所述设备的角速度信息、线速度信息及周围环境的特征信息；
第一细胞计算单元，用于根据所述角速度信息，基于多层头朝向细胞模型，计算得到所述设备在多层头朝向细胞的方向信息表征；
第二细胞计算单元，用于根据所述线速度信息，基于三维网格细胞模型，计算得到所述设备在三维网格细胞的方向信息表征；
经验地图构建单元，用于根据所述方向信息表征、所述位置信息表征以及所述特征信息，构建三维拓扑经验地图。
9.一种三维拓扑经验地图的构建设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1～7中任一项所述的三维拓扑经验地图的构建方法的各个步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1～7中任一项所述的三维拓扑经验地图的构建方法的各个步骤。
CN202210265891.8A 2022-03-17 2022-03-17 一种三维拓扑经验地图的构建方法、装置及相关设备 Pending CN114612560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210265891.8A CN114612560A (zh) 2022-03-17 2022-03-17 一种三维拓扑经验地图的构建方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210265891.8A CN114612560A (zh) 2022-03-17 2022-03-17 一种三维拓扑经验地图的构建方法、装置及相关设备

Publications (1)

Publication Number Publication Date
CN114612560A true CN114612560A (zh) 2022-06-10

Family

ID=81863967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210265891.8A Pending CN114612560A (zh) 2022-03-17 2022-03-17 一种三维拓扑经验地图的构建方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN114612560A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115617034A (zh) * 2022-09-01 2023-01-17 清华大学 多智能体的环境探索方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115617034A (zh) * 2022-09-01 2023-01-17 清华大学 多智能体的环境探索方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10140719B2 (en) System and method for enhancing target tracking via detector and tracker fusion for unmanned aerial vehicles
CN107990899B (zh) 一种基于slam的定位方法和***
Wang et al. A multilayer path planner for a USV under complex marine environments
CN107635204B (zh) 一种运动行为辅助的室内融合定位方法及装置、存储介质
Saeedi et al. Neural network-based multiple robot simultaneous localization and mapping
CN110399789B (zh) 行人重识别方法、模型构建方法、装置、设备和存储介质
CN106599108A (zh) 一种三维环境中多模态环境地图构建方法
Krajník et al. A simple visual navigation system for an UAV
CN111376273B (zh) 一种类脑启发的机器人认知地图构建方法
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
JP2003269937A (ja) 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
Chaffre et al. Sim-to-real transfer with incremental environment complexity for reinforcement learning of depth-based robot navigation
CN116205947A (zh) 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质
JP2003266349A (ja) 位置認識方法、その装置、そのプログラム、その記録媒体及び位置認識装置搭載型ロボット装置
CN114612560A (zh) 一种三维拓扑经验地图的构建方法、装置及相关设备
CN111812978A (zh) 一种多无人机协作slam方法与***
Jo et al. Mixture density-PoseNet and its application to monocular camera-based global localization
Mughal et al. UAVs path planning by particle swarm optimization based on visual-SLAM algorithm
Zhu et al. Autonomous reinforcement control of visual underwater vehicles: Real-time experiments using computer vision
CN116481517A (zh) 扩展建图方法、装置、计算机设备和存储介质
CN115665757A (zh) 分布式未知时变区域多自主体最优覆盖方法与***
CN115436968A (zh) 一种基于激光雷达的位图化重定位方法
Lenton et al. End-to-end egospheric spatial memory
Hanyu et al. Absolute pose estimation of UAV based on large-scale satellite image
Lin et al. Monocular vision-based localization and pose estimation with a nudged particle filter and ellipsoidal confidence tubes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination