CN114612560A - 一种三维拓扑经验地图的构建方法、装置及相关设备 - Google Patents
一种三维拓扑经验地图的构建方法、装置及相关设备 Download PDFInfo
- Publication number
- CN114612560A CN114612560A CN202210265891.8A CN202210265891A CN114612560A CN 114612560 A CN114612560 A CN 114612560A CN 202210265891 A CN202210265891 A CN 202210265891A CN 114612560 A CN114612560 A CN 114612560A
- Authority
- CN
- China
- Prior art keywords
- information
- dimensional
- matrix
- cell
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000010276 construction Methods 0.000 claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims description 185
- 230000000694 effects Effects 0.000 claims description 123
- 230000005284 excitation Effects 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 35
- 230000001629 suppression Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 16
- 230000005764 inhibitory process Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000001413 cellular effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 abstract description 7
- 230000001149 cognitive effect Effects 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 241000288673 Chiroptera Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 235000019994 cava Nutrition 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000007230 neural mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种三维拓扑经验地图的构建方法、装置及相关设备,所述方法包括:获取设备在当前周围环境的图像信息;根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息;根据所述角速度信息,基于多层头朝向细胞模型,计算得到所述设备在多层头朝向细胞的方向信息表征;根据所述线速度信息,基于三维网格细胞模型,计算得到所述设备在三维网格细胞的位置信息表征;根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图。本申请采用生物脑启发式的认知方法,实现了对三维拓扑经验地图的构建,对于满足一定精度条件下实现各种无人智能移动机器人的鲁棒稳健低功耗导航,具有重要的应用价值。
Description
技术领域
本申请涉及类脑计算及智能机器人导航技术领域,更具体地说,是涉及一种三维拓扑经验地图的构建方法、装置及相关设备。
背景技术
一方面,随着各种传感器变得丰富且廉价,GNSS(Global Navigation SatelliteSystem,全球导航卫星***)、惯导、相机、毫米波雷达、激光雷达等为代表的PNT传感器能够从环境中获得更多的信息。另一方面,随着计算机算力的提升以及存储器容量的增大,使得各种机器人载体能够在线计算各种PNT(Positioning Navigation Timing)传感器的信息数据,为机器人提供环境感知、路径规划、导航定位、避障等各种信息。
3D同时定位和映射(simultaneous localization and mapping,SLAM)***使机器人能够从任意初始3D位置在未知的3D环境中进行探索。并且,它可以递增地构建3D空间地图,以使机器人能够在3D空间中导航。在结构化环境下,机器人面向目标导航的3D SLAM技术日渐成熟。
传统的3D SLAM的后端通常是基于滤波器或优化实现,但还存在一些问题,例如高能耗,高计算成本,较差的环境适应性和低级智能。特别是用于军事自主机器人,例如战斗无人机、超音速飞行器、水下机器人、太空机器人等,它们通常在尺寸、重量、能耗、可靠性、环境适应性和智能性方面要求更高。另外,卫星导航信号容易受到干扰和欺骗,这使智能机器人不能完全依赖外部卫星导航信号。
与当前的机器人技术相比,人类和许多动物(如蝙蝠和老鼠)在一系列3D环境中能够稳健地进行地图和导航。无论在白天或黑夜、晴天或雨天、冬天或夏天、峡谷或洞穴等复杂的3D环境中,蝙蝠都可以通过小脑以及诸如眼睛和耳朵的感知来实现智能导航。蝙蝠在导航和空间认知过程中不仅消耗很少的能量,而且效率和鲁棒性很高。
如果能借鉴生物三维导航机理设计出应用于机器人的地图认知,实现机器人在三维环境下的定位与地图构建,将具有重要的意义。
发明内容
有鉴于此,本申请提供了一种三维拓扑经验地图的构建方法、装置及相关设备,以实现对三维拓扑经验地图的构建。
为实现上述目的,本申请第一方面提供了一种三维拓扑经验地图的构建方法,包括:
获取设备在当前周围环境的图像信息;
根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息;
根据所述角速度信息,基于多层头朝向细胞模型,计算得到所述设备在多层头朝向细胞的方向信息表征;
根据所述线速度信息,基于三维网格细胞模型,计算得到所述设备在三维网格细胞的位置信息表征;
根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图。
优选地,所述多层头朝向细胞模型的构建过程,包括:
其中,δeθ和δeh分别为多层头朝向细胞局部激活矩阵在偏航方向θ和高度h上的高斯分布标准差常量,u、v分别表征邻域细胞与中心细胞之间的距离;
优选地,所述三维网格细胞模型的构建过程,包括:
其中,δex、δey和δez分别为三维网格细胞局部激活矩阵在三维坐标上的高斯分布标准差常量,u、v和w分别表征邻域细胞与中心细胞之间的距离;
优选地,根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图的过程,包括:
根据所述特征信息进行回环检测,判断当前是否经过熟悉场景;
若是:
获取与所述特征信息相关联的空间经验节点;
根据所述方向信息表征、所述位置信息表征,对所述空间经验节点进行更新,得到更新后的空间经验节点;
根据更新后的空间经验节点,以及已有的空间经验节点构建三维拓扑经验地图。
若否:
根据所述方向信息表征、所述位置信息表征,创建新的空间经验节点;
根据所述新的空间经验节点以及已有的空间经验节点构建三维拓扑经验地图。
优选地,根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息的过程,包括:
基于ORB特征提取算法获取所述设备的三维自运行信息;
根据所述三维自运动信息获取所述设备的角速度信息、线速度信息及周围环境的特征信息。
本申请第二方面提供了一种三维拓扑经验地图的构建装置,包括:
图像信息获取单元,用于获取设备在当前周围环境的图像信息;
特征信息获取单元,用于根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息;
第一细胞计算单元,用于根据所述角速度信息,基于多层头朝向细胞模型,计算得到所述设备在多层头朝向细胞的方向信息表征;
第二细胞计算单元,用于根据所述线速度信息,基于三维网格细胞模型,计算得到所述设备在三维网格细胞的位置信息表征;
经验地图构建单元,用于根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图。
本申请第三方面提供了一种三维拓扑经验地图的构建设备,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如上述的三维拓扑经验地图的构建方法的各个步骤。
本申请第四方面提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述的三维拓扑经验地图的构建方法的各个步骤。
经由上述的技术方案可知,本申请实施例首先获取设备在当前周围环境的图像信息,然后根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息。其中,该特征信息为所述设备对周围环境的关键特征线索,其通过基于图像ORB特征进行关键帧计算得到,通过将关键特征线索存储在设备中,便于以后对熟悉场景的回忆联想,以及便于根据所述基于关键帧的视觉线索完成对所述设备是否经过熟悉场景进行检测。根据所述角速度信息,基于多层头朝向细胞模型,计算得到所述设备在多层头朝向细胞的方向信息表征,以及,根据所述线速度信息,基于三维网格细胞模型,计算得到所述设备在三维网格细胞的位置信息表征,实现所述设备在环境中对自身方位的感知。最后,根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图。本申请采用生物脑启发式的认知方法,实现了对三维拓扑经验地图的构建,对于满足一定精度条件下实现各种无人智能移动机器人的鲁棒稳健低功耗导航,具有重要的应用价值。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示例了本申请实施例公开的三维拓扑经验地图的构建方法的***架构图;
图2为本申请实施例公开的三维拓扑经验地图的构建方法的示意图;
图3示例了本申请实施例公开的三维拓扑经验地图的构建方法的流程图;
图4为本申请实施例公开的三维拓扑经验地图的构建装置的示意图;
图5为本申请实施例公开的三维拓扑经验地图的构建装置的另一示意图;
图6为本申请实施例公开的三维拓扑经验地图的构建装置的另一示意图;
图7为本申请实施例公开的三维拓扑经验地图的构建设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,本申请的技术方案中,机器人(设备)从周围环境获取的连续图像,得到图像序列,以视觉图像ORB(Oriented FAST and Rotated BRIEF)特征作为获取自运动信息为基础,估计出机器人的局部运动姿态;对所经历的场景生成具有关键帧的视觉模板存储记忆,然后借鉴生物大脑三维导航神经机制,利用三维网格细胞、多层头朝向细胞模型,基于三维连续吸引子神经网络构建机器人的三维空间经验地图,基于视觉模板对经历的熟悉场景时对路径进行回环校正,并且利用三维经验图松弛算法修正闭环后三维路径积分的累积误差,实现机器人在三维环境下低功耗鲁棒的制图。
本发明研究对于满足一定精度条件下实现鲁棒稳健低功耗的各种无人智能移动机器人(如:搜救机器人、无人货运车等)的研究有着广泛的参考价值。下面介绍本申请实施例提供的三维拓扑经验地图的构建方法。
请参阅图2,本申请实施例提供的三维拓扑经验地图的构建方法可以包括如下步骤:
步骤S101,获取设备在当前周围环境的图像信息。
其中,这里的设备可以是各种无人智能移动机器人,如搜救机器人、无人货运车等。具体地,可以通过相机等设备实时地采集设备在当前周围环境的图像信息。进一步地,该图像信息除了图像要素,还可以包括拍摄该图像的时间要素等信息。可以理解的是,视频可以看成是由一帧帧图像画面组成的,因此,可选地,该图像信息还可以包括视频信息。
步骤S102,根据该图像信息,获取该设备的角速度信息、线速度信息及周围环境的特征信息。
其中,角速度信息表征了设备的转向状况,线速度信息表征了设备的线性移动状况。根据角速度信息和线速度信息,可以计算得到设备在航向偏航角度θ下的x、y平面的平移速度vx、vy和z轴上的高度变化速度vz,旋转方向的变化ωθ和高度变化vh。
特征信息可以是相机对当前周围环境成像的图像中存在明显变化特征的信息,可以通过采集的序列图像,基于ORB特征的图像构建关键帧,生成视觉模板,以视觉模板的形式保存该特征信息,以便于机器人经过熟悉环境时能够校正其位置信息。
步骤S103,根据该角速度信息,基于多层头朝向细胞模型,计算得到该设备在多层头朝向细胞的方向信息表征。
步骤S104,根据该线速度信息,基于三维网格细胞模型,计算得到该设备在三维网格细胞的位置信息表征。
其中,多层头朝向细胞和三维网格细胞均是采用基于动力学的连续吸引子神经网络(continuous attractor neural network,CANN)进行建模,是当前为数不多的得到了实验验证和广泛应用的正则化神经计算模型。
步骤S105,根据该方向信息表征、该位置信息表征以及该特征信息,构建三维拓扑经验地图。
其中,构建三维拓扑经验地图包括路径积分构建局部地图,在经历熟悉场景时完成回环检测对认知地图进行校正,最终完成三维拓扑经验地图的构建。
本申请实施例首先获取设备在当前周围环境的图像信息,然后根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息。其中,该特征信息为所述设备对周围环境的关键特征线索,其通过基于图像ORB特征进行关键帧计算得到,通过将关键特征线索存储在设备中,便于以后对熟悉场景的回忆联想,以及便于根据所述基于关键帧的视觉线索完成对所述设备是否经过熟悉场景进行检测。根据所述角速度信息,基于多层头朝向细胞模型,计算得到所述设备在多层头朝向细胞的方向信息表征,以及,根据所述线速度信息,基于三维网格细胞模型,计算得到所述设备在三维网格细胞的位置信息表征,实现所述设备在环境中对自身方位的感知。最后,根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图。本申请采用生物脑启发式的认知方法,实现了对三维拓扑经验地图的构建,对于满足一定精度条件下实现各种无人智能移动机器人的鲁棒稳健低功耗导航,具有重要的应用价值。
请参阅图3,在上述实施例的基础上,以机器人为例,在外部环境进行探索,通过相机获取周围环境的图像信息之后,通过视觉里程计基于ORB特征估计机器人三维自运动信息,获取自身姿态变化。然后将三维自运动信息传递给多层头朝向细胞和三维网格细胞,导航细胞基于三维吸引子神经网络进行数据滤波优化,多层头朝向细胞基于自运动信息获得角度估计更新,三维网格细胞基于自运动信息得到的平移速度信息,并实现机器人的路径积分。机器人经历的每一幅场景与关键帧比较,判断是否经过熟悉场景。当没有经历熟悉场景时,根据三维网格细胞和多层头朝向细胞的神经网络活动的变化实时生成局部三维拓扑空间经验地图;当经历熟悉场景时,对经过的场景通过视图模板进行回环检测和重新定位,并且利用三维经验图松弛算法修正闭环后三维路径积分的累积误差,完成三维拓扑经验地图构建。
在本申请的一些实施例中,上述步骤S102根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息的过程,可以包括:
S1,基于ORB特征提取算法获取该设备的三维自运行信息。
S2,根据该三维自运动信息获取该设备的角速度信息、线速度信息及周围环境的特征信息。
其中,ORB算法的特征提取是由FAST算法改进的,FAST算法是公认的最快的特征点提取方法。在使用FAST提取出特征点之后,给其定义一个特征点方向,以此来实现特征点的旋转不变形。
在本申请的一些实施例中,上述步骤S103所提及的多层头朝向细胞模型的构建过程,可以包括:
其中,δeθ和δeh分别为多层头朝向细胞局部激活矩阵在偏航方向θ和高度h上的高斯分布标准差常量,u、v分别表征邻域细胞与中心细胞之间的距离。
邻域细胞与中心细胞距离的计算公式为:
即需要将Phd的坐标(i,j)转换到以(θ,h)为中心细胞的(u,v)坐标。
其中,全局抑制权重矩阵采用二维高斯分布表示,其维度为njθ和njh,可以均取值为5,即抑制状态细胞为5*5,每个维度方差均取值为3,其计算方法与第一局部激励权重矩阵一致;为全局抑制常数,可以取值为0.0002;中的所有值均为非负值。
在完成了多层头朝向细胞模型的构建后,还可以对多层头朝向细胞进行更新。多层头朝向细胞通过将活动从当前激活的细胞所感知的自运动信息投射到附近的细胞中,分别根据旋转方向变化ωθ和高度变化vh进行更新,偏航角旋转方向变化ωθ和高度变化vh值由前端视觉里程计估计自运动信息获得。
其中kθ和kh是用于头朝向更新的常数,由于偏移量有可能介于两个细胞之间,所以对两个细胞都有影响,一个上取整,一个下取整。因此残差矩阵η可以由下式计算:
在本申请的一些实施例中,上述步骤S104所提及的三维网格细胞模型的构建过程,可以包括:
其中,δex、δey和δez分别为三维网格细胞局部激活矩阵在三维坐标上的高斯分布标准差常量,u、v和w分别表征邻域细胞与中心细胞之间的距离。
邻域细胞与中心细胞距离的计算公式为:
即需要将Pgc的坐标(i,j,k)转换到以(x,y,z)为中心细胞的(u,v,w)坐标。
其中,为全局抑制常数;局部抑制权重矩阵采用三维高斯分布表示,局部抑制矩阵的维度为(nex,ney,nez),取值都为5,即抑制状态细胞为5*5*5,每个维度方差均取值为2,计算方法与第二局部激励权重矩阵一致。
在完成了三维网格细胞模型的构建后,还可以对三维网格细胞进行更新。三维网格细胞的活动更新将活动从当前激活的细胞所感知的自运动信息投射到邻域细胞中,确定每个路径节点,将所经过的路径平滑实现3D路径积分。根据所获得的当前航向偏航角度θ下的x、y平面的平移速度vx、vy和z轴上的高度变化速度vz,分别在x、y、z轴上进行活动位移。注入领域细胞的活动量包括三维网格细胞原始活动量Ugc基础上注入整数活动量和残差量η,由偏移量整数部分和直接分别平移变换,γ由偏移量小数部分和计算。的活动变化由下式计算:
其中kx、ky、kz为三维网格细胞x、y、z方向的三维路径积分常数,均取值为1。由于偏移量有可能介于两个细胞之间,所以对两个细胞都有影响,一个上取整,一个下取整。因此残差γ由如下公式计算:
在本申请的一些实施例中,上述步骤S105根据方向信息表征、位置信息表征以及特征信息,构建三维拓扑经验地图的过程,可以包括:
S1,根据特征信息进行回环检测,判断当前是否经过熟悉场景。若是,执行S2;若否,执行S5。
S2,获取与该特征信息相关联的空间经验节点。
S3,根据该方向信息表征、该位置信息表征,对该空间经验节点进行更新,得到更新后的空间经验节点。
S4,根据更新后的空间经验节点,以及已有的空间经验节点构建三维拓扑经验地图。
S5,根据该方向信息表征、该位置信息表征,创建新的空间经验节点。
S6,根据所述新的空间经验节点以及已有的空间经验节点构建三维拓扑经验地图。
其中,三维拓扑经验地图的构建包括路径积分构建局部地图,在经历熟悉场景时对认知地图进行校正,最终完成认知地图的构建。
每个空间经验都具有3D空间状态(x,y,z,θ),初次经验设置为(0,0,0,0)。经验的姿态由平移和旋转速度估算。
上述S1中的回环检测可以是通过对机器人当前场景图像的特征与所有保存的关键帧的特征进行比较,判断机器人是否经历熟悉的场景。其具体实现过程可以包括:
S11,对相机获取的当前场景图像的ORB特征点描述子采用K-means++算法聚类,构建一个8叉树结构字典;
S12,根据当前图像ORB特征点描述子查找字典中的单词,计算TF-IDF作为单词的权重,并以此组成当前图像的词袋向量;
S13,采取L1范数等方法计算词袋向量相似度并归一化处理。其中,若当前帧与之前某关键帧的相似度超过当前帧与上一个关键帧相似度的3倍,并且通过空间一致性检测,则判定为回环。
当机器人没有经历熟悉场景时,机器人正常创建多层经验地图。机器人当前状态下3D网格细胞和多层头朝向细胞组成的当前经验联合编码与当前全部已有3D空间经验节点一一比较,当差异超过阈值时则可以创建新的节点;当差异没有超过阈值时,且与当前的经验节点差异最小,则用当前的经验节点进行表示。
其中μgc和μhdc分别是3D网格细胞和多层头朝向细胞的贡献权重,均取值为1;Smax取值为20。
当机器人看见熟悉的场景时,将当前视觉活动注入到与该场景关联的局部视图单元、3D网格细胞和多层头朝向细胞中,机器人的姿态确定为现有的经验节点。
其中Nf分别是从Ei到其他3D空间经验节点的连接数,Nt是从其他3D空间经验节点到Ei的连接数;Pi为对应节点i的位姿信息。
下面对本申请实施例提供的三维拓扑经验地图的构建装置进行描述,下文描述的三维拓扑经验地图的构建装置与上文描述的三维拓扑经验地图的构建方法可相互对应参照。
请参见图4,本申请实施例提供的三维拓扑经验地图的构建装置,可以包括:
图像信息获取单元21,用于获取设备在当前周围环境的图像信息;
特征信息获取单元22,用于根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息;
第一细胞计算单元23,用于根据所述角速度信息,基于多层头朝向细胞模型,计算得到所述设备在多层头朝向细胞的方向信息表征;
第二细胞计算单元24,用于根据所述线速度信息,基于三维网格细胞模型,计算得到所述设备在三维网格细胞的位置信息表征;
经验地图构建单元25,用于根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图。
在本申请的一些实施例中,请参见图5,上述三维拓扑经验地图的构建装置还可以包括第一模型构建单元26,用于对多层头朝向细胞模型的进行构建。第一模型构建单元26对多层头朝向细胞模型的进行构建过程,可以包括:
其中,δeθ和δeh分别为多层头朝向细胞局部激活矩阵在偏航方向θ和高度h上的高斯分布标准差常量,u、v分别表征邻域细胞与中心细胞之间的距离。
在本申请的一些实施例中,请参见图6,上述三维拓扑经验地图的构建装置还可以包括第二模型构建单元27,用于对对三维网格细胞模型的进行构建。第二模型构建单元27对三维网格细胞模型的进行构建过程,可以包括:
其中,δex、δey和δez分别为三维网格细胞局部激活矩阵在三维坐标上的高斯分布标准差常量,u、v和w分别表征邻域细胞与中心细胞之间的距离。
在本申请的一些实施例中,经验地图构建单元25根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图的过程,可以包括:
根据所述特征信息进行回环检测,判断当前是否经过熟悉场景;
若是:
获取与所述特征信息相关联的空间经验节点;
根据所述方向信息表征、所述位置信息表征,对所述空间经验节点进行更新,得到更新后的空间经验节点;
根据更新后的空间经验节点,以及已有的空间经验节点构建三维拓扑经验地图;
若否:
根据所述方向信息表征、所述位置信息表征,创建新的空间经验节点;
根据所述新的空间经验节点以及已有的空间经验节点构建三维拓扑经验地图。
在本申请的一些实施例中,特征信息获取单元22根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息的过程,包括:
基于ORB特征提取算法获取所述设备的三维自运行信息;
根据所述三维自运动信息获取所述设备的角速度信息、线速度信息及周围环境的特征信息。
本申请实施例提供的三维拓扑经验地图的构建装置可应用于三维拓扑经验地图的构建设备,如计算机等智能设备。可选的,图7示出了三维拓扑经验地图的构建设备的硬件结构框图,参照图7,三维拓扑经验地图的构建设备的硬件结构可以包括:至少一个处理器31,至少一个通信接口32,至少一个存储器33和至少一个通信总线34。
在本申请实施例中,处理器31、通信接口32、存储器33、通信总线34的数量为至少一个,且处理器31、通信接口32、存储器33通过通信总线34完成相互间的通信;
处理器31可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路等;
存储器32可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory)等,例如至少一个磁盘存储器;
其中,存储器33存储有程序,处理器31可调用存储器33存储的程序,所述程序用于:
获取设备在当前周围环境的图像信息;
根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息;
根据所述角速度信息,基于多层头朝向细胞模型,计算得到表征方向信息的目标多层头朝向细胞;
根据所述线速度信息,基于三维网格细胞模型,计算得到表征位置信息的目标三维网格细胞;
根据所述目标多层头朝向细胞、所述目标三维网格细胞以及所述特征信息,构建三维拓扑经验地图。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质,该存储介质可存储有适于处理器执行的程序,所述程序用于:
获取设备在当前周围环境的图像信息;
根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息;
根据所述角速度信息,基于多层头朝向细胞模型,计算得到表征方向信息的目标多层头朝向细胞;
根据所述线速度信息,基于三维网格细胞模型,计算得到表征位置信息的目标三维网格细胞;
根据所述目标多层头朝向细胞、所述目标三维网格细胞以及所述特征信息,构建三维拓扑经验地图。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
综上所述:
本申请实施例首先获取设备在当前周围环境的图像信息,然后根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息。其中,该特征信息为所述设备对周围环境的关键特征线索,其通过基于图像ORB特征进行关键帧计算得到,通过将关键特征线索存储在设备中,便于以后对熟悉场景的回忆联想,以及便于根据所述基于关键帧的视觉线索完成对所述设备是否经过熟悉场景进行检测。根据所述角速度信息,基于多层头朝向细胞模型,计算得到所述设备在多层头朝向细胞的方向信息表征,以及,根据所述线速度信息,基于三维网格细胞模型,计算得到所述设备在三维网格细胞的位置信息表征,实现所述设备在环境中对自身方位的感知。最后,根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图。本申请采用生物脑启发式的认知方法,实现了对三维拓扑经验地图的构建,对于满足一定精度条件下实现各种无人智能移动机器人的鲁棒稳健低功耗导航,具有重要的应用价值。
进一步地,本申请实施例提出了基于视觉图像ORB特征获取自运动信息,利用连续吸引子神经网络的三维网格细胞、多层头朝向细胞,视觉模板的仿视觉脑的三维脑启发智能导航方法,生成关键节点具有准确坐标的三维拓扑地图,有效降低了能耗与存储空间。其次,将基于ORB特征的视觉图像处理方法引入进本***,提升了本方法在自运动信息估计的性能,并且改进了视觉模板的计算方法,有效提高了回环检测的性能。再有,改进了经验地图节点的创建与校正方法,有效提高了路径积分的精度,拓展了三维经验地图的可用性。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间可以根据需要进行组合,且相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种三维拓扑经验地图的构建方法,其特征在于,包括:
获取设备在当前周围环境的图像信息;
根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息;
根据所述角速度信息,基于多层头朝向细胞模型,计算得到所述设备在多层头朝向细胞的方向信息表征;
根据所述线速度信息,基于三维网格细胞模型,计算得到所述设备在三维网格细胞的位置信息表征;
根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图。
其中,δeθ和δeh分别为多层头朝向细胞局部激活矩阵在偏航方向θ和高度h上的高斯分布标准差常量,u、v分别表征邻域细胞与中心细胞之间的距离;
其中,δex、δey和δez分别为三维网格细胞局部激活矩阵在三维坐标上的高斯分布标准差常量,u、v和w分别表征邻域细胞与中心细胞之间的距离;
6.根据权利要求1所述的方法,其特征在于,根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图的过程,包括:
根据所述特征信息进行回环检测,判断当前是否经过熟悉场景;
若是:
获取与所述特征信息相关联的空间经验节点;
根据所述方向信息表征、所述位置信息表征,对所述空间经验节点进行更新,得到更新后的空间经验节点;
根据更新后的空间经验节点,以及已有的空间经验节点构建三维拓扑经验地图;
若否:
根据所述方向信息表征、所述位置信息表征,创建新的空间经验节点;
根据所述新的空间经验节点以及已有的空间经验节点构建三维拓扑经验地图。
7.根据权利要求1所述的方法,其特征在于,根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息的过程,包括:
基于ORB特征提取算法获取所述设备的三维自运行信息;
根据所述三维自运动信息获取所述设备的角速度信息、线速度信息及周围环境的特征信息。
8.一种三维拓扑经验地图的构建装置,其特征在于,包括:
图像信息获取单元,用于获取设备在当前周围环境的图像信息;
特征信息获取单元,用于根据所述图像信息,获取所述设备的角速度信息、线速度信息及周围环境的特征信息;
第一细胞计算单元,用于根据所述角速度信息,基于多层头朝向细胞模型,计算得到所述设备在多层头朝向细胞的方向信息表征;
第二细胞计算单元,用于根据所述线速度信息,基于三维网格细胞模型,计算得到所述设备在三维网格细胞的方向信息表征;
经验地图构建单元,用于根据所述方向信息表征、所述位置信息表征以及所述特征信息,构建三维拓扑经验地图。
9.一种三维拓扑经验地图的构建设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求1~7中任一项所述的三维拓扑经验地图的构建方法的各个步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~7中任一项所述的三维拓扑经验地图的构建方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210265891.8A CN114612560A (zh) | 2022-03-17 | 2022-03-17 | 一种三维拓扑经验地图的构建方法、装置及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210265891.8A CN114612560A (zh) | 2022-03-17 | 2022-03-17 | 一种三维拓扑经验地图的构建方法、装置及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114612560A true CN114612560A (zh) | 2022-06-10 |
Family
ID=81863967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210265891.8A Pending CN114612560A (zh) | 2022-03-17 | 2022-03-17 | 一种三维拓扑经验地图的构建方法、装置及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114612560A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115617034A (zh) * | 2022-09-01 | 2023-01-17 | 清华大学 | 多智能体的环境探索方法、装置、电子设备及存储介质 |
-
2022
- 2022-03-17 CN CN202210265891.8A patent/CN114612560A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115617034A (zh) * | 2022-09-01 | 2023-01-17 | 清华大学 | 多智能体的环境探索方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10140719B2 (en) | System and method for enhancing target tracking via detector and tracker fusion for unmanned aerial vehicles | |
CN107990899B (zh) | 一种基于slam的定位方法和*** | |
Wang et al. | A multilayer path planner for a USV under complex marine environments | |
CN107635204B (zh) | 一种运动行为辅助的室内融合定位方法及装置、存储介质 | |
Saeedi et al. | Neural network-based multiple robot simultaneous localization and mapping | |
CN110399789B (zh) | 行人重识别方法、模型构建方法、装置、设备和存储介质 | |
CN106599108A (zh) | 一种三维环境中多模态环境地图构建方法 | |
Krajník et al. | A simple visual navigation system for an UAV | |
CN111376273B (zh) | 一种类脑启发的机器人认知地图构建方法 | |
CN110717927A (zh) | 基于深度学习和视惯融合的室内机器人运动估计方法 | |
JP2003269937A (ja) | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 | |
Chaffre et al. | Sim-to-real transfer with incremental environment complexity for reinforcement learning of depth-based robot navigation | |
CN116205947A (zh) | 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质 | |
JP2003266349A (ja) | 位置認識方法、その装置、そのプログラム、その記録媒体及び位置認識装置搭載型ロボット装置 | |
CN114612560A (zh) | 一种三维拓扑经验地图的构建方法、装置及相关设备 | |
CN111812978A (zh) | 一种多无人机协作slam方法与*** | |
Jo et al. | Mixture density-PoseNet and its application to monocular camera-based global localization | |
Mughal et al. | UAVs path planning by particle swarm optimization based on visual-SLAM algorithm | |
Zhu et al. | Autonomous reinforcement control of visual underwater vehicles: Real-time experiments using computer vision | |
CN116481517A (zh) | 扩展建图方法、装置、计算机设备和存储介质 | |
CN115665757A (zh) | 分布式未知时变区域多自主体最优覆盖方法与*** | |
CN115436968A (zh) | 一种基于激光雷达的位图化重定位方法 | |
Lenton et al. | End-to-end egospheric spatial memory | |
Hanyu et al. | Absolute pose estimation of UAV based on large-scale satellite image | |
Lin et al. | Monocular vision-based localization and pose estimation with a nudged particle filter and ellipsoidal confidence tubes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |