CN110210462A - 一种基于卷积神经网络的仿生海马认知地图构建方法 - Google Patents

Abstract

本发明提出了一种基于卷积神经网络的仿生海马认知地图构建方法，该方法能够完成认知地图的构建，指导机器人导航。本方法属于机器人环境认知及运动导航技术领域，旨在解决目前基于鼠脑海马体导航中闭环检测模块在复杂、多变及重复性较强的环境中鲁棒性较差的问题。具体流程包括：首先在机器人探索环境过程中，采集速度、方向和RGB图像；然后将速度和方向输入到位置感知模块，得到机器人的实时位置信息，将RGB图像输入到视觉处理模块得到机器人周围环境图像特征；最后将机器人的位置信息，环境信息相关联并存储到认知地图网络节点，完成认知地图的构建。在机器人探索环境过程中，检测到闭环时，用当前图像关联的位置信息进行位置纠正。

Description

一种基于卷积神经网络的仿生海马认知地图构建方法

技术领域

本发明属于类脑计算及智能机器人导航领域。具体涉及一种将卷积神经网络和海马体空间细胞计算模型相结合，共同构建仿生海马认知地图的方法，并采用图像相似性度量的方法，实现机器人在熟悉环境中的定位及位置纠正。

背景技术

随着机器人的发展，越来越多的地方需要用到更加智能化的机器人，比如能够在动态复杂环境中自主进行环境建模、智能识别、情景记忆、面向物体导向的导航等。

自然界中生物体对复杂环境具有较强的认知能力，能够通过观察与学习，理解外部环境并形成特定的心理表征，当再次面对熟悉的场景，可以通过记忆再次对环境进行认知，进而完成特定任务。其中生物体的视觉与大脑内学习和记忆功能的海马体发挥着巨大作用。

內嗅皮层-海马神经网络是大脑学习、形成场景记忆以及执行空间导航的关键中枢。海马体主要从内侧内嗅皮层和外侧内嗅皮层接收输入，内侧内嗅皮层为海马体提供空间输入，参与利用自运动线索，前庭感觉的全局路径集成计算。1971年，O’Keefe和Dostrovsky发现海马中存在位置细胞，当动物在一个特定的位置时，神经元的放电率会变强，位置细胞建立了海马体和外界环境位置的对应关系。1990年，Taube等人在海马体中发现了头朝向细胞，当老鼠头部朝向特定方向时，海马体中的头朝向细胞放电率最大。该细胞可以指导老鼠的运动。2005年Hafting等人通过实验，发现了对空间分布具有强烈放电的网格细胞，该细胞在环境中重复性规律放电，并产生一种六边形的放电野，使精确定位与路径搜寻成为可能。这些导航细胞的发现，奠定了构建大脑内空间认知地图的基础。而外侧内嗅皮层为海马体提供非空间输入，主要利用外部感官输入(如视觉，嗅觉)处理环境及物体信息。这两条信息传递通路在海马体处汇合，并进行关联和学习，共同完成对环境认知。

之前的研究中，已有多个模型将视觉信息和海马体空间细胞计算模型结合实现机器人导航，并成功应用到现实生活环境中。然而，这些模型的视觉输入模块采用扫描线强度剖面或传统手工特征提取进行模板匹配的方法，该方法在复杂多变及重复性较强的环境中鲁棒性比较差，容易出现误匹配现象。

发明内容

本发明旨在解决空间认知导航模型中，利用传统的手工特征提取方法进行模板匹配，在复杂、多变和重复***较强的环境中鲁棒性差，易造成误匹配的问题。本发明提出一种基于卷积神经网络的仿生海马认知地图构建方法，该方法可以利用简单的硬件设备，实现机器人在环境中的探索、认知、记忆和导航，并为任务型导航奠定基础。本发明模拟内嗅皮层-海马体信息传递通路，利用视觉感知模块提取当前环境图像特征，利用位置感知模块提取机器人当前位置信息，并将两者相关联，共同构建环境认知地图。并通过相似性度量方法，实现机器人在环境中位置纠正。

本发明具体工作流程如下：

步骤1，机器人探索环境，采集速度、方向及所处环境RGB图像信息；

步骤2，将速度和方向信息输入依据海马体空间计算模型构建的位置感知模块，采集机器人当前位置信息；

步骤3，将RGB图像信息输入到依据卷积神经网络构建的视觉输入模块，获得当前环境图像特征；

步骤4，通过相似性度量方法，判断步骤3得到的图像特征与视图库中的图像特征是否匹配：若匹配，则利用视图库图像关联的位置信息纠正当前机器人的位置，并通过图松弛算法修正认知地图网络节点位置，否则进行步骤5；

步骤5，将步骤3得到的当前图像特征存入视图库，并将其与机器人当前位置信息关联，创建认知地图网络节点并更新认知地图，继续下一步；

步骤6，返回步骤1，继续探索环境，不断更新认知地图。

本发明具有如下优点：

本发明采用海马体空间计算模型这种仿生导航算法和卷积神经网络相结合共同构建认知地图。其中卷积神经网络提取图像特征进行相似性度量的方法代替之前扫描线强度剖面模板匹配及手工特征提取的方法，增强了在复杂、多变及重复性较强的环境中的鲁棒性，图像匹配准确度可以达到99％，很好的解决了之前模板匹配方法造成的误匹配问题。本发明中对VGG-16模型进行微调，并将其提取的特征进行二值化处理，大大减少了图像特征的存储空间，提高了检索效率。

附图说明

图1基于卷积神经网络的仿生海马认知地图构建方法流程图；

图2位置感知模型结构图；

图3网格细胞模型；

图4位置细胞模型；

图5二维连续吸引子结构图；

图6视觉处理模块结构图；

图7微调的VGG-16网络结构图；

图8相似性度量结果示意图；

图9认知地图。

具体实施方式

应用场景：本发明可以应用于机器人在室内环境的目标型导航。机器人可以通过观察环境确定所处位置，并通过观察目的地环境图像，目标所在位置。进而通过路径规划或者记忆中的路径到达目的地。

下面结合附图与实例，针对本方法做详细说明。

图1表示基于卷积神经网络的仿生海马认知地图构建方法流程图，首先当机器人在环境中探索时，采集机器人的速度、方向和RGB图像信息。然后将速度和方向信息输入到位置感知模块，得到机器人的当前位置信息；将RGB图像输入到视觉处理模块得到机器人当前位置图像特征。采用相似性度量方法，判断当前图像特征与视图库中的图像是否匹配，若匹配，用视图库中图像关联的位置信息修正认知地图网络节点的相对位置。否则，将当前图像特征存储到视图库，并与机器人当前位置相关联，创建认知地图网络节点，在机器人探索环境的过程中完成认知地图的构建。具体步骤如下：

1.机器人探索环境，采集速度、方向及所处环境RGB图像信息。

使用机器人自带的轮子编码器采集速度及方向信息。使用RGB相机采集机器人当前位置的环境图像信息。

2.将速度和方向信息输入依据海马体空间计算模型构建的位置感知模块，采集机器人当前位置信息。

位置感知模型如图2所示，该模块主要包含网格细胞模型和位置细胞模型。首先将机器人速度和方向信息输入到网格细胞模型，模拟其周期性放电野将整个环境充满的过程；然后将网格细胞模型的输出作为位置细胞模型的前向输入，得到位置细胞活动，最后竞争神经网络实现位置细胞对环境信息的特定编码映射，完成精确位置采集。

2.1网格细胞模型

通过网格细胞的环状吸引子模型构建网格细胞模型，将采集的机器人速度及方向信息输入到网格细胞环状吸引子模型，得到网格细胞群活动。

图3为网格细胞放电图，当大鼠在环境中探索时，网格细胞会发生重复性规律放电，并覆盖整个环境，其放电野与空间位置有准确的对应关系。

图4为网格细胞的环状吸引子模型，采用该模型，根据公式(6)构建网格细胞模型，在吸引子模型(CAN)中，网格细胞排列在一个2D神经板(nerual sheet)上，神经元之间的局部兴奋性连接和全局抑制性连接，在神经板上形成一个活动包(bump)，该活动包会随着动物的移动，实现对自运动线索的路径积分功能。

其中，s_j是网格细胞j的当前状态，是网格细胞i到j的抑制性输入，F_θ(t)如公式(7)所示，为前向兴奋性投射，主要由速度和方向决定。

F_θ(t)＝1+αv_θ(t) (7)

其中，v_θ(t)为θ方向的速度。是网格细胞i到j的连接权重，如公式(8)所示。

其中，g为调整网格细胞群活动大小的增益，初始化时定义γ＝1.05×β， 其中λ_grid表示网格细胞在神经板上的活动间距。

2.2位置细胞模型

当大鼠处于空间中特定位置时，位置细胞如图5所示，会发生规律性放电，该细胞可以编码空间特定位置。

网格细胞是位置细胞的主要输入来源，位置细胞活动是不同网格间距，不同方向的网格细胞群活动的加权和。根据公式(9)得到位置细胞活动，

其中，A和C_place分别为该细胞网络激发和抑制的常数。M是神经板的层数。r表示环境中动物的位置。是网格细胞i到位置细胞j的连接权重。

为了得到单峰型的位置细胞放电野，需要学习在同一位置具有重合活动包的网格细胞群活动子集，这里应用了Heb学习规则，如公式(10)所示，建立一个竞争型神经网络模型寻找网格细胞的活动子集。

其中，k为学***。

3.将图像信息输入到依据卷积神经网络构建的视觉输入模块，获得当前环境图像特征。

视觉输入模块结构如图6所示，将机器人当前采集的RGB图像信息输入到微调的VGG-16卷积神经网络提取RGB图像特征并进行二值化处理。

3.1特征提取

将微调的VGG-16作为整个图像的特征提取器，特征维度为512维，图7为VGG-16模型微调后的网络结构图。VGG-16网络的3个全连接层中，前两个全连接层fc6和fc7的输出的特征向量为4096维，若使用fc7层提取特征，存在冗余信息，占用较多内存，造成数据计算较慢，本发明将VGG-16网络的3个全连接层去掉，用全局平均最大池化(Global AveragePooling，GAP)代替最后的全连接层。

3.2二值化处理

使用哈希编码将图像特征映射到汉明空间，把实数值转换为0，1值，提高图像检索速度。

将3.1所述方法提取的图像特征向量表示为v＝(v₁，v₂，v₃，...，v₅₁₂)，通过公式(11)将特征向量中的元素映射到[0，1]区间，生成新的矩阵。根据公式(12)将v′转换成二值化向量μ＝(μ₁，μ₂，μ₃，...，μ₅₁₂)。

其中，v_i为图像特征向量的元素，v_min为特征向量中的最小值元素，v_max为特征向量中的最大值元素。

其中，v′_i为向量v′的第i个元素，T为阈值，在本方法中取T＝0.5。

图8中的3张图片，左为原始图像，中和右为使用本发明中的相似性度量方法，在视图库中检索到的相似图像。

4.通过相似性度量方法，判断步骤3得到的图像特征与视图库中的图像特征是否匹配，若匹配，利用视图库图像关联的位置信息修正认知地图网络节点位置，否则，进行步骤5。

根据公式(13)，计算二值化处理后的图像特征与视图库中图像特征的汉明距离。

其中μ_input为经二值化处理后的图像特征，μ_database为视图库中的图像特征。

设定图像相似度检测阈值为0.9，当图像相似度超过设定阈值时，进行认知地图的位置纠正，否则，更新认知地图，具体为：按照相似性排序结果选择检索相似度最高的前三张图像特征，根据公式(14)，将它们分别关联的位置信息与当前机器人的位置信息进行比较，选取最小差值，根据公式(15)选取ΔL对应的L_i得到认知地图网络节点的修正值，并根据公式(16)修正认知地图网络节点位置，

ΔL＝min{|L_i-L_cur|} (14)

其中L_i为与选取图像关联的认知地图网络节点的位置，L_cur为位置感知模块得到的机器人当前位置。

L_j＝L_i+ΔL_ij (16)

其中，α为认知地图纠正常数，本方法中取值为α＝0.5，N_f表示当前认知地图网络节点与其它节点连接的数量，N_t表示其它认知地图网络节点与当前节点连接的数量，ΔL_i为认知地图网络节点位置的修正值，ΔL_ij为节点间机器人的位置变化量，L_i为认知地图网络节点的位置。

5.将步骤3得到的当前图像特征存入视图库，并将其与机器人当前位置信息关联。

将视觉输入模块得到的机器人当前位置图像特征与机器人当前位置信息关联。

6.在机器人探索环境的过程中，将机器人当前位置、图像及认知地图的相对位置信息共同存储，创建认知地图网络节点并更新认知地图。

图9为认知地图的部分节点，所构建的认知地图为一个拓扑地图。将位置感知模块提取的位置信息和视觉输入模块得到的图像特征信息共同存储，构建认知地图网络节点。初始化时，认知地图节点从(0，0，0)点开始，并赋予索引号，所有节点按照索引号沿机器人探索路径依次排列。如公式(16)所示。因此构建的认知地图是一个拓扑地图，

e_i＝{p_i，V_i，L_i} (16)

其中，e_i表示认知地图网络节点，p_i为位置细胞活动信息，V_i为与位置细胞相关联的视觉特征，L_i为认知地图网络节点在认知地图上的位置。

Claims (5)

1.一种基于卷积神经网络的仿生海马认知地图构建方法，其特征在于，所述方法包括如下几个步骤：

步骤1，机器人探索环境，采集速度、方向及所处环境RGB图像信息；

步骤2，将速度和方向信息输入依据海马体空间计算模型构建的位置感知模块，采集机器人当前位置信息；

步骤3，将RGB图像信息输入到依据卷积神经网络构建的视觉输入模块，获得当前环境图像特征；

步骤4，通过相似性度量方法，判断步骤3得到的图像特征与视图库中的图像特征是否匹配：若匹配，则利用视图库图像关联的位置信息纠正当前机器人的位置，并通过图松弛算法修正认知地图网络节点位置，更新认知地图，并返回步骤1继续，否则进行步骤5；

步骤5，将步骤3得到的当前图像特征存入视图库，并将其与机器人当前位置信息关联，创建认知地图网络节点并更新认知地图，继续下一步；

步骤6，返回步骤1，继续探索环境，不断更新认知地图。

2.如权利要求1所述的一种基于卷积神经网络的仿生海马认知地图构建方法，其特征在于，步骤2中所述的位置感知模块包括网格细胞模型和位置细胞模型，首先将机器人速度和方向信息输入到网格细胞模型，模拟其周期性放电野将整个环境充满的过程；然后将网格细胞模型的输出作为位置细胞模型的前向输入，得到位置细胞活动，最后竞争神经网络实现位置细胞对环境信息的特定编码映射，完成精确位置采集。

3.如权利要求1所述的一种基于卷积神经网络的仿生海马认知地图构建方法，其特征在于，步骤3具体如下：

3.1特征提取

将机器人采集的图像特征信息，输入到微调的VGG-16模型，得到当前图像特征，特征提取的具体过程为：

将VGG-16作为图像的特征提取器：首先基于VGG-16模型进行微调，将VGG-16网络的3个全连接层去掉，用GAP代替最后的全连接层；

3.2二值化处理，

对3.1得到的图像特征进行二值化处理，具体为：

用v＝(v₁,v₂,v₃,…,v₅₁₂)表示通过3.1特征提取得到的图像特征向量，将特征向量中的元素映射到[0,1]区间，生成新的矩阵v′，其中v′中的第i个元素的计算公式如公式(1)；根据公式(2)对v′进行哈希编码，进而构成二值化向量μ＝(μ₁,μ₂,μ₃,…,μ₅₁₂)，

其中，v_i为图像特征向量的元素，v_min为特征向量中的最小值元素，v_max为特征向量中的最大值元素；

其中，v′_i为向量v′的第i个元素，T为阈值。

4.如权利要求1所述的一种基于卷积神经网络的仿生海马认知地图构建方法，其特征在于，步骤4中所述的匹配成功的判断条件具体如下：

根据公式(3)，计算二值化处理后的图像特征与视图库中所有图像特征的汉明距离，

其中μ_input为经二值化处理后的图像特征，μ_database为视图库中的图像特征，

当图像相似度即汉明距离超过设定阈值时，表示匹配成功；否则，表示匹配不成功。

5.如权利要求1所述的一种基于卷积神经网络的仿生海马认知地图构建方法，其特征在于，步骤4中所述的利用视图库图像关联的位置信息修正认知地图网络节点位置。具体如下：

按照相似性排序结果选择检索相似度最高的前三张图像特征，根据公式(4)，将它们分别关联的位置信息与当前机器人的位置信息进行比较，选取最小差值，并根据公式(5)选取ΔL对应的L_i纠正认知地图网络节点相对位置。

ΔL＝min{|L_i-L_cur|} (4)

其中L_i为与选取图像关联的认知地图网络节点的位置，L_cur为位置感知模块得到的机器人当前位置，

其中，α为认知地图纠正常数，N_f表示当前认知地图网络节点与其它节点连接的数量，N_t表示其它认知地图网络节点与当前节点连接的数量，ΔL_i为认知地图网络节点相对位置的修正值，ΔL_ij为节点间机器人的位置变化量。