CN114186675B - 一种改进的海马体-前额皮层网络空间认知方法 - Google Patents
一种改进的海马体-前额皮层网络空间认知方法 Download PDFInfo
- Publication number
- CN114186675B CN114186675B CN202111343986.9A CN202111343986A CN114186675B CN 114186675 B CN114186675 B CN 114186675B CN 202111343986 A CN202111343986 A CN 202111343986A CN 114186675 B CN114186675 B CN 114186675B
- Authority
- CN
- China
- Prior art keywords
- environment
- robot
- module
- cortex
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000019771 cognition Effects 0.000 title claims abstract description 19
- 210000004027 cell Anatomy 0.000 claims abstract description 32
- 230000001054 cortical effect Effects 0.000 claims abstract description 31
- 210000001061 forehead Anatomy 0.000 claims abstract description 30
- 230000008859 change Effects 0.000 claims abstract description 19
- 210000002569 neuron Anatomy 0.000 claims abstract description 19
- 230000001149 cognitive effect Effects 0.000 claims abstract description 18
- 210000001320 hippocampus Anatomy 0.000 claims abstract description 9
- 230000008035 nerve activity Effects 0.000 claims abstract description 9
- 230000000946 synaptic effect Effects 0.000 claims abstract description 9
- 230000000638 stimulation Effects 0.000 claims abstract 6
- 238000011156 evaluation Methods 0.000 claims abstract 2
- 238000012854 evaluation process Methods 0.000 claims abstract 2
- 230000000971 hippocampal effect Effects 0.000 claims description 11
- 101000831205 Danio rerio Dynein axonemal assembly factor 11 Proteins 0.000 claims description 9
- 102100024282 Dynein axonemal assembly factor 11 Human genes 0.000 claims description 9
- 241001559542 Hippocampus hippocampus Species 0.000 claims description 9
- 101000831210 Homo sapiens Dynein axonemal assembly factor 11 Proteins 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 8
- 241001465754 Metazoa Species 0.000 claims description 7
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 claims description 6
- 230000036982 action potential Effects 0.000 claims description 6
- 239000012528 membrane Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 230000001242 postsynaptic effect Effects 0.000 claims description 2
- 210000005215 presynaptic neuron Anatomy 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 230000036403 neuro physiology Effects 0.000 claims 1
- 238000004088 simulation Methods 0.000 claims 1
- 210000004556 brain Anatomy 0.000 description 9
- 230000001537 neural effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 241000124008 Mammalia Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 210000005153 frontal cortex Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000002442 prefrontal cortex Anatomy 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 230000002450 orbitofrontal effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种改进的海马体‑前额皮层网络空间认知方法，首先机器人探索环境收集信息，海马***置细胞接收环境信息并形成类拓扑认知地图；前额皮层中皮质柱神经元接收并整合海马体信息投射，环境奖励刺激信号对类拓扑认知地图进行评估，在评估过程中，若机器人检测到环境发生动态变化，则会激发应急变更模块，若环境中存在多个目标，则会激发奖励重估模块；最后，刺激信号以神经活动波的形式在模型中扩散，评估完成后，由奖励刺激信号在前额皮层网络中扩散，并按照STDP规则改变前额皮层中皮质柱神经元之间的突触连接，形成全局矢量场；最终实现机器人目标导向的空间导航。
Description
技术领域
本发明属于仿生学技术领域和人工智能领域，特别涉及环境变化时基于海马体-前额皮层的移动机器人空间认知导航模型。
背景技术
近年来，借鉴脑的信息处理的基本原则，开发脑启发算法、研制类脑智能***是人工智能与机器人研究的重要领域。模仿动物多个脑区协同工作的机理构造认知模型并复制在机器人本体上，是其中一个热门研究方向，广泛应用于未知环境下的空间认知导航和室外自动驾驶领域。
空间认知导航依赖一个紧密相连的结构网络，其中包括海马体，前额皮层和其他脑区，找出这些大脑结构之间的空间、路径、奖励和行为控制流的信息，可以揭示哺乳动物面对复杂导航任务时的变化过程，并应用于机器人导航技术中，从而为机器人理论和应用带来新的突破。海马体和前额皮层之间的相互作用是空间认知的基础，研究表明，前额皮层是对认知拓扑图进行评估的候选区域，对海马体输出的空间信息进行稀疏化处理并转化成电信号，支持特定目标的灵活路线规划。
在涉及海马体-前额皮层结构的导航规划方面，已经得到了较多的研究。这些模型从神经生理学的角度解释动物目标导向的行为，主要关注高效的路径规划和导航，且能够在大尺度环境中稳定运行。然而，这些模型在面对评估类脑模型的两类任务(重估任务，应急变更任务)时表现不佳，即在复杂环境中模型的适应性和鲁棒性变弱。可以在海马体-前额皮层网络模型中增加重估模块和应急变更模块，以提高模型的适应性和鲁棒性
发明内容
本发明的目的在于克服现有技术的上述不足，采用一种改进的海马体-前额皮层空间认知模型。本发明由海马体模块和前额皮层模型组成。本发明首先采用自组织增量神经网络模拟海马体功能处理空间信息并生成环境认知拓扑图，基于脉冲神经网络建立前额皮层网络；其次，引入“延迟”概念并结合各种影响因素建立模型中重估模块来体现哺乳动物前额皮层中的相对奖励偏好特性；最后，引入“虚拟子目标”概念并采用二次传递神经活动波的方法建立应急变更模块，从而减小大规模环境发生局部变化时传统模型造成的资源浪费。
本发明提供了一种改进的海马体-前额皮层空间认知方法，包括：
本发明的技术实施在MATLAB软件下进行；实现该方法的步骤如下，S1、建立海马体模块；基于自组织增量神经网络构建，负责接收环境信息并形成类拓扑地图。
(1)初始化，海马体模块的初始结构H由自组织增量神经网络表示，其由位置细胞集合C组成，每个位置细胞都对应一个位置向量wC。
(2)机器人采集的环境信息作为海马体模块的输入信号ξ。
(3)寻找输入信号ξ的最近位置细胞C1和次近位置C2细胞，如式(1)式(2)所示。
C1＝argminC∈H||ξ-wC|| (1)
(4)根据式(3)增加和C1相连的连接边的年龄，标记为其中/>表示和C1相连的位置细胞，x表示位置细胞的索引。
(5)根据式(4)更新C1的累计误差，其中表示C1的位置向量。
(6)利用因子εb和εn调整C1及与其相连接的位置细胞的位置，根据式(5)调整C1和其相邻位置细胞的位置向量。
(7)如果最近位置细胞C1与次近位置细胞C2之间存在连接关系，则将该边的年龄置0；否则创建连接边。
(8)移除网络所有年龄大于年龄阈值的边。同时，如果网络中存在孤立位置细胞，删除该位置细胞。
(9)网络增长条件。如果输入信号ξ出现的次数是参数λ的整数倍，按照下列规则扩大网络。
a)标记具有最大累计误差的位置细胞为q。
b)将与q直接连接的位置细胞中累计误差最大标记为f，***新位置细胞r，其为q及f的中点。
c)分别建立r与q，f之间的连接关系，断开q与f之间的连接边。
d)设置r的初始累计误差和q的当前累计误差相同。
(10)停止。
S2、建立前额皮层模块；首先基于脉冲神经网络构建基本框架，包含以“虚拟子目标”为核心的应急变更模块，表现眶额皮层相对奖励特性的奖励重估模块，并基于波前传播方法来评估认知地图。
(1)前额皮层的组成单元。前额叶表征能够编码认知地图并支持目标导向的行为规划。皮层网络实质上是不同神经元在大脑中的组织方式，其组成单元为皮质柱。每个皮质柱是由一群互相连接的神经元组成，即一个柱单元代表从前额皮层区域和其他脑区结构接收输入的相互关联的神经元集合，他们处理并整合这些传入信号，进行决策。
皮质柱单元基于人工整合激发神经元建模，其膜电位服从公式(7).
式(7)中Vi(t)是第i个皮质柱单元在t时刻的膜电位；τ是时间常数；Ii(t)是第i个皮质柱单元的整合突触电流，如公式(8)所示
Ii(t)＝∑wij·Vj(t) (8)
式(8)中wij是第i个皮质柱单元和第j个皮质柱单元之间的突触连接。
当皮质柱单元膜电位超过阈值时，细胞激发脉冲电位，并进入死区变为抑制状态，避免误操作，如公式(9)所示。
式(9)中tf是皮质柱单元激发动作电位的时间，td是皮质柱单元进入抑制状态的持续时间，τARP是时间常数。
皮质柱单元之间的连接权值根据脉冲依赖可塑性规则(STDP)进行学习，如公式(10)所示。
式(10)中M是幅值，是突触后神经元/>与突触前神经元/>间的放电时间差，τSTDP控制放电时间差对权值变化的影响。
前额皮层网络由皮质柱单元组成，每个皮质柱单元包含五个子单元：s神经元；v神经元；p神经元；d1,d2神经元群。同类神经元之间通过皮质柱之间的突触连接进行通信。s接收海马***置细胞的直接投影，整合位置信息；v关联目标和奖励信息并进行编码；p负责前向扫描并读出路径；d1和d2是一组动作细胞，每一个动作细胞都有一个偏好动作，分别负责神经活动波反向传播的方向记录和机器人前向扫描进行路径规划的方向记录。
激励信号在目标位置激发v神经元的活动，这种基于奖励的活动以神经活动波的形式通过v和d1来传播，皮质柱单元间的突触连接按照STDP规则跟随神经活动信号的传播而改变，当反向传播的神经活动信号到达当前位置时，s和v共同作用使当前皮质柱单元触发动作电位，此时d1记录神经活动波的传播方向，并备份给d2，当所有皮质柱单元都触发过动作电位后，网络停止传播神经活动，机器人从起点出发，基于由皮质柱突触改变而形成的全局矢量场，利用d2和p前向扫描网络进行路径规划。
(2)应急变更模块。应急变更任务关注动物行为随环境的变化，动物绕道时前额皮层活动增加，且涉及目标-子目标整合和认知分支。该模块能够解决环境发生局部变化时传统前额皮层空间规划模型全局扩展神经活动引发的资源浪费问题。
首先机器人探索环境，基于海马体模块生成拓扑认知地图。此后，若机器人检测到任何变化，例如一个新的障碍，将触发应急变更模块。机器人记录临界点信息，即机器人距离碰撞障碍物一步的位置。最后，机器人标记虚拟子目标。
(3)奖励重估模块。动物前额皮层中眶额神经元表现出的相对奖励偏好特性映射到机器人导航领域，表现为多目标的决策导航，此时机器人的最佳决策和被选择目标的净回报NR有关，如式(11)所示。
NR＝R-C·L (11)
式(11)中，R为机器人选择该目标得到的奖励，L为机器人到达被选择目标的路径总长度，C为单位路径长度需要消耗的成本。
首先，机器人巡航环境，建立认知地图。当环境中只有一个目标时，机器人不需要判断。当环境中有多个目标时，将触发奖励重估模块，此时分为两种情况。情况一：环境中多个目标的奖励价值相同，此时机器人将会选择最近目标。情况二：环境中的多个目标具有不同的奖励价值，此时机器人根据净回报选择目标，如式(12),(13)所示。
式(12)中，Fi(i＝1,2,3,...,n)是机器人选择第i个目标对应的净回报。
式(13)中，是对应第i大净回报的目标的放电时间，T和Δdelay为时间常数，分别表示起始放电时间和延迟时间。
与现有技术相比较，本发明方法的前额皮层是对认知拓扑图进行评估的候选区域，对海马体输出的空间信息进行稀疏化处理并转化成电信号，支持特定目标的灵活路线规划。在涉及海马体-前额皮层结构的导航规划方面，已经得到了较多的研究。这些方法从神经生理学的角度解释动物目标导向的行为，主要关注高效的路径规划和导航，且能够在大尺度环境中稳定运行。然而，它们在面对评估类脑模型的两类任务(重估任务，应急变更任务)时表现不佳，即在复杂环境中模型的适应性和鲁棒性变弱。
本发明提出了一种改进的海马体-前额皮层网络空间认知方法，通过增加重估模块和应急变更模块，以提高传统空间认知方法的适应性和鲁棒性。本发明首先采用自组织增量神经网络模拟海马体功能处理空间信息并生成环境认知拓扑图，基于脉冲神经网络建立前额皮层网络；其次，引入“延迟”概念并结合各种影响因素建立模型中重估模块来体现哺乳动物前额皮层中的相对奖励偏好特性；最后，引入“虚拟子目标”概念并采用二次传递神经活动波的方法建立应急变更模块，从而减小大规模环境发生局部变化时传统方法造成的资源浪费。
附图说明
图1为本模型***结构图。
图2为海马体模块工作流程图。
图3为前额皮层模块工作原理图。
图4为虚拟子目标的图例说明。
图5为本发明方法的实施流程图。
具体实施方式
图1为本模型***结构图，参见图1，受脑科学与空间认知的研究启发，本发明提供了一种改进的海马体-前额皮层网络空间认知模型。模型主要涉及海马体和前额皮层两个脑区，海马体接收环境信息生成认知地图，前额皮层作为对海马位置编码的补充，适合目标表征和进行奖励依赖的导航规划，其分为背侧皮层，腹内侧皮层，眶额皮层三个子区。背侧皮层，腹内侧皮层涉及检测环境的变化，并传递信息到海马回路和前额皮层其他区域，以支持基于路径的规划，海马体处理这些信息并传递到眶额皮层来设定子目标或处理可能的路径冲突。
图2为海马体模块的工作流程图，海马体模块基于自组织神经网络构建，机器人巡航环境采集坐标信息点作为海马体模块的输入，输出为拓扑认知地图。
图3为前额皮层模块工作原理，激励信号在目标位置激发v神经元的活动，这种基于奖励的活动以神经活动波的形式通过v和d1来传播，皮质柱单元间的突触连接按照STDP规则跟随神经活动信号的传播而改变，当反向传播的神经活动信号到达当前位置时，s和v共同作用使当前皮质柱单元触发动作电位，此时d1记录神经活动波的传播方向，并备份给d2，当所有皮质柱单元都触发过动作电位后，网络停止传播神经活动，机器人从起点出发，利用d2和p前向扫描网络进行路径规划。
图4为虚拟子目标的图例说明，选择子目标时，以临界点为圆心，用虚拟半径划定搜索区域，找到子目标集合，该集合应距离目标最近，然后在集合中确定最终子目标，选取规则为：如果集合中的点有在首次路径规划结果集中，则该点为子目标，否则选择集合中距离目标最近的作为子目标。
Claims (2)
1.一种改进的海马体-前额皮层网络空间认知方法，首先机器人探索环境收集信息，海马***置细胞接收环境信息并形成类拓扑认知地图；前额皮层中皮质柱神经元接收并整合海马体信息投射，环境奖励刺激信号对类拓扑认知地图进行评估，在评估过程中，若机器人检测到环境发生动态变化，则会激发应急变更模块，若环境中存在多个目标，则会激发奖励重估模块；最后，刺激信号以神经活动波的形式在模型中扩散，评估完成后，由奖励刺激信号在前额皮层网络中扩散，并按照STDP规则改变前额皮层中皮质柱神经元之间的突触连接，形成全局矢量场；最终实现机器人目标导向的空间导航；该方法基于MATLAB仿真平台，模型由两大模块组成，第一个模块为海马体模块，负责接收环境信息并形成认知拓扑地图；第二个模块为前额皮层模块，其又分为基本组成框架，应急变更模块，奖励重估模块，负责评估认知地图并完成机器人的导航规划；具体步骤如下：
S1.机器人在环境中自由移动，采集环境坐标点；
S2.机器人采集的环境信息作为海马体模块的输入，其输出为环境认知拓扑地图，
具体步骤如下：
(1)初始化，海马体模块的初始结构H由自组织增量神经网络表示，其由位置细胞集合C组成，每个位置细胞都对应一个位置向量wC；
(2)机器人采集的环境信息作为海马体模块的输入信号ξ；
(3)寻找输入信号ξ的最近位置细胞和次近位置细胞，如式(1)式(2)所示；
C1＝arg minC∈H||ξ-wC|| (1)
(4)根据式(3)增加和C1相连的连接边的年龄，标记为其中/>表示和C1相连的位置细胞，i表示位置细胞的索引；
(5)根据式(4)更新C1的累计误差，其中表示C1的位置向量；
(6)利用因子εb和εn调整C1及与其相连接的位置细胞的位置，根据式(5)调整C1和其相邻位置细胞的位置向量；
(7)如果最近位置细胞C1与次近位置细胞C2之间存在连接关系，则将该边的年龄置0；否则创建连接边；
(8)移除网络所有年龄大于年龄阈值的边；同时，如果网络中存在孤立位置细胞，删除该位置细胞；
(9)网络增长条件；如果输入信号ξ出现的次数是参数λ的整数倍，按照下列规则扩大网络；
a)标记具有最大累计误差的位置细胞为q；
b)将与q直接连接的位置细胞中累计误差最大标记为f，***新位置细胞r，其为q及f的中点；
c)分别建立r与q，f之间的连接关系，断开q与f之间的连接边；
d)设置r的初始累计误差和q的当前累计误差相同；
(10)停止；
S3.前额皮层模块评估环境认知拓扑地图；
(1)前额皮层网络由大量的皮质柱单元组成，皮质柱单元基于人工整合激发神经元建模，其膜电位服从公式(7)；
式(7)中Vi(t)是第i个皮质柱单元在t时刻的膜电位；τ是时间常数；Ii(t)是第i个皮质柱单元的整合突触电流，如公式(8)所示
Ii(t)＝∑wij·Vj(t) (8)
式(8)中wij是第i个皮质柱单元和第j个皮质柱单元之间的突触连接；
当皮质柱单元膜电位超过阈值时，细胞激发脉冲电位，并进入死区变为抑制状态，避免误操作，如公式(9)所示；
式(9)中tf是皮质柱单元激发动作电位的时间，td是皮质柱单元进入抑制状态的持续时间，τARP是时间常数；
皮质柱单元之间的连接权值根据脉冲依赖可塑性规则(STDP)进行学习，如公式(10)所示；
式(10)中M是幅值，是突触后神经元/>与突触前神经元/>间的放电时间差，τSTDP控制放电时间差对权值变化的影响；
(2)在前额皮层模块评估环境认知地图的过程中，若机器人检测到环境发生动态变化，则激发应急变更模块，具体步骤如下：
a)机器人评估认知地图并进行路径规划；
b)检测环境是否发生变化；
c)若环境发生变化，根据环境的变化程度设置临界点及虚拟半径，确定虚拟子目标，规划局部路径逃离环境变化区域；
d)若环境未发生变化，则按照已规划路径运行；
(3)在前额皮层模块评估环境认知地图的过程中，若机器人检测到环境中存在多个目标，则会激发奖励重估模块，并做出决策，具体步骤如下：
a)环境中存在一个目标，机器人无需判断；
b)环境中存在多个目标时：若多个目标奖励价值相同，则机器人选择最近的目标；若多个目标具有不同的奖励价值，则机器人基于净回报NR选择目标，如公式(11)所示；
NR＝R-C·L (11)
式(11)中，R为机器人选择该目标得到的奖励，L为机器人到达被选择目标的路径总长度，C为单位路径长度需要消耗的成本。
2.根据权利要求1所述的一种改进的海马体-前额皮层网络空间认知方法，其特征在于：从神经生理学的角度解释当环境发生变化时，即障碍物位置的变化或者目标数量的变化，动物导航规划的行为，提高模型在复杂环境中的适应性和鲁棒性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111343986.9A CN114186675B (zh) | 2021-11-14 | 2021-11-14 | 一种改进的海马体-前额皮层网络空间认知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111343986.9A CN114186675B (zh) | 2021-11-14 | 2021-11-14 | 一种改进的海马体-前额皮层网络空间认知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114186675A CN114186675A (zh) | 2022-03-15 |
| CN114186675B true CN114186675B (zh) | 2024-05-31 |
Family
ID=80540011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111343986.9A Active CN114186675B (zh) | 2021-11-14 | 2021-11-14 | 一种改进的海马体-前额皮层网络空间认知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114186675B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115862338B (zh) * | 2023-03-01 | 2023-05-16 | 天津大学 | 一种机场交通流量预测方法、***、电子设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104094131A (zh) * | 2011-09-13 | 2014-10-08 | 精锐医药有限公司 | 基于磁共振的用于评估老年痴呆症的方法及相关病理 |
| CN109240279A (zh) * | 2017-07-10 | 2019-01-18 | 中国科学院沈阳自动化研究所 | 一种基于视觉感知和空间认知神经机制的机器人导航方法 |
| CN110210462A (zh) * | 2019-07-02 | 2019-09-06 | 北京工业大学 | 一种基于卷积神经网络的仿生海马认知地图构建方法 |
| CN110298440A (zh) * | 2019-04-04 | 2019-10-01 | 北京工业大学 | 基于皮质柱网络波前传播的多尺度面向目标导航方法 |
-
2021
- 2021-11-14 CN CN202111343986.9A patent/CN114186675B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104094131A (zh) * | 2011-09-13 | 2014-10-08 | 精锐医药有限公司 | 基于磁共振的用于评估老年痴呆症的方法及相关病理 |
| CN109240279A (zh) * | 2017-07-10 | 2019-01-18 | 中国科学院沈阳自动化研究所 | 一种基于视觉感知和空间认知神经机制的机器人导航方法 |
| CN110298440A (zh) * | 2019-04-04 | 2019-10-01 | 北京工业大学 | 基于皮质柱网络波前传播的多尺度面向目标导航方法 |
| CN110210462A (zh) * | 2019-07-02 | 2019-09-06 | 北京工业大学 | 一种基于卷积神经网络的仿生海马认知地图构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114186675A (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111098852B (zh) | 一种基于强化学习的泊车路径规划方法 | |
| Ke et al. | Learning to delay in ride-sourcing systems: A multi-agent deep reinforcement learning framework | |
| Xia et al. | Neural inverse reinforcement learning in autonomous navigation | |
| Thrun | Exploration and model building in mobile robot domains | |
| CN111578940B (zh) | 一种基于跨传感器迁移学习的室内单目导航方法及*** | |
| Babayan et al. | A hippocampo-cerebellar centred network for the learning and execution of sequence-based navigation | |
| Erb | Introduction to backpropagation neural network computation | |
| Boussabaine | The use of artificial neural networks in construction management: a review | |
| Cao et al. | Target search control of AUV in underwater environment with deep reinforcement learning | |
| CN112099496A (zh) | 一种自动驾驶训练方法、装置、设备及介质 | |
| CN112148008B (zh) | 一种基于深度强化学习的实时无人机路径预测方法 | |
| CN106873585A (zh) | 一种导航寻路方法、机器人及*** | |
| Dorigo | Editorial introduction to the special issue on learning autonomous robots | |
| Yen et al. | A fuzzy logic based robot navigation system | |
| CN114186675B (zh) | 一种改进的海马体-前额皮层网络空间认知方法 | |
| Chatterjee et al. | Real time traffic delay optimization using shadowed type-2 fuzzy rule base | |
| Shmueli | Applications of neural networks in transportation planning | |
| Rais et al. | Decision making for autonomous vehicles in highway scenarios using Harmonic SK Deep SARSA | |
| CN110298440A (zh) | 基于皮质柱网络波前传播的多尺度面向目标导航方法 | |
| Qiu | Multi-agent navigation based on deep reinforcement learning and traditional pathfinding algorithm | |
| Li et al. | Reinforcement learning based lane change decision-making with imaginary sampling | |
| CN114721397B (zh) | 一种基于强化学习和好奇心的迷宫机器人路径规划方法 | |
| Ma et al. | Exploiting bias for cooperative planning in multi-agent tree search | |
| Zhu et al. | An improved self-organizing map approach to traveling salesman problem | |
| Guo | Decentralized deep reinforcement learning for network level traffic signal control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |