CN115358261A - 基于脉冲时间序列误差反向传播的触觉物体识别方法 - Google Patents
基于脉冲时间序列误差反向传播的触觉物体识别方法 Download PDFInfo
- Publication number
- CN115358261A CN115358261A CN202210914970.7A CN202210914970A CN115358261A CN 115358261 A CN115358261 A CN 115358261A CN 202210914970 A CN202210914970 A CN 202210914970A CN 115358261 A CN115358261 A CN 115358261A
- Authority
- CN
- China
- Prior art keywords
- pulse
- neuron
- neural network
- time
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 210000002569 neuron Anatomy 0.000 claims abstract description 109
- 238000003062 neural network model Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000000694 effects Effects 0.000 claims abstract description 7
- 239000012528 membrane Substances 0.000 claims description 48
- 230000001242 postsynaptic effect Effects 0.000 claims description 27
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 26
- 230000000946 synaptic effect Effects 0.000 claims description 17
- 210000005215 presynaptic neuron Anatomy 0.000 claims description 16
- 230000005284 excitation Effects 0.000 claims description 11
- 210000000225 synapse Anatomy 0.000 claims description 11
- 238000010304 firing Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000005316 response function Methods 0.000 claims description 5
- 230000000284 resting effect Effects 0.000 claims description 5
- 210000000170 cell membrane Anatomy 0.000 claims description 4
- 210000001153 interneuron Anatomy 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 18
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012421 spiking Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003585 interneuronal effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 235000013322 soy milk Nutrition 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于脉冲时间序列误差反向传播的触觉物体识别方法,包括:S‑A,搭建基于脉冲神经元的脉冲神经网络模型;S‑B,将用于模型训练的触觉数据输入脉冲神经网络模型,并通过脉冲时间序列的误差反向传播算法对建立的脉冲神经网络模型进行训练,根据计算所得的梯度来迭代更新直到得到最优的网络权重参数,最终得到训练完毕的脉冲神经网络模型;S‑C,将待识别的触觉数据输入神经网络模型,输出物体识别结果。本发明能够方法能很好处理离散的触觉数据信息,且考虑了触觉数据的时间动态信息以及计算成本较高的问题,从而实现机器人触觉物体识别效果大大提高,具有高效率、高准确率、低耗能等优点。
Description
技术领域
本发明涉及物体识别领域,特别是涉及一种基于脉冲时间序列误差反向传播的触觉物体识别方法。
背景技术
物体识别作为一项基本的感知技能成为机器视觉领域的热门,但是在处于黑暗等不利于视觉条件的情况下,触觉作为机器人对环境感知的一种方式,例如在接触物体时提供的纹理、粗糙度等信息,可以应用在物体识别、纹理识别等各种任务中。针对在机器人手臂装备的受生物启发的具有时间信息的触觉事件传感器生成的离散触觉数据,现有的传统深度学习方法往往不能很好的处理离散的脉冲数据,计算成本较高,还会丢失很多的时间动态信息,导致触觉的物体识别效果不理想。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种基于脉冲时间序列误差反向传播的触觉物体识别方法。
为了实现本发明的上述目的,本发明提供了一种基于脉冲时间序列误差反向传播的触觉物体识别方法,包括:
S-A,搭建基于脉冲神经元的脉冲神经网络模型;
S-B,将用于模型训练的触觉数据输入脉冲神经网络模型,并通过脉冲时间序列的误差反向传播算法对建立的脉冲神经网络模型进行训练,以最小化损失函数,根据计算所得的梯度来迭代更新直到得到最优的网络权重参数,最终得到训练完毕的脉冲神经网络模型;
S-C,将待识别的触觉数据输入神经网络模型,输出物体识别结果。
所述触觉数据通过机器人的触觉传感器采集。
还包括:对采集的触觉数据进行处理:
通过触觉传感器电压信号的变化计算当前传感器所属子区域受到的压力Pr_area,
然后判断子区域所属区域,判断当前子区域与关联的子区域的平面夹角是否超过最大阈值角,若不超过,则判定为同一个区域;若超过,则判定为另一个区域;
求取同一区域下的子区域平均压力,并做受力合理性分析;若不合理则剔除当前数据并以平均压力数值代替,由此得到不同区域下的子区域所受压力Pr_area_Label;
对Pr_area_Label进行小波变换处理,用于增加数据的细节;
然后对长短不一的数据进行剪切、压缩处理,得到长短一致的触觉数据。
进一步地,所述S-A包括:
当膜电位u(t)达到阈值Vth时,脉冲神经元将激发脉冲,之后膜电位落回至静息电位ureset;否则,脉冲神经元更新膜电位;
使用一阶突触模型作为脉冲响应函数,在网络传播过程中,当前网络层所有神经元的输出脉冲序列经过一阶突触模型后得到的PSC序列矩阵作为下一层神经元的输入,神经元i的经过一阶突触模型后电流为:
Pi(t)=(∈*si)(t) (4)
其中Pi(t)表示神经元i在t时刻的突触后电流;
∈是脉冲响应核;
si表示神经元i的输出脉冲序列;
t表示t时刻;
所述一阶突触模型为:
其中τs_t是突触时间常数;
si(t)表示神经元i在t时刻的输出脉冲序列。
神经元i在t时刻的膜电位函数表示为:
其中τm_t是膜时间常数;
ui(t)表示神经元i在t时刻的膜电位;
R表示细胞膜的阻抗;
ωij是从突触前神经元j到突触后神经元i的突触权重;
Pj(t)是由突触前神经元j的脉冲响应得到的突触后电流PSC;
ui_reset(t)表示神经元模型激发脉冲后的复位函数;
所述脉冲神经元更新膜电位的表达式为:
将R和τm_t的值被缩放到突触权重ωij中;ui(t-1)表示神经元i在t-1时刻的膜电位,ui_reset(t)表示神经元模型激发脉冲后的复位函数。
复位函数表达式:
ui_reset(t)=(ν*si)(t) (8)
其中ν是膜电位复位内核。
使用阶跃函数来表示当神经元接收输入刺激后膜电位达到阈值并激发脉冲的输出:
H(·)表示海维赛德阶跃函数;
ui(t)是神经元i在t时刻的膜电位;
Vth是神经元激发脉冲的阈值。
进一步地,所述将用于模型训练的触觉数据输入脉冲神经网络模型包括以下步骤:
B-1,脉冲神经网络模型的TAG图卷积层根据触觉传感器中每个触觉像素点的空间排列构建触觉图,然后利用点的空间几何构型计算两节点间的欧几里得度量来构造边;
B-2,脉冲神经网络模型的Dropout层将C-1得到的数据进行正则化操作,用于防止网络过拟合;
B-3,脉冲神经网络模型的全连接层进行数据分类,最终得到物体识别结果。
所述脉冲神经网络模型包括TAG图卷积层,Dropout层,两个全连接层和一个投票层;TAG图卷积层与Dropout层相连,Dropout层与两个全连接层相连,两个全连接层与投票层相连。
进一步地,所述构建触觉图是通过拓扑自适应图卷积TAG操作来获取触觉数据的空间特征;
通过一组局部特征的可学习滤波器Gc,f来对图进行卷积,当滤波器扫描图形以执行卷积操作时,会自适应图形的拓扑结构。拓扑自适应图卷积TAG在顶点分类问题的分类精度方面相较于传统的卷积神经网络CNN具有显著的性能优势。
所述构造边是通过最小生成树或k-近邻算法来构造触觉图的边。
进一步地,还包括:
在网络传播过程中,需要同时考虑网络层与层之间的空间信息和时间域上的神经元状态,通过神经元间和神经元内的依赖关系分情况计算误差损失:
1)突触后神经元对其任何突触前神经元的时间依赖仅通过突触前神经元激发的脉冲导致突触后电位变化影响到突触后的神经元状态被视为神经元间的依赖关系;
2)突触脉冲的激发时间会通过神经元内的时间依赖影响同一突触神经元紧接着的脉冲的激发时间。
进一步地,包括:
W(n)表示第n层的权重矩阵;
NT为总时间步长;
tk表示第k个时刻,tm表示第m个时刻,tm≤tk;
P(n-1)表示n-1层即上一层的突触后电流。
当脉冲神经网络模型的第n层为输出层时:
当脉冲神经网络模型的第n层为隐藏层时:
其中NT为总时间步长;
tk表示第k个时刻,tm表示第m个时刻,tm≤tk;
P(n-1)表示n层即当前层的突触后电流。
进一步地,还包括:
对训练完毕的脉冲神经网络模型进行评价,评价指标包括损失和识别准确率对比。
综上所述,由于采用了上述技术方案,本发明能够方法能很好处理离散的触觉数据信息,且考虑了触觉数据的时间动态信息以及计算成本较高的问题,从而实现机器人触觉物体识别效果大大提高,具有高效率、高准确率、低耗能等优点。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明脉冲神经网络模型示意图。
图2是本发明触觉数据在脉冲神经网络模型传播流程图。
图3是本发明具体实施例基于触觉传感器的39-taxels构造的触觉图。
图4是本发明脉冲神经网络两层之间的前向传播示意图。
图5是本发明神经元间和神经元内的依赖示意图。
图6是本发明模型与TactileSGNet模型的损失对比图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
针对事件驱动的传感器用于触觉的物体识别任务,搭建的一个具有事件驱动特性、丰富的时空领域动力学特性的脉冲神经网络模型,应用能够处理连续脉冲的脉冲时间序列误差反向传播方法来实现触觉物体识别。基于脉冲神经网络的触觉物体识别方法提供了一种与事件数据学习相竞争的方法,具有丰富的时空领域的动力学特性和事件驱动的优势,可以直接处理离散脉冲,因此具有高时间分辨率、低延迟和低功耗的特性。与传统的人工神经网络的反向传播方法相比,现有的脉冲神经网络反向传播方法都缺乏对脉冲不连续的适当处理,而脉冲时间序列误差反向传播方法将误差反向传播分解为两种类型的神经元依赖关系:神经元间和神经元内的依赖。它通过考虑突触前神经元激发脉冲时激发活动的特性来捕捉空间层面的神经元间依赖关系;并通过考虑每个神经元状态的在时间维度上的状态演变,即通过捕捉同一突触前神经元的不同激发脉冲的时间的神经元内依赖关系而间接影响其突触后神经元活动,从而提高了时间学习精度,能够更好的处理基于事件的传感器获取的事件数据。
首先,根据触觉传感器每个触觉像素点(taxels)的空间排列构建触觉图,假设G=(V,E),V代表节点的集合,E代表一组无向边,然后利用点的空间几何构型,通过计算两节点间的欧几里得度量d(vi,vj)=||vi-vj||2来引入边,其中||·||2表示二范数。例如最小生成树算法或k-近邻算法。在这里,我们使用k-近邻算法来构造触觉图的边,应用拓扑自适应图卷积TAG操作来获取触觉数据的空间特征。
拓扑自适应图卷积TAG是在顶点域定义的图卷积操作,可以通过一组(共K个)提取大小从1到大小为K的接收域上的局部特征的可学***方滤波器,而且还不需要对卷积进行近似,因此,拓扑自适应图卷积TAG在顶点分类问题的分类精度方面具有显著的性能优势。
一个TAG图卷积的定义:
图滤波器使用图的归一化邻接矩阵来定义:
其中gc,f,k是图滤波器Gc,f的多项式,共有K个图卷积核分别提取不同尺寸的局部特征;A是图的归一化邻接矩阵。
其次,建立LIF(leaky integrate-and-fire)脉冲神经元模型,它的神经元动力学可以用等式(3)表示:
其中τm_t是膜时间常数,u(t)是神经元膜电位,ureset是静息电位,R、I(t)分别表示细胞膜的阻抗与输入电流。
LIF神经元的激发过程:当膜电位u(t)达到阈值Vth时,神经元将激发脉冲,之后膜电位落回至静息电位ureset;否则,神经元接收突触输入I(t)根据等式(3)更新膜电位。神经元激发脉冲的阈值为Vth为一个定值。
使用一阶突触模型作为脉冲响应函数,在网络传播过程中,当前网络层所有神经元的输出脉冲序列经过一阶突触模型后得到的PSC序列矩阵作为下一层神经元的输入。本文中的神经元即脉冲神经元。神经元i的经过一阶突触模型后电流为:
Pi(t)=(∈*si)(t) (4)
其中∈是脉冲响应核,si表示神经元i的输出脉冲序列。
一阶突触模型表达式:
τs_t是突触时间常数。
因此,神经元i在t时刻的膜电位函数表示为:
其中τm_t是膜时间常数,ui(t)表示神经元i在t时刻的膜电位,R表示细胞膜的阻抗;ui_reset(t)表示神经元模型激发脉冲后的复位函数;ωij是从突触前神经元j到突触后神经元i的突触权重,Pj(t)是由突触前神经元j的脉冲响应得到的(未加权)突触后电流PSC。
综合以上等式,我们使用固定步长的欧拉方法解等式(6),得到脉冲神经元膜电位更新表达式:
将R和τm_t的值被缩放到突触权重ωij中;ui(t-1)表示神经元i在t-1时刻的膜电位,ui_reset(t)表示神经元模型激发脉冲后的复位函数。
复位函数表达式:
ui_reset(t)=(ν*si)(t) (8)
其中ν是膜电位复位内核。
使用阶跃函数来表示当神经元接收输入刺激后膜电位达到阈值并激发脉冲的输出:
Vth是神经元激发脉冲的阈值,ui(t)是神经元i在t时刻的膜电位,H(·)表示海维赛德阶跃函数。
然后,应用脉冲时间序列学习的误差反向传播方法来处理连续的脉冲进行网络模型的训练。脉冲神经网络模型的前向传播过程描述为:当触觉数据在网络模型中传播时,在第n-1层神经元生成的脉冲序列其中,表示第n-1层的第一个神经元的输出脉冲序列,Nn-1表示当前第n-1层的脉冲神经元总个数。脉冲序列经过一阶突触模型的脉冲响应函数生成突触后电流(PSC)序列:P1 (n-1)[t]表示第n-1层的第一个神经元的神经元膜电位,经过等式(7)进行膜电位更新并输出第n层的脉冲序列第n层输出的膜电位序列 表示第n层的第一个神经元的神经元膜电位,Nn表示第n层的神经元总个数。
通过计算每一个输出神经元(神经网络输出层的神经元)在每一个时间步长上的总均方损失E[tk]作为误差损失函数来训练我们的网络,即根据标签生成期望的脉冲序列d=[d[t0],d[t1],…,d[tT]]与模型最后实际输出的脉冲序列o=[o[t0],o[t1],…,o[tT]]在总时间步长NT上的均方误差损失总和。其中d[t]表示t时刻所有输出层神经元期望的输出脉冲序列,o[t]表示t时刻所有输出层神经元实际的输出脉冲序列。
其中为均方误差损失总和,NT为总时间步长,E[tk]是基于时间tk处的输出层激发的脉冲,它进一步依赖于所有的神经元在时间窗口T内的神经元膜电位u[t],(t≤tk)。d[tk]表示t时刻第k个输出层神经元期望的输出脉冲序列,o[tk]表示t时刻第k个输出层神经元实际的输出脉冲序列。
在网络传播过程中,需要同时考虑网络层与层之间的空间信息和时间域上的神经元状态。具体做法是通过两种类型的神经元依赖:神经元间和神经元内的依赖,通过这两个依赖关系分情况计算误差损失。1)突触后神经元对其任何突触前神经元的时间依赖仅通过突触前神经元激发的脉冲导致突触后电位变化影响到突触后的神经元状态被视为神经元间的依赖关系(前层神经元传至后层神经元的过程);2)突触脉冲的激发时间会通过神经元内的时间依赖影响同一突触神经元紧接着的脉冲的激发时间。
对第n层而言,根据链式法则,综合等式(4)-(10)可以得到:
其中,当n为输出层时:
其中tk表示第k个时刻,tm表示第m个时刻。
本发明方法在基于事件的触觉传感器NeuTouch触摸物体产生的两个触觉数据集:EvTouch-Objects和EvTouch-Containers上验证。
EvTouch-Objects:该数据集包含36个家居物品的触觉数据。在这些对象中,有26个是来自YCB数据集,其余10个对象是可形变的对象来YCB数据集作为补充,该数据集包含720个样本。
EvTouch-Containers:该数据集包含四种容器的重量分类触觉数据:咖啡罐,塑料苏打瓶,豆浆盒,和金属金枪鱼罐。每个容器按比例{0%、25%、50%、75%、100%)装水,一共20个目标类别。
表1展示了我们的脉冲神经网络模型和应用的误差反向传播方法与其他三个网络模型的实验对于物体识别和物体重量识别的准确率对比。
表1.我们的模型与其他三种模型在两种数据集的准确率
Method | EvTouch-Objects | EvTouch-Containers |
MLP | 85.97 | 58.83 |
GCN | 85.14 | 58.83 |
TactileSGNet | 88.96 | 64.17 |
Our_Net | 91.67 | 68.33 |
表格中的方法使用的都是相同大小的网络结构,其中,MLP表示用标准的全连接层替换TAG拓扑自适应图卷积层;GCN是用标准的图卷积替换了TAG拓扑自适应图卷积;TactileSGNet使用的是近似导数的方法代替作为脉冲神经网络的梯度曲线。我们提出的方法相比于其他的三个网络模型在两个触觉数据集上的识别准确率都有大于2%的提升。
图1为本发明脉冲神经网络模型示意图,包括TAG图卷积层,Dropout层,两个全连接层和一个投票层。将数据按照时间维度传入脉冲神经网络模型中,经过图卷积层,Dropout层,全连接层,输出层(投票层)得到脉冲序列的结果,通过脉冲时间序列误差反向传播方法计算梯度,来进行触觉上的物体分类。
图2显示了触觉数据在网络模型中处理流程,它表示在包含总时间步长的触觉数据脉冲序列作为网络模型的输入,经TAG图卷积自适应提取触觉图特征,经过Dropout层的正则化操作可以适当防止网络过拟合,然后由三层全连接层得到网络模型的输出结果,虚线表示通过脉冲时间序列误差反向传播方法来学习网络模型的参数,使网络模型达到最佳性能。
具体实施例如下:
首先,根据公式(4)-(9)建立脉冲神经元模型,以图1所示的模型结构图搭建脉冲神经网络模型,然后将触觉数据作为网络的输入,利用脉冲时间序列的误差反向传播方法计算梯度,以最小化损失函数,根据计算所得的梯度来迭代更新直到得到最优的网络权重参数。具体步骤如下:
步骤S1:准备预处理好的触觉数据,将触觉传感器采集的数据经过处理得到具有有效的触觉信息的数据后,数据提供者将触觉数据预处理分成两组数据集分别作为训练集和测试集。在本实例中,使用的是基于事件驱动的触觉传感器NeuTouch收集的含有36类日常生活物品的EvTouch-Objects,共计720条数据,以4:1的比例分成训练集和测试集,训练集作为网络模型的输入用于训练模型得到最优的权重参数。
步骤S2:根据触觉传感器的底层触觉像素点(taxels)排列构建触觉图,设G=(V,E),V代表节点的集合,E代表一组无向边,然后利用点的空间几何构型计算两节点间的欧几里得度量d(vi,vj)=||vi-vj||2来构造边。在本实例中,根据NeuTouch触觉传感器的底层的39个触觉像素点的空间排列,如图3所示;我们以传感器最中心点建立坐标轴,来确定每个触觉像素点的相对位置,计算每个节点间的欧几里得距离来确定节点间的关联程度,然后使用k-近邻算法来建立触觉图的边。
步骤S3:建立脉冲神经网络模型的基本单元——LIF(leaky integrate-and-fire)脉冲神经元模型。根据等式(4)-(9)建立LIF脉冲神经元的时空动力学模型:当神经元膜电位u(t)达到给定的激发脉冲阈值Vth时,神经元将激发脉冲,输出si(t)=1,之后膜电位落回至静息电位ureset;否则,当前神经元接收到的前突触神经元输入根据等式(7)更新膜电位。在本实例中,我们将膜电位激发脉冲阈值初始化为Vth为0.5,膜时间常数τm_t为8,突触时间常数τs_t为3。
步骤S4:搭建脉冲神经网络模型,脉冲神经网络模型的两层全连接层之间的前向传播过程如图4所示,其可以描述为:当触觉数据在网络模型中传播时,在第n-1层的脉冲神经元接收输入刺激后产生神经元膜电位变化生成的脉冲序列作为第n层脉冲神经元的输入,经过一阶突触模型的脉冲响应函数(等式(4))生成突触后电流(PSC)序列:经过等式(7)进行膜电位更新,第n层神经元在时间t式的膜电位变化且膜电位大于给定的阈值Vth时,则神经元si(t)=1,否则si(t)=0,直到所有时间步长结束时得到最后的输出脉冲序列第n层输出的膜电位序列
步骤S5:通过脉冲时间序列的误差反向传播算法对建立的脉冲神经网络模型进行训练。首先通过数据标签得到准确的脉冲序列d=[d[t0],…,d[tT]],通过等式(10)计算数据标签的脉冲序列与网络模型最后输出结果的脉冲序列的均方误差损失,如图5所示的两种神经元依赖,判断层与层之间、前一时间步长和后一时间步长的神经元是否激发脉冲的神经状态确定是否满足两种依赖关系根据等式(11-12)来准确计算梯度,经过多次训练迭代来更新网络参数,直到神经网络学习到针对该数据的最优权重参数。在本实施例中,我们将准备好的训练样本标签生成对应的脉冲序列,然后将训练样本作为网络输入,训练迭代次数为100,每次训练迭代都通过梯度更新最小化损失函数等式(10),用AdamW优化器优化网络权重参数。
步骤S6:对训练好的脉冲神经网络模型进行评价,评价指标包括损失和识别准确率对比。在本实例中,我们通过在数据集EvTouch-Objects上的实验,与使用近似函数代替脉冲导数的方法TactileSGNet网络进行了对比,图6展示了我们的网络模型和TactileSGNet网络模型的损失,表2展示了准确率对比。
表2.我们的模型与TactileSGNet在数据集EvTouch-Objects的准确率
Method | EvTouch-Objects |
TactileSGNet | 88.96 |
Our_Net | 91.67 |
这都说明我们的脉冲神经网络模型对于TactileSGNet模型在触觉数据集EvTouch-Objects上的表现更好,与TactileSGNet模型对比我们的物体识别准确率提升将近3%。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (8)
1.一种基于脉冲时间序列误差反向传播的触觉物体识别方法,其特征在于,包括:
S-A,搭建基于脉冲神经元的脉冲神经网络模型;
S-B,将用于模型训练的触觉数据输入脉冲神经网络模型,并通过脉冲时间序列的误差反向传播算法对建立的脉冲神经网络模型进行训练,根据计算所得的梯度来迭代更新直到得到最优的网络权重参数,最终得到训练完毕的脉冲神经网络模型;
S-C,将待识别的触觉数据输入神经网络模型,输出物体识别结果。
2.根据权利要求1所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法,其特征在于,所述S-A包括:
当膜电位u(t)达到阈值Vth时,脉冲神经元将激发脉冲,之后膜电位落回至静息电位ureset;否则,脉冲神经元更新膜电位;
使用一阶突触模型作为脉冲响应函数,在网络传播过程中,当前网络层所有神经元的输出脉冲序列经过一阶突触模型后得到的PSC序列矩阵作为下一层神经元的输入,神经元i的经过一阶突触模型后电流为:
Pi(t)=(∈*si)(t) (4)
其中Pi(t)表示神经元i在t时刻的突触后电流;
∈是脉冲响应核;
si表示神经元i的输出脉冲序列;
t表示t时刻;
神经元i在t时刻的膜电位函数表示为:
其中τm_t是膜时间常数;
ui(t)表示神经元i在t时刻的膜电位;
R表示细胞膜的阻抗;
ωij是从突触前神经元j到突触后神经元i的突触权重;
Pj(t)是由突触前神经元j的脉冲响应得到的突触后电流PSC;
ui_reset(t)表示神经元模型激发脉冲后的复位函数。
3.根据权利要求1所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法,其特征在于,所述将用于模型训练的触觉数据输入脉冲神经网络模型包括以下步骤:
B-1,脉冲神经网络模型的TAG图卷积层根据触觉传感器中每个触觉像素点的空间排列构建触觉图,然后利用点的空间几何构型计算两节点间的欧几里得度量来构造边;
B-2,脉冲神经网络模型的Dropout层将C-1得到的数据进行正则化操作,用于防止网络过拟合;
B-3,脉冲神经网络模型的全连接层进行数据分类,最终得到物体识别结果。
4.根据权利要求3所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法,其特征在于,所述构建触觉图是通过拓扑自适应图卷积TAG操作来获取触觉数据的空间特征;
所述构造边是通过最小生成树或k-近邻算法来构造触觉图的边。
5.根据权利要求1所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法,其特征在于,还包括:
通过神经元间和神经元内的依赖关系分情况计算误差损失:
突触后神经元激发脉冲的时间到突触后神经元膜电位变化影响
1)神经元间的依赖:突触后神经元对其任何突触前神经元的时间依赖是由于突触前神经元输出的脉冲序列产生的突触后电流PSC;
2)突触脉冲的激发时间会通过神经元内的时间依赖影响同一突触神经元紧接着的脉冲的激发时间。
8.根据权利要求1所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法,其特征在于,还包括:
对训练完毕的脉冲神经网络模型进行评价,评价指标包括损失和识别准确率对比。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210914970.7A CN115358261A (zh) | 2022-08-01 | 2022-08-01 | 基于脉冲时间序列误差反向传播的触觉物体识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210914970.7A CN115358261A (zh) | 2022-08-01 | 2022-08-01 | 基于脉冲时间序列误差反向传播的触觉物体识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115358261A true CN115358261A (zh) | 2022-11-18 |
Family
ID=84032597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210914970.7A Pending CN115358261A (zh) | 2022-08-01 | 2022-08-01 | 基于脉冲时间序列误差反向传播的触觉物体识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115358261A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116205784A (zh) * | 2023-05-04 | 2023-06-02 | 北京科技大学 | 一种基于事件时间触发神经元的光流识别*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112809679A (zh) * | 2021-01-25 | 2021-05-18 | 清华大学深圳国际研究生院 | 可形变物体抓取的方法、装置及计算机可读存储介质 |
CN114065806A (zh) * | 2021-10-28 | 2022-02-18 | 贵州大学 | 基于脉冲神经网络的机械手触觉数据分类方法 |
-
2022
- 2022-08-01 CN CN202210914970.7A patent/CN115358261A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112809679A (zh) * | 2021-01-25 | 2021-05-18 | 清华大学深圳国际研究生院 | 可形变物体抓取的方法、装置及计算机可读存储介质 |
CN114065806A (zh) * | 2021-10-28 | 2022-02-18 | 贵州大学 | 基于脉冲神经网络的机械手触觉数据分类方法 |
Non-Patent Citations (2)
Title |
---|
2020 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS): "TactileSGNet: A Spiking Graph Neural Network for Event-based Tactile Object Recognition", 《2020 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 * |
WENRUI ZHANG AND PENG LI: "Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks", 《ARXIV》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116205784A (zh) * | 2023-05-04 | 2023-06-02 | 北京科技大学 | 一种基于事件时间触发神经元的光流识别*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321603B (zh) | 一种用于航空发动机气路故障诊断的深度计算模型 | |
Frenkel et al. | ReckOn: A 28nm sub-mm2 task-agnostic spiking recurrent neural network processor enabling on-chip learning over second-long timescales | |
CN110378435B (zh) | 一种基于卷积神经网络的苹果叶片病害识别的方法 | |
Zhang et al. | Deep transfer network: Unsupervised domain adaptation | |
CN107077637B (zh) | 神经网络中的差分编码 | |
CN115018021B (zh) | 基于图结构与异常注意力机制的机房异常检测方法及装置 | |
EP3108410A2 (en) | Event-based inference and learning for stochastic spiking bayesian networks | |
Cordone et al. | Learning from event cameras with sparse spiking convolutional neural networks | |
CN113205048B (zh) | 一种手势识别方法及识别*** | |
CN109753897A (zh) | 基于记忆单元强化-时序动态学习的行为识别方法 | |
CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
US20200134429A1 (en) | Computer architecture for multiplier-less machine learning | |
CN115659174A (zh) | 基于图正则化CNN-BiLSTM的多传感器故障诊断方法、介质及设备 | |
Fatahi et al. | Towards an spiking deep belief network for face recognition application | |
CN115358261A (zh) | 基于脉冲时间序列误差反向传播的触觉物体识别方法 | |
CN110188621B (zh) | 一种基于ssf-il-cnn的三维人脸表情识别方法 | |
CN117010263A (zh) | 一种基于卷积神经网络和长短期记忆网络的剩余寿命预测方法 | |
CN113255543B (zh) | 基于图卷积网络的面部表情识别方法 | |
CN112288078B (zh) | 一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法与*** | |
Rekabdar et al. | Scale and translation invariant learning of spatio-temporal patterns using longest common subsequences and spiking neural networks | |
CN114550164B (zh) | 一种基于深度学习的番茄叶片病害识别研究方法 | |
Tan et al. | Time Series Prediction using Backpropagation Network Optimized by Hybrid K-means-Greedy Algorithm. | |
Gueorguieva et al. | Solving large scale classification problems with stochastic based optimization | |
Ouyang et al. | SAR Image Ground Object Recognition Detection Method based on Optimized and Improved CNN | |
EP4194970A1 (en) | Method and device for controlling a system using an artificial neural network based on continual learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |