CN115048979A - 一种基于正则化的机器人触觉脉冲数据分类方法 - Google Patents
一种基于正则化的机器人触觉脉冲数据分类方法 Download PDFInfo
- Publication number
- CN115048979A CN115048979A CN202210466761.0A CN202210466761A CN115048979A CN 115048979 A CN115048979 A CN 115048979A CN 202210466761 A CN202210466761 A CN 202210466761A CN 115048979 A CN115048979 A CN 115048979A
- Authority
- CN
- China
- Prior art keywords
- pulse
- neuron
- regularization
- neural network
- haptic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000013528 artificial neural network Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 210000002569 neuron Anatomy 0.000 claims description 83
- 239000012528 membrane Substances 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 28
- 230000000694 effects Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 6
- 238000012421 spiking Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 230000000284 resting effect Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 238000013499 data model Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 150000001875 compounds Chemical group 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种基于正则化的机器人触觉脉冲数据分类方法，包括以下步骤，S1数据获取，S2构建触觉数据的图神经网络的图拓扑结构，S3引入正则化方法缓解触觉脉冲数据模型过拟合问题，S4获得脉冲神经网络模型的输出。与现有技术相比，本发明通过在训练算法中增加正则化方法，缓解因训练数据较少带来的过拟合问题，提升家居物品触觉数据的分类准确性，从而提高了模型性能，提升了鲁棒性，增强了网络的泛化能力。
Description
技术领域
本发明涉及机器人采集家用物体触觉数据识别领域。尤其涉及一种基于正则化的机器人触觉脉冲数据分类方法。
背景技术
触觉是人类与周边环境进行物理交互时不可替代的信息来源，它让我们体验到“粗糙”、“光滑”等独特感觉。触觉在相似物体、低光照和强遮挡的情况下判断物体材质和形状等方面表现更佳。
脉冲神经网络在处理具有时空特性的数据时表现优于深度神经网络，同时脉冲神经网络能够利用事件驱动性提高神经元处理数据的能力。现有的触觉脉冲数据样本较少以及样本数据存在噪声等导致网络模型产生过拟合问题。
中国专利公开号：CN202110053641.3公开了一种基于脉冲神经网络的图像识别***及方法，其中脉冲神经网络数据集的数据量较少时，导致训练模型出现过拟合问题。
发明内容
为此，本发明提供了一种正则化方法缓解模型过拟合问题的机器人触觉脉冲数据分类方法，用以克服现有技术中触觉脉冲数据样本量较少导致的过拟合问题。
为实现上述目的，发明采用如下技术方案：
一种正则化方法缓解模型过拟合问题的机器人触觉脉冲数据分类方法，具体包括以下步骤：
步骤s1，向脉冲神经网络输入由机器人触觉传感器采集的触觉脉冲数据；
步骤s2，使用图卷积层构建所述触觉脉冲数据的图神经网络的图拓扑结构，输出特征矩阵tf；
步骤s3，采用LIF神经元动力学激活脉冲神经元层中的脉冲神经元以向丢弃层发送脉冲；
步骤s4，在丢弃层采用Dropou正则化方法随机丢弃脉冲神经元以通过子网络对所述脉冲神经网络进行训练；
步骤s5，将所述特征矩阵tf中的特征通过全连接层映射到由tf线性变化得到的特征空间y(1)，设定y(1)＝W1tf+b1，其中，为W1权值参数，b1为偏置参数；
步骤s6，重复所述步骤s3；
步骤s7，重复所述步骤s4；
步骤s8，输入y(1)，通过所述全连接层将特征映射至由y(1)线性变化得到的特征空间y(2)，设定y(2)＝W2y(1)+b2，其中，W2为权值参数，b2为偏置参数；
步骤s9，重复所述步骤s3；
步骤s10，输入y(2)，通过所述全连接层将特征映射至由y(2)线性变化得到的特征空间y(3)，设定y(3)＝W3y(2)+b3，其中，W3为权值参数，b3为偏置参数；
步骤s11，根据所述特征空间y(3)获得脉冲神经网络模型的输出，预测触觉数据的分类结果。
进一步的，在所述步骤s2中，所述特征矩阵tf的定义如下：
其中，tf为第f个输出特征图，C为每个节点的输入特征个数，Gc,f为第f个图形滤波器，lc为所有节点的第c个输入特征，C为每个节点的输入特征数，af为可学习的偏差向量，*表示卷积运算。
进一步的，所述LIF神经元状态仅根据事件的输入时间进行更新，LIF神经元表示如式(1)所示：
其中，P(t)表示脉冲神经元t时刻的膜电位，Y(t)表示在t时刻神经元接收到的外部触觉数据输入，PREST是神经元的静息电位，τ是膜时间常数，当脉冲神经元的膜电位P(t)超过阈值PTH时，该神经元会产生脉冲输出，并将膜电位P(t)重置为PRESET。
进一步的，在所述步骤s3中，所述LIF的激活函数为：
其中，P(t)表示脉冲神经元t时刻的膜电位，PTH表示膜电位阈值，O(Pt)表示产生触觉脉冲信号的阶跃函数。
进一步的，在所述步骤s3中，脉冲神经元层中的脉冲神经元在t时刻产生的脉冲通过公式(2)求得：
Et＝O(Pt) (2)
其中，Et表示在t时刻神经元是否产生脉冲，其值用1或0表示，当Et＝1时，神经元产生脉冲，当Et＝0时，无脉冲产生，O(Pt)是阶跃函数，描述了触觉脉冲信号的产生过程，其定义如式(3)所示：
若在t时刻经过脉冲神经网络中神经元动力学模型之后的神经元膜电位大于等于膜电位阈值，则产生脉冲输出，若在t时刻经过脉冲神经网络中神经元动力学模型之后的神经元膜电位小于膜电位阈值，则无脉冲产生。
进一步的，LIF神经元还可以通过式(4)表达：
其中，
τ为时间常数，e为自然常数。
进一步的，脉冲神经网络模型的预测结果通过公式(5)求得所述脉冲神经网络输出与所述标签之间误差平方和的均值L：
其中，S为触觉数据训练样本的总量，Rs是第s个触觉数据样本的标签向量，Os是输出层的输出向量。
进一步的，当使用LIF反向传播脉冲神经网络时，使用
表示t时刻第n层脉冲神经元的膜电位，
表示t时刻第n层的第k个神经元是否有脉冲产生，当该神经元产生脉冲，
当该神经元未产生脉冲，
在反向传播脉冲神经网络时考虑空域和时域，通过所述式(3)至所述式(5)得到式(6)和式(7)：
通过复合函数的链式法则进一步得到损失函数L与权重W、偏置b之间的关系，该关系如式(8)和式(9)所示：
损失函数L通过神经元膜电位
以及神经元输出
构建与权重W、偏置b之间的推导关系，通过采用连续函数模拟脉冲活动的反向传播，使得梯度下降法可用且有效.
采用连续函数模拟脉冲活动的反向传播以消除脉冲活动中离散性对通过梯度下降法完成反向传播更新的参数的影响，采用的连续函数如公式(10)所示：
其中，a是宽度系数。
进一步的，所述方法使用权重衰减进一步缓解所述模型的过拟合程度，权重衰减能够通过式(11)描述：
进一步的，在所述脉冲神经网络中，结合所述式(8)和所述式(11)得到的权重衰减下的更新公式如式(12)所示：
其中，μ是学习率，σ是超参数，μσ<1。
与现有技术相比，本发明的有益效果在于，通过正则化方法的引入在分类各种不同的家居物品数据时，提高了分类准确率。
进一步地，本发明能够缓解脉冲数据样本量较少导致的过拟合问题，提升家居物品触觉数据的分类准确性，从而提高了模型性能，提升了鲁棒性，增强了网络的泛化能力。
附图说明
图1为本发明的触觉数据分类模型图；
图2为本发明的LIF神经元脉冲活动图；
图3为本发明的脉冲神经网络的空域和时域的传播；
图4为本发明的LIF神经元中的Dropout；
图5为本发明的正则化方法TrainingLoss变化图；
图6为本发明的正则化方法TestLoss变化图；
图7为本发明的8种模型Acc的箱线图；
图8为本发明的8种模型TrainingLoss的箱线图；
图9为本发明的8种模型TestLoss的箱线图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
实施例1
请参阅图1所示，其为本发明所述的触觉数据分类模型图，该模型由3个脉冲神经元层、2个丢弃层、2个全连接层、1个图卷积层以及1个投票层组成。
主要分为11个步骤：
步骤s1：输入由机器人触觉传感器采集的触觉脉冲数据；
步骤s2：用图卷积层构建触觉数据的图神经网络的图拓扑结构，输出特征矩阵tf，其定义为：
其中，tf为第f个输出特征图，C为每个节点的输入特征个数，Gc,f为第f个图形滤波器，lc为所有节点的第c个输入特征，C为每个节点的输入特征数，af为可学习的偏差向量，*表示卷积运算。
步骤s3：采用LIF(Leaky Integrate-and-Fire)神经元动力学激活脉冲神经元，发送脉冲。LIF的激活函数为：
其中，P(t)表示脉冲神经元t时刻的膜电位，PTH表示膜电位阈值，O(Pt)表示产生触觉脉冲信号的阶跃函数。
步骤s4：在丢弃层采用Dropou正则化方法随机丢弃神经元，通过网络的子网络进行训练。
步骤s5：将特征矩阵tf通过全连接层将特征映射到y(1)，y(1)＝W1tf+b1.
其中，y(1)为由tf线性变化得到的特征空间，W1为权值参数，b1为偏置参数；
步骤s6：重复所述步骤s3。
步骤s7：重复所述步骤s4。
步骤s8：输入y(1)，通过全连接层将特征映射y(2)，y(2)＝W2y(1)+b2.
其中，y(2)为由y(1)线性变化得到的特征空间，W2为权值参数，b2为偏置参数；
步骤s9：重复所述步骤s3。
步骤s10：输入y(2)，通过全连接层将特征映射y(3)，y(3)＝W3y(2)+b3.
其中，y(3)为由y(2)线性变化得到的特征空间，W3为权值参数，b3为偏置参数；
步骤s11：根据特征空间y(3)，获得脉冲神经网络模型的输出，预测触觉数据的分类结果。理想情况是代表真是标签的神经元具有最高的输出值。将本实施例记为D-NddModel.
具体而言，在脉冲神经网络中，所述LIF神经元状态仅根据事件的输入时间进行更新，LIF神经元表示如式(1)所示：
其中，P(t)表示脉冲神经元t时刻的膜电位，Y(t)表示在t时刻神经元接收到的外部触觉数据输入，PREST是神经元的静息电位，τ是膜时间常数，当脉冲神经元的膜电位P(t)超过阈值PTH时，该神经元会产生脉冲输出，并将膜电位P(t)重置为PRESET。
步骤s3中脉冲神经元层中的脉冲神经元在t时刻产生的脉冲通过公式(2)求得：
Et＝O(Pt) (2)
其中，Et表示在t时刻神经元是否产生脉冲，其值用1或0表示，当Et＝1时，神经元产生脉冲，当Et＝0时，无脉冲产生，O(Pt)是阶跃函数，描述了触觉脉冲信号的产生过程，其定义如式(3)所示：
请参阅图2所示，其为LIF神经元脉冲活动图，若在t时刻经过脉冲神经网络中神经元动力学模型之后的神经元膜电位大于等于膜电位阈值，则产生脉冲输出，若在t时刻经过脉冲神经网络中神经元动力学模型之后的神经元膜电位小于膜电位阈值，则无脉冲产生。
LIF神经元还可以通过式(4)表达：
其中，
τ为时间常数，e为自然常数。
具体而言，脉冲神经网络模型的预测结果通过公式(5)求得所述脉冲神经网络输出与所述标签之间误差平方和的均值L：
其中，S为触觉数据训练样本的总量，Rs是第s个触觉数据样本的标签向量，Os是输出层的输出向量。
当使用LIF反向传播脉冲神经网络时，使用
表示t时刻第n层脉冲神经元的膜电位，
表示t时刻第n层的第k个神经元是否有脉冲产生，当该神经元产生脉冲，
当该神经元未产生脉冲，
请参阅图3所示，其为脉冲神经网络的空域和时域的传播，在反向传播脉冲神经网络时考虑空域和时域，通过所述式(3)至所述式(5)得到式(6)和式(7)：
通过复合函数的链式法则进一步得到损失函数L与权重W、偏置b之间的关系，该关系如式(8)和式(9)所示：
损失函数L通过神经元膜电位
以及神经元输出
构建与权重W、偏置b之间的推导关系，通过采用连续函数模拟脉冲活动的反向传播，使得梯度下降法可用且有效.
采用连续函数模拟脉冲活动的反向传播以消除脉冲活动中离散性对通过梯度下降法完成反向传播更新的参数的影响，采用的连续函数如公式(10)所示：
其中，a是宽度系数。
具体而言，已有的数据集不足以使参数最优时，可能会使神经网络出现过拟合等问题，在脉冲神经网络中亦然。现有的机器人触觉脉冲数据样本较少，为增强神经网络的鲁棒性，在训练算法中增加正则化方法，缓解因训练数据较少带来的过拟合问题，提升触觉脉冲数据分类算法的性能。
Dropout正则化方法通过随机丢弃神经网络中某层上的神经元，使用不同的子网络训练，缓解网络模型训练过程中的过拟合问题。将Dropout方法引入脉冲神经网络中，随机丢弃LIF神经元，提升神经网络的预测能力。请参阅图4所示，其为LIF神经元的Dropout工作方式。
权重衰减是通过限制权重的选择范围来控制模型参数的容量，能够在一定程度上缓解模型的过拟合问题。权重衰减能够通过式(11)描述：
进一步的，在所述脉冲神经网络中，结合所述式(8)和所述式(11)得到的权重衰减下的更新公式如式(12)所示：
其中，μ是学习率，σ是超参数，μσ<1。
实施例2
本实施例对触觉脉冲数据进行分类时的方法与所述实施例1中的方法的区别在于，本实施例不使用任何正则化方法。将本实施例记为NddModel.
实施例3
本实施例对触觉脉冲数据进行分类时的方法与所述实施例1中的方法的区别在于，本实施例使用L2正则化方法替代所述实施例1中的Dropout正则化方法。将本实施例记为L-NddModel.
实施例4
本实施例对触觉脉冲数据进行分类时的方法与所述实施例1中的方法的区别在于，本实施例使用Cosine Annealing方法替代所述实施例1中的Dropout正则化方法。将本实施例记为C-NddModel.
实施例5
本实施例对触觉脉冲数据进行分类时的方法与所述实施例1中的方法的区别在于，本实施例使用Dropout正则化方法以及L2正则化方法替代所述实施例1中的Dropout正则化方法。将本实施例记为DL-NddModel.
实施例6
本实施例对触觉脉冲数据进行分类时的方法与所述实施例1中的方法的区别在于，本实施例使用Dropout正则化方法以及Cosine Annealing方法替代所述实施例1中的Dropout正则化方法。将本实施例记为DC-NddModel.
实施例7
本实施例对触觉脉冲数据进行分类时的方法与所述实施例1中的方法的区别在于，本实施例使用L2正则化方法以及Cosine Annealing方法替代所述实施例1中的Dropout正则化方法。将本实施例记为LC-NddModel.
实施例8
本实施例对触觉脉冲数据进行分类时的方法与所述实施例1中的方法的区别在于，本实施例使用Dropout正则化方法，L2正则化方法以及Cosine Annealing方法替代所述实施例1中的Dropout正则化方法。将本实施例记为DLC-NddModel.
具体而言，本实施例中使用到的具体实验环境为：
采用Python 3.6和Pytoch 1.4编写SNN学习算法，该算法在64位Windows10上实现。所有的实验结果均在同一计算机型号上进行配置，计算机的主要配置如下：Interl(R)Core(TM)i7-11700K CPU 3.6GHz，32GB of RAM and an NVIDIA GeForce RTX 2080TiGPU.
具体而言，本实施例中采用的数据集包括：
实验数据集为EvTouch-Objects触觉脉冲数据集，共包含36种物体的触觉脉冲数据。数据由Robotiq 2F-140机械手采集，机械手由2根分别带有39个触觉像素点的手指组成。通过将物体抓取至距离桌面20厘米处，采集机械手稳定后的触觉像素点5秒钟的数据。触觉脉冲数据划分为250个时间片段，由0或1组成，若单个像素点在0.02秒的时间片段内有脉冲信号产生，则该像素点的值为1，反之为0。每种物体采集20次，共有720组数据，其中每种物体的80％数据作为训练集，20％数据作为验证集。
模型评价指标为准确率(Acc)、训练损失(TrainingLoss)、测试损失(TestLoss)。
具体而言，本发明实验的触觉脉冲数据集的数据量仅720组，样本数量少，导致训练模型出现过拟合问题。从实施例1到实施例8，我们通过引入L2正则化方法和Dropout正则化方法来缓解过拟合问题，并通过消融实验验证正则化方法的有效性。实验结果详见表1。
表1消融实验性能表
如表1所示，DLC-NddModel模型具有最高的Acc值为91.04％，比NddModel模型高1.87％。除DLC-NddModel外，引入了Dropout正则化方法的其他模型D-NddModel、DL-NddModel、DC-NddModel在Acc值上表现都优于NddModel，其值均提升了1.3％以上，但在TrainingLoss以及TestLoss上，其值均较之前有所上升。对于引入L2正则化方法的L-NddModel、DL-NddModel以及LC-NddModel，可以看出其Acc值同样优于NddModel模型。对于L-NddModel，Acc提升相对较小，而在TrainingLoss和TestLoss上，表现略逊于NddModel模型。就Cosine Annealing算法而言，其提升点在于模型收敛性能。相较于NddModel模型，C-NddModel虽在Acc上不及NddModel模型，但在TrainingLoss和TestLoss上均表现更佳，因为Cosine Annealing算法使学习率按照余弦函数发生变化，这种动态变化是有利于模型的收敛的。同时，增加了Cosine Annealing算法的DC-NddModel、LC-NddModel的Loss值也优于D-NddModel和L-NddModel模型。
请参阅图5所示，其为八种实施例在不同迭代次数(epoch)下的训练损失(TrainingLoss)变化图，8种模型的收敛值以及收敛速度可以大致分为两个部分，C-NddModel、NddModel、LC-NddModel以及L-NddModel模型的收敛值较低，收敛速度较快，处于下半部分，而其余4种模型处于上半部分，收敛值和收敛速度相对较差。
请参阅图6所示，其为八种实施例在不同迭代次数(epoch)下的测试损失(TestLoss)变化图，模型在第40epoch后开始逐渐收敛，但DLC-NddModel、DL-NddModel、DC-NddModel和D-NddModel模型的收敛有抖动现象，其它4种模型相对更加平滑。
为减轻实验结果的随机性，本发明使用触觉脉冲数据集在不同模型下各进行了10次重复实验，请参阅图7所示，其为8种模型在Acc上的箱线图，DLC-NddModel和DL-NddModel模型的箱体较高且比较小，中位线的位置比较高，表明了这2种模型的Acc相对稳定且值比较大。LC-NddModel和L-NddModel模型的虽然在箱体较大，但其中位线位置以及箱***置都比NddModel更高。这验证了Dropout正则化方法和L2正则化方法能够提升模型预测准确性，缓解脉冲数据较少情况引起的过拟合问题。请参阅图7所示，其为8种模型在TrainingLoss上的箱线图,可以看出引入了Dropout方法的模型，在TrainingLoss上的箱***置都比较高。请参阅图7所示，其为8种模型在TestLoss上的箱线图，TestLoss的情况与TrainingLoss的相似，引入了Cosine Annealing算法的模型，其在TestLoss值上的表现较未引入方法的模型更佳，这证明了Cosine Annealing算法对模型的收敛性能起到正向作用。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于正则化的机器人触觉脉冲数据分类方法，其特征在于，包括：
步骤s1，向脉冲神经网络输入由机器人触觉传感器采集的触觉脉冲数据；
步骤s2，使用图卷积层构建所述触觉脉冲数据的图神经网络的图拓扑结构，输出特征矩阵tf；
步骤s3，采用LIF神经元动力学激活脉冲神经元层中的脉冲神经元以向丢弃层发送脉冲；
步骤s4，在丢弃层采用Dropou正则化方法随机丢弃脉冲神经元以通过子网络对所述脉冲神经网络进行训练；
步骤s5，将所述特征矩阵tf中的特征通过全连接层映射到由tf线性变化得到的特征空间y(1)，设定y(1)＝W1tf+b1，其中，为W1权值参数，b1为偏置参数；
步骤s6，重复所述步骤s3；
步骤s7，重复所述步骤s4；
步骤s8，输入y(1)，通过所述全连接层将特征映射至由y(1)线性变化得到的特征空间y(2)，设定y(2)＝W2y(1)+b2，其中，W2为权值参数，b2为偏置参数；
步骤s9，重复所述步骤s3；
步骤s10，输入y(2)，通过所述全连接层将特征映射至由y(2)线性变化得到的特征空间y(3)，设定y(3)＝W3y(2)+b3，其中，W3为权值参数，b3为偏置参数；
步骤s11，根据所述特征空间y(3)获得脉冲神经网络模型的输出，预测触觉数据的分类结果。
2.根据权利要求1所述的基于正则化的机器人触觉脉冲数据分类方法，其特征在于，在所述步骤s2中，所述特征矩阵tf的定义如下：
其中，tf为第f个输出特征图，C为每个节点的输入特征个数，Gc，f为第f个图形滤波器，lc为所有节点的第c个输入特征，C为每个节点的输入特征数，af为可学习的偏差向量，*表示卷积运算。
3.根据权利要求1所述的基于正则化的机器人触觉脉冲数据分类方法，其特征在于，所述LIF神经元状态仅根据事件的输入时间进行更新，LIF神经元表示如式(1)所示：
其中，P(t)表示脉冲神经元t时刻的膜电位，Y(t)表示在t时刻神经元接收到的外部触觉数据输入，PREST是神经元的静息电位，τ是膜时间常数，当脉冲神经元的膜电位P(t)超过阈值PTH时，该神经元会产生脉冲输出，并将膜电位P(t)重置为PRESET。
4.根据权利要求1所述的基于正则化的机器人触觉脉冲数据分类方法，其特征在于，在所述步骤s3中，所述LIF的激活函数为：
其中，P(t)表示脉冲神经元t时刻的膜电位，PTH表示膜电位阈值，O(Pt)表示产生触觉脉冲信号的阶跃函数。
5.据权利要求1所述的基于正则化的机器人触觉脉冲数据分类方法，其特征在于，在所述步骤s3中，脉冲神经元层中的脉冲神经元在t时刻产生的脉冲通过公式(2)求得：
Et＝O(Pt) (2)
其中，Et表示在t时刻神经元是否产生脉冲，其值用1或0表示，当Et＝1时，神经元产生脉冲，当Et＝0时，无脉冲产生，O(Pt)是阶跃函数，描述了触觉脉冲信号的产生过程，其定义如式(3)所示：
若在t时刻经过脉冲神经网络中神经元动力学模型之后的神经元膜电位大于等于膜电位阈值，则产生脉冲输出，若在t时刻经过脉冲神经网络中神经元动力学模型之后的神经元膜电位小于膜电位阈值，则无脉冲产生。
6.根据权利要求5所述的基于正则化的机器人触觉脉冲数据分类方法，其特征在于，所述LIF神经元还可以通过式(4)表达：
其中，
τ为时间常数，e为自然常数。
7.根据权利要求6所述的基于正则化的机器人触觉脉冲数据分类方法，其特征在于，脉冲神经网络模型的预测结果通过公式(5)求得所述脉冲神经网络输出与所述标签之间误差平方和的均值L：
其中，S为触觉数据训练样本的总量，Rs是第s个触觉数据样本的标签向量，Os是输出层的输出向量。
8.根据权利要求7所述的基于正则化的机器人触觉脉冲数据分类方法，其特征在于，当使用LIF反向传播脉冲神经网络时，使用
表示t时刻第n层脉冲神经元的膜电位，
表示t时刻第n层是否有脉冲产生，当该神经元产生脉冲，
当该神经元未产生脉冲，
在反向传播脉冲神经网络时考虑空域和时域，通过所述式(3)至所述式(5)得到式(6)和式(7)：
通过复合函数的链式法则进一步得到损失函数L与权重W、偏置b之间的关系，该关系如式(8)和式(9)所示：
损失函数L通过神经元膜电位
以及神经元输出
构建与权重W、偏置b之间的推导关系，通过采用连续函数模拟脉冲活动的反向传播，使得梯度下降法可用且有效.
采用连续函数模拟脉冲活动的反向传播以消除脉冲活动中离散性对通过梯度下降法完成反向传播更新的参数的影响，采用的连续函数如公式(10)所示：
其中，a是宽度系数。
9.据权利要求8所述的基于正则化的机器人触觉脉冲数据分类方法，其特征在于，所述方法使用权重衰减进一步缓解所述模型的过拟合程度，权重衰减能够通过式(11)描述：
10.根据权利要求9所述的基于正则化的机器人触觉脉冲数据分类方法，其特征在于，在所述脉冲神经网络中，结合所述式(8)和所述式(11)得到的权重衰减下的更新公式如式(12)所示：
其中，μ是学习率，σ是超参数，μσ＜1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210466761.0A CN115048979A (zh) | 2022-04-29 | 2022-04-29 | 一种基于正则化的机器人触觉脉冲数据分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210466761.0A CN115048979A (zh) | 2022-04-29 | 2022-04-29 | 一种基于正则化的机器人触觉脉冲数据分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115048979A true CN115048979A (zh) | 2022-09-13 |
Family
ID=83157850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210466761.0A Pending CN115048979A (zh) | 2022-04-29 | 2022-04-29 | 一种基于正则化的机器人触觉脉冲数据分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115048979A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180225562A1 (en) * | 2017-02-08 | 2018-08-09 | Brainchip Inc. | System and Method for Spontaneous Machine Learning and Feature Extraction |
| US20190247662A1 (en) * | 2017-12-04 | 2019-08-15 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to facilitate learning and performance |
| CN110837776A (zh) * | 2019-10-09 | 2020-02-25 | 广东工业大学 | 一种基于stdp的脉冲神经网络手写汉字识别方法 |
| CN111325099A (zh) * | 2020-01-21 | 2020-06-23 | 南京邮电大学 | 一种基于双流时空图卷积神经网络的手语识别方法及*** |
| US20210064995A1 (en) * | 2019-08-28 | 2021-03-04 | Robert Bosch Gmbh | Method, device and computer program for creating a pulsed neural network |
| CN112699956A (zh) * | 2021-01-08 | 2021-04-23 | 西安交通大学 | 一种基于改进脉冲神经网络的神经形态视觉目标分类方法 |
| US20210201158A1 (en) * | 2019-12-31 | 2021-07-01 | X Development Llc | Training artificial neural networks based on synaptic connectivity graphs |
| WO2021143066A1 (zh) * | 2020-01-19 | 2021-07-22 | 北京大学 | 一种目标识别方法、装置、***及计算机可读存储介质 |
| CN113449864A (zh) * | 2021-07-21 | 2021-09-28 | 北京大学 | 用于图像数据分类的反馈型脉冲神经网络模型训练方法 |
| WO2021256999A1 (en) * | 2020-06-15 | 2021-12-23 | National University Of Singapore | Event-driven visual-tactile sensing and learning for robots |
| CN114065806A (zh) * | 2021-10-28 | 2022-02-18 | 贵州大学 | 基于脉冲神经网络的机械手触觉数据分类方法 |
| CN114073528A (zh) * | 2020-08-12 | 2022-02-22 | 伯恩森斯韦伯斯特(以色列)有限责任公司 | 使用心内电描记图的受过神经网络训练的预处理检测电描记图中的激活 |
-
2022
- 2022-04-29 CN CN202210466761.0A patent/CN115048979A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180225562A1 (en) * | 2017-02-08 | 2018-08-09 | Brainchip Inc. | System and Method for Spontaneous Machine Learning and Feature Extraction |
| US20190247662A1 (en) * | 2017-12-04 | 2019-08-15 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to facilitate learning and performance |
| US20210064995A1 (en) * | 2019-08-28 | 2021-03-04 | Robert Bosch Gmbh | Method, device and computer program for creating a pulsed neural network |
| CN110837776A (zh) * | 2019-10-09 | 2020-02-25 | 广东工业大学 | 一种基于stdp的脉冲神经网络手写汉字识别方法 |
| US20210201158A1 (en) * | 2019-12-31 | 2021-07-01 | X Development Llc | Training artificial neural networks based on synaptic connectivity graphs |
| WO2021143066A1 (zh) * | 2020-01-19 | 2021-07-22 | 北京大学 | 一种目标识别方法、装置、***及计算机可读存储介质 |
| CN111325099A (zh) * | 2020-01-21 | 2020-06-23 | 南京邮电大学 | 一种基于双流时空图卷积神经网络的手语识别方法及*** |
| WO2021256999A1 (en) * | 2020-06-15 | 2021-12-23 | National University Of Singapore | Event-driven visual-tactile sensing and learning for robots |
| CN114073528A (zh) * | 2020-08-12 | 2022-02-22 | 伯恩森斯韦伯斯特(以色列)有限责任公司 | 使用心内电描记图的受过神经网络训练的预处理检测电描记图中的激活 |
| CN112699956A (zh) * | 2021-01-08 | 2021-04-23 | 西安交通大学 | 一种基于改进脉冲神经网络的神经形态视觉目标分类方法 |
| CN113449864A (zh) * | 2021-07-21 | 2021-09-28 | 北京大学 | 用于图像数据分类的反馈型脉冲神经网络模型训练方法 |
| CN114065806A (zh) * | 2021-10-28 | 2022-02-18 | 贵州大学 | 基于脉冲神经网络的机械手触觉数据分类方法 |
Non-Patent Citations (5)
| Title |
|---|
| FUQIANG GU, ET.AL: "TactileSGNet: a spiking graph neural network for event-based tactile object recognition", 《ARXIV:2008.08046V1》, pages 1 - 7 * |
| JING YANG, ET.AL: "Robot Tactile Data Classification Method Using Spiking Neural Network", pages 5274 - 5279 * |
| SIVALOGESWARAN RATNASINGAM, ET.AL: "A spiking neural network for tactile form based object recognition" * |
| YUJIE WU, ET.AL: "Spatio-temporal backpropagation for training high-performance spiking neural networks", 《ARXIV:1706.02609V3》, pages 160 - 10 * |
| 陈云霁等: "《深入浅出工业机器学习算法详解与实战》", 北京理工大学出版社, pages: 160 - 150 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ahila et al. | An integrated PSO for parameter determination and feature selection of ELM and its application in classification of power system disturbances | |
| Lawrence et al. | What size neural network gives optimal generalization? Convergence properties of backpropagation | |
| EP3293681A1 (en) | Spatio-temporal spiking neural networks in neuromorphic hardware systems | |
| US20240046077A1 (en) | Input into a neural network | |
| Sokolov et al. | Hybrid neural networks in cyber physical system interface control systems | |
| CN114861838B (zh) | 一种基于神经元复杂动力学的脉冲神经类脑智能分类方法 | |
| Konar et al. | A shallow hybrid classical–quantum spiking feedforward neural network for noise-robust image classification | |
| Gagana et al. | Activation function optimizations for capsule networks | |
| Hansson et al. | Feedforward neural networks with ReLU activation functions are linear splines | |
| Bhat et al. | Bayesian neural networks | |
| Zhao et al. | A novel binary bat algorithm with chaos and Doppler effect in echoes for analog fault diagnosis | |
| Ruan et al. | Automatic recognition of radar signal types based on CNN-LSTM | |
| CN115048979A (zh) | 一种基于正则化的机器人触觉脉冲数据分类方法 | |
| Budiman et al. | Adaptive convolutional ELM for concept drift handling in online stream data | |
| Amodio et al. | Out-of-sample extrapolation with neuron editing | |
| Prater | Comparison of echo state network output layer classification methods on noisy data | |
| Babu et al. | Stochastic deep learning in memristive networks | |
| Kurihara et al. | Analysis of convergence property of PSO and its application to nonlinear blind source separation | |
| Therhaag | Introduction to neural networks in high energy physics | |
| Ali | Design fast feed forward neural networks to solve two point boundary value problems | |
| Kolay et al. | Classification with some artificial neural network classifiers trained a modified particle swarm optimization | |
| Valletta et al. | Imitation learning with inconsistent demonstrations through uncertainty-based data manipulation | |
| Montalico et al. | Classification and detection of pneumonia in X-Ray Images using deep learning techniques | |
| Slatton | A comparison of dropout and weight decay for regularizing deep neural networks | |
| Alrowais et al. | Hand Gesture Recognition for Disabled People Using Bayesian Optimization with Transfer Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |