CN114092763A - 一种脉冲神经网络模型构建方法 - Google Patents

一种脉冲神经网络模型构建方法 Download PDF

Info

Publication number
CN114092763A
CN114092763A CN202111385322.9A CN202111385322A CN114092763A CN 114092763 A CN114092763 A CN 114092763A CN 202111385322 A CN202111385322 A CN 202111385322A CN 114092763 A CN114092763 A CN 114092763A
Authority
CN
China
Prior art keywords
pulse
image
layer
neural network
neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111385322.9A
Other languages
English (en)
Other versions
CN114092763B (zh
Inventor
钟雪燕
叶云飞
杨杰
陈刚
韩世东
王应喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Railway Technology
Original Assignee
Nanjing Institute of Railway Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Railway Technology filed Critical Nanjing Institute of Railway Technology
Priority to CN202111385322.9A priority Critical patent/CN114092763B/zh
Publication of CN114092763A publication Critical patent/CN114092763A/zh
Application granted granted Critical
Publication of CN114092763B publication Critical patent/CN114092763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

针对现有脉冲神经网络（SNN）图像分类模型中存在的资源占用高和运算较复杂等实际约束问题，为寻求更加轻量高效的机器视觉解决方案，本文提出了一种脉冲神经网络模型构建方法。通过卷积归一化和首脉冲时间编码完成了从灰度图像到脉冲序列的转换，结合经典的脉冲时间依赖可塑性算法（STDP）与侧向抑制算法实现了网络自分类，通过引入自适应阈值有效抑制了过拟合的出现。在MNIST数据集上的实验结果表明：相较于传统SNN分类模型，权重更新算法复杂度由O(n2)降低为O(1)，图像识别准确率仍能稳定保持在96%左右。所提供模型有利于软件算法向硬件平台的底层移植，可为高效率低功耗的小型智能化硬件终端的边缘计算方案实现提供参考。

Description

一种脉冲神经网络模型构建方法
技术领域
本发明涉及图像识别技术领域，特别涉及一种脉冲神经网络模型构建方法。
背景技术
近年来，脉冲时间依赖可塑性(Spike-Time-Dependent-Plasticity,STDP)算法凭借其深厚的生理学基础和高效的调节性机制逐渐成为SNN模型(脉冲神经网络)的主流学习算法之一，并成功应用于诸如现场可编程逻辑门阵列和专用集成电路等硬件终端上。现有相关领域中，有通过排序编码方式和简化的STDP算法进行输入特征提取，再借助支持向量机(Support Vector Machine,SVM)完成输出分类，最终在Caltech数据集的Face/Moto子集上取得了99.1％的准确率；现有技术中还有在现有STDP算法基础上利用泊松编码和全连接的输出结构实现了神经元模型作为网络节点，中间SNN的自分类，且对于Face/Moto数据集分类准确率可达97.6％。
综上可知，研究工作者在各自细分领域中针对STDP算法与SNN模型的适配工作已经做出了大量改进，但在面对实际应用场景中广泛存在的资源受限、算力瓶颈等约束问题时仍然存在着优化空间。一方面，软件仿真若想取得更好的分类性能往往会占用更多的硬件资源，同时导致更高的计算功耗；另一方面，软件算法是神经形态计算的核心，而硬件设备是软件赖以运行的载体，二者密不可分，片面追求软件性能的背后多是对硬件算力的透支，尤其是随着面向异构计算软件平台的兴起，软硬件协同设计已经逐渐成为技术角逐的制高点之一。
发明内容
本发明针对现有脉冲神经网络(SNN)图像分类模型中存在的资源占用高和运算较复杂等实际约束问题，为寻求更加轻量高效的机器视觉分类解决方案，本申请提出一种脉冲神经网络模型构建方法，所提供模型有利于软件算法向硬件平台的底层移植，可为高效率低功耗的小型智能化硬件终端的边缘计算方案实现提供参考。
为实现上述目的，本发明采用以下技术方案：
一种脉冲神经网络模型构建方法，包括以下步骤：
S1：脉冲编码层将图像的每个像素编码成脉冲信息，然后将脉冲信息传输给神经网络层的神经元中；
S2：神经网络层通过内部的STDP层和侧向抑制层更新神经元之间的连接权值；
S3：神经元将脉冲信息传输给分类层，分类层接收脉冲信息后对图像进行分类。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S1中，所述脉冲编码层将图像的每个像素编码成脉冲信息的具体实现方式为：
S1.1：脉冲编码层对图像依次进行归一化、将图像乘以对称卷积核的预处理；使图像模糊化为灰度图像；
S1.2：对灰度图像进行首脉冲时间编码。
进一步地，步骤S1.2中对灰度图像进行首脉冲时间编码时，初始脉冲发放时刻t需满足以下条件，并对t向下取整数：
Figure BDA0003366923980000021
式中，P为输入像素点对应的灰度值，Pmax为像素点的最大值，Pmin为像素点的最小值，T为单个输入图像的处理周期，L为神经网络层的层数。
进一步地，步骤S2中所述神经元为LIF神经元模型，且LIF神经元模型中的阈值uth根据识别的图片自适应修改计算。
进一步地，所述阈值uth自适应修改计算的方式为：
LIF神经元模型针对所识别图像，求得周期T内所有像素的脉冲数，然后除以时间步长求得阈值uth；
其中，时间步长为脉冲神经网络的网络参数。
进一步地，侧向抑制层用于识别神经网络层中已被激发兴奋的神经元，并将该神经元附近其他神经元的权值减去侧向抑制衰减值进行降低。
进一步地，所述侧向抑制衰减值为-0.06。
进一步地，当神经元权值减去侧向抑制衰减值后不满足STDP层的STDP算法时，将神经元权值恢复为满足STDP算法的最小值。
本发明的有益效果是：
1、本申请通过卷积归一化和首脉冲时间编码完成了从灰度图像到脉冲序列的转换，结合经典的脉冲时间依赖可塑性算法(STDP)与侧向抑制算法实现了网络自分类，通过引入自适应阈值有效抑制了过拟合的出现。在MNIST数据集上的实验结果表明：相较于传统SNN分类模型，权重更新算法复杂度由O(n2)降低为O(1)，准确率仍能稳定保持在96％左右。所提供模型有利于软件算法向硬件平台的底层移植，可为高效率低功耗的小型智能化硬件终端的边缘计算方案实现提供参考。
2、脉冲序列的发放和传递均采用离散时间调度方案(通过对初始脉冲发放时刻t作出的限定)，配合TTFS编码策略，使得脉冲模式和权重学习大为简化。
3、自适应阈值的引入保证了脉冲传递的稀疏性和学习特征的特异性，有效抑制了过拟合的出现。将侧向抑制机制与经典STDP算法结合实现了网络自分类，不需要借助于额外的分类器；
本文通过在网络迭代过程中引入侧向抑制机制，进一步保证了脉冲传递的稀疏性和学习特征的特异性，降低了网络复杂度和训练计算量，此外自适应阈值的引入也使得模型能够在有限资源下抑制过拟合的出现，而无需借助于额外的动态学习率和随机失活等方案。
4、本申请的脉冲神经网络模型，其网络资源占用少，模型复杂程度低，且具有收敛速度快、泛化能力强、稳定性良好、鲁棒性较高等特点，有利于高效率低功耗的小型智能化硬件终端的边缘计算方案实现。
附图说明
图1是本发明的脉冲神经网络模型结构示意图。
图2是本发明对图像进行模糊化预处理的流程示意图。
图3是本发明实施例图片“0”的激发脉冲数的示意图。
图4是现有技术中LIF模型示意图。
图5是本发明实施例的STDP算法曲线示意图。
图6是本发明侧向抑制层的侧向抑制机制的示意图。
图7是本发明实施例中对不同图片设置统一阈值、设置不同阈值、设置侧向抑制机制所产生脉冲数的对比示意图。
图8是本发明实施例中对不同图片设置统一阈值、设置不同阈值、设置侧向抑制机制的实验结果示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
本申请主要是针对现有脉冲神经网络(SNN)图像分类模型中存在的资源占用高和运算较复杂等实际约束问题，进而寻求更加轻量高效的机器视觉分类的解决方案，主要内容如下：
1、本申请的脉冲神经网络模型
参考图1。基于自适应阀值的STDP的脉冲神经网络模型，以泄露的累积发放(LeakyIntegrate-and-Fire,LIF)神经元模型作为网络节点，中间突触信息采用脉冲形式传递，其基本结构如图1所示，依次可分为脉冲编码层、STDP层、侧向抑制层以及分类层。脉冲编码层是每当图像需要分类时，将图像的每个像素编码成脉冲；STDP层是神经元之间的STDP算法，包括权值更新；侧向抑制层是释放脉冲的神经元，抑制神经网络层中其他神经元释放脉冲；而分类层是将经过权值更新后的神经元所产生的脉冲信号根据算法进行分类。从而识别出图像的内容。
参考图1。图像编码成脉冲后，经过两层神经网络层训练，如图1所示，第1层神经网络层包含100个神经元，第2层神经网络层包含20个神经元。其中，每个神经网络层均包含STDP算法和侧向抑制算法，更新神经元连接权值，最后全连接到输出层分类。
1.1、脉冲编码
脉冲神经网络模拟生物神经元细胞接收脉冲序列作为输入，为了设计高效SNN***，需要采取合适的脉冲编码策略将样本数据或外界刺激编码为离散的脉冲序列。研究者借鉴生物神经元对特定刺激信号的编码机制，主要给出两类脉冲编码的方法：基于脉冲频率的编码和基于脉冲时间的编码。频率编码认为信息包含在脉冲的发放频率中，相比于脉冲频率编码，基于脉冲时间编码的算法假设具有区别性的特征信息包含在具体的脉冲发放时刻而不是信号的幅值或者脉冲密度表示，具有更强的生物真实性和计算效率。综合考虑编码算法的泛化能力和适用性，本申请将基于帧的静态图像数据转换为时间脉冲序列数据处理，并根据实际应用结合数据知识加以改进。
参考图2。由于输入图像之间存在尺寸和格式上的差异，故首先需要对其进行预处理。本申请统一将原图归一化，乘以对称卷积核，将其模糊化为28×28的灰度图像，图像像素值在[-2-2]范围内，同时保留图像的输入特征，如图2所示，对于像素为28*28的手写数字“0”进行的模糊化处理。
本申请的脉冲神经网络模型的输入脉冲采用时间编码方式表示，单个神经元仅能发放单个脉冲，再经由权重连接作用于后神经元。为了将输入图像转化为输入脉冲序列，需要对各像素点的灰度值进行编码。首脉冲时间(Time-to-First-Spike,TTFS)编码是一种常用的灰度图像线性时间编码方式，像素点的灰度值越高表示输入特征越明显，相应会越早发出脉冲，反之灰度值越低将会越晚发出。即将卷积后像素值在[-2，-2]范围内的像素点依次呈线性映射到0-T的时间尺度之内。为了确保所有输入层的初始脉冲都能有机会传递到输出层，初始脉冲的发放时刻应满足：
Figure BDA0003366923980000041
式中：P为输入像素点对应的灰度值，Pmax和Pmin分别为像素点的最大值和最小值；T为单个输入图像的处理周期；L为网络模型层数。对公式结果向下取整使之离散化，以符合脉冲序列的离散时间表达形式。
参考图3。每当某一时刻t输入层有脉冲发出，输出层至少能在t+L-1时刻产生响应，保证了输入特征在周期T内的连续传递。TTFS编码通过对灰度值进行T个周期的离散化线性编码，使得[-2，-2]范围内的像素值，投影至周期T内，保证在离散T个离散时间周期内大多数像素产生脉冲。如图3所示，图片“0”的784个像素点在周期T内的激发脉冲次数，统计计算得出该图片的平均脉冲数为4.33。
1.2、具有自适应阀值的LIF模型，更新神经元的电势
1.2.1、神经元模型
LIF(leaky integrate-and-fire)模型由于细胞膜是不断进行膜内外离子的交换，所以当只有一次输入时，电压会自动发生泄漏逐渐回落到静息状态。对于LIF模型一般是认为先下降低于静息膜电位，再上升的静息电位处，而IF神经元一般是认为直接回落到静息状态处。LIF比IF更加接近真实的生物神经元，LIF模型把神经元等效为电容器(表示神经元细胞膜)和电阻器(表示离子通道)构成的RC电路，如图4所示。
图4中非常直观地描述了神经元的膜电位u和输入电流I之间的关系。其中膜电位u的变换过程由下面一阶微分方程描述：
Figure BDA0003366923980000051
变形可得标准的LIF微分模型：
Figure BDA0003366923980000052
ui(t)＝ureset,ui(t)≥uth
其中ui(t)表示t时刻神经元i的细胞膜电位，ureset表示静息膜电压，τmem＝RmCm是细胞膜时间常数，表示膜电位达到平衡时所需的时间。当细胞膜电位ui超过阈值uth时，神经元发放脉冲并且复位到ureset。
1.2.2、自适应阈值
在无监督学***，避免激活度高的图片模式总是获胜。每个模式的阈值是根据其包含的激活次数来计算的。激活次数越高，阈值越高；相应的，激活次数越低，阈值越低。
表1-不同数字图片的平均脉冲数
图片 平均脉冲数
“0” 4.33
“1” 2.667
“2” 5.667
“3” 4.667
“4” 5
“5” 4
“6” 5
“7” 3
“8” 4.667
“9” 4.33
在本申请中，每个图片的阈值都不相同，根据图片实时更新。如图7所示，考虑到很多零脉冲，脉冲数最大的值未超过10，切尾平均数法会将脉冲数降太低，故本申请的阈值的计算采用算数平均值法。针对图片计算每个时间步长所有像素的脉冲数，整个时间周期内累加，最后取算数平均值作为该图片的阀值。不同图片不同阈值，适应不同图片的不同激活度，避免过度激活。
1.3、STDP算法
脉冲时间依赖可塑性(spike-timing-dependent plasticity,STDP)是调节大脑中神经元之间的连接强度的生物学过程，该过程根据特定神经元输入脉冲的相对时序调整连接强度。其学习机制可以表达为：
Figure BDA0003366923980000061
tpost表示突触后神经元产生脉冲的时间，tpre表示突触前神经元产生脉冲的时间，表明了突触权重的变化由所有突触前神经元的脉冲发放时间和突触后的脉冲发放时间所影响，常规的STDP时间函数如下：
Figure BDA0003366923980000062
Figure BDA0003366923980000063
其中，Δt表示突触后神经元产生脉冲的时间，A+和A-代表权重调整的范围，τ+和τ-表示不同神经元模型的常量。由上述公式还可以看出，当突触后神经元在突触前神经元之前产生脉冲时，则减少两者之间的权重，反之如果突触后神经元在突触前神经元之后产生脉冲，则增加两者之间的权重。
本申请中针对数字“0”的图片，其STDP算法中参数取值如表2所示：
表2-STDP学习参数
t<sub>pre</sub> -20
t<sub>post</sub> 20
A<sub>+</sub> 0.8
A<sub>-</sub> 0.3
τ<sub>+</sub> 8
τ<sub>-</sub> 5
该参数下得出的STDP算法曲线图如图5所示。从图中看到当Δt＜0时，表示前神经元与后神经元之间构成因果联系，突触权重增量呈指数增大，且脉冲时间相隔越短说明联系越紧密，对应突触权重增加得越多；当Δt≥0时，则表示前后神经元之间存在逆因果联系，权重增量呈指数减小，且时间差越短对应权重减少得越多。
1.4、侧向抑制机制
为了使有兴奋的神经元更突出，本文提出了侧向抑制算法。侧向抑制层是让兴奋的神经元抑制同一神经网络层中的其他神经元，即减少其邻居神经元活动的能力，使得动作电位在横向方向上无法从兴奋的神经元扩散到邻近的神经元。首先，判别是否有神经元激发脉冲，有的情况下，对于邻居神经元权重减去侧向抑制衰减值(值为-0.06)，降低其权重。图6中画圆圈是兴奋的神经元促使邻居神经元侧向抑制，1处是加速邻居神经元权值衰减，2处是此处神经元权值已经最小，再衰减不满足STDP算法，故将其恢复至权值最小值。
2、实验验证与分析
本申请的实验环境为：Ubuntu19操作***，32G内存
Figure BDA0003366923980000071
CoreTM i5-5200U CPU2.20Hz，2张GTX 1080Ti显卡。采用Python2.7为环境搭建SNN模型，在MNIST数据集上进行了验证实验。实验所使用的网络参数如表3所示，重复实验取最终稳定后的测试集准确率结果的平均值作为模型的性能评价指标，同时记录训练集准确率以作参考。
表3-SNN模型的网络参数
参数 值
时间步长 200
积分时间 0.005
静息电压 0
阈值电压 可变
细胞膜时间常数 0.05
连接到输出层神经元的所有突触，如果按比例缩放到适当的值并以图像形式重新排列，将描述神经元已学习的模式以及如何区分该模式。在使用MNIST数据集训练网络后，缩放连接到输出层神经元的所有权重，将权重放大形成28*28的图像，获得一个灰度模式神经元，可以更加直观看到算法分类效果。
图7为不同图像的脉冲阈值比较图，图8是对应的权值重构图。图7中横线是阈值，图中的内容表示脉冲数，图7中的(a)和(b)是固定阈值的情况，(a)中阈值过高，导致没有脉冲数达到阈值，结果如图8中的(a)中所示成为噪声；图7的(b)中阈值过低，导致脉冲数过高，达到阈值脉冲过多，结果会像图8的(b)中所示数字轮廓都识别出来，但识别不出具体数字；图7中的(c)、(d)、(e)采用了可变阈值，不同图片不同阈值，避免像图7中的(a)、(b)这种脉冲数过高或过低的情况出现。其中图7中的(d)、(e)没有加侧向抑制算法，看到图8的(d)、(e)中出现数字重影，图7的(c)中采用侧向抑制算法，过阈值的脉冲数进一步减少，重影也减轻很多，参考图8的(c)，比图8中的(d)、(e)清楚更多。
传统的SNN模型由于是固定阈值，最后结果容易出现噪声或是重影问题。将阈值变成自适应阈值，可变阈值适应不同的图片，避免了超过阈值的脉冲数过多和过少，同时加入侧向抑制算法，能使得重影现象有很大改善。表4显示了六个对比实验的结果，结果表明相比于传统的基于全连接结构的SNN模型，具有自适应阈值的SNN模型的识别效果能够获得一定的提升；同时，融合侧向抑制算法的SNN模型在脑电识别任务中取得了与传统SNN网络模型相竞争的精度。
表4-不同算法分类准确率的比较图
网络模型 学习算法 分类准确率(％)
SNN 固定阈值STDP 88.5
SNN 自适应阈值STDP 95.4
SNN 自适应阈值的侧向抑制SNN 96.6
本申请基于离散化时域的调度方式大大简化了脉冲转换和权重学习过程：一方面通过TTFS编码将脉冲模式限定于T＝200内，相比于排序编码压缩率达到了200/256×100％＝78.125％；另一方面通过将脉冲序列间隔离散化，相比于经典的连续STDP算法复杂度由O(n2)降为O(1)，优化了权重更新的计算过程。同时本文通过在网络迭代过程中引入侧向抑制机制，进一步保证了脉冲传递的稀疏性和学习特征的特异性，降低了网络复杂度和训练计算量，此外自适应阈值的引入也使得模型能够在有限资源下抑制过拟合的出现，而无需借助于额外的动态学习率和随机失活等方案。综上可见，本文提出的模型能够在保证良好分类性能同时有效降低模型复杂度并大幅减少资源占用率，而且结构相对独立，泛化能力较强，与其它SNN模型相比更适合于高效率、低功耗的小型智能化硬件***的边缘计算方案实现。
其中，图1中的STDP层和侧向抑制层都在神经网络层中，参考图1中的第一个神经网络层(含有100个神经单元)。因为考虑到STDP层和侧向抑制层是对这100个神经单元共同作出作用，因此侧向抑制层对于邻居神经元权重减去侧向抑制衰减值后若小于STDP算法权重的最小值，还需将该神经元的权重回复到满足STDP算法的权重最小值。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种脉冲神经网络模型构建方法，其特征在于，包括以下步骤：
S1：脉冲编码层将图像的每个像素编码成脉冲信息，然后将脉冲信息传输给神经网络层的神经元中；
S2：神经网络层通过内部的STDP层和侧向抑制层更新神经元之间的连接权值；
S3：神经元将脉冲信息传输给分类层，分类层接收脉冲信息后对图像进行分类。
2.根据权利要求1所述的一种脉冲神经网络模型构建方法，其特征在于，步骤S1中，所述脉冲编码层将图像的每个像素编码成脉冲信息的具体实现方式为：
S1.1：脉冲编码层对图像依次进行归一化、将图像乘以对称卷积核的预处理；使图像模糊化为灰度图像；
S1.2：对灰度图像进行首脉冲时间编码。
3.根据权利要求2所述的一种脉冲神经网络模型构建方法，其特征在于，步骤S1.2中对灰度图像进行首脉冲时间编码时，初始脉冲发放时刻t需满足以下条件，并对t向下取整数：
Figure FDA0003366923970000011
式中，P为输入像素点对应的灰度值，Pmax为像素点的最大值，Pmin为像素点的最小值，T为单个输入图像的处理周期，L为神经网络层的层数。
4.根据权利要求3所述的一种脉冲神经网络模型构建方法，其特征在于，步骤S2中所述神经元为LIF神经元模型，且LIF神经元模型中的阈值uth根据识别的图片自适应修改计算。
5.根据权利要求4所述的一种脉冲神经网络模型构建方法，其特征在于，所述阈值uth自适应修改计算的方式为：
LIF神经元模型针对所识别图像，求得周期T内所有像素的脉冲数，然后除以时间步长求得阈值uth；
其中，时间步长为脉冲神经网络的网络参数。
6.根据权利要求1所述的一种脉冲神经网络模型构建方法，其特征在于，侧向抑制层用于识别神经网络层中已被激发兴奋的神经元，并将该神经元附近其他神经元的权值减去侧向抑制衰减值进行降低。
7.根据权利要求6所述的一种脉冲神经网络模型构建方法，其特征在于，所述侧向抑制衰减值为-0.06。
8.根据权利要求7所述的一种脉冲神经网络模型构建方法，其特征在于，当神经元权值减去侧向抑制衰减值后不满足STDP层的STDP算法时，将神经元权值恢复为满足STDP算法的最小值。
CN202111385322.9A 2021-11-22 2021-11-22 一种脉冲神经网络模型构建方法 Active CN114092763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111385322.9A CN114092763B (zh) 2021-11-22 2021-11-22 一种脉冲神经网络模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111385322.9A CN114092763B (zh) 2021-11-22 2021-11-22 一种脉冲神经网络模型构建方法

Publications (2)

Publication Number Publication Date
CN114092763A true CN114092763A (zh) 2022-02-25
CN114092763B CN114092763B (zh) 2023-08-25

Family

ID=80302668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111385322.9A Active CN114092763B (zh) 2021-11-22 2021-11-22 一种脉冲神经网络模型构建方法

Country Status (1)

Country Link
CN (1) CN114092763B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970829A (zh) * 2022-06-08 2022-08-30 中国电信股份有限公司 脉冲信号处理方法、装置、设备及存储

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092959B (zh) * 2017-04-07 2020-04-10 武汉大学 基于stdp非监督学习算法的脉冲神经网络模型构建方法
CN109635938B (zh) * 2018-12-29 2022-05-17 电子科技大学 一种自主学习脉冲神经网络权值量化方法
CN110119785B (zh) * 2019-05-17 2020-12-01 电子科技大学 一种基于多层spiking卷积神经网络的图像分类方法
CN110659666B (zh) * 2019-08-06 2022-05-13 广东工业大学 一种基于相互作用的多层脉冲神经网络的图像分类方法
CN110633741B (zh) * 2019-09-05 2022-09-09 河海大学常州校区 一种基于改进脉冲神经网络的时间序列分类方法
CN110826602B (zh) * 2019-10-23 2022-04-26 中国科学院自动化研究所 基于膜电位调控脉冲神经网络的图像分类方法、***
CN111858989B (zh) * 2020-06-09 2023-11-10 西安工程大学 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
CN113077017B (zh) * 2021-05-24 2022-12-13 河南大学 基于脉冲神经网络的合成孔径图像分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970829A (zh) * 2022-06-08 2022-08-30 中国电信股份有限公司 脉冲信号处理方法、装置、设备及存储
CN114970829B (zh) * 2022-06-08 2023-11-17 中国电信股份有限公司 脉冲信号处理方法、装置、设备及存储

Also Published As

Publication number Publication date
CN114092763B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
US11488009B2 (en) Deep learning-based splice site classification
CN113449864B (zh) 用于图像数据分类的反馈型脉冲神经网络模型训练方法
CN111858989B (zh) 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
Liang et al. Stacked denoising autoencoder and dropout together to prevent overfitting in deep neural network
CN109871940B (zh) 一种脉冲神经网络的多层训练算法
CN108665005B (zh) 一种利用dcgan提高基于cnn图像识别性能的方法
CN112633497A (zh) 一种基于重加权膜电压的卷积脉冲神经网络的训练方法
Shrestha et al. Stable spike-timing dependent plasticity rule for multilayer unsupervised and supervised learning
CN108304912B (zh) 一种运用抑制信号实现脉冲神经网络监督学习的***和方法
Fu et al. An ensemble unsupervised spiking neural network for objective recognition
US11423287B2 (en) Computer for spiking neural network with maximum aggregation
CN114926680B (zh) 一种基于AlexNet网络模型的恶意软件分类方法及***
CN114266351A (zh) 基于无监督学习时间编码的脉冲神经网络训练方法及***
CN114998659B (zh) 随时间在线训练脉冲神经网络模型的图像数据分类方法
CN114861838A (zh) 一种基于神经元复杂动力学的脉冲神经类脑智能分类方法
CN113222103A (zh) 神经网络的更新方法、分类方法和电子设备
CN114092763A (zh) 一种脉冲神经网络模型构建方法
Zhao et al. Dynamically optimizing network structure based on synaptic pruning in the brain
CN112232440A (zh) 一种运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法
CN116912568A (zh) 基于自适应类别均衡的含噪声标签图像识别方法
CN115346096A (zh) 一种基于忆阻器所构建的脉冲神经网络模型
Paudel et al. Resiliency of SNN on black-box adversarial attacks
Zheng et al. Image segmentation method based on spiking neural network with adaptive synaptic weights
Bai et al. Research and Implementation of Handwritten Numbers Recognition System Based on Neural Network and Tensorflow Framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant