CN111858989A - 一种基于注意力机制的脉冲卷积神经网络的图像分类方法 - Google Patents
一种基于注意力机制的脉冲卷积神经网络的图像分类方法 Download PDFInfo
- Publication number
- CN111858989A CN111858989A CN202010517660.2A CN202010517660A CN111858989A CN 111858989 A CN111858989 A CN 111858989A CN 202010517660 A CN202010517660 A CN 202010517660A CN 111858989 A CN111858989 A CN 111858989A
- Authority
- CN
- China
- Prior art keywords
- pulse
- neural network
- convolution neural
- layer
- pulse convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 25
- 230000007246 mechanism Effects 0.000 title claims abstract description 20
- 210000002569 neuron Anatomy 0.000 claims abstract description 37
- 238000003062 neural network model Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000012528 membrane Substances 0.000 claims description 19
- 230000001242 postsynaptic effect Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 15
- 230000000284 resting effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 230000036279 refractory period Effects 0.000 claims description 3
- 210000000225 synapse Anatomy 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000000946 synaptic effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000005215 presynaptic neuron Anatomy 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012421 spiking Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于注意力机制的脉冲卷积神经网络的图像分类方法，其特征在于，具体的步骤为：步骤1，下载数据集；步骤2，对数据集进行预处理，得到预处理数据集；步骤3，建立脉冲卷积神经网络模型，所述脉冲卷积神经网络模型采用漏积分点火神经元模型；步骤4，采用所述脉冲卷积神经网络模型对预处理数据集进行训练，得到训练好的脉冲卷积神经网络模型；步骤5，输入待分类的图片，采用训练好的脉冲卷积神经网络模型对待分类进行分类，得到分类结果。本发明解决了现有技术中存在的图片分类效果不好的问题。
Description
技术领域
本发明属于图像分类技术领域，涉及一种基于注意力机制的脉冲卷积神经网络的图像分类方法。
背景技术
视觉注意力机制是人类视觉所特有的大脑信号处理机制。大脑在进行视觉任务时，总是会优先获取认为有用的信息，而将次要的内容直接抛弃。注意力机制具有使神经网络只专注于选择特定的特征输入的能力。应用注意力机制，可以提高神经网络信息处理的效率和准确率。目前注意力机制在深度学习领域应用广泛且取得了不错的效果。
图像分类是计算机视觉领域的基本研究问题，对图像分类的研究具有广泛的应用价值。传统图像分类技术需要消耗大量时间来进行人工特征的提取，算法的效率低下。随着计算机计算能力的提升，GPU加速技术的发展，深度卷积神经网络在图像分类问题上取得了质的飞跃。但由于卷积神经网络深度和复杂度的不断提高，需要大量的计算成本和存储需求，导致卷积神经网络在处理图像问题上功耗往往比较高，阻碍了卷积神经网络在实际应用上的发展。虽然已有许多研究通过改进网络优化算法，提高了参数的寻优能力，但也无法在不丢失大量精度的前提下降低网络参数的复杂度。如何做到分类准确率高、低功耗且适用于硬件的人工神经网络，是目前图像分类所要解决的问题。
被称为第三代神经网络的脉冲神经网络是目前最具有生物解释性的人工神经网络，是类脑智能领域的核心组成部分。生物学研究表明，生物神经元实际上是以一种电脉冲的形式来进行信息交流的，生物能够快速的对外界刺激做出反应是因为生物神经网络的信息传递依赖于具体的脉冲时间。基于此，Maass提出了基于脉冲神经元的新型神经网络，即脉冲神经网络。从理论上来说，相比于传统神经网络，脉冲神经网络更加强大。现有的利用脉冲神经网络处理图像分类问题中，仅使用一层脉冲神经网络应用于图像，很难模拟大脑特性，很难得到更好的分类效果。
发明内容
本发明的目的是提供一种基于注意力机制的脉冲卷积神经网络的图像分类方法，解决了现有技术中存在的图片分类效果不好的问题。
本发明所采用的技术方案是，
一种基于注意力机制的脉冲卷积神经网络的图像分类方法，具体的步骤为：
步骤1，下载数据集；
步骤2，对数据集进行预处理，得到预处理数据集；
步骤3，建立脉冲卷积神经网络模型，所述脉冲卷积神经网络模型的拓扑结构为依次连接的输入层、高斯差分时序编码层、第一脉冲卷积注意力层、第一脉冲池化层、第二脉冲卷积注意力层、第二脉冲池化层、分类层；所述脉冲卷积神经网络模型采用漏积分点火神经元模型；
步骤4，采用所述脉冲卷积神经网络模型对预处理数据集进行训练，得到训练好的脉冲卷积神经网络模型；
步骤5，输入待分类的图片，采用训练好的脉冲卷积神经网络模型对待分类进行分类，得到分类结果。
本发明的特点还在于，
所述漏积分点火神经元模型中膜电位Vm(t)的变化过程由一个一阶微分方程描述，如公式(1)所示：
其中，Vm(t)表示神经元的膜电位，Vrest是静息电位，时间常数τm是膜电阻Rm和膜电容Cm的乘积，I(t)是突触后神经元的输入电流；当突触后膜电位Vm(t)超过阈值电位Vthres时，突触后神经元发放脉冲，膜电位恢复至静息电位，之后神经元进入不应期，不会再产生脉冲。
所述预处理的具体方法为：将数据集中的所有图片统一转化为28×28的灰度图片格式后再转化为张量格式，所述张量形式为T×C×H×W，分别对应于时间步长，通道数，图像的高度和宽度；所述输入层神经元的个数为28×28。
所述高斯差分时序编码层，采用高斯差分滤波器与图像卷积提取边缘特征，之后对边缘特征进行归一化处理，将归一化处理的结果编码为脉冲时间序列。
所述第一脉冲卷积注意力层和第二脉冲卷积注意力层均采用突触后膜电位进行脉冲的激活，同时应用卷积注意力机制，提取更高维度的特征。
所述第一脉冲池化层和第二脉冲池化层均采用最大池化操作。
所述分类层采用支持向量机进行分类。
在所述第一脉冲卷积注意力层和第二脉冲卷积注意力层突触上采用STDP学习规则进行网络权重的学习和更新。
本发明的有益效果是
一、本发明充分融合了脉冲神经网络和卷积神经网络的优势，所设计的脉冲卷积神经网络模型具有训练和识别速度快，节约了大量的计算成本，且网络分类效果很好。
二、本发明的网络结构中加入了轻量级的注意力机制模块，不仅提高了网络的计算性能和分类效果，而且更好模拟了大脑视觉特性。
三、本发明使用漏积分点火神经元模拟生物神经元，采用STDP学习算法学习多层脉冲神经网络的权值，本发明采用的脉冲神经元模型和学习方法更符合生物神经元特性。
附图说明
图1是本发明一种基于注意力机制的脉冲卷积神经网络的图像分类方法的流程图；
图2是本发明一种基于注意力机制的脉冲卷积神经网络的图像分类方法的网络结构图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
发明一种基于注意力机制的脉冲卷积神经网络的图像分类方法，如图1和图2，具体的步骤为：
步骤1，下载数据集；
步骤2，对数据集进行预处理，得到预处理数据集；
步骤3，建立脉冲卷积神经网络模型，所述脉冲卷积神经网络模型的拓扑结构为依次连接的输入层、高斯差分时序编码层、第一脉冲卷积注意力层、第一脉冲池化层、第二脉冲卷积注意力层、第二脉冲池化层、分类层；
所述脉冲卷积神经网络模型采用漏积分点火神经元模型，其膜电位Vm(t)的变化过程由一个一阶微分方程描述，如公式(1)所示：
其中，Vm(t)表示神经元的膜电位，Vrest是静息电位，时间常数τm是膜电阻Rm和膜电容Cm的乘积，I(t)是突触后神经元的输入电流；当突触后膜电位Vm(t)超过阈值电位Vthres时，突触后神经元发放脉冲，膜电位恢复至静息电位，之后神经元进入不应期，不会再产生脉冲。
步骤4，采用所述脉冲卷积神经网络模型对预处理数据集进行训练，得到训练好的脉冲卷积神经网络模型。
步骤5，输入待分类的图片，采用训练好的脉冲卷积神经网络模型对待分类进行分类，得到分类结果。
步骤2中，预处理方法为：将数据集中的所有图片统一转化为28×28的灰度图片格式后再转化为张量格式，因脉冲神经元的激活与脉冲发放的时间有关以及本发法采用Pytorch来构建网络模型，故增加了时间概念，张量格式将作为脉冲卷积神经网络模型的输入，其中张量形式为T×C×H×W，分别表示时间步长、通道数、图像的高度和宽度。
高斯差分时序编码层采用高斯差分滤波器与图像卷积提取边缘特征，之后对边缘特征进行归一化处理，将归一化处理的结果编码为脉冲时间序列，具体的步骤为：
步骤2.1.1，输入为28×28的灰度图；采用两个二维高斯函数作差得到两个高斯差分滤波器，使用高斯差分滤波器与输入的灰度图卷积得到边缘特征，高斯差分滤波器的构造过程如公式(2)～公式(4)所示：
DoG(x,y,σ1,σ2)＝G1(x,y,σ1)-G2(x,y,σ2) (2)
其中DoG是构造好的高斯差分滤波器，G1是第一个二维高斯函数，G2是第二个二维高斯函数，σ1和σ2分别表示相应高斯函数的标准差。
步骤2.1.2，局部归一化，记高斯差分滤波器与灰度图卷积的结果为F，设定F的半径为r，采用二维卷积法计算得到F的局部域均值means，其中F的局部域大小为(2r+1)×(2r+1)，二维卷积核模板kernel的大小也为(2r+1)×(2r+1)，kernel中的值为
其中input为F局部域中的像素值，最后对F的局部归一化结果为
步骤2.1.3，将步骤2.1.2的结果记为local_norm,将local_norm编码为脉冲时序：首先统计local_norm中不为0的像素值的个数nonzero_cnt，总的时间步长记为timesteps，得到单位时间步长不为0的像素值个数
将local_norm按行重构，得到一维序列，在对一维序列降序排序，然后按单位时间步长不为0的像素值个数分割排序后的序列，得到排序后的像素值和索引，之后在每个时间步长上将排序后的像素值和索引在时间维度上填充，得到四维张量像素值，取像素值的符号作为编码脉冲，得到脉冲时间序列。
第一脉冲卷积注意力层和第二脉冲卷积注意力层将脉冲时间序列激活并应用于卷积注意力机制，提取更高维度的特征；
第一脉冲卷积注意力层和第二脉冲卷积注意力层的输入为均为脉冲时间序列，一个脉冲卷积运算由公式(5)表示。
其中，Ti表示神经元i的放电时间序列集合，wij表示突触前神经元j和突触后神经元i的突触权重，uij表示神经元i的突触后膜电位，
表示神经元j在f时刻的放电时间，v为阈值电位，本文设置静息电位为0。整个公式表示的是对突触后电位的加权和，当突触后电位的加权和超过阈值电位时，就会在时间t产生一个脉冲，之后回到静息电位。
在第一脉冲卷积注意力层和第二脉冲卷积注意力层采用突触后膜电位函数uij来进行脉冲放电激活，由式(6)表示：
其中，H(*)是赫维赛德阶跃函数，q是注入突触后神经元i的总电荷，
表示神经元j在f时刻的放电时间，τs是突触电流时间延迟常数。
第一脉冲卷积注意力层和第二脉冲卷积注意力层突触上执行STDP学习规则进行网络权重的学习和更新。
STDP学习规则为：当突触前神经元在突触后神经元之前发放脉冲，则两个神经元之间的突触连接增强，否则，两个神经元之间的突触连接减弱。据此计算出突触权值变化如公式(7)所示Δij：
其中，a+和a-分别对应突触连接增强和突触连接减弱的学习率，Wij是突触前神经元j和突触后神经元i的突触连接权值，tj和ti分别表示相应的脉冲发放时间。
第一脉冲池化层和第二脉冲池化层采用最大池化操作，脉冲激活也是基于突触后电位的。
分类层采用支持向量机来进行特征的分类。
实施例1
执行步骤1，采用MNIST数据集作为数据集；
MNIST数据集来自美国国家标准与技术研究所(NIST)。训练集由来自250个不同人手写的数字构成，其中50％是高中学生，50％来自人口普查局的工作人员。测试集也是同样比例的手写数字数据.MNIST数据集对0到9这10个数字进行分类识别的，训练集包含60000张图片，测试集包含10000张图片。
执行步骤2～4：
高斯差分时序编码层中，σ1和σ2分别为1和2，本实施例中高斯核窗口大小为7，即x和y的取值范围为[-3,3]，
其中二维卷积核模板kernel的大小设置为17×17；
第一脉冲卷积注意力层和第二脉冲卷积注意力层中，初始随机权重均服从均值为0.8，标准差为0.05的正态分布，网络的学习率a+和a-分别设为0.004和-0.003；
网络采用分层迭代的方式来训练，第一脉冲卷积注意力层和第二脉冲卷积注意力层的迭代次数分别设置为2和20；
网络分类层中支持向量机的惩罚参数设置为2.4。
执行步骤5，将测试集中所有图片作为待分类的图片，得出分类结果，如表1为本实施例中每个类别的分类准确率表，本发明方法除了对类别“3”和“8”的分类准确率在97％以外，其他8种类别的分类准确率均在98％以上，特别是对类别“1”和“4”以及“6”的分类准确率均达到了99％以上，通过计算可以得到，本发明方法在MNIST测试集上的平均分类准确率为98.42％。这充分表明了本发明方法的有效性。
表1本发明方法在MNIST数据集中每个类别的分类准确率。
Claims (8)
1.一种基于注意力机制的脉冲卷积神经网络的图像分类方法，其特征在于，具体的步骤为：
步骤1，下载数据集；
步骤2，对数据集进行预处理，得到预处理数据集；
步骤3，建立脉冲卷积神经网络模型，所述脉冲卷积神经网络模型的拓扑结构为依次连接的输入层、高斯差分时序编码层、第一脉冲卷积注意力层、第一脉冲池化层、第二脉冲卷积注意力层、第二脉冲池化层、分类层；所述脉冲卷积神经网络模型采用漏积分点火神经元模型；
步骤4，采用所述脉冲卷积神经网络模型对预处理数据集进行训练，得到训练好的脉冲卷积神经网络模型；
步骤5，输入待分类的图片，采用训练好的脉冲卷积神经网络模型对待分类进行分类，得到分类结果。
2.如权利要求1所述的一种基于注意力机制的脉冲卷积神经网络的图像分类方法，其特征在于，所述漏积分点火神经元模型中膜电位Vm(t)的变化过程由一个一阶微分方程描述，如公式(1)所示：
其中，Vm(t)表示神经元的膜电位，VrestVrest是静息电位，时间常数τm是膜电阻Rm和膜电容Cm的乘积，I(t)是突触后神经元的输入电流；当突触后膜电位Vm(t)超过阈值电位Vthres时，突触后神经元发放脉冲，膜电位恢复至静息电位，之后神经元进入不应期，不会再产生脉冲。
3.如权利要求1所述的一种基于注意力机制的脉冲卷积神经网络的图像分类方法，其特征在于，所述预处理的具体方法为：将数据集中的所有图片统一转化为28×28的灰度图片格式后再转化为张量格式，所述张量形式为T×C×H×W，分别对应于时间步长，通道数，图像的高度和宽度；所述输入层神经元的个数为28×28。
4.如权利要求1所述的一种基于注意力机制的脉冲卷积神经网络的图像分类方法，其特征在于，所述高斯差分时序编码层，采用高斯差分滤波器与图像卷积提取边缘特征，之后对其进行归一化处理，将其编码为脉冲时间序列。
5.如权利要求1所述的一种基于注意力机制的脉冲卷积神经网络的图像分类方法，其特征在于，所述第一脉冲卷积注意力层和第二脉冲卷积注意力层均采用突触后膜电位进行脉冲的激活，同时应用卷积注意力机制，提取更高维度的特征。
6.如权利要求1所述的一种基于注意力机制的脉冲卷积神经网络的图像分类方法，其特征在于，所述第一脉冲池化层和第二脉冲池化层均采用最大池化操作。
7.如权利要求1所述的一种基于注意力机制的脉冲卷积神经网络的图像分类方法，其特征在于，所述分类层采用支持向量机进行分类。
8.如权利要求1所述的一种基于注意力机制的脉冲卷积神经网络的图像分类方法，其特征在于，在所述第一脉冲卷积注意力层和第二脉冲卷积注意力层突触上采用STDP学习规则进行网络权重的学习和更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010517660.2A CN111858989B (zh) | 2020-06-09 | 2020-06-09 | 一种基于注意力机制的脉冲卷积神经网络的图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010517660.2A CN111858989B (zh) | 2020-06-09 | 2020-06-09 | 一种基于注意力机制的脉冲卷积神经网络的图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111858989A true CN111858989A (zh) | 2020-10-30 |
| CN111858989B CN111858989B (zh) | 2023-11-10 |
Family
ID=72987333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010517660.2A Active CN111858989B (zh) | 2020-06-09 | 2020-06-09 | 一种基于注意力机制的脉冲卷积神经网络的图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111858989B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112904301A (zh) * | 2021-04-08 | 2021-06-04 | 周士博 | 一种基于脉冲卷积神经网络的激光雷达时域数据处理方法 |
| CN112907607A (zh) * | 2021-03-15 | 2021-06-04 | 德鲁动力科技(成都)有限公司 | 基于差分注意力的深度学习、目标检测及语义分割方法 |
| CN113033795A (zh) * | 2021-03-29 | 2021-06-25 | 重庆大学 | 基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器 |
| CN113077017A (zh) * | 2021-05-24 | 2021-07-06 | 河南大学 | 基于脉冲神经网络的合成孔径图像分类方法 |
| CN113095492A (zh) * | 2021-04-14 | 2021-07-09 | 北京大学 | 一种基于生物神经网络的拓扑特征检测方法及装置 |
| CN113111758A (zh) * | 2021-04-06 | 2021-07-13 | 中山大学 | 一种基于脉冲神经网络的sar图像舰船目标识别方法 |
| CN113408611A (zh) * | 2021-06-18 | 2021-09-17 | 电子科技大学 | 一种基于延迟机制的多层图像分类方法 |
| CN113962371A (zh) * | 2021-12-23 | 2022-01-21 | 中科南京智能技术研究院 | 一种基于类脑计算平台的图像识别方法及*** |
| CN114202068A (zh) * | 2022-02-17 | 2022-03-18 | 浙江大学 | 面向类脑计算芯片的自学习实现*** |
| CN114692681A (zh) * | 2022-03-18 | 2022-07-01 | 电子科技大学 | 基于scnn的分布式光纤振动及声波传感信号识别方法 |
| CN115393316A (zh) * | 2022-08-24 | 2022-11-25 | 维都利阀门有限公司 | 具有冲蚀状态监测***的闪蒸阀及其监测方法 |
| CN114092763B (zh) * | 2021-11-22 | 2023-08-25 | 南京铁道职业技术学院 | 一种脉冲神经网络模型构建方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194426A (zh) * | 2017-05-23 | 2017-09-22 | 电子科技大学 | 一种基于Spiking神经网络的图像识别方法 |
| WO2018153128A1 (zh) * | 2017-02-21 | 2018-08-30 | 京东方科技集团股份有限公司 | 卷积神经网络和用于其的处理方法、装置、***、介质 |
| CN108985252A (zh) * | 2018-07-27 | 2018-12-11 | 陕西师范大学 | 改进的脉冲深度神经网络的图像分类方法 |
| CN109753900A (zh) * | 2018-12-21 | 2019-05-14 | 西安科技大学 | 一种基于cnn/lstm的盲人辅助视觉*** |
| CN110322010A (zh) * | 2019-07-02 | 2019-10-11 | 深圳忆海原识科技有限公司 | 用于类脑智能与认知计算的脉冲神经网络运算***及方法 |
| CN110555523A (zh) * | 2019-07-23 | 2019-12-10 | 中建三局智能技术有限公司 | 一种基于脉冲神经网络的短程跟踪方法及*** |
| CN110688951A (zh) * | 2019-09-26 | 2020-01-14 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110837776A (zh) * | 2019-10-09 | 2020-02-25 | 广东工业大学 | 一种基于stdp的脉冲神经网络手写汉字识别方法 |
-
2020
- 2020-06-09 CN CN202010517660.2A patent/CN111858989B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018153128A1 (zh) * | 2017-02-21 | 2018-08-30 | 京东方科技集团股份有限公司 | 卷积神经网络和用于其的处理方法、装置、***、介质 |
| CN107194426A (zh) * | 2017-05-23 | 2017-09-22 | 电子科技大学 | 一种基于Spiking神经网络的图像识别方法 |
| CN108985252A (zh) * | 2018-07-27 | 2018-12-11 | 陕西师范大学 | 改进的脉冲深度神经网络的图像分类方法 |
| CN109753900A (zh) * | 2018-12-21 | 2019-05-14 | 西安科技大学 | 一种基于cnn/lstm的盲人辅助视觉*** |
| CN110322010A (zh) * | 2019-07-02 | 2019-10-11 | 深圳忆海原识科技有限公司 | 用于类脑智能与认知计算的脉冲神经网络运算***及方法 |
| CN110555523A (zh) * | 2019-07-23 | 2019-12-10 | 中建三局智能技术有限公司 | 一种基于脉冲神经网络的短程跟踪方法及*** |
| CN110688951A (zh) * | 2019-09-26 | 2020-01-14 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110837776A (zh) * | 2019-10-09 | 2020-02-25 | 广东工业大学 | 一种基于stdp的脉冲神经网络手写汉字识别方法 |
Non-Patent Citations (6)
| Title |
|---|
| XIANGWEN WANG 等: "Supervised learning in spiking neural networks: A review of algorithms and evaluations", NEURAL NETWORKS, pages 258 - 280 * |
| 张军军: "基于注意力机制卷积脉冲神经网络的目标识别方法", 计算机与数字工程, pages 1959 - 1961 * |
| 徐频捷 等: "基于脉冲神经网络与移动GPU计算的图像分类算法研究与实现", 《计算机工程与科学》, pages 379 - 403 * |
| 易全政: "基于脉冲神经网络的目标跟踪技术研究", 信息科技, pages 1 - 75 * |
| 赖策 等: "基于卷积脉冲神经网络的图像分类算法仿真", 《信息技术与信息化》, pages 143 - 145 * |
| 赖策 等: "基于卷积脉冲神经网络的图像分类算法仿真", 信息技术与信息化, no. 04, pages 143 - 145 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907607A (zh) * | 2021-03-15 | 2021-06-04 | 德鲁动力科技(成都)有限公司 | 基于差分注意力的深度学习、目标检测及语义分割方法 |
| CN113033795B (zh) * | 2021-03-29 | 2022-10-14 | 重庆大学 | 基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器 |
| CN113033795A (zh) * | 2021-03-29 | 2021-06-25 | 重庆大学 | 基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器 |
| CN113111758B (zh) * | 2021-04-06 | 2024-01-12 | 中山大学 | 一种基于脉冲神经网络的sar图像舰船目标识别方法 |
| CN113111758A (zh) * | 2021-04-06 | 2021-07-13 | 中山大学 | 一种基于脉冲神经网络的sar图像舰船目标识别方法 |
| CN112904301A (zh) * | 2021-04-08 | 2021-06-04 | 周士博 | 一种基于脉冲卷积神经网络的激光雷达时域数据处理方法 |
| CN113095492B (zh) * | 2021-04-14 | 2023-04-18 | 北京大学 | 一种基于生物神经网络的拓扑特征检测方法及装置 |
| CN113095492A (zh) * | 2021-04-14 | 2021-07-09 | 北京大学 | 一种基于生物神经网络的拓扑特征检测方法及装置 |
| CN113077017A (zh) * | 2021-05-24 | 2021-07-06 | 河南大学 | 基于脉冲神经网络的合成孔径图像分类方法 |
| CN113408611A (zh) * | 2021-06-18 | 2021-09-17 | 电子科技大学 | 一种基于延迟机制的多层图像分类方法 |
| CN113408611B (zh) * | 2021-06-18 | 2022-05-10 | 电子科技大学 | 一种基于延迟机制的多层图像分类方法 |
| CN114092763B (zh) * | 2021-11-22 | 2023-08-25 | 南京铁道职业技术学院 | 一种脉冲神经网络模型构建方法 |
| CN113962371B (zh) * | 2021-12-23 | 2022-05-20 | 中科南京智能技术研究院 | 一种基于类脑计算平台的图像识别方法及*** |
| CN113962371A (zh) * | 2021-12-23 | 2022-01-21 | 中科南京智能技术研究院 | 一种基于类脑计算平台的图像识别方法及*** |
| CN114202068B (zh) * | 2022-02-17 | 2022-06-28 | 浙江大学 | 面向类脑计算芯片的自学习实现*** |
| CN114202068A (zh) * | 2022-02-17 | 2022-03-18 | 浙江大学 | 面向类脑计算芯片的自学习实现*** |
| CN114692681A (zh) * | 2022-03-18 | 2022-07-01 | 电子科技大学 | 基于scnn的分布式光纤振动及声波传感信号识别方法 |
| CN114692681B (zh) * | 2022-03-18 | 2023-08-15 | 电子科技大学 | 基于scnn的分布式光纤振动及声波传感信号识别方法 |
| CN115393316A (zh) * | 2022-08-24 | 2022-11-25 | 维都利阀门有限公司 | 具有冲蚀状态监测***的闪蒸阀及其监测方法 |
| CN115393316B (zh) * | 2022-08-24 | 2023-06-09 | 维都利阀门有限公司 | 具有冲蚀状态监测***的闪蒸阀及其监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111858989B (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111858989A (zh) | 一种基于注意力机制的脉冲卷积神经网络的图像分类方法 | |
| CN112633497B (zh) | 一种基于重加权膜电压的卷积脉冲神经网络的训练方法 | |
| CN107092959B (zh) | 基于stdp非监督学习算法的脉冲神经网络模型构建方法 | |
| CN109829541A (zh) | 基于学习自动机的深度神经网络增量式训练方法及*** | |
| Shrestha et al. | Stable spike-timing dependent plasticity rule for multilayer unsupervised and supervised learning | |
| CN110321361B (zh) | 基于改进的lstm神经网络模型的试题推荐判定方法 | |
| CN107526785A (zh) | 文本分类方法及装置 | |
| Zhang et al. | Fast and robust learning in spiking feed-forward neural networks based on intrinsic plasticity mechanism | |
| CN111639754A (zh) | 一种神经网络的构建、训练、识别方法和***、存储介质 | |
| CN108985252B (zh) | 改进的脉冲深度神经网络的图像分类方法 | |
| CN103729459A (zh) | 一种构建情感分类模型的方法 | |
| CN111612136B (zh) | 一种神经形态视觉目标分类方法及*** | |
| CN104850837B (zh) | 手写文字的识别方法 | |
| Fu et al. | An ensemble unsupervised spiking neural network for objective recognition | |
| CN108304912B (zh) | 一种运用抑制信号实现脉冲神经网络监督学习的***和方法 | |
| CN106980830A (zh) | 一种基于深度卷积网络自亲缘关系识别方法与装置 | |
| CN114186672A (zh) | 一种用于脉冲神经网络的高效高精度训练算法 | |
| Shi et al. | A curiosity-based learning method for spiking neural networks | |
| CN114266351A (zh) | 基于无监督学习时间编码的脉冲神经网络训练方法及*** | |
| Fatahi et al. | Towards an spiking deep belief network for face recognition application | |
| CN111598252A (zh) | 基于深度学习的大学计算机基础知识解题方法 | |
| CN111144500A (zh) | 基于解析高斯机制的差分隐私深度学习分类方法 | |
| Harikrishnan et al. | Handwritten digit recognition with feed-forward multi-layer perceptron and convolutional neural network architectures | |
| Hu et al. | The principle and application of deep learning algorithm | |
| Lv et al. | Deep learning development review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |