CN112784976A - 一种基于脉冲神经网络的图像识别***及方法 - Google Patents
一种基于脉冲神经网络的图像识别***及方法 Download PDFInfo
- Publication number
- CN112784976A CN112784976A CN202110053641.3A CN202110053641A CN112784976A CN 112784976 A CN112784976 A CN 112784976A CN 202110053641 A CN202110053641 A CN 202110053641A CN 112784976 A CN112784976 A CN 112784976A
- Authority
- CN
- China
- Prior art keywords
- pulse
- neuron
- module
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000000946 synaptic effect Effects 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 38
- 230000007246 mechanism Effects 0.000 claims abstract description 28
- 238000012421 spiking Methods 0.000 claims abstract description 13
- 210000002569 neuron Anatomy 0.000 claims description 169
- 239000012528 membrane Substances 0.000 claims description 40
- 210000004205 output neuron Anatomy 0.000 claims description 28
- 210000005215 presynaptic neuron Anatomy 0.000 claims description 17
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 15
- 230000001242 postsynaptic effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000010365 information processing Effects 0.000 claims description 13
- 230000000284 resting effect Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000002964 excitative effect Effects 0.000 claims description 7
- 230000002401 inhibitory effect Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 5
- 230000002490 cerebral effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000002860 competitive effect Effects 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims description 2
- 230000008685 targeting Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000036279 refractory period Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007321 biological mechanism Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011664 nicotinic acid Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003518 presynaptic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于脉冲神经网络的图像识别***及方法，***包括上位机、片外存储、总控制模块、输入编码模块、LIF神经元模块、脉冲时间信息处理模块、TSTDP模块和全投票模块。方法包括：训练阶段：训练脉冲神经网络的输入层和隐藏层、隐藏层和隐藏层、隐藏层和输出层之间的突触权重；对标阶段：训练脉冲神经网络的输出层和全投票分类层之间的突触权重；识别阶段：输出层采用全投票机制给全投票分类层投票，进行图像识别。本发明提出一种减少信息丢失的全投票输出解码机制，有效改善传统投票机制给脉冲神经网络带来的输出解码信息丢失的问题。本发明可广泛应用于人工神经网络和数字电路设计技术领域。
Description
技术领域
本发明涉及人工神经网络和数字电路设计技术领域，尤其涉及一种基于脉冲神经网络的图像识别***及方法。
背景技术
近年来，人工智能已经触及人们生活的方方面面，在图像识别、语音识别、目标检测等方面都取得了佳绩，也因此受到了研究者们的广泛关注。然而，传统的第一、二代人工神经网络仅是从物理结构上抽象简化地模拟生物大脑的结构，与大脑处理信息的生物机制并不完全吻合。传统的人工神经网络更偏向从计算科学的视角来提高神经网络的性能，通过增加网络深度来提升网络提取特征的能力，这不可避免地使得神经网络的参数和神经网络的运算量呈数量级增长，给神经网络处理器的性能带来了极大的挑战。
脉冲神经网络作为第三代人工神经网络，更具有生物仿生性，不仅从生物科学的视角来模拟生物大脑的物理结构，还模拟了大脑神经元处理脉冲序列的生物机制，将时间维度引入到脉冲信息处理当中，被纳入到类脑计算领域。脉冲神经网络利用离散的脉冲序列来编码信息，该特性决定了脉冲神经网络网络无需进行复杂的矩阵乘法运算，因此相比传统的人工神经网络，脉冲神经网络具有低资源开销和低功耗的特点。
基于频率编码的脉冲神经网络通常采用投票机制进行输出解码，而传统的投票机制是每个输出神经元只会和一个分类神经元进行连接，在识别阶段每个输出神经元只会给它所对应的某一个类别的分类神经元发射脉冲，作为它对待识别图像的类别投票。最终，获得票数最多的分类神经元所对应的类别，即为脉冲神经网络的识别结果。传统投票机制的关键在于确定输出神经元和分类神经元的连接关系，其连接关系的确定，是根据在训练阶段输出神经元对所有训练样本的图像类别的响应，响应最高的图像类别会分配给该输出神经元，即该类别对应的分类神经元会与该输出神经元进行连接。然而，传统的投票机制存在解码信息丢失的弊端，因为输出神经元可能会对某几个图像类别都会产生强烈的响应，而不是只对某一个图像类别做出响应。因此，需要考虑更符合生物大脑工作机制的输出解码方式，而非人为地根据输出神经元对训练样本的图像类别的最高响应，来确定输出神经元和分类神经元的连接关系。
目前脉冲神经网络的实现更多的是基于高度可编程性的软件平台，其处理器架构并不能很好地发挥出脉冲神经网络大规模并行性的特点，以至于软件平台处理速度缓慢，功耗成本高。而专用集成电路虽具有高性能、低功耗的优势，但其灵活性弱、开发周期长的缺点并不利于脉冲神经网络的研究。因此，设计一个可充分利用并行性和灵活配置网络参数的硬件***能有效推动脉冲神经网络的研究和应用。
脉冲神经网络仿生性的实现需要涉及大量复杂的微分、指数等运算，更偏向适合生物科学领域的研究，而在图像识别等具体实际应用上会给硬件平台增加过多的额外开销。因此结合生物科学和计算科学的视角，在硬件***上对脉冲神经网络模型进行优化，对脉冲神经网络的应用前景显得非常重要。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于脉冲神经网络的图像识别***及方法。
本发明所采用的技术方案是：
一种基于脉冲神经网络的图像识别***，包括：
上位机，用于控制图像识别***的工作状态，统计图像识别***的图像识别准确率，并显示最终的识别结果；
片外存储，用于存储图像像素、对标数据集标签以及图像识别***图像识别的结果；
总控制模块，用于负责图像识别***的控制管理；
输入编码模块，用于根据输入图像的像素值，进行频率编码转换，像素值越高的像素对应越高的脉冲发射频率；
LIF神经元模块，用于负责拟合生物大脑神经元，采用电导型LIF神经元，实现电导型LIF神经元膜电位更新；
脉冲时间信息处理模块，用于负责在每个时间戳下对脉冲序列的时间信息进行更新，对脉冲神经网络的无监督学习；
TSTDP模块，基于根据突触前神经元和突触后神经元发射脉冲的时间差，以及TSTDP方法来计算突触权重的变化值，完成脉冲神经网络无监督学习；
全投票模块，用于负责脉冲神经网络输出脉冲序列的解码。
进一步，所述脉冲神经网络包括输入层、隐藏层、输出层及全投票分类层；
所述输入层的神经元由输入的二维图像各像素点组成，各像素点会在输入层通过频率编码转换成脉冲序列，将输入脉冲发射到隐藏层；输入层对应的区域会作为隐藏层神经元的视野域；
所述隐藏层的神经元和对应的视野域的连接具有各自独立的突触权重，且同一个视野域内的隐藏层神经元属于竞争关系；
所述输出层由最后一层隐藏层的神经元组成，且分别与每个分类神经元全连接；
所述全投票分类层由分类神经元组成，通过全投票输出解码机制，对网络产生的脉冲序列进行解析，得到网络图像识别的结果。
进一步，所述上位机用于根据总控制模块发送来的标志位信号，控制脉冲神经网络读取片外存储中的图像像素；及
通过握手信号读取图像识别***的工作状态，待图像识别***完成一张输入图像的处理后，控制图像识别***读取片外存储的下一张图像的像素，完成输入图像的更新；待图像识别***处理***完成任务后，总控制模块会发送任务完成的标志位信号，上位机开始读取图像识别***图像识别的最终结果，将识别结果和实际待识别图像的类别进行比较，统计图像识别***的图像识别准确率。
进一步，所述总控制模块根据训练、对标、识别三个阶段来对图像识别***的活动进行调整，采用时间驱动的方式，根据时间戳计数器来向上位机发送标志位信号进行信息交互，以及向LIF神经元模块和TSTDP模块发送状态更新信号，并根据网络参数配置对神经元进行分时复用。
进一步，所述LIF神经元模块采用以下公式实现电导型LIF神经元膜电位更新：
其中，V为神经元膜电位；Ereset为神经元静息电位；ge为兴奋性突触电导；Eexc为兴奋性突触电压；gi为抑制性突触电导；Einh为抑制性突触电压；τ为时间常数；dt为时间步长。
进一步，所述TSTDP模块采用以下公式实现无监督训练：
w→w+A+*pre*post2,if t＝tpost,(LTP)
w→w-A-*post1,if t＝tpre,(LTD)
其中，w为突触权重；pre为突触前神经元发射脉冲的状态轨迹；post1和post2为突触后神经元发射脉冲的不同状态轨迹；当TSTDP模块检测到突触前神经元发射脉冲，即tpre时刻，触发LTD运算；当TSTDP模块检测到突触后神经元发射脉冲，即tpost时刻，触发LTP运算。
本发明所采用的另一技术方案是：
一种基于脉冲神经网络的图像识别方法，包括以下步骤：
训练阶段：训练脉冲神经网络的输入层和隐藏层、隐藏层和隐藏层、隐藏层和输出层之间的突触权重；
对标阶段：训练脉冲神经网络的输出层和全投票分类层之间的突触权重；
识别阶段：输出层采用全投票机制给全投票分类层投票，进行图像识别。
进一步，所述训练阶段，包括以下步骤：
总控制模块会将图像识别***设置成训练模式；
上位机接收到总控制模块发来的使能信号，将片外存储中的输入图像发送到图像识别***上；
输入编码模块将图像的像素转换成脉冲发射的频率，输入到脉冲时间信息处理模块；
TSTDP模块若接收到突触前神经元的脉冲信号，读取突触后脉冲时间信息模块，根据TSTDP算法对突触权重进行更新数值；
LIF神经元模块根据接收到的脉冲信号来调整膜电压，若膜电压达到阈值，向下一层神经元释放脉冲，并将膜电压恢复到静息电位；
重复以上步骤，直到总控制模块中的时间戳计数器达到默认值。
进一步，所述对标阶段，包括以下步骤：
总控制模块会将图像识别***设置成对标模式；
上位机接收到总控制模块发来的使能信号，将片外存储中的输入图像和输入图像的标签发送到图像识别***上；
输入编码模块将图像的像素转换成脉冲发射的频率，输入到脉冲时间信息处理模块；
LIF神经元模块根据接收到的脉冲信号来调整膜电压，若膜电压达到阈值，会向下一层神经元释放脉冲，并将膜电压恢复到静息电位；
全投票模块读取输入图像的标签，并将标签对应的分类神经元和输出层神经元进行连接；
分类神经元和输出层神经元的突触权重在对标阶段之前会设置成0，输出层神经元每发射一个脉冲，输入图像所属类别对应的分类神经元和该输出层神经元之间的权重会依次加1；
重复以上步骤，直到总控制模块中的时间戳计数器达到默认值，并对分类神经元和输出神经元之间的权重进行归一化，对权重数值进行非线性转换，权重数值控制在0至1之间。
进一步，所述识别阶段，包括以下步骤：
总控制模块会将图像识别***设置成识别模式；
上位机接收到总控制模块发来的使能信号，将片外存储中的输入待识别图像发送到图像识别***上；
输入编码模块将图像的像素转换成脉冲发射的频率，输入到脉冲时间信息处理模块；
LIF神经元模块根据接收到的脉冲信号来调整膜电压，若膜电压达到阈值，会向下一层神经元释放脉冲，并将膜电压恢复到静息电位；
全投票模块将输出神经元和分类神经元全连接，输出神经元释放的脉冲会发送到所有分类神经元，同时全投票模块会记录每个分类神经元接收到的脉冲数量，并进行相互比较，脉冲数量最多的分类神经元对应的图像类别即为识别结果；待识别结果写入片外存储后，分类神经元接收到的脉冲数量清零复位；
重复以上步骤，直到总控制模块中的时间戳计数器达到默认值。
本发明的有益效果是：本发明提出一种减少信息丢失的全投票输出解码机制，有效改善传统投票机制给脉冲神经网络带来的输出解码信息丢失的问题。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中脉冲神经网络连接关系示意图；
图2是本发明实施例中一种基于脉冲神经网络的图像识别***的结构示意图；
图3是本发明实施例中LIF神经元结构示意图；
图4是本发明实施例中一种基于脉冲神经网络的图像识别方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本实施例的目的是提供一种基于全投票输出解码机制的片上自学习脉冲神经网络的图像识别硬件***，提出一种减少信息丢失的全投票输出解码机制，并结合生物科学和计算科学对复杂的脉冲神经网络算法进行优化和拆解，将片上自学习脉冲神经网络的图像识别硬件***在灵活配置网络参数和充分利用并行性的数字电路***上实现，为类脑计算的应用提供一种解决方案。
为实现上述目的，本实施例在脉冲神经网络引入基于全投票的输出解码机制。全投票分类层由分类神经元组成，分类神经元的数量与待识别物体的类别数量相同，最后一层隐藏层神经元会作为输出神经元，分别与每个分类神经元全连接。全投票分类层的权重在网络训练阶段默认值为0，即全投票分类层不参与脉冲神经网络的训练阶段。在对标阶段，全投票分类层的权重根据输出神经元对训练样本的响应来更新调整，得到输出神经元和不同分类神经元的对应关系。在识别阶段，每个输出神经元会给所有分类神经元进行投票，而非只给某一个分类神经元投票。分类神经元的票数反映了脉冲神经网络对输入图像的响应，分类神经元票数越高，代表网络对该分类神经元所对应的类别响应越显著。
上述基于全投票输出解码机制的脉冲神经网络的图像识别硬件***片上自学习的技术方案包括训练阶段、对标阶段、识别阶段三个步骤：训练阶段通过基于生物可塑性的TSTDP方法在片上对脉冲神经网络模型进行无监督学习，待训练收敛后得到输入神经元和隐藏层神经元，隐藏层神经元和隐藏层神经元，以及隐藏层神经元和输出神经元之间的突触权重；对标阶段通过少数有标签的数据集来指示输出神经元所属的类别，并根据输出神经元对输入图像的响应，来调整输出神经元和该类别对应的分类神经元之间的突触权重，对标训练后对这些突触权重进行归一化处理，得到输出神经元和分类神经元之间的突触权重；识别阶段通过脉冲神经网络的前馈机制对输入图像进行识别，输出神经元会给所有分类神经元进行投票，最终票数最高的分类神经元所代表的类别，即为脉冲神经网络的图像识别结果。
本实施例提出的一种基于全投票输出解码机制的片上自学习脉冲神经网络的图像识别硬件***，包含上位机、片外存储、总控制模块、输入编码模块、LIF神经元模块、脉冲时间信息处理模块、TSTDP模块、全投票模块。上位机负责和脉冲神经网络硬件***产生信息交互，控制脉冲神经网络硬件***读取和写入片外存储，使能硬件***工作以及更新输入图像，最终待硬件处理***完成任务后，会显示硬件***图像识别的最终结果；片外存储负责存储若干张图像像素，等待上位机发送读取指令，同时在图像识别阶段，硬件***会将图像识别结果写入片外存储中；总控制模块负责硬件***的控制管理，能根据训练、对标、识别三个阶段来对硬件***的活动进行调整，同时采用时间驱动的方式，根据时间戳计数器来向上位机发送标志位进行信息交互，以及向LIF神经元模块和TSTDP模块发送状态更新信号，并根据网络参数配置对神经元进行分时复用；输入编码模块根据输入图像的像素值，进行频率编码转换，数值越高的像素对应越高的脉冲发射频率；LIF神经元模块负责拟合生物大脑神经元，采用电导型LIF神经元，包括电流累加模块、电流延迟模块、脉冲产生模块、不应期模块和阈值自适应模块；脉冲时间信息处理模块负责更新脉冲序列的时间信息，用于对脉冲神经网络的无监督学习；TSTDP模块根据突触前神经元和突触后神经元发射脉冲的时间差，基于TSTDP方法来计算突触权重的变化值，完成脉冲神经网络无监督学习；全投票模块负责脉冲神经网络输出脉冲序列的解码，连接最后一层隐藏层神经元和分类神经元，减少输出解码信息的丢失，增强脉冲神经网络图像识别的容错能力。
以下结合附图1-4对上述的技术方案进行详细的说明。
本实施例提出了一种基于全投票输出解码机制的片上自学***台搭建片上自学习脉冲神经网络模型，和上位机进行信息交互，实现支持灵活配置网络参数脉冲神经网络的图像识别硬件***。
如图1所示，本实施例提出了全投票方案作为脉冲神经网络的输出解码机制，其中脉冲神经网络模型包括输入层、隐藏层、输出层、全投票分类层。输入层的神经元由输入的二维图像各像素点组成，各像素点会在输入层通过频率编码转换成脉冲序列，将输入脉冲发射到隐藏层；输入层对应的区域会作为隐藏层神经元的视野域，隐藏层神经元和对应的视野域的连接具有各自独立的突触权重，同一个视野域内的隐藏层神经元属于竞争关系，一旦某个隐藏层神经元发射脉冲，会抑制同一个视野域内其他隐藏层神经元的活动；以此类推，隐藏层神经元会组成新的视野域，并与下一层隐藏层神经元进行连接，依次扩展脉冲神经网络的网络规模；输出层由最后一层隐藏层神经元组成，分别与每个分类神经元全连接；全投票分类层由分类神经元组成，通过全投票输出解码机制，对网络产生的脉冲序列进行解析，得到网络图像识别的结果。
如图2所示，本实施例提出的一种基于全投票输出解码机制的片上自学习脉冲神经网络的图像识别硬件***包含如下模块：上位机、片外存储、总控制模块、输入编码模块、LIF神经元模块、脉冲时间信息处理模块、TSTDP模块、全投票模块。
上位机负责和脉冲神经网络硬件***产生信息交互，根据硬件***的总控制模块发送来的标志位信号，控制脉冲神经网络硬件***读取片外存储中的图像像素。其次，通过握手信号读取硬件***的工作状态，待硬件***完成一张输入图像的处理后，控制脉冲神经网络硬件***读取片外存储的下一张图像的像素，完成输入图像的更新。最终待硬件处理***完成任务后，总控制模块会发送任务完成的标志位信号，上位机开始读取硬件***图像识别的最终结果，将识别结果和实际待识别图像的类别进行比较，统计***的图像识别准确率，并在上位机的界面上显示最终的结果。
片外存储负责存储若干张图像像素、对标数据集标签以及硬件***图像识别的结果。片外存储在硬件***工作前存储好图像像素和对标数据集的标签，根据阶段的不同，等待上位机发送读取指令，硬件***会依次读取图像像素和对标数据集标签。在图像识别阶段，硬件***会将图像识别结果写入片外存储中，等待上位机的读取指令。
总控制模块负责脉冲神经网络硬件***的控制管理，能根据训练、对标、识别三个阶段来对硬件***的活动进行调整，同时采用时间驱动的方式，根据时间戳计数器来向上位机发送标志位信号进行信息交互，以及向LIF神经元模块和TSTDP模块发送状态更新信号，并根据网络参数配置对神经元进行分时复用。
输入编码模块根据输入图像的像素值，进行频率编码转换，像素值越高的像素对应越高的脉冲发射频率。
LIF神经元模块负责拟合生物大脑神经元，采用电导型LIF神经元，根据公式(1)实现电导型LIF神经元膜电位更新。
根据公式(2)采用欧拉法对上述公式进行离散化。
V为神经元膜电位；Ereset为神经元静息电位，取-65mv；ge为兴奋性突触电导；Eexc为兴奋性突触电压，取0mv；gi为抑制性突触电导；Einh为抑制性突触电压，取-100mv；τ为时间常数，取128ms；dt为时间步长，取0.125ms。如图3所示，LIF模块包括电流累加模块、电流延迟模块、脉冲产生模块、不应期模块。电流累加模块接收突触前神经元发射的脉冲，根据突触前神经元的类型，和相应的电导参数进行运算，转换成兴奋性电流或抑制性电流，逐一累加所有突触前神经元发射脉冲对突触后神经元电流的影响，并在每个时间戳对电导参数进行更新；电流延迟模块将电流累加模块的电流和该突触后神经元膜电位进行运算，得到该神经元的膜电位；脉冲产生模块将神经元的膜电位和阈值电压进行比较，若膜电位小于阈值电压，神经元不会发射脉冲，若膜电位大于阈值电压，则神经元发射脉冲；不应期模块是当神经元发射脉冲后负责将神经元的状态设置成不应期模式，在不应期期间神经元不会对突触前神经元发射的脉冲做出响应。
脉冲时间信息处理模块负责在每个时间戳下对脉冲序列的时间信息进行更新，用于对脉冲神经网络的无监督学习。
TSTDP模块是基于根据突触前神经元和突触后神经元发射脉冲的时间差，基于TSTDP方法来计算突触权重的变化值，完成脉冲神经网络无监督学习。根据公式(3)、(4)实现TSTDP无监督训练算法。
w→w+A+*pre*post2,if t＝tpost,(LTP) 公式(3)
w→w-A-*post1,if t＝tpre,(LTD) 公式(4)
W为突触权重；pre为突触前神经元发射脉冲的状态轨迹；post1和post2为突触后神经元发射脉冲的不同状态轨迹；A+＝2-7＝0.0078125，A-＝2-13＝0.0000122。当TSTDP模块检测到突触前神经元发射脉冲，即tpre时刻，触发LTD运算；当TSTDP模块检测到突触后神经元发射脉冲，即tpost时刻，触发LTP运算。
全投票模块负责脉冲神经网络输出脉冲序列的解码，连接最后一层隐藏层神经元和分类神经元，减少输出解码信息的丢失，增强脉冲神经网络图像识别的容错能力。在识别阶段，全投票模块会将硬件***对每张待识别图像的识别结果写入到片外存储。
如图4所示，本实施例提出的基于全投票输出解码机制的脉冲神经网络图像识别硬件***工作流程包含三个阶段：训练阶段、对标阶段、识别阶段。
训练阶段，总控制模块会将脉冲神经网络图像识别硬件***设置成训练模式。上位机接收到总控制模块发来的使能信号，将片外存储中的输入图像发送到硬件***上。输入编码模块将图像的像素转换成脉冲发射的频率，输入到脉冲神经网络处理模块。TSTDP模块若接收到突触前神经元的脉冲信号，会读取突触后脉冲时间信息模块，根据TSTDP算法对突触权重进行更新数值；同时，LIF神经元模块根据接收到的脉冲信号来调整膜电压，如果膜电压达到阈值，会向下一层神经元释放脉冲，并将膜电压恢复到静息电位。此时TSTDP模块会读取突触前脉冲时间信息模块，根据TSTDP算法对突触权重进行更新数值。上述步骤会反复操作，直到总控制模块中的时间戳计数器达到默认值，才会向上位机发送图像更新信号，从片外存储加载下一张输入图像到硬件***。训练模式会持续进行，直到总控制模块中的图像数目计数器达到训练数据集的总数量，脉冲神经网络硬件***才会进入对标阶段。
对标阶段，总控制模块会将脉冲神经网络图像识别硬件***设置成对标模式。上位机接收到总控制模块发来的使能信号，将片外存储中的输入图像和输入图像的标签发送到硬件***上。输入编码模块将图像的像素转换成脉冲发射的频率，输入到脉冲神经网络处理模块。LIF神经元模块根据接收到的脉冲信号来调整膜电压，如果膜电压达到阈值，会向下一层神经元释放脉冲，并将膜电压恢复到静息电位。全投票模块会同时读取输入图像的标签，并将该标签对应的分类神经元和输出层神经元进行连接。分类神经元和输出层神经元的突触权重在对标阶段之前会设置成0。在对标阶段，输出层神经元每发射一个脉冲，输入图像所属类别对应的分类神经元和该输出层神经元之间的权重会依次加1。分类神经元和输出层神经元的突触权重会随着输出层神经元释放的脉冲数量的增多而增强，以此实现全投票分类层突触权重的训练。上述步骤会反复操作，直到总控制模块中的时间戳计数器达到默认值，才会向上位机发送图像更新信号，从片外存储加载下一张输入图像到硬件***。对标模式会持续进行，直到总控制模块中的图像数目计数器达到对标数据集的总数量，全投票模块会对输出层神经元和分类层神经元之间的突触权重进行归一化处理。待归一化处理完成后，脉冲神经网络硬件***才会进入识别阶段。
识别阶段，总控制模块会将脉冲神经网络图像识别硬件***设置成识别模式。上位机接收到总控制模块发来的使能信号，将片外存储中的待识别的图像发送到硬件***上。输入编码模块将图像的像素转换成脉冲发射的频率，输入到脉冲神经网络处理模块。LIF神经元模块根据接收到的脉冲信号来调整膜电压，如果膜电压达到阈值，会向下一层神经元释放脉冲，并将膜电压恢复到静息电位。全投票模块将输出神经元和分类神经元全连接，输出神经元释放的脉冲会发送到所有分类神经元，同时全投票模块会记录每个分类神经元接收到的脉冲数量。上述步骤会反复操作，直到总控制模块中的时间戳计数器达到默认值，才会使能全投票模块统计每个分类神经元接收到的脉冲数量。脉冲数量最多的分类神经元所对应的类别，即为待识别图像的识别结果。全投票模块会将该待识别图像的识别结果发送到片外存储，并向上位机发送图像更新信号，从片外存储加载下一张待识别的图像到硬件***。识别阶段会持续进行，直到总控制模块中的图像数目计数器达到测试数据集的总数量，总控制模块会发送使能信号给上位机，上位机会将所有测试集的识别结果从硬件***读取到上位机，并和所有测试数据集的实际类别进行比较，统计脉冲神经网络硬件***的识别准确度，并将结果打印到屏幕上。
综上所述，本实施例相对于现有技术，具有如下有益效果：1.本实施提出全投票的输出解码机制，改善传统投票机制给脉冲神经网络带来的输出解码信息丢失的问题；2.本实施提出一种基于全投票输出解码机制的脉冲神经网络无监督学习的技术方案；3.本实施提出一种脉冲神经网络图像识别硬件***片上自学习的技术方案，实现片上脉冲神经网络训练和图像识别功能。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于脉冲神经网络的图像识别***，其特征在于，包括：
上位机，用于控制图像识别***的工作状态，统计图像识别***的图像识别准确率，并显示最终的识别结果；
片外存储，用于存储图像像素、对标数据集标签以及图像识别***图像识别的结果；
总控制模块，用于负责图像识别***的控制管理；
输入编码模块，用于根据输入图像的像素值，进行频率编码转换，像素值越高的像素对应越高的脉冲发射频率；
LIF神经元模块，用于负责拟合生物大脑神经元，采用电导型LIF神经元，实现电导型LIF神经元膜电位更新；
脉冲时间信息处理模块，用于负责在每个时间戳下对脉冲序列的时间信息进行更新，对脉冲神经网络的无监督学习；
TSTDP模块，基于根据突触前神经元和突触后神经元发射脉冲的时间差，以及TSTDP方法来计算突触权重的变化值，完成脉冲神经网络无监督学习；
全投票模块，用于负责脉冲神经网络输出脉冲序列的解码。
2.根据权利要求1所述的一种基于脉冲神经网络的图像识别***，其特征在于，所述脉冲神经网络包括输入层、隐藏层、输出层及全投票分类层；
所述输入层的神经元由输入的二维图像各像素点组成，各像素点会在输入层通过频率编码转换成脉冲序列，将输入脉冲发射到隐藏层；输入层对应的区域会作为隐藏层神经元的视野域；
所述隐藏层的神经元和对应的视野域的连接具有各自独立的突触权重，且同一个视野域内的隐藏层神经元属于竞争关系；
所述输出层由最后一层隐藏层的神经元组成，且分别与每个分类神经元全连接；
所述全投票分类层由分类神经元组成，通过全投票输出解码机制，对网络产生的脉冲序列进行解析，得到网络图像识别的结果。
3.根据权利要求1所述的一种基于脉冲神经网络的图像识别***，其特征在于，所述上位机用于根据总控制模块发送来的标志位信号，控制脉冲神经网络读取片外存储中的图像像素；及通过握手信号读取图像识别***的工作状态，待图像识别***完成一张输入图像的处理后，控制图像识别***读取片外存储的下一张图像的像素，完成输入图像的更新；待图像识别***处理***完成任务后，总控制模块会发送任务完成的标志位信号，上位机开始读取图像识别***图像识别的最终结果，将识别结果和实际待识别图像的类别进行比较，统计图像识别***的图像识别准确率。
4.根据权利要求1所述的一种基于脉冲神经网络的图像识别***，其特征在于，所述总控制模块根据训练、对标、识别三个阶段来对图像识别***的活动进行调整，采用时间驱动的方式，根据时间戳计数器来向上位机发送标志位信号进行信息交互，以及向LIF神经元模块和TSTDP模块发送状态更新信号，并根据网络参数配置对神经元进行分时复用。
5.根据权利要求1所述的一种基于脉冲神经网络的图像识别***，其特征在于，所述LIF神经元模块采用以下公式实现电导型LIF神经元膜电位更新：
其中，V为神经元膜电位；Ereset为神经元静息电位；ge为兴奋性突触电导；Eexc为兴奋性突触电压；gi为抑制性突触电导；Einh为抑制性突触电压；τ为时间常数；dt为时间步长。
6.根据权利要求1所述的一种基于脉冲神经网络的图像识别***，其特征在于，所述TSTDP模块采用以下公式实现无监督训练：
w→w+A+*pre*post2，ift＝tpost，(LTP)
w→w-A-*post1，ift＝tpre，(LTD)
其中，w为突触权重；pre为突触前神经元发射脉冲的状态轨迹；post1和post2为突触后神经元发射脉冲的不同状态轨迹；当TSTDP模块检测到突触前神经元发射脉冲，即tpre时刻，触发LTD运算；当TSTDP模块检测到突触后神经元发射脉冲，即tpost时刻，触发LTP运算。
7.一种基于脉冲神经网络的图像识别方法，其特征在于，包括以下步骤：
训练阶段：训练脉冲神经网络的输入层和隐藏层、隐藏层和隐藏层、隐藏层和输出层之间的突触权重；
对标阶段：训练脉冲神经网络的输出层和全投票分类层之间的突触权重；
识别阶段：输出层采用全投票机制给全投票分类层投票，进行图像识别。
8.根据权利要求7所述的一种基于脉冲神经网络的图像识别方法，其特征在于，所述训练阶段，包括以下步骤：
总控制模块会将图像识别***设置成训练模式；
上位机接收到总控制模块发来的使能信号，将片外存储中的输入训练图像发送到图像识别***上；
输入编码模块将图像的像素转换成脉冲发射的频率，输入到脉冲时间信息处理模块；
TSTDP模块若接收到突触前神经元的脉冲信号，读取突触后脉冲时间信息模块，根据TSTDP算法对突触权重进行更新数值；
LIF神经元模块根据接收到的脉冲信号来调整膜电压，若膜电压达到阈值，向下一层神经元释放脉冲，并将膜电压恢复到静息电位；
重复以上步骤，直到总控制模块中的时间戳计数器达到默认值。
9.根据权利要求7所述的一种基于脉冲神经网络的图像识别方法，其特征在于，所述对标阶段，包括以下步骤：
总控制模块会将图像识别***设置成对标模式；
上位机接收到总控制模块发来的使能信号，将片外存储中的输入对标图像和输入图像的标签发送到图像识别***上；
输入编码模块将图像的像素转换成脉冲发射的频率，输入到脉冲时间信息处理模块；
LIF神经元模块根据接收到的脉冲信号来调整膜电压，若膜电压达到阈值，会向下一层神经元释放脉冲，并将膜电压恢复到静息电位；
全投票模块读取输入图像的标签，并将标签对应的分类神经元和输出层神经元进行连接；分类神经元和输出层神经元的突触权重在对标阶段之前会设置成0，输出层神经元每发射一个脉冲，输入图像所属类别对应的分类神经元和该输出层神经元之间的权重会依次加1；重复以上步骤，直到总控制模块中的时间戳计数器达到默认值，并对分类神经元和输出神经元之间的权重进行归一化，对权重数值进行非线性转换，权重数值控制在0至1之间。
10.根据权利要求7所述的一种基于脉冲神经网络的图像识别方法，其特征在于，所述识别阶段，包括以下步骤：
总控制模块会将图像识别***设置成识别模式；
上位机接收到总控制模块发来的使能信号，将片外存储中的输入待识别图像发送到图像识别***上；
输入编码模块将图像的像素转换成脉冲发射的频率，输入到脉冲时间信息处理模块；
LIF神经元模块根据接收到的脉冲信号来调整膜电压，若膜电压达到阈值，会向下一层神经元释放脉冲，并将膜电压恢复到静息电位；
全投票模块将输出神经元和分类神经元全连接，输出神经元释放的脉冲会发送到所有分类神经元，同时全投票模块会记录每个分类神经元接收到的脉冲数量，并进行相互比较，脉冲数量最多的分类神经元对应的图像类别即为识别结果；待识别结果写入片外存储后，分类神经元接收到的脉冲数量清零复位；
重复以上步骤，直到总控制模块中的时间戳计数器达到默认值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110053641.3A CN112784976A (zh) | 2021-01-15 | 2021-01-15 | 一种基于脉冲神经网络的图像识别***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110053641.3A CN112784976A (zh) | 2021-01-15 | 2021-01-15 | 一种基于脉冲神经网络的图像识别***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112784976A true CN112784976A (zh) | 2021-05-11 |
Family
ID=75756177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110053641.3A Pending CN112784976A (zh) | 2021-01-15 | 2021-01-15 | 一种基于脉冲神经网络的图像识别***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112784976A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077017A (zh) * | 2021-05-24 | 2021-07-06 | 河南大学 | 基于脉冲神经网络的合成孔径图像分类方法 |
| CN113313119A (zh) * | 2021-07-30 | 2021-08-27 | 深圳市海清视讯科技有限公司 | 图像识别方法、装置、设备、介质及产品 |
| CN113553918A (zh) * | 2021-06-30 | 2021-10-26 | 电子科技大学 | 一种基于脉冲主动学习的机打***字符识别方法 |
| CN113962371A (zh) * | 2021-12-23 | 2022-01-21 | 中科南京智能技术研究院 | 一种基于类脑计算平台的图像识别方法及*** |
| CN114139695A (zh) * | 2022-01-06 | 2022-03-04 | 国网浙江省电力有限公司电力科学研究院 | 脉冲神经网络加速方法及脉冲神经网络的事件驱动加速器 |
| CN114659553A (zh) * | 2022-02-28 | 2022-06-24 | 联想(北京)有限公司 | 一种检测方法、装置、设备及存储介质 |
| CN114708639A (zh) * | 2022-04-07 | 2022-07-05 | 重庆大学 | 一种基于异构脉冲神经网络的人脸识别的fpga芯片 |
| CN115294411A (zh) * | 2022-10-08 | 2022-11-04 | 国网浙江省电力有限公司 | 基于神经网络的电网输变电图像数据处理方法 |
| WO2022257329A1 (zh) * | 2021-06-08 | 2022-12-15 | 浙江大学 | 一种基于脉冲神经网络的脑机接口解码方法 |
| CN116563616A (zh) * | 2023-04-23 | 2023-08-08 | 北京大学 | 一种基于神经网络的图像识别方法、计算机设备及介质 |
| CN117437382A (zh) * | 2023-12-19 | 2024-01-23 | 成都电科星拓科技有限公司 | 一种数据中心部件的更新方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985447A (zh) * | 2018-06-15 | 2018-12-11 | 华中科技大学 | 一种硬件脉冲神经网络*** |
| CN109102000A (zh) * | 2018-09-05 | 2018-12-28 | 杭州电子科技大学 | 一种基于分层特征提取与多层脉冲神经网络的图像识别方法 |
| CN109829422A (zh) * | 2019-01-28 | 2019-05-31 | 哈尔滨工业大学 | 一种基于脉冲神经网络人体摔倒动作的视频识别方法 |
-
2021
- 2021-01-15 CN CN202110053641.3A patent/CN112784976A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985447A (zh) * | 2018-06-15 | 2018-12-11 | 华中科技大学 | 一种硬件脉冲神经网络*** |
| CN109102000A (zh) * | 2018-09-05 | 2018-12-28 | 杭州电子科技大学 | 一种基于分层特征提取与多层脉冲神经网络的图像识别方法 |
| CN109829422A (zh) * | 2019-01-28 | 2019-05-31 | 哈尔滨工业大学 | 一种基于脉冲神经网络人体摔倒动作的视频识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 庄祖江: "基于STDP规则的脉冲神经网络图像分类算法研究", 《万方数据库》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077017B (zh) * | 2021-05-24 | 2022-12-13 | 河南大学 | 基于脉冲神经网络的合成孔径图像分类方法 |
| CN113077017A (zh) * | 2021-05-24 | 2021-07-06 | 河南大学 | 基于脉冲神经网络的合成孔径图像分类方法 |
| US11948068B2 (en) | 2021-06-08 | 2024-04-02 | Zhejiang University | Brain machine interface decoding method based on spiking neural network |
| WO2022257329A1 (zh) * | 2021-06-08 | 2022-12-15 | 浙江大学 | 一种基于脉冲神经网络的脑机接口解码方法 |
| CN113553918A (zh) * | 2021-06-30 | 2021-10-26 | 电子科技大学 | 一种基于脉冲主动学习的机打***字符识别方法 |
| CN113553918B (zh) * | 2021-06-30 | 2023-09-26 | 电子科技大学 | 一种基于脉冲主动学习的机打***字符识别方法 |
| CN113313119A (zh) * | 2021-07-30 | 2021-08-27 | 深圳市海清视讯科技有限公司 | 图像识别方法、装置、设备、介质及产品 |
| CN113962371B (zh) * | 2021-12-23 | 2022-05-20 | 中科南京智能技术研究院 | 一种基于类脑计算平台的图像识别方法及*** |
| CN113962371A (zh) * | 2021-12-23 | 2022-01-21 | 中科南京智能技术研究院 | 一种基于类脑计算平台的图像识别方法及*** |
| CN114139695B (zh) * | 2022-01-06 | 2022-06-03 | 国网浙江省电力有限公司电力科学研究院 | 一种支持抑制型脉冲神经网络的事件驱动加速器 |
| CN114139695A (zh) * | 2022-01-06 | 2022-03-04 | 国网浙江省电力有限公司电力科学研究院 | 脉冲神经网络加速方法及脉冲神经网络的事件驱动加速器 |
| CN114659553A (zh) * | 2022-02-28 | 2022-06-24 | 联想(北京)有限公司 | 一种检测方法、装置、设备及存储介质 |
| CN114708639A (zh) * | 2022-04-07 | 2022-07-05 | 重庆大学 | 一种基于异构脉冲神经网络的人脸识别的fpga芯片 |
| CN114708639B (zh) * | 2022-04-07 | 2024-05-14 | 重庆大学 | 一种基于异构脉冲神经网络的人脸识别的fpga芯片 |
| CN115294411A (zh) * | 2022-10-08 | 2022-11-04 | 国网浙江省电力有限公司 | 基于神经网络的电网输变电图像数据处理方法 |
| CN115294411B (zh) * | 2022-10-08 | 2022-12-30 | 国网浙江省电力有限公司 | 基于神经网络的电网输变电图像数据处理方法 |
| CN116563616A (zh) * | 2023-04-23 | 2023-08-08 | 北京大学 | 一种基于神经网络的图像识别方法、计算机设备及介质 |
| CN116563616B (zh) * | 2023-04-23 | 2024-01-30 | 北京大学 | 一种基于神经网络的图像识别方法、计算机设备及介质 |
| CN117437382A (zh) * | 2023-12-19 | 2024-01-23 | 成都电科星拓科技有限公司 | 一种数据中心部件的更新方法及*** |
| CN117437382B (zh) * | 2023-12-19 | 2024-03-19 | 成都电科星拓科技有限公司 | 一种数据中心部件的更新方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112784976A (zh) | 一种基于脉冲神经网络的图像识别***及方法 | |
| CN110210563B (zh) | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 | |
| CN109978893B (zh) | 图像语义分割网络的训练方法、装置、设备及存储介质 | |
| Serre et al. | A theory of object recognition: computations and circuits in the feedforward path of the ventral stream in primate visual cortex | |
| CN112116090B (zh) | 神经网络结构搜索方法、装置、计算机设备及存储介质 | |
| TW201626293A (zh) | 由知識圖譜偏置的資料分類 | |
| CN111639754A (zh) | 一种神经网络的构建、训练、识别方法和***、存储介质 | |
| CN111612136B (zh) | 一种神经形态视觉目标分类方法及*** | |
| US9959499B2 (en) | Methods and apparatus for implementation of group tags for neural models | |
| Sims et al. | A neural architecture for detecting user confusion in eye-tracking data | |
| CN110247910A (zh) | 一种异常流量的检测方法、***及相关组件 | |
| KR20160138042A (ko) | 스파이킹 뉴럴 네트워크들을 사용하는 이미지들의 불변의 객체 표현 | |
| EP3066619A1 (en) | Implementing synaptic learning using replay in spiking neural networks | |
| Hu et al. | Quantized STDP-based online-learning spiking neural network | |
| CN109376763A (zh) | 基于多样本推理神经网络的样本分类方法、***及介质 | |
| CN113762501A (zh) | 预测模型的训练方法、装置、设备和存储介质 | |
| Shi et al. | A curiosity-based learning method for spiking neural networks | |
| Chrol-Cannon et al. | Learning structure of sensory inputs with synaptic plasticity leads to interference | |
| CN113935475A (zh) | 具有脉冲时刻偏移量的脉冲神经网络的仿真与训练方法 | |
| Skatchkovsky et al. | Bayesian continual learning via spiking neural networks | |
| Xia et al. | Evaluation of saccadic scanpath prediction: Subjective assessment database and recurrent neural network based metric | |
| US9542645B2 (en) | Plastic synapse management | |
| Hanson | Backpropagation: some comments and variations | |
| CN113269113A (zh) | 人体行为识别方法、电子设备和计算机可读介质 | |
| Ya-Guan et al. | EMSGD: An improved learning algorithm of neural networks with imbalanced data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210511 |