CN108304912A - 一种运用抑制信号实现脉冲神经网络监督学习的***和方法 - Google Patents

一种运用抑制信号实现脉冲神经网络监督学习的***和方法 Download PDF

Info

Publication number
CN108304912A
CN108304912A CN201711477703.3A CN201711477703A CN108304912A CN 108304912 A CN108304912 A CN 108304912A CN 201711477703 A CN201711477703 A CN 201711477703A CN 108304912 A CN108304912 A CN 108304912A
Authority
CN
China
Prior art keywords
pulse
neural networks
signal
network
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711477703.3A
Other languages
English (en)
Other versions
CN108304912B (zh
Inventor
杨旭
林嘉俊
刘果
何虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201711477703.3A priority Critical patent/CN108304912B/zh
Publication of CN108304912A publication Critical patent/CN108304912A/zh
Application granted granted Critical
Publication of CN108304912B publication Critical patent/CN108304912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)

Abstract

一种运用抑制信号实现脉冲神经网络监督学习的***，包括：编码模块，将输入根据ROC编码规则转换成脉冲序列；分类模块，是一个两层的全连接脉冲神经网络，完成对脉冲信号的学习与分类；解码模块，将分类模块输出的脉冲序列转换成分类标签。本发明还提供了相应的方法，本发明在脉冲神经网络中，基于突触可塑性的性质，引入抑制信号来实现脉冲神经网络的学习过程。与现有技术相比，本发明在分类问题上有高的准确率和较低的运算量。

Description

一种运用抑制信号实现脉冲神经网络监督学习的***和方法
技术领域
本发明属于计算机科学、人工智能技术领域，特别涉及一种运用抑制信号实现脉冲神经网络监督学习的***和方法。
背景技术
人工神经网络是对生物神经***结构和功能的抽象和模拟，传统人工神经网络在学习过程中使用的学习算法根据神经元输出的数值与目标数值做对比来调整。脉冲神经网络是由更具生物真实性脉冲神经模型组成的一种新型神经网络，并被归为第三类神经网络，利用脉冲序列表示与处理信息，使得它与传统人工神经网络相比，拥有更为强大的计算能力，在进行复杂时空信息处理上更加有效。
实验研究证明在生物神经***中存在监督学习，但在生物神经元怎么实现学习还没有明确结论。在脉冲神经网络中，利用脉冲序列作为处理信息，则无法直接使用传统人工网络的监督学习算法，如BP算法，来训练神经网络。基于Hebb提出的突触可塑性假说，脉冲序列可引起神经突触的持续变化并满足脉冲时间依赖可塑性机制(STDP机制)，在每个学习周期，学习过程由三个脉冲决定，包括两个突触前脉冲和1个突触后脉冲。第一个突触前脉冲表示输入信号，第二个突触前脉冲表示突触后神经元的目标脉冲。抑制信号指的就是在输入信号到来前输入到突触后神经元的目标脉冲，通过在神经网络学习的过程中引入抑制脉冲信号来修改突触的权值。
在现有的脉冲神经网络的监督学习算法中，仍然没有一种通用、有效的学习算法。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种运用抑制信号实现脉冲神经网络监督学习的***和方法，在脉冲神经网络中，基于突触可塑性的性质，引入抑制信号来实现脉冲神经网络的学习过程。
为了实现上述目的，本发明采用的技术方案是：
一种运用抑制信号实现脉冲神经网络监督学习的***，包括：
编码模块，将输入根据ROC编码规则转换成脉冲序列；
分类模块，是一个两层的全连接脉冲神经网络，完成对脉冲信号的学习与分类；
解码模块，将分类模块输出的脉冲序列转换成分类标签。
所述两层的全连接脉冲神经网络指网络结构一致的静态脉冲神经网络和动态脉冲神经网络，动态脉冲神经网络是指网络连接权值会根据STDP规则改变的脉冲神经网络。
本发明还提供了一种运用抑制信号实现脉冲神经网络监督学习的方法，包括以下步骤：
步骤1，将输入向量利用ROC编码规则转换成脉冲序列；
步骤2，将所得脉冲序列输入到静态脉冲神经网络，获取输出脉冲序列，若目标神经元先激发，跳到步骤4；所述静态脉冲神经网络指网络连接权值不会改变的神经网络；
步骤3，根据输出脉冲序列，对非目标输出但激发的神经元加入抑制信号，从而抑制其学习过程，并给目标输出神经元加入增强信号，从而增强其学习过程，将步骤1所得脉冲序列输入到动态脉冲神经网络，并将连接权值更新到静态脉冲神经网络中，重复步骤2；所述动态脉冲神经网络是指网络连接权值会根据STDP规则改变的脉冲神经网络，网络结构与所述静态脉冲神经网络一致；
步骤4，结束训练。
所述抑制信号是在输入的脉冲序列到达输出神经元之前，人为地向相应的输出神经元输入足以令其激发的脉冲，使网络连接能根据STDP的效果，减少相应神经元之间的连接权值。
所述增强信号是在输入的脉冲序列到达目标神经元的时间窗之间，人为地向目标输出神经元输入足以令其激发的脉冲，使网络连接能根据STDP的效果，增强相应神经元之间的连接权值。
与现有技术相比，本发明的有益效果是：
1.在分类问题上有高的准确率。
2.运算量低。
附图说明
图1是本发明实施例中以Mnist作为数据集实现数字图像识别的流程图。
图2是本发明实施例中将一张Mnist图片转化成脉冲序列的过程图。
图3是本发明实施例中使用的4种卷积核。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
本实施例详细阐述了本发明抑制信号在脉冲神经网络监督学习的使用在Mnist数据集识别具体实施时的过程。
图1是利用本发明在Mnist作为数据集实现数字图像识别的流程图，由图1可见，在以Mnist作为训练数据集的脉冲神经网络训练过程中，首次每次向训练集上取一张图片数据，若所有的图片都已经获取完，则判断脉冲神经网络在训练集上的准确率，若准确率大于设定的阈值，则结束训练，否则开始新一轮的迭代训练；将图片数据根据ROC编码转换成脉冲序列；将脉冲序列输入到静态脉冲神经网络中；判断当前图片标签对应的输出神经元在所有的输出神经元中是否第一个激发；若是，则进行下一张图片的训练，否则，将脉冲序列输入到动态脉冲神经网络，对当前图片标签对应的输出神经元加入“教师信号”和向在该脉冲序列下能够激发的其他输出神经元加入抑制信号；将接受完脉冲序列后的动态神经网络的权值更新到静态神经网络上。
图2是将一张Mnist图片转化成脉冲序列的过程图，首先利用4个5*5的卷积核对图片做一次卷积操作，得到4张24*24的图片，然后利用2*2的核对这4张图片做一次最大池化操作，得到4张12*12的图片，接着将4张图片转换1维向量，最后利用ROC编码规则将向量转换成脉冲序列。
图3是在本实施例中使用的4种卷积核。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (5)

1.一种运用抑制信号实现脉冲神经网络监督学习的***，其特征在于，包括：
编码模块，将输入根据ROC编码规则转换成脉冲序列；
分类模块，是一个两层的全连接脉冲神经网络，完成对脉冲信号的学习与分类；
解码模块，将分类模块输出的脉冲序列转换成分类标签。
2.根据权利要求1所述运用抑制信号实现脉冲神经网络监督学习的***，其特征在于，所述两层的全连接脉冲神经网络指网络结构一致的静态脉冲神经网络和动态脉冲神经网络，动态脉冲神经网络是指网络连接权值会根据STDP规则改变的脉冲神经网络。
3.一种运用抑制信号实现脉冲神经网络监督学习的方法，其特征在于，包括以下步骤：
步骤1，将输入向量利用ROC编码规则转换成脉冲序列；
步骤2，将所得脉冲序列输入到静态脉冲神经网络，获取输出脉冲序列，若目标神经元先激发，跳到步骤4；所述静态脉冲神经网络指网络连接权值不会改变的神经网络；
步骤3，根据输出脉冲序列，对非目标输出但激发的神经元加入抑制信号，从而抑制其学习过程，并给目标输出神经元加入增强信号，从而增强其学习过程，将步骤1所得脉冲序列输入到动态脉冲神经网络，并将连接权值更新到静态脉冲神经网络中，重复步骤2；所述动态脉冲神经网络是指网络连接权值会根据STDP规则改变的脉冲神经网络，网络结构与所述静态脉冲神经网络一致；
步骤4，结束训练。
4.根据权利要求1所述运用抑制信号实现脉冲神经网络监督学习的***，其特征在于，所述抑制信号是在输入的脉冲序列到达输出神经元之前，人为地向相应的输出神经元输入足以令其激发的脉冲，使网络连接能根据STDP的效果，减少相应神经元之间的连接权值。
5.根据权利要求1所述运用抑制信号实现脉冲神经网络监督学习的***，其特征在于，所述增强信号是在输入的脉冲序列到达目标神经元的时间窗之间，人为地向目标输出神经元输入足以令其激发的脉冲，使网络连接能根据STDP的效果，增强相应神经元之间的连接权值。
CN201711477703.3A 2017-12-29 2017-12-29 一种运用抑制信号实现脉冲神经网络监督学习的***和方法 Active CN108304912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711477703.3A CN108304912B (zh) 2017-12-29 2017-12-29 一种运用抑制信号实现脉冲神经网络监督学习的***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711477703.3A CN108304912B (zh) 2017-12-29 2017-12-29 一种运用抑制信号实现脉冲神经网络监督学习的***和方法

Publications (2)

Publication Number Publication Date
CN108304912A true CN108304912A (zh) 2018-07-20
CN108304912B CN108304912B (zh) 2020-12-29

Family

ID=62868158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711477703.3A Active CN108304912B (zh) 2017-12-29 2017-12-29 一种运用抑制信号实现脉冲神经网络监督学习的***和方法

Country Status (1)

Country Link
CN (1) CN108304912B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102000A (zh) * 2018-09-05 2018-12-28 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN110287858A (zh) * 2019-06-21 2019-09-27 天津大学 基于fpga的仿生脉冲神经网络视觉识别***
CN110781968A (zh) * 2019-10-29 2020-02-11 中国人民解放军国防科技大学 一种基于塑性卷积神经网络的可扩展类别的图像识别方法
CN111582445A (zh) * 2020-04-24 2020-08-25 浙江大学 一种基于脉冲神经网络的高效学习***及学习方法
CN111882064A (zh) * 2020-08-03 2020-11-03 中国人民解放军国防科技大学 基于忆阻器实现脉冲神经网络竞争学习机制的方法及***
CN112749637A (zh) * 2020-12-29 2021-05-04 电子科技大学 一种基于snn的分布式光纤传感信号识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101009617A (zh) * 2005-12-05 2007-08-01 株式会社日立制作所 传感器网络***、基站以及传感数据的中继方法
CN101675165A (zh) * 2006-12-08 2010-03-17 奥斯瑞根公司 Let-7微小rna的功能和靶标
CN103140235A (zh) * 2010-06-18 2013-06-05 克利夫兰临床基金会 一种预测多发性硬化症接受治疗者的治疗反应的方法
CN104685067A (zh) * 2012-04-26 2015-06-03 森扎基因有限责任公司 用于鉴定能够诱导呼吸道致敏的物质的方法和用于该方法中的阵列和分析试剂盒
CN104736055A (zh) * 2012-05-30 2015-06-24 瑞思迈传感器技术有限公司 用于监控心肺健康的方法和设备
US9111215B2 (en) * 2012-07-03 2015-08-18 Brain Corporation Conditional plasticity spiking neuron network apparatus and methods
US9111226B2 (en) * 2012-10-25 2015-08-18 Brain Corporation Modulated plasticity apparatus and methods for spiking neuron network
CN105279557A (zh) * 2015-11-13 2016-01-27 徐志强 基于人脑工作机制的记忆和思维模拟装置
CN105874478A (zh) * 2014-01-06 2016-08-17 高通股份有限公司 用于自动纠错的同时的等待时间编码和速率编码
CN106164939A (zh) * 2014-03-26 2016-11-23 高通股份有限公司 尖峰发放深度置信网络（dbn）中的训练、识别、以及生成

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101009617A (zh) * 2005-12-05 2007-08-01 株式会社日立制作所 传感器网络***、基站以及传感数据的中继方法
CN101675165A (zh) * 2006-12-08 2010-03-17 奥斯瑞根公司 Let-7微小rna的功能和靶标
CN103140235A (zh) * 2010-06-18 2013-06-05 克利夫兰临床基金会 一种预测多发性硬化症接受治疗者的治疗反应的方法
CN104685067A (zh) * 2012-04-26 2015-06-03 森扎基因有限责任公司 用于鉴定能够诱导呼吸道致敏的物质的方法和用于该方法中的阵列和分析试剂盒
CN104736055A (zh) * 2012-05-30 2015-06-24 瑞思迈传感器技术有限公司 用于监控心肺健康的方法和设备
US9111215B2 (en) * 2012-07-03 2015-08-18 Brain Corporation Conditional plasticity spiking neuron network apparatus and methods
US9111226B2 (en) * 2012-10-25 2015-08-18 Brain Corporation Modulated plasticity apparatus and methods for spiking neuron network
CN105874478A (zh) * 2014-01-06 2016-08-17 高通股份有限公司 用于自动纠错的同时的等待时间编码和速率编码
CN106164939A (zh) * 2014-03-26 2016-11-23 高通股份有限公司 尖峰发放深度置信网络（dbn）中的训练、识别、以及生成
CN105279557A (zh) * 2015-11-13 2016-01-27 徐志强 基于人脑工作机制的记忆和思维模拟装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NARAYAN SRINIVASA等: "Unsupervised discrimination of patterns in spiking neural networks with excitatory and inhibitory synaptic plasticity", 《ORIGINAL RESEARCH ARTICLE》 *
杨静等: "Spiking 神经元输入脉冲扰动敏感性研究", 《计算机工程与应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102000A (zh) * 2018-09-05 2018-12-28 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN109102000B (zh) * 2018-09-05 2021-09-07 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN110287858A (zh) * 2019-06-21 2019-09-27 天津大学 基于fpga的仿生脉冲神经网络视觉识别***
CN110781968A (zh) * 2019-10-29 2020-02-11 中国人民解放军国防科技大学 一种基于塑性卷积神经网络的可扩展类别的图像识别方法
CN111582445A (zh) * 2020-04-24 2020-08-25 浙江大学 一种基于脉冲神经网络的高效学习***及学习方法
CN111582445B (zh) * 2020-04-24 2023-05-26 浙江大学 一种基于脉冲神经网络的高效学习***及学习方法
CN111882064A (zh) * 2020-08-03 2020-11-03 中国人民解放军国防科技大学 基于忆阻器实现脉冲神经网络竞争学习机制的方法及***
CN111882064B (zh) * 2020-08-03 2023-12-05 中国人民解放军国防科技大学 基于忆阻器实现脉冲神经网络竞争学习机制的方法及***
CN112749637A (zh) * 2020-12-29 2021-05-04 电子科技大学 一种基于snn的分布式光纤传感信号识别方法
CN112749637B (zh) * 2020-12-29 2023-09-08 电子科技大学 一种基于snn的分布式光纤传感信号识别方法

Also Published As

Publication number Publication date
CN108304912B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN108304912A (zh) 一种运用抑制信号实现脉冲神经网络监督学习的***和方法
Liang et al. Stacked denoising autoencoder and dropout together to prevent overfitting in deep neural network
CN111858989B (zh) 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
US11055608B2 (en) Convolutional neural network
US10296804B2 (en) Image recognizing apparatus, computer-readable recording medium, image recognizing method, and recognition apparatus
Yu et al. Mixed pooling for convolutional neural networks
EP3937087A1 (en) Knowledge-graph biased classification for data
KR20210124960A (ko) 스파이킹 뉴럴 네트워크
CN108510194A (zh) 风控模型训练方法、风险识别方法、装置、设备及介质
CN109416758A (zh) 神经网络及神经网络训练的方法
CN107341462A (zh) 一种基于注意力机制的视频分类方法
JP2017525038A (ja) ニューラルネットワークにおける畳込み演算の分解
KR102011788B1 (ko) 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법
CN109817276A (zh) 一种基于深度神经网络的蛋白质二级结构预测方法
CN109637669A (zh) 基于深度学习的治疗方案的生成方法、装置及存储介质
US20150317557A1 (en) Temporal spike encoding for temporal learning
CN112906828A (zh) 一种基于时域编码和脉冲神经网络的图像分类方法
CN113994341A (zh) 面部行为分析
Koulakov et al. Encoding innate ability through a genomic bottleneck
CN110659666A (zh) 一种基于相互作用的多层脉冲神经网络的图像分类方法
Tang et al. Memory dynamics in attractor networks with saliency weights
Hu et al. Quantized STDP-based online-learning spiking neural network
CN106980830A (zh) 一种基于深度卷积网络自亲缘关系识别方法与装置
Fatahi et al. Towards an spiking deep belief network for face recognition application
CN114266351A (zh) 基于无监督学习时间编码的脉冲神经网络训练方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant