CN109376853B - 回声状态神经网络输出轴突电路 - Google Patents

回声状态神经网络输出轴突电路 Download PDF

Info

Publication number
CN109376853B
CN109376853B CN201811255479.8A CN201811255479A CN109376853B CN 109376853 B CN109376853 B CN 109376853B CN 201811255479 A CN201811255479 A CN 201811255479A CN 109376853 B CN109376853 B CN 109376853B
Authority
CN
China
Prior art keywords
value
control module
output end
buffer
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811255479.8A
Other languages
English (en)
Other versions
CN109376853A (zh
Inventor
廖永波
李红梅
李文昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811255479.8A priority Critical patent/CN109376853B/zh
Publication of CN109376853A publication Critical patent/CN109376853A/zh
Application granted granted Critical
Publication of CN109376853B publication Critical patent/CN109376853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Complex Calculations (AREA)

Abstract

回声状态神经网络输出轴突电路，涉及神经网络技术。本发明包括：时钟信号输入端，X向量寄存器，第一计数器，第一控制模块，第二控制模块，第一乘法器，使能信号生成器，逆矩阵运算器，B矩阵缓存器，Y向量寄存器，第二计数器，第三控制模块，第四控制模块，第二乘法器，矩阵乘法器，所述第一控制模块、第二控制模块、第三控制模块、第四控制模块用于从与其输入端连接的向量寄存器中提取序号与其控制端输入值相同的元素。采用本发明的技术，位权的计算是基于专利提出电路的方式计算的，输入数据、计算单元、存储长度和运算能力均在该电路中确定，所以通过该电路运算得到的位权值是直接跟硬件神经网络相匹配的，解决了软硬件不匹配的风险。

Description

回声状态神经网络输出轴突电路
技术领域
本发明涉及神经网络技术。
背景技术
回声状态网络架构描述为图1，图中圆形表示存储单元，方形表示模块。每时刻外部输入教师信号对(u1～uL，y1～yM)，教师信号为向量，分别存入U单元和Y单元，随机数发生器模块随机生成输入权值矩阵、reservoir权值矩阵和反馈权值矩阵，分别存入Win单元、W单元、Wback单元，以便后续调用。Reservoir 模块计算网络的中间层状态值x1～xK并存入X单元。训练模块进行输出权值的计算并送入Wout单元。yy1～yyM表示网络实际输出向量。
现有技术中，通用的位权确认方式是通过CPU或者GPU对确认的应用进行计算，然后把计算出来的位权值写入硬件神经网络中，这种方法受到硬件神经网络可配置位权的存储位长度和硬件的浮点运算位长所限制，具有软硬件接口不匹配的风险。
发明内容
本发明所要解决的技术问题是，提供一种硬件方式实现的回声状态神经网络输出轴突电路，其具有高可靠性和高效率的特点。
本发明解决所述技术问题采用的技术方案是，回声状态神经网络输出轴突电路，其特征在于，包括下述单元：
时钟信号输入端，用于接收时钟信号；
X向量寄存器，用于存储维数为K的X向量；
第一计数器，其输入端连接时钟信号输入端，第一计数器具有i值输出端和 j值输出端，用于收到时钟触发信号时输出i值和j值；
所述i值初始值为1，并以K值为一个周期，i值随每一个时钟触发信号循环增1直至i ＝K；
所述j值初始值为1，并当每一次i值等于K时j值增1直至j＝K；
第一控制模块，其输入端接X向量寄存器，其控制端接i值输出端，其输出端接第一缓存器；
第二控制模块，其输入端接X向量寄存器，其控制端接j值输出端，其输出端接第二缓存器；
第一乘法器，其两个输入端分别接第一缓存器和第二缓存器，其输出端接D 矩阵缓存器；
使能信号生成器，与i值输出端和j值输出端连接，其输出端接逆矩阵运算器的使能端，用于在i＝K和j＝K 时向逆矩阵运算器输出使能信号；
逆矩阵运算器，用于在接收到使能信号时对D缓存器存储的矩阵作求逆运算；
B矩阵缓存器，与逆矩阵运算器的输出端连接，用于存储逆矩阵运算器的输出；
Y向量寄存器，用于存储维数为M的Y向量；
第二计数器，其输入端连接时钟信号输入端，第二计数器具有h值输出端和 g值输出端；用于收到时钟触发信号时输出h 值和g 值；
所述h值初始值为1，并以M值为一个周期，h值随每一个时钟触发信号循环增1直至h ＝M；
所述g值初始值为1，并当每一次h值等于M时g值增1直至g＝M ；
第三控制模块，其输入端接X向量寄存器，其控制端接h值输出端，其输出端接第三缓存器；
第四控制模块，其输入端接Y向量寄存器，其控制端接g值输出端，其输出端接第四缓存器；
第二乘法器，其两个输入端分别接第三缓存器和第四缓存器，其输出端接a 矩阵缓存器；
矩阵乘法器，其两个输入端分别接B矩阵缓存器和A矩阵缓存器，其输出端接C矩阵缓存器；
所述第一控制模块、第二控制模块、第三控制模块、第四控制模块用于从与其输入端连接的向量寄存器中提取序号与其控制端输入值相同的元素。
所述时钟触发信号为时钟上升沿。
采用本发明的技术，位权的计算是基于专利提出电路的方式计算的，输入数据、计算单元、存储长度和运算能力均在该电路中确定，所以通过该电路运算得到的位权值是直接跟硬件神经网络相匹配的，解决了软硬件不匹配的风险。
附图说明
图1为回声状态网络架构图。
图2为本发明的训练模块电路结构图。
具体实施方式
参见图2。
图2中，各部分的标识与本发明各部分对应关系如下：
计数器1——第一计数器
计数器2——第二计数器
X——X向量寄存器
Y——Y向量寄存器
控制模块1——第一控制模块
控制模块2——第二控制模块
控制模块3——第三控制模块
控制模块4——第四控制模块
Temp1——第一缓存器
Temp2——第二缓存器
Temp3——第三缓存器
Temp4——第四缓存器
A——A矩阵缓存器
B——B矩阵缓存器
C——C矩阵缓存器
D——D矩阵缓存器
dij——D矩阵元素寄存器
ahg——A矩阵元素寄存器
本发明提供了一种训练模块的硬件实现方式，具体包括：
时钟信号输入端，用于接收时钟信号；
X向量寄存器，用于存储维数为K的X向量；
第一计数器，其输入端连接时钟信号输入端，第一计数器具有i值输出端和 j值输出端，用于收到时钟触发信号时输出i值和j值；
所述i值初始值为1，并以K值为一个周期，i值随每一个时钟触发信号循环增1直至i ＝K；例如，初始值i＝1，收到一个时钟上升沿后，i增1...直至i＝K，之后再收到一个时钟上升沿，i值由K变为初始值1，相当于时钟的指针循环运行，称为“循环增1”。
所述j值初始值为1，并当每一次i值等于K时j值增1直至j＝K；
第一控制模块，其输入端接X向量寄存器，其控制端接i值输出端，其输出端接第一缓存器；
第二控制模块，其输入端接X向量寄存器，其控制端接j值输出端，其输出端接第二缓存器；
第一乘法器，其两个输入端分别接第一缓存器和第二缓存器，其输出端通过 D矩阵元素寄存器接D矩阵缓存器；
使能信号生成器，与i值输出端和j值输出端连接，其输出端接逆矩阵运算器的使能端，用于在i＝K和j＝K 时向逆矩阵运算器输出使能信号；
逆矩阵运算器，用于在接收到使能信号时对D缓存器存储的矩阵作求逆运算；
B矩阵缓存器，与逆矩阵运算器的输出端连接，用于存储逆矩阵运算器的输出；
Y向量寄存器，用于存储维数为M的Y向量；
第二计数器，其输入端连接时钟信号输入端，第二计数器具有h值输出端和 g值输出端；用于收到时钟触发信号时输出h 值和g 值；
所述h值初始值为1，并以M值为一个周期，h值随每一个时钟触发信号循环增1直至h ＝M；
所述g值初始值为1，并当每一次h值等于M时g值增1直至g＝M ；
第三控制模块，其输入端接X向量寄存器，其控制端接h值输出端，其输出端接第三缓存器；
第四控制模块，其输入端接Y向量寄存器，其控制端接g值输出端，其输出端接第四缓存器；
第二乘法器，其两个输入端分别接第三缓存器和第四缓存器，其输出端通过 A矩阵元素寄存器接A矩阵缓存器；
矩阵乘法器，其两个输入端分别接B矩阵缓存器和A矩阵缓存器，其输出端接C矩阵缓存器；
所述第一控制模块、第二控制模块、第三控制模块、第四控制模块用于从与其输入端连接的向量寄存器中提取序号与其控制端输入值相同的元素。

Claims (2)

1.回声状态神经网络输出轴突电路，其特征在于，包括下述单元：
时钟信号输入端，用于接收时钟信号；
X向量寄存器，用于存储维数为K的X向量；
第一计数器，其输入端连接时钟信号输入端，第一计数器具有i值输出端和j值输出端，用于收到时钟触发信号时输出i值和j值；
所述i值初始值为1，并以K值为一个周期，i值随每一个时钟触发信号循环增1直至i ＝K ；
所述j值初始值为1，并当每一次i值等于K时j值增1直至j＝K；
第一控制模块，其输入端接X向量寄存器，其控制端接i值输出端，其输出端接第一缓存器；
第二控制模块，其输入端接X向量寄存器，其控制端接j值输出端，其输出端接第二缓存器；
第一乘法器，其两个输入端分别接第一缓存器和第二缓存器，其输出端接D矩阵缓存器；
使能信号生成器，与i值输出端和j值输出端连接，其输出端接逆矩阵运算器的使能端，用于在i＝K和j＝K 时向逆矩阵运算器输出使能信号；
逆矩阵运算器，用于在接收到使能信号时对D缓存器存储的矩阵作求逆运算；
B矩阵缓存器，与逆矩阵运算器的输出端连接，用于存储逆矩阵运算器的输出；
Y向量寄存器，用于存储维数为M的Y向量；
第二计数器，其输入端连接时钟信号输入端，第二计数器具有h值输出端和g值输出端；用于收到时钟触发信号时输出h 值和g 值；
所述h值初始值为1，并以M值为一个周期，h值随每一个时钟触发信号循环增1直至h ＝M；
所述g值初始值为1，当每一次h值等于M时g值增1直至g＝M ；
第三控制模块，其输入端接X向量寄存器，其控制端接h值输出端，其输出端接第三缓存器；
第四控制模块，其输入端接Y向量寄存器，其控制端接g值输出端，其输出端接第四缓存器；
第二乘法器，其两个输入端分别接第三缓存器和第四缓存器，其输出端接A矩阵缓存器；
矩阵乘法器，其两个输入端分别接B矩阵缓存器和A矩阵缓存器，其输出端接C矩阵缓存器；
所述第一控制模块、第二控制模块、第三控制模块、第四控制模块用于从与其输入端连接的向量寄存器中提取序号与其控制端输入值相同的元素。
2.如权利要求1所述的回声状态神经网络输出轴突电路，其特征在于，所述时钟触发信号为时钟上升沿。
CN201811255479.8A 2018-10-26 2018-10-26 回声状态神经网络输出轴突电路 Active CN109376853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811255479.8A CN109376853B (zh) 2018-10-26 2018-10-26 回声状态神经网络输出轴突电路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811255479.8A CN109376853B (zh) 2018-10-26 2018-10-26 回声状态神经网络输出轴突电路

Publications (2)

Publication Number Publication Date
CN109376853A CN109376853A (zh) 2019-02-22
CN109376853B true CN109376853B (zh) 2021-09-24

Family

ID=65389862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811255479.8A Active CN109376853B (zh) 2018-10-26 2018-10-26 回声状态神经网络输出轴突电路

Country Status (1)

Country Link
CN (1) CN109376853B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1981296A (zh) * 2004-04-15 2007-06-13 神经科学研究基金会 用于现实世界环境中的移动的基于大脑的设备
CN103678257A (zh) * 2013-12-20 2014-03-26 上海交通大学 基于fpga的正定矩阵浮点求逆器及其求逆方法
CN105701540A (zh) * 2016-01-11 2016-06-22 清华大学 一种自生成神经网络构建方法
CN106200655A (zh) * 2016-06-27 2016-12-07 西安交通大学 Btt导弹神经网络反演自动驾驶仪的fpga实现方法
CN106528047A (zh) * 2015-10-08 2017-03-22 上海兆芯集成电路有限公司 选择性将启动函数输出或累加器值写回神经存储器的神经处理单元
CN106650923A (zh) * 2015-10-08 2017-05-10 上海兆芯集成电路有限公司 具有神经存储器与神经处理单元阵列与定序器的神经网络单元
EP3182339A1 (en) * 2015-12-17 2017-06-21 Vrije Universiteit Brussel Reservoir computing device
CN107229967A (zh) * 2016-08-22 2017-10-03 北京深鉴智能科技有限公司 一种基于fpga实现稀疏化gru神经网络的硬件加速器及方法
CN107862379A (zh) * 2017-07-21 2018-03-30 电子科技大学 神经网络fpga
CN108090560A (zh) * 2018-01-05 2018-05-29 中国科学技术大学苏州研究院 基于fpga的lstm递归神经网络硬件加速器的设计方法
CN108429573A (zh) * 2018-03-02 2018-08-21 合肥工业大学 一种基于时间隐藏的mmse检测电路的控制方法
CN108564169A (zh) * 2017-04-11 2018-09-21 上海兆芯集成电路有限公司 硬件处理单元、神经网络单元和计算机可用介质
CN108629404A (zh) * 2017-03-23 2018-10-09 意法半导体有限公司 用于集成人工神经元器件的不应电路
CN108629407A (zh) * 2017-03-23 2018-10-09 意法半导体有限公司 集成式人工神经元装置
EP3451239A1 (en) * 2016-04-29 2019-03-06 Cambricon Technologies Corporation Limited Apparatus and method for executing recurrent neural network and lstm computations

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501130B2 (en) * 2016-09-09 2022-11-15 SK Hynix Inc. Neural network hardware accelerator architectures and operating method thereof
US11188818B2 (en) * 2017-04-03 2021-11-30 International Business Machines Corporation Reservoir computing system

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1981296A (zh) * 2004-04-15 2007-06-13 神经科学研究基金会 用于现实世界环境中的移动的基于大脑的设备
CN103678257A (zh) * 2013-12-20 2014-03-26 上海交通大学 基于fpga的正定矩阵浮点求逆器及其求逆方法
CN106528047A (zh) * 2015-10-08 2017-03-22 上海兆芯集成电路有限公司 选择性将启动函数输出或累加器值写回神经存储器的神经处理单元
CN106650923A (zh) * 2015-10-08 2017-05-10 上海兆芯集成电路有限公司 具有神经存储器与神经处理单元阵列与定序器的神经网络单元
EP3182339A1 (en) * 2015-12-17 2017-06-21 Vrije Universiteit Brussel Reservoir computing device
CN105701540A (zh) * 2016-01-11 2016-06-22 清华大学 一种自生成神经网络构建方法
EP3451239A1 (en) * 2016-04-29 2019-03-06 Cambricon Technologies Corporation Limited Apparatus and method for executing recurrent neural network and lstm computations
CN106200655A (zh) * 2016-06-27 2016-12-07 西安交通大学 Btt导弹神经网络反演自动驾驶仪的fpga实现方法
CN107229967A (zh) * 2016-08-22 2017-10-03 北京深鉴智能科技有限公司 一种基于fpga实现稀疏化gru神经网络的硬件加速器及方法
CN108629404A (zh) * 2017-03-23 2018-10-09 意法半导体有限公司 用于集成人工神经元器件的不应电路
CN108629407A (zh) * 2017-03-23 2018-10-09 意法半导体有限公司 集成式人工神经元装置
CN108564169A (zh) * 2017-04-11 2018-09-21 上海兆芯集成电路有限公司 硬件处理单元、神经网络单元和计算机可用介质
CN107862379A (zh) * 2017-07-21 2018-03-30 电子科技大学 神经网络fpga
CN108090560A (zh) * 2018-01-05 2018-05-29 中国科学技术大学苏州研究院 基于fpga的lstm递归神经网络硬件加速器的设计方法
CN108429573A (zh) * 2018-03-02 2018-08-21 合肥工业大学 一种基于时间隐藏的mmse检测电路的控制方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
An FPGA Based Real Time Reservoir Computing System for Neuromorphic Processors;Y. Liao等;《2018 3rd Asia-Pacific Conference on Intelligent Robot Systems (ACIRS)》;20180920;第1-13页 *
Analog hardware implementation of spike-based delayed feedback reservoir computing system;J. Li等;《2017 International Joint Conference on Neural Networks (IJCNN)》;20171231;第3439-3446页 *
Region-specific integration of embryonic stem cell-derived neuronal precursors into a pre-existing neuronal circuit;Neuser F等;《PloS one》;20130620;第8卷(第6期);第82-86页 *
Reservoir Computing optimisation for PEM fuel cell fault diagnostic;Morando S等;《2017 IEEE Vehicle Power and Propulsion Conference (VPPC)》;20171231;第1-7页 *
基于l_2正则化回声状态网络的模拟电路故障诊断[;王洪等;《电子器件》;20171231;第40卷(第5期);第1283-1286页 *

Also Published As

Publication number Publication date
CN109376853A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
US12014272B2 (en) Vector computation unit in a neural network processor
US20220366255A1 (en) Neural Network Processor
US11816532B2 (en) Performing kernel striding in hardware
US11704547B2 (en) Transposing neural network matrices in hardware
US10521488B1 (en) Dynamic partitioning
CN107918794A (zh) 基于计算阵列的神经网络处理器
CN107766935B (zh) 多层人造神经网络
WO2020118608A1 (zh) 一种反卷积神经网络的硬件加速方法、装置和电子设备
CN107423816A (zh) 一种多计算精度神经网络处理方法和***
US20220164663A1 (en) Activation Compression Method for Deep Learning Acceleration
CN111767994B (zh) 一种神经元计算装置
CN115880132B (zh) 图形处理器、矩阵乘法任务处理方法、装置及存储介质
CN108960414B (zh) 一种基于深度学习加速器实现单广播多运算的方法
CN109376853B (zh) 回声状态神经网络输出轴突电路
CN109299487A (zh) 神经网络模型、加速器、建模方法及装置、介质及***
CN110378469B (zh) 基于异步电路的scnn推理装置及其pe单元、处理器及计算机设备
CN110765413B (zh) 矩阵求和结构及神经网络计算平台
CN115952847A (zh) 神经网络模型的处理方法及处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant