CN106295799B - 一种深度学习多层神经网络的实现方法 - Google Patents

Abstract

本发明属于神经网络模型设计技术领域，具体涉及一种深度学习多层神经网络的实现方法。本发明的方法首先采用数字电路构建单层神经网络，之后将上一单层神经网络的输出作为下一单层神经网络的输入，采用串联的形式构建多层神经网络。本发明的方法解决了现有方法仅能构建浅层神经网络的技术问题，面向深度学习，建立了多层的神经网络硬件模型，通过脉冲大小实现信息传递，其模拟的神经元更加接近***经元。

Description

一种深度学习多层神经网络的实现方法

技术领域

本发明属于神经网络模型设计技术领域，具体涉及一种深度学习多层神经网络的实现方法。

背景技术

传统的通用处理器采用的是冯诺依曼结构，针对人工神经网络需使用内存存储权重值，因此需要很大的带宽与功耗来实现计算单元(CPU)和内存的通信；为了适应智能***计算实时性的需求，传统处理器需要工作在G赫兹的频率上，导致了基于通用处理器建立的智能***的功耗相较于生物***。

第一代神经网络模型采用基于模拟集成电路的神经网络模型，但利用模拟电路来实现人工神经网络容易受到温度、噪声等影响，导致计算精度不高，结果不可靠。此外，传统模拟电路的实现工艺在2um工艺下单个突触所需面积达到4500um²，由于工艺的原因集成密度低，较数字电路采用的CMOS工艺集成度低至少一个量级，难以实现上亿神经元大规模的高密度集成。

第二代神经网络硬件模型采用基于软件的神经网络模型，其内部信息传送是基于神经脉冲频率进行编码，其模拟的神经元与***经元存在较大差距。此外，基于软件的神经网络模型一般运行在通用处理器或图形处理器上，由于处理器需要从内存频繁读写神经网络配置参数，使得大量能量浪费在总线通讯上，同时总线带宽也限制了极大规模神经网络计算的实时性。

与此同时，上述两代神经网络模型均主要针对浅层(层数<3)的神经网络，难以实现能够显著提高智能算法性能的多层神经网络模型。

发明内容

本发明需要解决的技术问题为：现有技术中的人工神经网络硬件模型主要基于单层或浅层的神经网络，难以实现能够显著提高智能算法性能的多层神经网络模型。

本发明采用了如下技术方案：

一种深度学习多层神经网络的实现方法，包括以下步骤：

步骤1采用数字电路构建单层神经网络；

步骤2将上一单层神经网络的输出作为下一单层神经网络的输入，采用串联的形式构建多层神经网络。

步骤1中，所述数字电路包括Freg模块、Encode模块、RAM模块、ACU模块和Breg模块：

a)Freg模块为前向寄存器模块，Freg模块仅在自身状态位FULL为‘0’时才响应数据输入，当完成输入数据读入时状态位FULL变更为‘1’；当本层网络完成计算，本层网络的Breg模块状态位FULL由‘0’变更为‘1’，表示本层计算结束，Freg模块才将自身状态位FULL由‘1’变更为‘0’，等待数据输入；

b)Encode模块逐位依次读取输入轴突信息，若输入轴突的连接信息为‘1’，则将该轴突对应地址发往RAM模块，并给予一次脉冲时钟驱动后级电路工作；

c)RAM模块中，在Encode模块的时钟激励下读取相应地址的值，其中，data_ram用来存储突触连接信息，G_ram用来存储突触的属性信息；

d)ACU模块在Encode模块的时钟激励下完成一次对RAM输出值的累加/减运算：当G_ram存储的突触属性信息为‘1’，即突触为兴奋性突触时，进行一次累加运算；若G_ram存储的突触属性信息为‘0’，即突触为抑制性突触时，进行一次累减运算；

e)Encode模块在完成最后一位输入轴突信息的编码工作后想ACU模块发送结束控制信号，ACU模块在接收到结束控制信号后将累加/减运算结果与阈值相比较：若累加/减运算结果大于阈值则输出‘1’，表示该神经元被激活；否则，输出‘0’，表示该神经元未被激活；

f)Breg模块为后向寄存器模块，其读入ACU模块的输出结果，并且置自身状态位FULL为‘1’等待下层网络读取ACU模块计算结果；当下层网络的Freg_模块状态位FULL输出为‘1’时，即下层网络读取了本层网络ACU模块计算结果，本层Breg模块状态位FULL由‘1’变更为‘0’。

本发明的有益效果是：

(1)本发明提供的一种深度学习多层神经网络的实现方法，面向深度学习，建立多层(层数>3)的神经网络硬件模型，通过脉冲大小来传递信息，其模拟的神经元更加接近***经元。

(2)本发明提供的一种深度学习多层神经网络的实现方法，基于CMOS集成电路的数字工艺实现，具有集成度高、功耗低的特点，非常适合建立极大规模神经网络模型。相较传统模拟电路工艺，本发明在synopsys40nm工艺下的单个突触面积从4500um²缩减到了0.019um²，集成密度提高了2.3x10⁵倍。

(3)本发明提供的一种深度学习多层神经网络的实现方法，将存储单元与计算单元合二为一，避免了神经网络配置参数在总线上的传输，降低了硬件模型的功耗，提高了计算的实时性。

(4)本发明提供的一种深度学习多层神经网络的实现方法，采用大规模并行化计算，单层网络的输出节点都是并行输出，并且在FPGA综合下的最高频率达到了1GHz，使得单层网络在输入节点1024的情况下，计算耗时为1us。

(5)本发明提供的一种深度学***均耗时约为单层计算耗时最长网络。

(6)本发明提供的一种深度学习多层神经网络的实现方法，使用1bit的存储单元实现一个突触的连接。由于目前片上SRAM具有很高的集成度，因此能够实现大规模神经网络的硬件模型，这同时也解决了由于集成度不够无法实现多层神经网络模型的缺点。

附图说明

图1为深度学习网络模型示意图；

图2为RBM模型图；

图3为RAM结构图；

图4为生物神经网络模型图；

图5为RAM映射生物神经元示意图；

图6为数字电路实现生物神经元示意图；

图7为数字电路实现多层神经网络模块图；

图8为传统设计与本发明流水线设计的工作时序对比图。

图中：1-突触，2-树突，3-细胞体，4-轴突。

具体实施方式

下面结合附图和实施例对本发明的一种深度学习多层神经网络的实现方法进行进一步说明。

本发明的设计目的是以硬件实现深度学习神经网络，具有强大的从少数样本集中学习数据集本质特征的能力。

深度学习神经网络的网络模型如图1所示，网络是由输入层、隐含层(多层)、输出层组成的多层神经网络，网络中只有相邻层节点之间有连接，同层和跨层节点之间无连接，这种分层结是比较接近人脑的结构。输入数据通过多层网络的逐层特征变换，最终将样本从原空间的特征表示转换到一个新的特征空间。

本发明使用限制玻尔兹曼模型(Restricted Boltzmann Machine，RBM)实现深度学习神经网络的单层网络。如图2所示构建一个RBM模型单层神经网络：每个隐含层对应一个存储有该隐藏层(h)参数信息的可视层(v)，同一个隐含层的节点之间、同一个可视层的节点之间无连接；假设所有节点都是随机二进制变量节点(只能取‘0’或‘1’)；同时假设全概率分布p(v,h)满足玻尔兹曼分布。由于深度学习神经网络中只有相邻节点之间存在连接，本发明通过将存储有上一层隐含层参数信息的可视层作为下一层隐含层的输入，即将多个单层网络串联起来就可以实现多层网络。

由于RBM模型的节点为二进制变量，可以用高低电平来表示，且通过量化网络权重，本发明就可以用数字电路实现深度学习网络；另外由于深度学习网络多层网络的连接方式为串联形式，也方便使用通用单层模块的串联来实现多层网络。

浅层神经网络在优先样本和计算单元下对复杂函数的表示能力有限；浅层神经网络是靠人工经验来提取样本特征，特征的好坏就成了***性能的瓶颈，而且特征提取本身就对相关人员有着非常高要求。深度学习神经网络相较于浅层神经网络：1)强调了网络模型的结构深度，通常有超过5层甚至更多层；2)明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间。与人工规则构造特征的方法相比，利用大数据来学习特征更加能够刻画数据的丰富内在信息，使得深度学习网络在语音、图像和视频方面的应用有着巨大的优势。

随机存取存储器(英文：Random Access Memory，RAM)又称作“随机存储器”，它的结构图如图3所示。其中RAM的主体为存储矩阵，它的每个交点为存储单元，每个地址与输出位对应着确定的存储单元。

生物神经元结构如图4所示，其最主要的部分为突触1、树突2、细胞体3、轴突4。突触1为神经元通过轴突4与其它神经元之间连接的接口；细胞体3为神经元的主体部分；轴突4用来传出神经元产生的电化学信号，相当于神经元的输出端，每个轴突4可与多个神经元建立突触1连接。

神经元受到的输入分为兴奋性输入和抑制性输入，兴奋性输入会使突触1后膜电位向正电位方向增大，而抑制性输入则会使突触1后膜电位向更负方向变化，若后膜电位超过一个电位阈值则神经元变化为兴奋状态，会通过轴突4向外产生一个脉冲。神经元会接受多个轴突4传来的输入，不同轴突4传来的输入大小和性质不同，神经元的接受的总输入大致为所有输入的代数和，亦称之为空间整合；此外，不同输入到达的时间也不同，在一定持续时间内神经元接受的输入会累加，亦称之为时间整合。

使用RAM来实现神经网络，本发明主要使用RAM来模拟神经元的结构功能以及神经元之间的连接。使用RAM的输入来代表输入轴突4；RAM的存储单元来代表突触1的连接；RAM的输出与计算单元ACU代表细胞体3，计算单元是基于神经元空间整合和时间整合特性来对所有突触1的输入进行累加并且判断结果是否大于阈值，如果大于阈值则表示该神经元被激活，计算单元则输出一个高电平脉冲。RAM输出的每一位及其对应的计算单元(细胞体3)和其对应的每一个存储单元(突触1)及计算单元的输出(轴突4)共同组成一个神经元，如图5中粗线部分所示。

本实施例中，代表突触1的RAM存储单元中，包括连接信息和属性信息：连接信息为‘1’表示有连接，为‘0’表示无连接；属性信息为‘1’表示兴奋性连接，为‘0’表示抑制性连接。

本发明的电路设计中采用标准的RAM的IP，标准的RAM模块使用地址访问存储地址，一次性读出多位存储信息，在设计中每一位访问地址代表一个神经元。所以需要将输入的轴突4编码为地址来访问RAM，本发明设计了Encode模块来实现对输入轴突4的地址编码；需要计算单元来完成神经元的输入响应，本发明设计了多通道计算模块ACU来完成对神经元对输入的累加和判断运算，在ACU模块中为每个神经元分配了独立的计算通道；需要两个RAM来存储突触1信息，data_ram用来存储突触1的连接信息，G_ram用来存储突触1的属性信息，data_ram和G_ram的地址一一对应。另外，本发明采用了流水线工作模式的设计，在每层网络最前方设置前向寄存器Freg模块，在每层网络最后方设置后向寄存器Breg模块，二者共同控制本层网络的数据输入、结果输出，保证了流水线工作时每层网络工作之间的独立性。

具体而言，本发明的一种深度学习多层神经网络的实现方法包括以下步骤：

步骤1构建单层神经网络

图6所示为使用数字电路实现一层神经网络的电路原理图，本发明是基于数字集成电路的设计，其中的模块均为基于硬件描述语言Verilog设计的数字电路模块，其工作流程如下所述：

a)Freg模块为前向寄存器模块，Freg模块仅在自身状态位FULL为‘0’时才响应数据输入，当完成输入数据读入时状态位FULL变更为‘1’；当本层网络完成计算，本层网络的Breg模块状态位FULL由‘0’变更为‘1’，表示本层计算结束，Freg模块才将自身状态位FULL由‘1’变更为‘0’，等待数据输入；

b)Encode模块逐位依次读取输入轴突4信息，若输入轴突4的连接信息为‘1’，则将该轴突4对应地址发往RAM模块，并给予一次脉冲时钟驱动后级电路工作；

c)RAM模块中，在Encode模块的时钟激励下读取相应地址的值，其中，data_ram用来存储突触1连接信息，G_ram用来存储突触1的属性信息；

d)ACU模块在Encode模块的时钟激励下完成一次对RAM输出值的累加/减运算：当G_ram存储的突触1属性信息为‘1’，即突触1为兴奋性突触1时，进行一次累加运算；若G_ram存储的突触1属性信息为‘0’，即突触1为抑制性突触1时，进行一次累减运算；

e)Encode模块在完成最后一位输入轴突4信息的编码工作后想ACU模块发送结束控制信号，ACU模块在接收到结束控制信号后将累加/减运算结果与阈值相比较：若累加/减运算结果大于阈值则输出‘1’，表示该神经元被激活；否则，输出‘0’，表示该神经元未被激活；本实施例中，所述阈值由技术人员根据经验预先设定，阈值大小及权值网络参数由软件通过基于DBN深度网络模型算法对样本离线训练得到，其中每一位输出位均对应着特定的阈值，此为本领域技术人员公知常识。

f)Breg模块为后向寄存器模块，其读入ACU模块的输出结果，并且置自身状态位FULL为‘1’等待下层网络读取ACU模块计算结果；当下层网络的Freg_模块状态位FULL输出为‘1’时，即下层网络读取了本层网络ACU模块计算结果，本层Breg模块状态位FULL由‘1’变更为‘0’。

相比于模拟电路实现的神经网络模型，本发明通过采用使用RAM的1bit来表示一个突触1的连接，极大的提高了硬件设计的密度，再加上数字电路工艺相较于模拟电路工艺的高集成度的特点，使得本设计相较于模拟电路设计可以实现大规模神经网络的实现；另外对比模拟电路受外界影响的不稳定性，本发明保证了结果的可靠性和可重复性。

相比于软件实现的神经网络模型，由于本发明采用储存单元和计算单元合二为一的设计，在轴突4数据输入完成的两个时钟内就可以得到神经元的计算结果；并且单层网络的各个神经元之间均相互独立并行工作，极大地提高了神经网络的实时性。另外由于采用事件触发电路设计，网络的每个模块仅在存在激励的时候才工作，极大地提高了网络的功效比，相比于软件实现的神经网络模型的巨大功耗，在同样网络大小下本发明显著降低了深度学习网络的功耗。

步骤2构建多层神经网络

本发明的设计目标是是以硬件实现深度学习神经网络，而深度学习的***包括输入层、隐层(多层)、输出层组成的多层网络，只有相邻层节点之间有连接。也就是说某层网络的输入来自于上层网络的输出，而且其输出只为下层网络提供输入，每层神经网络的输出为代表神经元激活与否的‘1/0’信号。所以对比图6所示电路设计，只需要将多个单层网络输入对应输出串联起来即可实现多层神经网络。

图7所示为数字电路实现多层神经网络模块图，其中NET1、NET2、NET3模块为图6所示的单层网络模块：当一层网络完成数据计算后会发送同步信号给下层网络，每层网络直接通过Freg模块和Breg模块的状态位来实现通信，保证流水线工作时下层网络不会在自身正处理数据时被上层网络发来的新数据覆盖掉正处理的数据，引起数据冲突。

由此将多层神经网络的处理变为了流水线处理，每层网络为一级。由于深度学习的性质，即只有相邻层之间有连接，每一层网络的输入只与上层输出有关，所以在流水线处理的过程中不会出现数据相关(一级数据正在计算的时候其它级需要调用它的结果)的问题。流水线的设计使得多层神经网络在处理多组数据时的速度优势得到提高，相比较传统神经网络，流水线设计的多层神经网络的同一时间每层网络可以处理不同数据，每组数据计算耗时仅为单层计算耗时最长时间，特别适用于处理视频，声音等连续数据。

以四层网络为例，如图8为4层网络的传统设计和流水线设计的网络数据处理时序图，Ni代表第i层神经网络处理，Dataj表示第j组数据，一层网络完成计算为一个单位工作周期。传统多层神经网络同一时间内仅一层为网络处于工作状态；而流水线设计的多层神经网络的每层网络都是始终处于工作状态。由工作时序可以发现在同样的工作周期内，传统多层神经网络尚未完成第二组数据处理，流水线设计的多层神经网络已经输出了第四组数据的计算结果，这种优势在网络层数增大的时候越发明显。

Claims (1)

1.一种深度学习多层神经网络的实现方法，其特征在于：包括以下步骤：

步骤1采用数字电路构建单层神经网络；

步骤2将上一单层神经网络的输出作为下一单层神经网络的输入，采用串联的形式构建多层神经网络；

步骤1中，所述数字电路包括Freg模块、Encode模块、RAM模块、ACU模块和Breg模块：

a)Freg模块为前向寄存器模块，Freg模块仅在自身状态位FULL为‘0’时才响应数据输入，当完成输入数据读入时状态位FULL变更为‘1’；当本层网络完成计算，本层网络的Breg模块状态位FULL由‘0’变更为‘1’，表示本层计算结束，Freg模块才将自身状态位FULL由‘1’变更为‘0’，等待数据输入；

b)Encode模块逐位依次读取输入轴突(4)信息，若输入轴突(4)的连接信息为‘1’，则将该轴突(4)对应地址发往RAM模块，并给予一次脉冲时钟驱动后级电路工作；

c)RAM模块中，在Encode模块的时钟激励下读取相应地址的值，其中，data_ram用来存储突触(1)连接信息，G_ram用来存储突触(1)的属性信息；

d)ACU模块在Encode模块的时钟激励下完成一次对RAM输出值的累加/减运算：当G_ram存储的突触(1)属性信息为‘1’，即突触(1)为兴奋性突触(1)时，进行一次累加运算；若G_ram存储的突触(1)属性信息为‘0’，即突触(1)为抑制性突触(1)时，进行一次累减运算；

e)Encode模块在完成最后一位输入轴突(4)信息的编码工作后向ACU模块发送结束控制信号，ACU模块在接收到结束控制信号后将累加/减运算结果与阈值相比较：若累加/减运算结果大于阈值则输出‘1’，表示神经元被激活；否则，输出‘0’，表示神经元未被激活；

f)Breg模块为后向寄存器模块，其读入ACU模块的输出结果，并且置自身状态位FULL为‘1’等待下层网络读取ACU模块计算结果；当下层网络的Freg模块状态位FULL输出为‘1’时，即下层网络读取了本层网络ACU模块计算结果，本层Breg模块状态位FULL由‘1’变更为‘0’。