CN107729984A - 一种适用于神经网络激活函数的计算装置及方法 - Google Patents

Abstract

本发明涉及一种适用于神经网络激活函数的计算装置，包括查找单元，用于根据所述激活函数以及激活函数变量输入值确定对应的线性函数参数；以及计算单元，用于利用所述输入值和所述对应的线性函数参数进行计算；其中，所述线性函数参数可以根据激活函数的凹凸性进行优化。

Description

一种适用于神经网络激活函数的计算装置及方法

技术领域

本发明涉及计算领域，特别涉及一种适用于神经网络激活函数的计算装置及方法。

背景技术

随着科技的发展，神经网络作为一种模拟人脑的机器学习技术一直都是人工智能研究领域的热点，并且在众多领域得到了广泛的应用，例如图像识别等。使用神经网络解决实际问题的重点之一在于利用激活函数为神经网络提供非线性建模能力，通常情况下，激活函数会出现在神经网络的每一层，尤其是在某些算法中出现的频率较高，例如sigmoid函数。因此，在对激活函数执行运算时，其运算速度和运算能耗直接制约着整个神经网络的计算效率。

传统的神经网络计算装置，一般指的是通用型的算术逻辑单元，在对激活函数执行计算时，资源利用率较低，且执行速度较慢。特别是随着各类便携电子设备的发展，上述装置的电路硬件开销过大，已无法满足体积小、功耗低的应用场景的需求。

因此，需要一种能够速度快能耗低的适用于神经网络的计算装置及方法。

发明内容

本发明提供一种适用于神经网络激活函数的计算装置及方法，包括查找单元，用于根据所述激活函数以及激活函数变量输入值确定对应的线性函数参数；以及计算单元，用于利用所述输入值和所述对应的线性函数参数进行计算；其中，所述线性函数参数根据激活函数的凹凸性进行了优化。

优选的，所述查找单元包括匹配单元，用于将激活函数的输入值匹配至对应的函数区间；查找表单元，用于根据所述函数区间确定对应的线性函数参数。

优选的，所述匹配单元还用于存储所述函数区间；所述查找表单元还用于存储所述函数区间对应的线性函数参数。

优选的，所述线性函数参数包括斜率和截距，所述斜率是利用所述函数区间的端点值计算获得的；所述截距是利用所述函数区间的端点值计算获得的初始截距经最大误差优化后获得的；其中，所述最大误差是指所述激活函数在所述函数区间内的函数值与所述函数区间内的初始线性函数值的最大差值。

优选的，若所述激活函数在所述函数区间是凹函数，则所述截距等于所述初始截距减去最大误差的二分之一。

优选的，若所述激活函数在所述函数区间是凸函数，则所述截距等于所述初始截距加上最大误差的二分之一。

优选的，所述查找表单元包括数值取反单元。

优选的，在所述激活函数关于原点中心对称时，所述匹配单元将绝对值相等的所述激活函数的输入值匹配至相同的函数区间。

优选的，所述计算单元包括乘法单元和加法单元。

根据本发明的另一个方面，还提供一种适用于神经网络激活函数的计算方法，包括以下步骤：

将所述激活函数划分为若干函数区间；

利用所述函数区间的端点计算所述函数区间对应的线性函数参数，即斜率和截距；

根据所述函数区间的凹凸性优化所述截距，将斜率和优化后的截距保存在查找表中；

利用所述查找表查找与所述激活函数的输入值对应的函数区间的线性函数参数；

利用所述激活函数的输入值以及对应的所述线性函数参数进行计算。

相对于现有技术，本发明取得了如下有益技术效果：本发明提供的应用于神经网络激活函数的计算装置及方法，采用了分段近似的计算方法，将激活函数的计算范围分为若干区间，在区间内将激活函数近似为线性函数进行计算函数值，其中，通过利用激活函数的凹凸性对线性函数参数进行优化，提升了近似程度，在提高神经网络的计算速度的同时，保证了计算准确性。

附图说明

图1是本发明较佳实施例的激活函数的计算装置结构示意图。

图2是本发明较佳实施例的计算单元的结构示意图。

图3是利用图1所示的计算装置进行激活函数计算的方法流程图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图，对根据本发明的实施例中提供的适用于神经网络激活函数的计算装置及方法进一步详细说明。

在神经网络中使用激活函数，是为了加入非线性因素。通常来说，仅依赖线性模型无法准确地表达实际问题。例如利用神经网络进行图像处理时，可采用卷积网络对每个像素点进行赋值，虽然这个操作是线性的，但是实际样本不一定是线性可分的，因此需要引入非线性因素来解决线性模型无法解决的问题。

众所周知，与激活函数相比，线性函数的分析计算更为快速简便。为了简化对激活函数的计算，发明人经研究提出了一种使用线性函数表示激活函数的计算方法。具体地，通过采用分段的方式，将激活函数划分为若干区间，在每一区间内采用线性近似的方式计算函数值，利用逼近理论，尽可能地逼近实际的激活函数。这种方法既可省去激活函数中的幂运算、除法运算和三角函数运算等复杂函数计算，也可节省电路面积开销及能量损耗。

为了将激活函数分段近似为线性函数，需要将激活函数的计算范围划分为若干区间，同时利用各区间的端点值将各区间内的函数曲线近似地表示为连接端点值之间的直线。

首先，将激活函数的计算范围划分为若干区间，然后以各个区间的区间端点值作为参考点，计算区间内线性函数的初始参数值。假设线性函数的表达式为y＝ax+b，其中，a为斜率，b为y轴截距。函数区间端点的表达式为(x₀，y₀)和(x₁，y₁)，则可计算得到对应线性函数参数值a和b。

其次为了使得区间内的线性函数与实际激活函数更加逼近，可以根据激活函数的凹凸性，通过误差补偿的方式调整参数值b。以凹函数为例，若激活函数在当前区间为凹函数的时，经发明人多次实验表明，可以将最终的b值设置为：

其中，b₀表示利用区间端点直接计算得到的y轴截距值，b表示调整后的y轴截距值。E_max表示误差最大值，具体定义为：

E_max＝|f_a(x₀)-f_i(x₀)|_max

其中，f_a表示激活函数表达式，f_i表示利用区间端点直接计算得到的区间内线性逼近函数表达式，x₀表示区间内求得误差最大值E_max最大值时，自变量x的取值。因此，E_max表示激活函数表达式f_a与利用区间端点直接计算得到的区间内线性逼近函数表达式f_i在区间内的误差最大值。

最终的参数值确定后，可将获得的各个函数区间以及对应的线性函数参数值制成查找表储存在查找表单元中。从而使匹配单元接收函数变量输入值，并将该值匹配至对应的函数区间后，利用查找表单元可以查找到对应的线性函数参数，再利用计算单元根据函数变量以及相应的线性函数参数进行运算。

在本发明的一个实施例中，所述激活函数还可以是凸函数，类似地，最终参数值可定义为：

其中，b₀表示利用区间端点直接计算得到的y轴截距值，b表示调整后的y轴截距值。E_max表示误差最大值，与上述定义相同。

下面将以sigmoid函数为例，进一步说明本发明提供的适用于神经网络激活函数的计算装置。

例如，计算sigmoid函数在区间[-2,2]内的函数值，已知sigmord函数的定义是：

首先，将函数的计算范围[-2，2]划分为若干个函数区间。例如，可将函数进一步划分为四个区间：

[-2，-1)、[-1，0)、[0，1)、[1，2]

根据sigmoid函数定义，则可获得每个区间的端点值：

(-2，0.119203)、(-1，0.268941)、(0，0.5)、(1，0.731059)、(2，0.880797)

其次，利用上述获得的五个端点值分别计算对应的函数区间的初始函数参数值，如表1所示。

表1不同函数区间对应的线性函数初始参数

区间	参数a	参数
			[-2,-1)	0.14973850	0.58132008
[-1,0)	0.23105858	0.50000000
			[0,1)	0.23105858	0.50000000
[1,2]	0.14973850	0.58132008

接着，由上述公式计算可获得各区间内的最大误差E_max，例如，在区间[0,1)内，E_max＝4.2×10^-7，利用最大误差优化上述参数b₀，从而可获得最终的参数值并制成查找表储存到查找表单元中，如表2

表2不同函数区间对应的线性函数参数查找表

区间	参数a	参数b
			[-2,-1)	0.14973850	0.58131987
[-1,0)	0.23105858	0.49999979
			[0,1)	0.23105858	0.49999979
[1,2]	0.14973850	0.58131987

图1是本发明较佳实施例的适用于神经网络激活函数的计算装置结构示意图，该装置包括用于将激活函数匹配至对应区间的匹配单元、用于储存查找表的查找表单元和用于进行函数运算的计算单元。

在进行激活函数计算时，以sigmoid函数为例，假设函数的输入值为0.5，利用匹配单元可将该输入值匹配至对应的函数区间为[0，1)，同时，匹配单元将输入值0.5输出至计算单元，将函数区间[0，1)输出至查找表单元。

查找表单元中存储了由激活函数的区间及对应的参数所组成的查找表(如表2)，可用于根据输入的函数区间查找对应的近似线性函数的参数，并将对应的参数输出至计算单元。例如，查找表单元根据接收的函数区间[0，1)，查找对应的表2可得到sigmoid函数在区间[0，1)内所对应的线性函数参数值为a＝0.23105858，b＝0.49999979，同时，查找表单元将上述参数值输出至计算单元。

计算单元根据从匹配单元接收的函数变量输入值，和从查找表单元接收的线性函数参数完成线性函数的计算。图2是本发明较佳实施例的计算单元的结构示意图，如图2所示，本发明的计算单元由乘法单元和加法单元组成。其中，乘法单元用于接收来自上述查找表单元提供的参数a和上述匹配单元提供的函数变量输入值x，并将参数a和函数变量输入值x作为乘数和被乘数进行乘法操作，得到乘积p；加法单元用于接收来自乘法单元的输出结果p和来自查找表单元提供的参数b，并将数值p和数值a相加，从而得到计算结果。

例如，计算单元从匹配单元接收的输入值是0.5，从查找表单元接收的参数为a＝0.23105858，b＝0.49999979，根据近似线性函数表达式y＝ax+b，首先将输入值0.5和参数a＝1进行乘法运算，得到乘积p＝0.11552929，再将乘积与参数b＝0.49999979进行加法运算，得到该区间[0，1)内的激活函数的输入值0.5所对应的近似线性函数值0.61552908。

在本发明的一个实施例中，查找表单元中可以储存多个函数的参数查找表，因此，在利用匹配单元输出的函数区间进行查找相应参数时，首先确定对应于要计算的函数的参数查找表，然后根据相应的函数区间确定相应的线性函数参数。

在本发明的一个实施例中，可将多个函数的不同函数区间对应的参数存储在一个查找表中，为相同函数的函数区间添加标签，以便查找使用。

在本发明的一个实施例中，可将上述匹配单元与查找表单元合并为查找单元，将划分完成的函数区间与相应的函数参数制作成查找表存储在查找单元中，利用函数及函数变量输入值，使用查找单元查找到相应的区间及其对应的函数参数值后，将该函数变量输入值和对应的函数参数值输出至计算单元进行计算。计算单元根据从匹配单元接收的函数变量输入值，和从查找表单元接收的线性函数参数完成线性函数的计算。

在本发明的一个实施例中，对于关于原点中心对称的激活函数的计算，可利用具有取反单元的查找表单元对查找表进行压缩，从而使查找表单元中可以存储更多的查找表；在进行查找计算时，可利用如图3所示的查找表单元，如图3所示，查找表单元包括数值取反单元，根据函数区间在查找表中得到函数区间内的线性函数参数a和参数b。若取反选通信号为1，则将参数b取反后输出；若取反选通信号为0，则将参数b直接输出。

图3是利用图1所示的计算装置进行激活函数计算的方法流程图，如图3所示，根据本发明的一个实施例，提供一种激活函数的计算方法，该方法具体包括以下步骤：

S10、将激活函数的计算范围划分为若干函数区间；

S20、计算不同区间所对应的线性函数初始参数，并利用激活函数与线性函数的最大误差值优化初始参数，将优化后的最终参数值制作为查找表并储存至查找表单元中；

S30、利用匹配单元将激活函数变量输入值匹配至对应的函数区间，利用查找表单元查找相应函数区间所对应的线性函数参数值；

S40、利用计算单元根据激活函数的输入值和所对应的线性函数的参数值进行计算。

在本发明的一个实施例中，可以重复上述步骤S30和S40直到获得非线性函数所有函数区间所对应的线性函数值。

尽管在上述实施例中，采用了sigmoid函数的凹凸性为例进行了举例说明，但本领域普通技术人员应理解，此处的利用激活函数的凹凸性计算最大误差来优化线性函数参数的方法还可以用于其它类型的激活函数，例如，Tanh函数或ReLU函数等。

相对于现有技术，在本发明实施例中所提供的适用于神经网络激活函数的计算装置及方法，利用近似计算的思想，采用分段线性的方法，将函数的计算范围分为若干区间，在每一区间内采用线性近似和误差优化的方式计算函数值，省去了激活函数的幂运算、除法运算和三角函数运算等复杂函数计算，节省了电路面积开销及能量损耗。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (10)

1.一种适用于神经网络激活函数的计算装置，包括

查找单元，用于根据所述激活函数以及激活函数变量输入值确定对应的线性函数参数；以及

计算单元，用于利用所述输入值和所述对应的线性函数参数进行计算；

其中，所述线性函数参数根据激活函数的凹凸性进行了优化。

2.根据权利要求1所述的计算装置，其特征在于，所述查找单元包括

匹配单元，用于将激活函数的输入值匹配至对应的函数区间；

查找表单元，用于根据所述函数区间确定对应的线性函数参数。

3.根据权利要求2所述的计算装置，其特征在于，所述匹配单元还用于存储所述函数区间；所述查找表单元还用于存储所述函数区间对应的线性函数参数。

4.根据权利要求2所述的计算装置，其特征在于，所述线性函数参数包括斜率和截距，所述斜率是利用所述函数区间的端点值计算获得的；所述截距是利用所述函数区间的端点值计算获得的初始截距经最大误差优化后获得的；其中，所述最大误差是指所述激活函数在所述函数区间内的函数值与所述函数区间内的初始线性函数值的最大差值。

5.根据权利要求4所述的计算装置，其特征在于，若所述激活函数在所述函数区间是凹函数，则所述截距等于所述初始截距减去最大误差的二分之一。

6.根据权利要求4所述的计算装置，其特征在于，若所述激活函数在所述函数区间是凸函数，则所述截距等于所述初始截距加上最大误差的二分之一。

7.根据权利要求1所述的计算装置，其特征在于，所述查找表单元包括数值取反单元。

8.根据权利要求7所述的计算装置，其特征在于，在所述激活函数关于原点中心对称时，所述匹配单元将绝对值相等的所述激活函数的输入值匹配至相同的函数区间。

9.根据权利要求1至8任一项所述的计算装置，其特征在于，所述计算单元包括乘法单元和加法单元。

10.一种适用于神经网络激活函数的计算方法，包括以下步骤：

将所述激活函数划分为若干函数区间；

利用所述函数区间的端点计算所述函数区间对应的线性函数参数，即斜率和截距；

根据所述函数区间的凹凸性优化所述截距，将斜率和优化后的截距保存在查找表中；

利用所述查找表查找与所述激活函数的输入值对应的函数区间的线性函数参数；

利用所述激活函数的输入值以及对应的所述线性函数参数进行计算。