CN107861916A - 一种用于针对神经网络执行非线性运算的方法和装置 - Google Patents

Abstract

本发明提供一种用于在神经网络中执行非线性函数运算的方法，包括：1)根据所述非线性函数的输入值的范围，划分多个分段区间；2)针对所述多个分段区间中的每一个，将其两个端点值分别作为所述非线性函数的自变量，计算获得与所述分段区间对应的两个因变量；3)将所述计算获得的与所述分段区间对应的所述两个因变量和所述两个自变量作为与所述分段区间对应的线性函数上的两点，计算与每个分段区间对应的线性函数的斜率和截距；4)针对所述多个分段区间中的每一个，存储与其对应的斜率和截距，以用于执行所述非线性函数运算。

Description

一种用于针对神经网络执行非线性运算的方法和装置

技术领域

本发明涉及神经网络的数据处理。

背景技术

随着人工智能的发展，越来越多的研究开始关注对采用神经网络模型进行计算的神经网络处理器的改进。神经网络模型模仿动物的神经***，逐层地对输入的信息进行处理以趋近于期望获得的结果。在神经网络模型中，每一层的每一个数据均需要经过非线性的激活函数进行处理，例如sigmoid函数，这使得在神经网络模型的完整计算过程中包含有极大量的非线性运算。

这里的非线性函数属于一种函数形式，其绘制在坐标平面上表现为曲线或折线的形式。在非线性函数的计算中通常包含乘法运算、除法运算、指数运算、三角函数运算或者它们的组合。对于这样一系列复杂的运算通常需要采用算术逻辑单元等具有非常高的复杂度的电路部件来完成相应的处理过程。

对于神经网络而言，在执行sigmoid函数时，非线性运算以非常高的频率出现，若是神经网络处理器仍采用传统的逻辑电路来逐一地执行上述每一个非线性运算，则会直接制约神经网络处理器的计算效率，并且会需要消耗大量的能耗来执行上述运算。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种用于在神经网络中执行非线性函数运算的方法，包括：

1)根据所述非线性函数的输入值的范围，划分多个分段区间；

2)针对所述多个分段区间中的每一个，将其两个端点值分别作为所述非线性函数的自变量，计算获得与所述分段区间对应的两个因变量；

3)将所述计算获得的与所述分段区间对应的所述两个因变量和所述两个自变量作为与所述分段区间对应的线性函数上的两点，计算与每个分段区间对应的线性函数的斜率和截距；

4)针对所述多个分段区间中的每一个，存储与其对应的斜率和截距，以用于执行所述非线性函数运算。

优选地，根据所述方法，其中步骤3)还包括：

若所述非线性函数为凹函数，则计算其与所述线性函数之间的最大误差，并采用当前截距减去所述最大误差的一半的结果以作为新的截距。

优选地，根据所述方法，其中步骤1)包括：

针对神经网络的各层网络，统计在该层网络中激活函数的输入值的范围，以作为针对该层网络的所述需要处理的输入值的范围。

优选地，根据所述方法，其中与所述非线性运算对应的非线性函数包括：f(x)＝tanh(x)、f(x)＝max(0,x)。

优选地，根据所述方法，其中还包括：

5)在执行所述非线性函数运算时，根据所述非线性函数的输入值所处的分段区间，将执行由与所述分段区间对应的斜率和截距所确定的线性函数的运算所获得的结果作为所述非线性运算的结果。

一种基于上述的方法，执行神经网络中非线性函数运算的方法，包括：

A1)将所述非线性函数的输入值与存储的各个分段区间的端点值进行比较，确定所述非线性函数的输入值所处的分段区间；

A2)获得存储的与所述非线性运算的输入值所处的分段区间对应的线性函数的斜率a和截距b，将所述非线性运算的输入值作为线性函数y＝ax+b的自变量，计算相应的因变量以作为所述非线性函数运算的输出值。

一种用于神经网络处理器执行非线性函数运算的计算装置，包括：

查找表单元，用于存储通过上述方法获得的所述多个分段区间中的每一个的所述两个端点值、以及与每个分段区间对应的线性函数的斜率和截距；

匹配单元，用于根据所述非线性函数的输入值、以及所述查找表单元所存储的分段区间的端点值，将所述非线性函数的输入值匹配到相应的分段区间；

计算单元，用于根据由所述匹配单元匹配确定的所述分段区间、以及所述查找表单元所存储的与所述分段区间对应的线性函数的斜率和截距，将所述非线性函数的输入值作为所述线性函数的因变量，执行所述线性函数的运算。

一种在神经网络的计算过程中执行激活函数运算的方法，包括：

B1)针对神经网络执行计算的当前的网络层，确定其所使用的激活函数，并且统计所述激活函数的输入值的范围；

B2)根据所获得的所述激活函数的输入值的范围、以及设置的分辨率，将所述激活函数的输入值的范围划分多个分段区间；

B3)针对所述多个分段区间中的每一个，将其两个端点值和分别作为与所述激活函数的自变量，计算获得对应的两个因变量，并且将所述两个自变量和所述两个因变量作为与所述分段区间对应的线性函数上的两点，计算所述线性函数的斜率和截距，针对所述分段区间存储计算获得的所述斜率和所述截距；

B4)将所述激活函数的输入值与存储的各个分段区间的所述端点值进行比较，确定所述输入值所处的分段区间，并据此确定与所述分段区间对应的斜率和截距；

B5)将所述激活函数的所述输入值作为与所确定的斜率和截距对应的线性函数的自变量，计算相应的因变量以作为所述激活函数的输出值。

优选地，根据所述方法，其中步骤B3)包括：

若所述激活函数为凹函数，则计算其与所述线性函数之间的最大误差，并采用当前截距减去所述最大误差的一半的结果以作为新的截距。

一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序在被执行时用于实现如上述任意一项所述的方法。

与现有技术相比，本发明的优点在于：

本发明提供了一种基于分段近似的非线性函数计算方法，利用近似计算的思想，采用分段线性的方法，将函数分为若干区间，在每一区间内采用线性近似的方式计算函数值，省去了复杂函数中幂运算、除法运算和三角函数运算等复杂函数计算，节省了能量损耗，尤其适用于低功耗高能效的应用场景。并且，本发明所提供的方法，采用查找表代替复杂运算，并动态加载查找表，在提高计算速率的同时减少了电路面积开销，仅需设置少量的加法器和乘法器便可以完成各种非线性运算。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1是根据本发明的一个实施例的基于查找表来实现针对神经网络中非线性运算的计算方法的流程图；

图2是根据本发明的一个实施例的用于神经网络处理器执行非线性运算的计算电路的模块图；

图3是根据本发明的一个实施例针对图2所述计算电路中的计算单元的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作详细说明。

如背景技术中所介绍地，在神经网络模型中存在大量非线性函数，例如，局部相应归一化层的计算、批处理计算、激活函数等。其中，激活函数是神经网络中非常重要的组成部分，激活函数为神经网络加入了非线性描述，使得神经网络模型能够更好地适应数据的非线性特征。常用的激活函数包括sigmoid函数f(x)＝tanh(x)，ReLU函数，f(x)＝max(0,x)等。对于神经网络而言，其每一个网络层的每一个数据均需要经过激活函数进行处理，这使得神经网络处理器需要执行大量的非线性运算。

在传统的神经网络处理器中采用大量的逻辑电路来执行上述非线性运算，若是能够减少所使用的电路器件，例如减少所使用的加法器、乘法器、寄存器等，则能够降低电路的面积和处理器的能耗。

基于上述考虑，发明人提出可以将对于各种非线性函数的运算近似地看作是无数个较小区间内的线性运算，在神经网络处理器需要执行非线性运算时，根据输入的值所落入的小区间对输入的值执行线性运算以获得近似的计算结果。发明人认为，上述将非线性运算转化为在相应小区间内的线性运算的方式尤其适合于针对神经网络的计算。这是由于，神经网络模型的算法本身对于计算所产生的中间结果存在一定的容错性，其会对中间结果进行进一步地加工处理，即便在计算过程中的某些运算结果并不完全准确，也不会影响最终输出的计算结果。

参考图1，根据本发明的一个实施例，提供了一种基于查找表来实现针对神经网络中非线性运算的计算方法。

首先介绍所述查找表的构建方法，包括：

步骤S1，确定非线性函数的自变量的取值范围，将所述取值范围划分为多个分段区间，并将各个分段区间的端点存入所述查找表。

这里，可以根据经验值估计所述自变量的取值范围，也可以根据实际的使用情况对所述自变量的大小进行统计。例如，采用6西格玛准则，统计数据总量中99.99966％的数值的范围。

在划分分段区间时，可以根据***对分辨率的需求来设置各个分段区间的粒度大小，例如针对高分辨率的需求设置较小的分段粒度。

在划分区间时，可以均匀地将所述自变量的取值范围划分为多个分段区间，例如将取值范围[0,100]均匀地划分为100等份，设置的分段粒度为1，[0,1)、[1,2)…[99,100]。也可以根据自变量数据的分布密度来划分不同大小的分段区间，例如针对自变量的分布密度较高的部分设置较小的分段区间以获得较多数量的分段区间。

步骤S2，针对每个分段区间，将其两个端点x₀和x₁作为所述非线性函数的自变量，计算获得对应的因变量y₀和y₁。例如，假设所述非线性函数为则并且

步骤S3，针对每个分段区间，将(x₀,y₀)和(x₁,y₁)当作是直线y＝ax+b上的两点，计算参数a和b。

这里的参数a和b分别为线性函数y＝ax+b的斜率和截距，通过将两点(x₀,y₀)和(x₁,y₁)带入到所述线性函数中，可以计算获得所述斜率和截距。y₀＝ax₀+b并且y₁＝ax₁+b，由此可以计算获得斜率和截距

步骤S4，若所述非线性函数为凹函数，则针对每个分段区间计算在所述分段区间内非线性函数的和步骤S2求得的直线y＝ax+b之间的最大误差E_max，并且将(b-E_max/2)作为新的b值。

这里的误差计算方法可以采用任意恰当的现有技术，例如在曲线拟合中常用的最小二乘法计算所述非线性函数与所述直线上各点之间的最大距离以作为所述最大误差E_max。

步骤S5，针对每个分段区间，将与其对应的斜率a和截距b存入所述查找表中。

在基于查找表来实现针对神经网络中非线性运算的计算时，所述查找表中所存储的各个分段区间的端点值以及针对各个分段区间的线性函数的斜率和截距将被用于在神经网络处理器执行所述非线性运算，根据输入值所处的分段区间，将执行由与所述分段区间对应的斜率和截距所确定的线性函数的运算所获得的结果作为所述非线性运算的结果。

可以看到，在上述实施例中建立了用于神经网络处理器执行非线性运算的查找表，其将输入值的范围划分为多个分段区间，并且利用诸如激活函数等非线性函数的单调性和凹凸性来调整针对各个分段区间的线性函数的参数，针对每个分段区间在查找表中存储与之对应的端点值以及与之对应的线性函数的参数，以用于神经网络执行非线性运算。

针对上述方法，本发明还提供了一种用于神经网络处理器的相应的计算电路。参考图2，根据本发明的一个实施例，所述计算电路包括：匹配单元、查找表单元和计算单元。

其中，查找表单元用于存储所述非线性函数的各个分段区间的端点值、以及针对每个分段区间的线性函数的斜率a和截距b。这里可以以参数对(a,b)的形式进行存储，针对每一个分段区间均存储其两个端点值以及相应的参数对(a,b)。

匹配单元用于根据所述查找表单元中存储的各个分段区间的端点值，将所述非线性函数的输入值匹配至对应的分段区间，并且根据所确定的对应的分段区间在所述查找表单元中查找获得与所述分段区间对应的参数对(a,b)。可以理解，在本发明中的查找表内可以只记录区间端点及其对应的近似线性函数值，因此需要将函数输入值和与其对应的分段区间进行匹配，以根据所述特定的分段区间进一步地在查找表单元中查找与所述分段区间对应的线性函数的斜率和截距。

计算单元用于根据匹配单元所确定的线性函数的斜率和截距，完成线性函数的计算过程。在本发明的一个实施例中，参考图3，在计算单元中包括一个乘法单元和一个加法单元，其中，乘法单元用于完成线性函数计算过程中的乘法操作，加法单元用于完成线性函数计算过程中的加法操作。乘法单元接收来自计算单元外部的查找表单元中的参数a和来自计算单元外部匹配单元输出的函数输入值x，并将参数a和函数输入值x作为乘数和被乘数进行乘法操作，得到乘积p；加法单元接收来自乘法单元的输出结果p和来自计算单元外部查找表中的参数b，并将数值p和数值a相加，得到计算结果。通过上述计算单元，可以利用从匹配单元中获得的针对非线性函数的输入值x的分段区间，从查找表单元中获得对应的参数对(a,b)，由计算单元根据线性函数的参数(a,b)执行乘法和加法运算，以计算得到近似于所述非线性函数的函数值，并输出所述函数值。

根据上述实施例所提供的用于神经网络处理器的查找表结构，可以采用查表计算的方法代替神经网络中的非线性计算，通过在神经网络计算过程中动态加载查找表内容实现不同的计算函数，同时提高了处理器对于多种计算函数的普适性。

并且，本发明还提供了一种在神经网络处理器的使用过程中动态地加载用于执行非线性运算的参数的方法。所述方法一方面可以通过动态更新查找表实现不同函数的运算，另一方面还可以针对同一神经网络模型中不同网络层，在计算不同网络层时动态更新不同参数。

根据本发明的一个实施例，针对激活函数的计算电路的工作流程包括：

步骤1，根据神经网络模型算法确定激活函数类型。

步骤2，训练神经网络得到网络模型中各项参数，并统计每层网络中激活函数输入值的范围，采用6西格玛准侧，记录数据总量99.99966％的数值的范围。

步骤3，确定神经网络网络层。

步骤4，将函数计算范围内划分为若干区间，区间划分方法需要综合考虑查找表空间大小和计算分辨率等因素。

步骤5，加载当前层激活函数查找表参数。

步骤6，采用本发明提供的查找表区间构建方法确定各个区间内线性函数的参数a和b，并载入至查找表中。

步骤7，当需要进行激活函数计算是，将函数输入值x接入至匹配单元中，得到与输入值对应的函数区间。

步骤8，根据函数区间在查找表中得到函数区间内的线性函数参数a和参数b。

步骤9，将函数输入值、线性函数参数a和线性函数参数b输入至计算单元中，完成计算。

步骤10，当完成当前层的计算后，重新更新参数a和b，进入下一网络层。

通过本发明的上述实施例可以看出，本发明提供了一种基于分段近似的非线性函数计算方法，利用近似计算的思想，采用分段线性的方法，将函数分为若干区间，在每一区间内采用线性近似的方式计算函数值，省去了复杂函数中幂运算、除法运算和三角函数运算等复杂函数计算，节省了能量损耗，尤其适用于低功耗高能效的应用场景。并且，本发明所提供的方法，采用查找表代替复杂运算，并动态加载查找表，在提高计算速率的同时减少了电路面积开销。

需要说明的是，上述实施例中介绍的各个步骤并非都是必须的，本领域技术人员可以根据实际需要进行适当的取舍、替换、修改等。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管上文参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种用于在神经网络中执行非线性函数运算的方法，包括：

1)根据所述非线性函数的输入值的范围，划分多个分段区间；

2)针对所述多个分段区间中的每一个，将其两个端点值分别作为所述非线性函数的自变量，计算获得与所述分段区间对应的两个因变量；

3)将所述计算获得的与所述分段区间对应的所述两个因变量和所述两个自变量作为与所述分段区间对应的线性函数上的两点，计算与每个分段区间对应的线性函数的斜率和截距；

4)针对所述多个分段区间中的每一个，存储与其对应的斜率和截距，以用于执行所述非线性函数运算。

2.根据权利要求1所述的方法，其中步骤3)还包括：

若所述非线性函数为凹函数，则计算其与所述线性函数之间的最大误差，并采用当前截距减去所述最大误差的一半的结果以作为新的截距。

3.根据权利要求1所述的方法，其中步骤1)包括：

针对神经网络的各层网络，统计在该层网络中激活函数的输入值的范围，以作为针对该层网络的所述需要处理的输入值的范围。

4.根据权利要求1-3中任意一项所述的方法，其中与所述非线性运算对应的非线性函数包括：f(x)＝tanh(x)、f(x)＝max(0，x)。

5.根据权利要求1-3中任意一项所述的方法，其中还包括：

5)在执行所述非线性函数运算时，根据所述非线性函数的输入值所处的分段区间，将执行由与所述分段区间对应的斜率和截距所确定的线性函数的运算所获得的结果作为所述非线性运算的结果。

6.一种基于权利要求1-4中任意一项所述的方法，执行神经网络中非线性函数运算的方法，包括：

A1)将所述非线性函数的输入值与存储的各个分段区间的端点值进行比较，确定所述非线性函数的输入值所处的分段区间；

A2)获得存储的与所述非线性运算的输入值所处的分段区间对应的线性函数的斜率a和截距b，将所述非线性运算的输入值作为线性函数y＝ax+b的自变量，计算相应的因变量以作为所述非线性函数运算的输出值。

7.一种用于神经网络处理器执行非线性函数运算的计算装置，包括：

查找表单元，用于存储通过权利要求1-4中任意一项方法获得的所述多个分段区间中的每一个的所述两个端点值、以及与每个分段区间对应的线性函数的斜率和截距；

匹配单元，用于根据所述非线性函数的输入值、以及所述查找表单元所存储的分段区间的端点值，将所述非线性函数的输入值匹配到相应的分段区间；

计算单元，用于根据由所述匹配单元匹配确定的所述分段区间、以及所述查找表单元所存储的与所述分段区间对应的线性函数的斜率和截距，将所述非线性函数的输入值作为所述线性函数的因变量，执行所述线性函数的运算。

8.一种在神经网络的计算过程中执行激活函数运算的方法，包括：

B1)针对神经网络执行计算的当前的网络层，确定其所使用的激活函数，并且统计所述激活函数的输入值的范围；

B2)根据所获得的所述激活函数的输入值的范围、以及设置的分辨率，将所述激活函数的输入值的范围划分多个分段区间；

B3)针对所述多个分段区间中的每一个，将其两个端点值和分别作为与所述激活函数的自变量，计算获得对应的两个因变量，并且将所述两个自变量和所述两个因变量作为与所述分段区间对应的线性函数上的两点，计算所述线性函数的斜率和截距，针对所述分段区间存储计算获得的所述斜率和所述截距；

B4)将所述激活函数的输入值与存储的各个分段区间的所述端点值进行比较，确定所述输入值所处的分段区间，并据此确定与所述分段区间对应的斜率和截距；

B5)将所述激活函数的所述输入值作为与所确定的斜率和截距对应的线性函数的自变量，计算相应的因变量以作为所述激活函数的输出值。

9.根据权利要求8所述的方法，其中步骤B3)包括：

若所述激活函数为凹函数，则计算其与所述线性函数之间的最大误差，并采用当前截距减去所述最大误差的一半的结果以作为新的截距。

10.一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序在被执行时用于实现如权利要求1-6、8、9中任意一项所述的方法。