CN105844330B - 神经网络处理器的数据处理方法及神经网络处理器 - Google Patents

Abstract

本发明实施例提供一种神经网络处理器的数据处理方法及神经网络处理器。该方法包括：通过加法器将输入数据和相应的权重绝对值相加，输入数据为前一级输出的数据，输入数据和权重绝对值为n元向量，依次将输入数据和相应的权重绝对值相加后的n项数据进行n次第一非线性映射。将第一非线性映射后的结果通过累加器进行n次累加操作，累加操作包括权重符号位控制的加法操作和减法操作，将n次累加操作后的结果进行第二非线性映射得到处理结果并进行数据输出，第二非线性映射根据神经网络非线性映射的规律和第一非线性映射的逆映射制定。从而提高了量化效率，降低了数据的存储需求和带宽需求。

Description

神经网络处理器的数据处理方法及神经网络处理器

技术领域

本发明实施例涉及电子芯片技术领域，尤其涉及一种神经网络处理器的数据处理方法及神经网络处理器。

背景技术

神经网络及深度学习算法已经获得了非常成功的应用，并处于迅速发展的过程中，业界普遍预期新的计算方式有助于实现更为普遍、复杂的智能应用。神经网络及深度学习算法近年来在图像识别应用领域取得了非常突出的成就，因此业界对神经网络及深度学习算法的优化及高效率实现开始关注并重视，诸如facebook，Qualcomm，***，***等公司都投入了神经网络优化算法的研究。Qualcomm公司发布了在下一代芯片中集成神经网络处理模块的计划，提高神经网络算法的处理效率，相关算法的改进，及芯片实现的效率是其关注和研究的核心问题。

图1为一个n级(层)的神经网络计算模型示意图，神经网络处理其中的一个神经元的计算形如：y＝f(x1*w1+x2*w2+…+xn*wn+b)，计算是分级进行的，前一级的输出是后一级的输入。图2为传统的计算方法流程图，前级输出作为数据输入(x1、x2、…xn)，x1、x2、…xn分别与对应的权参数相乘，然后由累加器完成x1*w1+x2*w2+…+xn*wn+b的累加操作，再经过非线性映射y＝f(累加后的结果)得到计算结果，最后完成数据输出。

可以看出，在上述数据处理方法中，由于涉及到的乘法的计算复杂度比较高，在一定计算精度要求下，对应数据的存储需求和带宽需求也比较高，计算效率不高。

发明内容

本发明实施例提供一种神经网络处理器的数据处理方法及神经网络处理器，以解决现有的处理方法中存在的数据的存储需求和带宽需求较高、计算效率不高的问题。

第一方面，本发明实施例提供一种神经网络处理器的数据处理方法，该方法包括：首先通过加法器将输入数据和相应的权重绝对值相加，输入数据为前一级输出的数据，输入数据和权重绝对值为n元向量。接着依次将输入数据和相应的权重绝对值相加后的n项数据进行n次第一非线性映射。然后将第一非线性映射后的结果通过累加器进行n次累加操作，累加操作包括权重符号位控制的加法操作和减法操作。最后将n次累加操作后的结果进行第二非线性映射得到处理结果并进行数据输出，第二非线性映射根据神经网络非线性映射的规律和第一非线性映射的逆映射制定。从而实现了将复杂的乘法计算转变为加法计算，提高了量化效率，存储的容量和带宽可以压缩，因此降低了数据的存储需求和带宽需求，提高了计算效率。而且输入数据不限于0/1二元量化，使得计算精度满足实际应用网络的需求，能适用除神经网络计算以外更广范围的应用目标。

在一个可能的设计中，第一非线性映射为2的M次幂变换，M为输入数据和相应的权重绝对值相加后的n项数据中的各项。采用2的M次幂变换由于映射关系简单，硬件实现代价低。

在一个可能的设计中，当第一非线性映射是m的M次幂变换，m不等于2时，为使电路实现简单，将m的M次幂变换转换为2的M次幂变换，通过加法器将输入数据和相应的权重绝对值相加之前，还包括：对输入数据乘以比例系数K₁，和/或，对权重绝对值乘以比例系数K₂，K₁与K₂相等或不等；或者，通过加法器将输入数据和相应的权重绝对值相加之后，还包括：对相加后的n项数据中的各项乘以比例系数K₃。其中，K₁、K₂、K₃不等于0。

在一个可能的设计中，K₁、K₂、K₃为1+1/2^N或1-1/2^N。

在一个可能的设计中，输入数据或权重绝对值等于0时，累加操作为当前累加项维持不变。权重符号位为负时，累加操作为减法操作。累加器处于维持状态，由于在实际的神经网络计算过程中，无论数输入数据还是权重，存在大量的0，因此这样可以简化处理，降低功耗。

在一个可能的设计中，通过模拟电路实现第一非线性映射或第二非线性映射或累加操作。模拟非线性转换，加法的实现都是可以瞬时完成的，不依懒于数字时钟的速率。

第二方面，本发明实施例提供一种神经网络处理器，包括：加法电路，用于将输入数据和相应的权重绝对值相加，输入数据为前一级输出的数据，输入数据和权重绝对值为n元向量。第一非线性映射电路，用于依次将输入数据和相应的权重绝对值相加后的n项数据进行n次第一非线性映射。累加电路，用于将第一非线性映射后的结果进行n次累加操作，累加操作包括权重符号位控制的加法操作和减法操作。第二非线性映射电路，用于将n次累加操作后的结果进行第二非线性映射得到处理结果并进行数据输出，第二非线性映射根据神经网络非线性映射的规律和第一非线性映射的逆映射制定。

在一个可能的设计中，第一非线性映射电路为2的M次幂变换电路，M为输入数据和相应的权重绝对值相加后的n项数据中的各项。

在一个可能的设计中，还包括：第一乘法电路，用于在加法电路将输入数据和相应的权重绝对值相加之前，对输入数据乘以比例系数K₁；和/或，第二乘法电路，用于在加法电路将输入数据和相应的权重绝对值相加之前，对权重绝对值乘以比例系数K₂，K₁与K₂相等或不等；或者，第三乘法电路，用于在加法电路将输入数据和相应的权重绝对值相加之后，对相加后的n项数据中的各项乘以比例系数K₃；其中，K₁、K₂、K₃不等于0。

在一个可能的设计中，K₁、K₂、K₃为1+1/2^N或1-1/2^N。

在一个可能的设计中，输入数据或权重绝对值等于0时，累加操作为当前累加项维持不变；权重符号位为负时，累加操作为减法操作。

上述第二方面以及上述第二方面的各可能的设计中所提供的神经网络处理器，其有益效果可以参见上述第一方面和第一方面的各可能的设计中所带来的有益效果，在此不再赘述。

本发明实施例提供的神经网络处理器的数据处理方法及神经网络处理器，通过加法器将输入数据和相应的权重绝对值相加，输入数据为前一级输出的数据，接着依次将输入数据和相应的权重绝对值相加后的n项数据进行n次第一非线性映射，将第一非线性映射后的结果通过累加器进行n次累加操作，累加操作包括权重符号位控制的加法操作和减法操作，最后将n次累加操作后的结果进行第二非线性映射得到处理结果并进行数据输出，第二非线性映射根据神经网络非线性映射的规律和第一非线性映射的逆映射制定。从而实现了将复杂的乘法计算转变为加法计算，提高了量化效率，存储的容量和带宽可以压缩，因此降低了数据的存储需求和带宽需求，提高了计算效率。而且输入数据不限于0/1二元量化，使得计算精度满足实际应用网络的需求，能适用除神经网络计算以外更广范围的应用目标。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为一个n级(层)的神经网络计算模型示意图；

图2为传统的计算方法流程图；

图3为本发明神经网络处理器的数据处理方法实施例一的流程图；

图4为本发明神经网络处理器的数据处理方法实施例二的计算框图；

图5为本发明神经网络处理器的数据处理方法实施例三的计算框图；

图6为本发明神经网络处理器的数据处理方法实施例三中2的M次幂变换示意图；

图7为本发明神经网络处理器实施例一的结构示意图；

图8为本发明神经网络处理器实施例二的结构示意图；

图9为本发明神经网络处理器实施例三的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

本发明实施例提供一种神经网络处理器的数据处理方法及神经网络处理器，可应用于例如图像数据、语音数据、视频数据等数据需要进行神经网络计算的场景，接收到的数据作为输入数据进行神经网络计算(单级神经网络计算或多级神经网络计算)，通过本发明实施例提供的下述数据处理方法，复杂的乘法计算转变为加法计算，提高了量化效率，存储的容量和带宽可以压缩，因此降低了数据的存储需求和带宽需求，提高了计算效率。

本发明实施例提供的神经网络处理器可能有物理实体形式。例如，在云端服务器应用场合，可以是独立的处理芯片，在终端(如手机)应用上，可以是终端处理器芯片里的一个模块。信息的输入来自语音、图像、自然语言等需要智能处理的各种信息输入，经过必要的预处理(如采样，模数转换，特征提取等)形成待进行神经网络运算的数据。信息的输出送到其他后续处理模块或软件，例如图形或其他可以理解可用的表现方式。其中，在云端应用形态下，神经网络处理器的前后级的处理单元例如可以由其他服务器运算单元承担，在终端应用环境下，神经网络处理器的前后级处理单元可由终端软硬件的其他部分(如包括传感器、接口电路等)完成。

图3为本发明神经网络处理器的数据处理方法实施例一的流程图，如图1所示，本实施例的方法可以包括：

S101、通过加法器将输入数据和相应的权重绝对值相加，输入数据为前一级输出的数据，输入数据和权重绝对值为n元向量。

对于多级神经网络，前一级的输出作为后一级的输入。其中的权重包括权重绝对值和权重符号位。

S102、依次将输入数据和相应的权重绝对值相加后的n项数据进行n次第一非线性映射。

其中，第一非线性映射可以是任意底数m的M次幂变换，还可以是形如y＝A*m^B，y＝B*B的非线性变换。优选地，第一非线性映射为2的M次幂变换，M为输入数据和相应的权重绝对值相加后的数据中的各项。采用2的M次幂变换由于映射关系简单，硬件实现代价低。

S103、将第一非线性映射后的结果通过累加器进行n次累加操作。

累加操作包括权重符号位控制的加法操作和减法操作，即就是说，权重符号位为负，则累加器做减法运算，权重符号位为正，累加器做加法运算。

S104、将n次累加操作后的结果进行第二非线性映射得到处理结果并进行数据输出，第二非线性映射根据神经网络非线性映射的规律和第一非线性映射的逆映射制定。

其中，当第一非线性映射是m的M次幂变换，m不等于2时，为使电路实现简单，将m的M次幂变换转换为2的M次幂变换，具体通过：S101中通过加法器将输入数据和相应的权重绝对值相加之前，还包括：

对输入数据乘以比例系数K₁，和/或，对权重绝对值乘以比例系数K₂，K₁与K₂相等或不等；或者，通过加法器将输入数据和相应的权重绝对值相加之后，还包括：对相加后的n项数据中的各项乘以比例系数K₃。其中，K₁、K₂、K₃不等于0，可选地，K₁、K₂、K₃可以为1+1/2^N或1-1/2^N。

通过上述操作，在电路实现时可以将m的M次幂变换转化为2的M次幂变换来实现，因为2的M次幂变换的映射关系简单，硬件实现代价低。

进一步地，输入数据或权重绝对值存在等于0的情况，权重也存在为负数的情况，因此，输入数据或权重绝对值等于0时，累加操作为当前累加项维持不变。累加器处于维持状态，由于在实际的神经网络计算过程中，无论数输入数据还是权重，存在大量的0，因此这样可以简化处理，降低功耗。

权重符号位为负时，累加操作为减法操作，即累加器做减法运算。做减法就是对原来的数取反加1。

可选地，可以通过模拟电路实现第一非线性映射或第二非线性映射或累加操作。模拟非线性转换，加法的实现都是可以瞬时完成的，不依懒于数字时钟的速率。

需要说明的是，本发明实施例中上文提到的加法器、累加器以及下文提到的乘法器是分立的、物理的电路，不是通过通用CPU实现的软件模块。

本实施例提供的神经网络处理器的数据处理方法，通过加法器将输入数据和相应的权重绝对值相加，输入数据为前一级输出的数据，接着依次将输入数据和相应的权重绝对值相加后的n项数据进行n次第一非线性映射，将第一非线性映射后的结果通过累加器进行n次累加操作，累加操作包括权重符号位控制的加法操作和减法操作，最后将n次累加操作后的结果进行第二非线性映射得到处理结果并进行数据输出，第二非线性映射根据神经网络非线性映射的规律和第一非线性映射的逆映射制定。从而实现了将复杂的乘法计算转变为加法计算，提高了量化效率，存储的容量和带宽可以压缩，因此降低了数据的存储需求和带宽需求，提高了计算效率。而且输入数据不限于0/1二元量化，使得计算精度满足实际应用网络的需求，能适用除神经网络计算以外更广范围的应用目标。

下面结合公式推导过程和一个具体的实施例详细说明本发明实施例提供的神经网络处理器的数据处理方法的处理过程。

具体地，采用m的M次幂变换将复杂的乘法计算转变为加法计算，详细的计算公式推导过程如下：

以背景技术中提到形如y＝f(x1*w1+x2*w2+…+xn*wn+b)的计算为例，

先假设x>0，s(w)为W的符号位。

y＝f(s(w1)e^{ln(x1)+ln(|w1|)}+s(w2)e^{ln(x2)+ln(|w2|)}+…s(wn)e^{ln(xn)+ln(|wn|)}+b)

ln(y)＝ln(f(s(w1)e^{ln(x1)+ln(|w1|)}+s(w2)e^{ln(x2)+ln(|w2|)}+…s(wn)e^{ln(xn)+ln(|wn|)}+b))

假设u＝ln(y)，v＝ln(x)，c＝ln(|w|)，这个公式重新表示为：

u＝ln(f(s(w1)e^v1+c1+s(w2)e^v2+c2+…s(wn)e^vn+cn+b))

如果指数关系是2的指数，对数关系是以2为底的对数，计算公式写为：

y＝f(s(w1)2^log ₂ ^(x1)+log ₂ ^(|w1|)+s(w2)2^log ₂ ^(x2)+log ₂ ^(|w2|)+…+s(wn)2^log ₂ ^(xn)+log ₂ ^(|wn|)…+b)

log₂y＝log₂f(s(w1)2^log ₂ ^(x1)+log ₂ ^(|w1|)+s(w2)2^log ₂ ^(x2)+log ₂ ^(|w2|)+…+s(wn)2^log ₂ ^(xn)+log ₂ ^(|wn|)…+b)

假设u＝log₂y，v＝log₂x，c＝log₂|w|，这个公式重新表示为：

u＝log₂f(s(w1)2^v1+c1+s(w2)2^v2+c2+…s(wn)2^vn+cn+b)

令g(x)＝2^(x)，ff(x)＝log₂f(x)，则计算公式简写为：

u＝ff(s(w1)g(v1+c1)+s(w2)g(v2+c2)+…s(wn)g(vn+cn)+b)

其中，g(x)对应第一非线性映射，ff(x)对应第二非线性映射。图4为本发明神经网络处理器的数据处理方法实施例二的计算框图，如图4所示，前级输出作为输入数据，输入数据和相应的权重绝对值为n元向量，首先通过加法器将输入数据和相应的权重绝对值相加，得到相加后的n项数据v1+c1、v2+c2、、、vn+cn，依次将相加后的n项数据v1+c1、v2+c2、、、vn+cn进行n次第一非线性映射(g(x)＝2^(x))，得到第一非线性映射后的结果2^v1+c1、2^v2+c2、、、2^vn+cn，接着进行n次累加操作得到2^v1+c1+2^v2+c2+…2^vn+cn+b，如果输入数据或权重为0，则当前累加项维持不变。如果权重符号位为负，则累加器做减法运算。最后将n次累加操作后的结果进行第二非线性映射(ff(x))得到处理结果并进行数据输出。

如果指数关系是以m为底的指数，对数关系是以m为底的对数，计算公式写为：

y＝f(s(w1)m^log _m ^(x1)+log _m ^(|w1|)+s(w2)m^log _m ^(x2)+log _m ^(|w2|)+…+s(wn)m^log _m ^(xn)+log _m ^(|wn|)…+b)

log_my＝log_mf(s(w1)m^log _m ^(x1)+log _m ^(|w1|)+s(w2)m^log _m ^(x2)+log _m ^(|w2|)+…+s(wn)m^log _m ^(xn)+log _m ^(|wn|)…+b)

假设u＝log_my，v＝log_mx，c＝log_m|w|，这个公式重新表示为：

u＝log_mf(s(w1)m^v1+c1+s(w2)m^v2+c2+…+s(wn)m^vn+cn+b)

u＝log_mf(s(w1)2^(v1+c1)*log ₂ ^m+s(w2)2^(v2+c2)*log ₂ ^m+…+s(wn)2^(vn+cn)*log ₂ ^m+b)

令g(x)＝2^(x)，ff(x)＝log_mf(x)，k＝log₂m，则计算公式简写为：

u＝ff(s(w1)g(c1*k+v1*k)+s(w2)g(c2*k+v2*k)+…s(wn)g(cn*k+vn*k)+b)

其中g(x)对应第一非线性映射，ff(x)对应第二非线性映射。如图5所示，图5为本发明神经网络处理器的数据处理方法实施例三的计算框图。上述计算公式中的k为所乘的比例系数，通过在加法器将输入数据和相应的权重绝对值相加之前或之后乘以比例系数k，可将m的M次幂变换转换为2的M次幂变换，使得映射关系简单，电路实现上也简单，进而硬件实现代价低。结合图5，本实施的方法包括：

S201、从n-1级数据输出单元输出的数据(即前级输出)作为n级的输入数据。

S202、n级的加法器对本级的输入数据和相应的权重绝对值做相加操作。

S203、在输入数据和权重绝对值相加的通道上，或者在输入数据和相应的权重绝对值相加后的结果上，乘以比例系数k，常用的比例系数k例如型如1+1/2^N，1-1/2^N的比例系数。

S204、依次将输入数据和相应的权重绝对值相加后的n项数据进行n次第一非线性映射。

其中，第一非线性映射例如是可以简化设计的2的M次幂变换。图6为本发明神经网络处理器的数据处理方法实施例三中2的M次幂变换示意图，如图6所示，具体包括：

S2041、相加后的数据中，数据的浮点部分，经过译码器电路，转换为反映浮点权实际大小的二进制数。

S2042、数据的小数部分，经过查表或简化的组合电路，完成数据的指数变换映射。

S2043、指数变换后的数据，和浮点的权，通过组合电路结合完成非常简单的1位对n位乘法，形成最后的结果。

S205、累加器对第一非线性映射后输出的累加项进行n次累加操作。如果输入数据或权重为0，则当前累加项维持不变。如果权重符号位为负，则累加器做减法运算。

S206、将n次累加操作后的结果进行第二非线性映射。一般地，该第二非线性映射根据神经网络非线性映射的规律和第一非线性映射的逆映射制定。该变换的一个特例是包括了2种变换的级联，其1是神经网络原始的非线性变换，例如Sigmoid，ReLU等，其2是调整数据分布规律的对数变换。

S207、将处理结果进行数据输出。

例如，对应一个形如：y＝f(x1*w1+x2*w2+…+xn*wn+b)的计算，x，w，y的原始数据精度需要单精度的浮点(32bit)，至少也需要16bit的定点数，对应的数据带宽按16bit成比例计算，同时需要16bit的乘法器。

首先可以对x，w，y都进行对数变换，A＝log_mB。实验表明，变换后的数据，8比特的量化可以满足实用的要求，甚至还可以进一步做到6比特，4比特。

变换后的数据记为P.Q，其中P是小数点前的部分，Q是小数点后面的部分，P有p位，Q有q位，p+q是数据的总比特数。

本实施例中用Pv.Qv表示对应的，经过变换后的x，w，y数据。

因此，经过对数变换后的加法计算就转变为：

没有进位的情况：Px.Qx+Pw.Qw＝(Px+Pw).(Qx+Qw)或

有进位的情况：Px.Qx+Pw.Qw＝(Px+Pw+1).(Qx+Qw-1)

记做：Pt.Qt

对Pt.Qt做一个简单的乘法，乘的系数为：Log₂m，通过这个乘法，可以把后续需要做的m^Pt.Qt，转换为2^Ps.Qs来做。而Ps.Qs＝Pt.Qt*Log₂m。

在多数情况下，取2的对数或指数可以满足应用要求。特殊情况下，如果适当调整的对数关系可以更好地满足应用的要求，可以通过乘这个系数来适当调节。通过一次加法，可以满足的调整范围为型如：1+1/2^N，1-1/2^N的任意系数。假设Pt是4bit，Qt是4bit，后续的计算，Pt直接送到4线转16线的译码器，而Qt直接送一个4bit到4bit的查找表，或反映指数映射数据规律的简单组合电路。

图7为本发明神经网络处理器实施例一的结构示意图，如图7所示，本实施例的神经网络处理器可以包括：加法电路11、第一非线性映射电路12、累加电路13和第二非线性映射电路14。其中，加法电路11用于将输入数据和相应的权重绝对值相加，输入数据为前一级输出的数据，输入数据和权重绝对值为n元向量。第一非线性映射电路12用于依次将输入数据和相应的权重绝对值相加后的n项数据进行n次第一非线性映射。累加电路13用于将第一非线性映射后的结果进行n次累加操作，累加操作包括权重符号位控制的加法操作和减法操作。第二非线性映射电路14用于将n次累加操作后的结果进行第二非线性映射得到处理结果并进行数据输出，第二非线性映射根据神经网络非线性映射的规律和第一非线性映射的逆映射制定。

其中，第一非线性映射电路12可以是任意底数m的M次幂变换电路，还可以是形如y＝A*m^B，y＝B*B的非线性变换电路。优选地，第一非线性映射电路12为2的M次幂变换电路，M为输入数据和相应的权重绝对值相加后的n项数据中的各项。

进一步地，当第一非线性映射电路12是m的M次幂变换电路，m不等于2时，为使电路实现简单，将m的M次幂变换转换为2的M次幂变换，具体地，图8为本发明神经网络处理器实施例二的结构示意图，如图8所示，在图7所示神经网络处理器的基础上，进一步地，还包括：第一乘法电路15，用于在加法电路11将输入数据和相应的权重绝对值相加之前，对输入数据乘以比例系数K₁；和/或，第二乘法电路16，用于在加法电路11将输入数据和相应的权重绝对值相加之前，对权重绝对值乘以比例系数K₂，K₁与K₂相等或不等。

图9为本发明神经网络处理器实施例三的结构示意图，如图9所示，在图7所示神经网络处理器的基础上，进一步地，还包括：第三乘法电路17，用于在加法电路11将输入数据和相应的权重绝对值相加之后，对相加后的n项数据中的各项乘以比例系数K₃。

其中，K₁、K₂、K₃不等于0。可选的，K₁、K₂、K₃可以为1+1/2^N或1-1/2^N。

进一步地，输入数据或权重绝对值等于0时，累加操作为当前累加项维持不变；权重符号位为负时，累加操作为减法操作。累加器处于维持状态，由于在实际的神经网络计算过程中，无论数输入数据还是权重，存在大量的0，因此这样可以简化处理，降低功耗。

本实施例的装置，可以用于执行图3所示方法实施例的技术方案，其实现原理类似，此处不再赘述。

本实施例提供的神经网络处理器，通过加法电路将输入数据和相应的权重绝对值相加，输入数据为前一级输出的数据，接着第一非线性映射电路依次将输入数据和相应的权重绝对值相加后的n项数据进行n次第一非线性映射，累加电路将第一非线性映射后的结果通过累加器进行n次累加操作，累加操作包括权重符号位控制的加法操作和减法操作，最后第二非线性映射电路将n次累加操作后的结果进行第二非线性映射得到处理结果并进行数据输出，第二非线性映射根据神经网络非线性映射的规律和第一非线性映射的逆映射制定。从而实现了将复杂的乘法计算转变为加法计算，提高了量化效率，存储的容量和带宽可以压缩，因此降低了数据的存储需求和带宽需求，提高了计算效率。而且输入数据不限于0/1二元量化，使得计算精度满足实际应用网络的需求，能适用除神经网络计算以外更广范围的应用目标。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的范围。

Claims (11)

1.一种神经网络处理器的数据处理方法，其特征在于，包括：

通过加法器将输入数据和相应的权重绝对值相加，所述输入数据为前一级输出的数据，所述输入数据和所述权重绝对值为n元向量；

依次将所述输入数据和相应的权重绝对值相加后的n项数据进行n次第一非线性映射；

将第一非线性映射后的结果通过累加器进行n次累加操作，所述累加操作包括权重符号位控制的加法操作和减法操作；

将n次累加操作后的结果进行第二非线性映射得到处理结果并进行数据输出，所述第二非线性映射根据神经网络非线性映射的规律和所述第一非线性映射的逆映射制定。

2.根据权利要求1所述的方法，其特征在于，所述第一非线性映射为2的M次幂变换，M为所述输入数据和相应的权重绝对值相加后的n项数据中的各项。

3.根据权利要求1所述的方法，其特征在于，所述通过加法器将输入数据和相应的权重绝对值相加之前，还包括：

对所述输入数据乘以比例系数K₁，和/或，对所述权重绝对值乘以比例系数K₂，K₁与K₂相等或不等；或者，

所述通过加法器将输入数据和相应的权重绝对值相加之后，还包括：

对相加后的n项数据中的各项乘以比例系数K₃；

其中，K₁、K₂、K₃不等于0。

4.根据权利要求3所述的方法，其特征在于，K₁、K₂、K₃为1+1/2^N或1-1/2^N。

5.根据权利要求1-4任一项所述的方法，其特征在于，

所述输入数据或所述权重绝对值等于0时，所述累加操作为当前累加项维持不变；

所述权重符号位为负时，所述累加操作为减法操作。

6.根据权利要求1-4任一项所述的方法，其特征在于，通过模拟电路实现所述第一非线性映射或所述第二非线性映射或所述累加操作。

7.一种神经网络处理器，其特征在于，包括：

加法电路，用于将输入数据和相应的权重绝对值相加，所述输入数据为前一级输出的数据，所述输入数据和所述权重绝对值为n元向量；

第一非线性映射电路，用于依次将所述输入数据和相应的权重绝对值相加后的n项数据进行n次第一非线性映射；

累加电路，用于将第一非线性映射后的结果进行n次累加操作，所述累加操作包括权重符号位控制的加法操作和减法操作；

第二非线性映射电路，用于将n次累加操作后的结果进行第二非线性映射得到处理结果并进行数据输出，所述第二非线性映射根据神经网络非线性映射的规律和所述第一非线性映射的逆映射制定。

8.根据权利要求7所述的神经网络处理器，其特征在于，所述第一非线性映射电路为2的M次幂变换电路，M为所述输入数据和相应的权重绝对值相加后的n项数据中的各项。

9.根据权利要求7所述的神经网络处理器，其特征在于，还包括：

第一乘法电路，用于在所述加法电路将输入数据和相应的权重绝对值相加之前，对所述输入数据乘以比例系数K₁；和/或，

第二乘法电路，用于在所述加法电路将输入数据和相应的权重绝对值相加之前，对所述权重绝对值乘以比例系数K₂，K₁与K₂相等或不等；

或者，

第三乘法电路，用于在所述加法电路将输入数据和相应的权重绝对值相加之后，对相加后的n项数据中的各项乘以比例系数K₃；

其中，K₁、K₂、K₃不等于0。

10.根据权利要求9所述的神经网络处理器，其特征在于，K₁、K₂、K₃为1+1/2^N或1-1/2^N。

11.根据权利要求7-10任一项所述的神经网络处理器，其特征在于，所述输入数据或所述权重绝对值等于0时，所述累加操作为当前累加项维持不变；

所述权重符号位为负时，所述累加操作为减法操作。