CN109634558A - 可编程的混合精度运算单元 - Google Patents

Abstract

本申请提供了一种可编程的混合精度运算单元，能够支持多种精度的浮点或定点乘和/或加运算，既可以实现多路并发的低精度运算，又可以整体实现一个高精度的运算，因此，具有较高能效比。

Description

可编程的混合精度运算单元

技术领域

本申请涉及电子信息领域，尤其涉及一种可编程的混合精度运算单元。

背景技术

深度神经网络在人工智能领域被广泛应用，其应用场景可以大致分为训练(Training)和推断(Inference)两种类型。其中推断算法对运算精度要求相对较低，多使用8位、16位定点精度；训练算法则大多要求达到16位或32位浮点精度。

而现有的运算单元，或者仅支持8位或16位定点运算，仅适用于推断；或者，支持浮点运算，适用于训练和推断，但硬件成本高且耗能高，应用于推断场景下的能效比偏低。

发明内容

本申请提供了一种可编程的混合精度运算单元，目的在于解决既兼容定点和浮点运算、又具有较高能效比的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种可编程的混合精度运算单元，包括：

四个扩展的半精度乘法器、以及四个扩展的单精度加法器；

任意一个所述扩展的半精度乘法器用于将输入数值扩展到X位，并计算第一数值和第二数值之积，其中，第一数值为一个输入数值扩展后的数值中的高位数值或低位数值，第二数值为另一个输入数值扩展后的数值中的高位数值或低位数值，X为预设数值；

任意一个所述扩展的单精度加法器用于将输入数值扩展到Y位，并计算扩展后的数值之和，Y为预设数值；

其中，所述四个扩展的半精度乘法器和所述四个扩展的单精度加法器以第一方式或第二方式连接；

所述第一方式为：所述四个扩展的半精度乘法器与所述四个扩展的单精度加法器一一对应级联，构成四个并联的半精度乘加器；

所述第二方式为：第一扩展的单精度加法器与第一扩展的半精度乘法器和第二扩展的半精度乘法器分别级联；

第二扩展的单精度加法器与第三扩展的半精度乘法器和第四扩展的半精度乘法器分别级联；

第三扩展的单精度加法器与第一扩展的单精度加法器和第二扩展的单精度加法器分别级联。

可选的，所述扩展的半精度乘法器中包括：

并联的一个单精度指数乘法器和一个扩展的半精度尾数乘法器；

所述扩展的半精度尾数乘法器用于将输入数值扩展到X位，并计算所述第一数值和所述第二数值之积。

可选的，所述扩展的单精度加法器中包括：

并联的一个单精度指数加法器和一个扩展的单精度尾数加法器；

所述扩展的单精度尾数加法器用于将输入数值扩展到Y位，并计算扩展后的数值之和。

一种可编程的混合精度运算单元，包括：

四个扩展的单精度乘法器、以及四个扩展的双精度加法器；

所述扩展的单精度乘法器为前述任一项所述的可编程的混合精度运算单元；

所述扩展的双精度加法器用于将输入数值扩展到M位，并计算扩展后的数值之和，M为预设数值；

其中，所述四个扩展的单精度乘法器和四个扩展的双精度加法器以第一方式或第二方式连接；

所述第一方式为：所述四个扩展的单精度乘法器与所述四个扩展的双精度加法器一一对应级联，构成四个并联的单精度乘加器；

所述第二方式为：第一扩展的双精度加法器与第一扩展的单精度乘法器和第二扩展的单精度乘法器分别级联；

第二扩展的双精度加法器与第三扩展的单精度乘法器和第四扩展的单精度乘法器分别级联；

第三扩展的双精度加法器与第一扩展的双精度加法器和第二扩展的双精度加法器分别级联。

可选的，所述扩展的双精度加法器中包括：

并联的一个双精度指数加法器和一个扩展的双精度尾数加法器；

所述扩展的双精度尾数加法器用于将输入数值扩展到M位，并计算扩展后的数值之和。

一种可编程的混合精度运算单元，包括：

并联的、前述任一项的可编程的混合精度运算单元。

一种可编程的混合精度运算单元，包括：

四个扩展的半精度乘法器、以及三个扩展的单精度加法器；

第一扩展的半精度乘法器用于将输入数值扩展到X位后，计算MSBa*MSBb，得到第一乘积；

第二扩展的半精度乘法器用于将所述输入数值扩展到X位后，计算MSBa*LSBb，得到第二乘积；

第三扩展的半精度乘法器用于将所述输入数值扩展到X位后，计算LSBa*MSBb，得到第三乘积；

第四扩展的半精度乘法器用于将所述输入数值扩展到X位后，计算LSBa*LSBb，得到第四乘积；其中，所述输入数值为第一数值和第二数值，MSBa为扩展后的第一数值的高位，MSBb为扩展后的第二数值的高位，LSBa为所述扩展后的第一数值的低位，LSBb为所述扩展后的第二数值的低位；

第一扩展的单精度加法器用于将所述第一乘积和所述第二乘积扩展到Y位后，计算扩展后的第一乘积和扩展后的第二乘积之和，得到第一相加结果；

第二扩展的单精度加法器用于将所述第三乘积和所述第四乘积扩展到Y位后，计算扩展后的第三乘积和扩展后的第四乘积之和，得到第二相加结果；

第三扩展的单精度加法器用于将所述第一相加结果和所述第二相加结果扩展到Y位后，计算扩展后的第一相加结果和扩展后的第二相加结果之和。

可选的，还包括：

第四扩展的单精度加法器，用于将两个单精度数值扩展到Y位后，计算扩展后的两个单精度数值之和，任意一个所述单精度数值为所述第一相加结果和所述第二相加结果之和。

一种可编程的混合精度运算单元，包括：

四个扩展的单精度乘法器、以及三个扩展的双精度加法器；

所述扩展的单精度乘法器用于实现前述的可编程的混合精度运算单元的功能；

第一扩展的双精度加法器用于将第一乘积和第二乘积扩展到M位后，计算扩展后的第一乘积和扩展后的第二乘积之和，得到第一相加结果；所述第一乘积为第一扩展的单精度乘法器的输出结果，所述第二乘积为第二扩展的单精度乘法器的输出结果；

第二扩展的双精度加法器用于将第三乘积和第四乘积扩展到M位后，计算扩展后的第三乘积和扩展后的第四乘积之和，得到第二相加结果；所述第三乘积为第三扩展的单精度乘法器的输出结果，所述第四乘积为第四扩展的单精度乘法器的输出结果；

第三扩展的双精度加法器用于将所述第一相加结果和所述第二相加结果扩展到M位后，计算扩展后的第一相加结果和第二相加结果之和。

可选的，还包括：

第四扩展的双精度加法器，用于将两个双精度数值扩展到M位后，计算扩展后的两个双精度数值之和，任意一个所述双精度数值为所述第一相加结果和所述第二相加结果之和。

本申请所述的可编程的混合精度运算单元能够支持多种精度的浮点或定点乘和/或加运算，既可以实现多路并发的低精度运算，又可以整体实现一个高精度的运算，因此，具有较高能效比。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种可编程的混合精度运算单元的结构示意图；

图2为本申请实施例公开的又一种可编程的混合精度运算单元的结构示意图；

图3为本申请实施例公开的可编程的混合精度运算单元通连接方式的切换实现不同运算的示意图；

图4为本申请实施例公开的又一种可编程的混合精度运算单元的结构示意图；

图5为本申请实施例公开的又一种可编程的混合精度运算单元的结构示意图；

图6为本申请实施例公开的又一种可编程的混合精度运算单元的结构示意图。

具体实施方式

本申请实施例公开的可编程的混合精度运算单元，可以应用在但不限于深度神经网络中，从运算类型而言，适用于训练和推断过程；从硬件而言，可以设置在通用中央处理器(CPU，如Intel/AMD x86 CPU)、图形处理器(GPU，如NVidia V100)、神经元处理器(如Google TPU)、现场可编程门阵列(FPGA和专用集成电路(ASIC)中。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例公开的一种可编程的混合精度运算单元，包括：四个扩展的半精度乘法器1、以及四个扩展的单精度加法器2。

任意一个扩展的半精度乘法器用于将输入数值扩展到X位，并计算第一数值和第二数值之积，其中，第一数值为一个输入数值扩展后的数值中的高位数值或低位数值，第二数值为另一个输入数值扩展后的数值中的高位数值或低位数值，X为预设数值。

任意一个扩展的单精度加法器用于将输入数值扩展到Y位，并计算扩展后的数值之和，Y为预设数值。

需要说明的是，本申请实施例中“扩展的”是指具有将数值的位数扩展到预设数值位的功能，但如果输入数值已满预设数值位，则不进行扩展。

具体的，任意一个扩展的半精度乘法器1中包括：并联的一个单精度指数乘法器11和一个扩展的半精度尾数乘法器12。

其中，扩展的半精度尾数乘法器用于将输入数值扩展到X位，并计算所述第一数值和所述第二数值之积。

具体的，X的取值范围包括：1、16～22位，这里超过16位(输入)的部分作为精度将用来保持中间结果的精度，不影响本发明的实施。2、11～15位，相比1，仅缺失对定点32位计算的支持，同样是本发明涵盖的内容。

具体的，单精度指数乘法器用于计算单精度浮点数的指数之积。单精度指数乘法器支持单精度数值的乘法运算，并可以向下兼容半精度数值的乘法运算。

基于扩展的半精度乘法器的结构，扩展的半精度乘法器可以实现半精度浮点数的乘法运算，以及8位或16位定点数的乘法运算。举例说明：

对于半精度浮点乘法：假设两个半精度浮点数为C和D：

C＝1.Mc*2^Ec，D＝1.Md*2^Ed，其中1.Mc为C的尾数，2^Ec为C的指数，1.Md为D的尾数，2^Ed为D的指数。

则C与D的乘积为：C*D＝(1.Mc*1.Md)*2^(Ec+Ed)。

在将1.Mc和1.Md分别通过低位扩展(补零)以从11位扩展到16位后，假设1.Ma扩展后为：

1.Mc’＝Mc*2^-15。

1.Md扩展后为：

1.Md’＝Md*2^-15。

令X＝C*D＝1.Mx*2^Ex；

则有Ex＝Ec+Ed；

1)如果Mc*Md*2^-30>＝2

1.Mx＝Mc*Md*2^-31(Mx舍入到10位)

Ex＝Ec+Ed+1

2)如果Mc*Md*2^-30<2

1.Mx＝Mc*Md*2^-30(Mx舍入到10位)

Ex＝Ec+Ed。

可见，两个半精度浮点数的乘法，包括乘法运算、移位运算和加法运算，因此，可以使用单精度指数乘法器进行加法运算、使用半精度尾数乘法器进行乘法运算，移位运算使用现有的移位运算模块实现。

对于8位定点乘法：假设两个8位的定点数为A和B，令1.Ma＝A(有符号或无符号扩展到16位)，1.Mb＝B，则A*B＝1.Ma*1.Mb(截取低16位)，利用一个扩展的半精度尾数乘法器即可完成该运算。

任意一个扩展的单精度加法器2中包括：并联的一个单精度指数加法器21和一个扩展的单精度尾数加法器22。

其中，扩展的单精度尾数加法器用于将输入数值扩展到Y位，并计算扩展后的数值之和。

具体的，Y的取值范围包括：32～44位，这里超过32位(输出)的部分作为精度将用来保持中间结果的精度，不影响本发明的实施。2、22～30位，相比1，仅缺失对定点32位计算的支持，同样是本发明涵盖的内容。

具体的，单精度指数加法器用于计算单精度或半精度浮点数的指数之和。

基于上述结构，任意一个扩展的单精度加法器可以支持：

1、单精度加法；

2、半精度加法，其中半精度的被扩展成单精度完成加法后再转换成半精度；

3、定点32位加法，直接利用扩展的尾数加法器实现，加法操作数的指数部分默认为相同的常数；

4、定点16位和8位加法，扩展为32位定点进行运算，并将结果转换为16位或8位(取低位)。

四个扩展的半精度乘法器1、以及四个扩展的单精度加法器2具有两种连接方式：

图1为第一种连接方式：四个扩展的半精度乘法器与四个扩展的单精度加法器一一对应级联，构成四个并联的半精度乘加器。

基于上述具体结构，任意一个半精度乘加器能够实现以下运算：

1、一个半精度乘法或加法运算；

2、一个半精度乘加运算；

3、一个定点8位16位乘或加法运算；

4、一个定点8位16位乘加运算；

5、一个单精度加法运算；

6、一个定点32位加法运算。

可见，第一种连接方式能够构成4个半精度乘加器，4个半精度乘加器可以并行进行上述6种运算(一个半精度乘加器同时可进行一种运算)。

需要说明的是，本申请的实施例中，依据已有的结构和已知的运算类型，本领域技术人员能够知晓如何使用已有的结构实现已知类型的运算，这里不再一一举例赘述。其它结构能够也类似，本申请实施例中不再穷举示例。

图2为第二种连接方式：

将四个扩展的半精度乘法器分别称为：第一扩展的半精度乘法器、第二扩展的半精度乘法器、第三扩展的半精度乘法器和第四扩展的半精度乘法器。将四个扩展的单精度加法器分别称为第一扩展的单精度加法器、第二扩展的单精度加法器、第三扩展的单精度加法器和第四扩展的单精度加法器。则第一扩展的单精度加法器与第一扩展的半精度乘法器和第二扩展的半精度乘法器分别级联。第二扩展的单精度加法器与第三扩展的半精度乘法器和第四扩展的半精度乘法器分别级联。第三扩展的单精度加法器与第一扩展的单精度加法器和第二扩展的单精度加法器分别级联。第四扩展的单精度加法器不与其它扩展的单精度加法器或扩展的半精度乘法器相连。

基于上述具体结构，图2中所示的第二种连接关系实现乘加运算的示例为：

具体的，假设两个单精度浮点数分别为A和B：

A＝1.Ma*2^Ea，B＝1.Mb*2^Eb，其中1.Ma为A的尾数，2^Ea为A的指数，1.Mb为B的尾数，2^Eb为B的指数。

则A与B的乘积为：A*B＝(1.Ma*1.Mb)*2^(Ea+Eb)。

在将1.Ma和1.Mb分别通过低位扩展(补零)以从23位扩展到32位后，假设1.Ma扩展后为：

1.Ma’＝MSBa*2^-15+LSBa*2^-31。

1.Mb扩展后为：

1.Mb’＝MSBb*2^-15+LSBb*2^-31。

其中，MSB表示高位，LSB表示低位，MSBa表示1.Ma扩展后得到的尾数的高位，LSBa表示1.Ma扩展后得到的尾数的低位，MSBb表示1.Mb扩展后得到的尾数的高位，LSBb表示1.Mb扩展后得到的尾数的低位。MSB和LSB分别为16位定点数。

则尾数之积为：

X＝1.Ma*1.Mb＝1.Ma’*1.Mb’

＝(MSBa*2^-15+LSBa*2^-31)*(MSBb*2^-15+LSBb*2^-31)

＝2^-15*((MSBa*MSBb)+2^-16*(MSBa*LSBb+LSBa*MSBb)+2^-32*(LSBa*LSBb))。(1)

可见，式(1)中包括四个乘积，尾数之积为四个乘积之和，因此，基于式(1)，图2中的4个扩展的半精度乘法器(具体的，为扩展的半精度乘法器中的扩展的半精度尾数乘法器)中，依次用于计算式(1)中的4个乘积，3个加法器用于计算4个乘积之和。

即：图2从上到下包括3层：第一层中，从左到右的扩展的半精度乘法器中，第一个扩展的半精度乘法器用于计算MSBa*MSBb，第二个扩展的半精度乘法器用于计算MSBa*LSBb，第三个扩展的半精度乘法器用于计算LSBa*MSBb，第四个扩展的半精度乘法器用于计算LSBa*LSBb。第二层中的两个扩展的单精度加法器，按照从左到右的顺序，第一个扩展的单精度加法器用于计算MSBa*MSBb与MSBa*LSBb之和(以下将MSBa*MSBb与MSBa*LSBb之和称为第一相加结果)，第二个扩展的单精度加法器用于计算LSBa*MSBb与LSBa*LSBb之和(以下将LSBa*MSBb与LSBa*LSBb称为第二相加结果)。第三层的扩展的单精度加法器用于计算第一相加结果和第二相加结果之和。

需要说明的是，式(1)中的2^-15、2^-16和2^-32通过移位运算实现，可以使用现有的移位运算模块实现移位运算，具体可参见现有技术，这里不再赘述，移位运算模块未在图2中画出。

在涉及移位运算的情况下，半精度浮点乘法器对于尾数的扩展，可以实现精度保护的目的。

从上述说明可以看出，图2所示的结构中，联合4次半精度尾数(定点)乘法运算和3次扩展的单精度尾数(定点)加法运算，合成一个单精度浮点乘法运算中的尾数运算。

A与B的乘积中的指数运算2^Ea*2^Eb，可以通过任意一个单精度指数乘法器实现，尾数相乘结果与指数相乘结果的乘加，可以通过移位运算(移位模块为现有技术，在图2中未画出)得到，可见，图2所示的连接关系具有实现浮点数的乘法运算的功能。

再结合第四扩展的单精度加法器，可以将两次浮点数的乘法运算的结果作为第四扩展的单精度加法器的输入，实现乘加运算。即：联合4次扩展的半精度尾数(定点)乘法运算和3次扩展的单精度尾数(定点)加法，以及一个扩展的单精度浮点加法运算，可以合成一个单精度浮点乘加运算。也就是说，4个扩展的半精度乘法器和4个扩展的单精度加法器可以构成一个单精度浮点乘加单元，并向下兼容半精度的浮点乘加运算。

因为定点运算可以利用浮点运算的尾数部分实现，相当于浮点运算的指数运算部分被跳过，因此，图2所示的连接方式也可以实现定点乘法运算，基于扩展的半精度乘法器的精度，图2所示的连接方式可以实现8位或16位或32位的定点乘法运算。32位的定点乘法运算的实现过程，与上述尾数相乘的运算过程相同(因为输入扩展的半精度乘法器的数值已经是32位，所以半精度乘法器无需对数值做扩展)。对于8位或16位的定点乘法运算，半精度乘法器对数值做扩展后，与上述尾数相乘的运算过程相同，这里不再赘述。

这里对于图2所示的连接关系进行32位定点的乘加运算进行举例：

假设两个32位定点数分别为A和B：

A＝MSBa*2^16+LSBa，B＝MSBa*2^16+LSBb，其中MSBa为A的高16位，LSBa为A的低16位；MSBb为B的高16位，LSBb为B的低16位。

则A与B的乘积为：A*B＝(MSBa*2^16+LSBa)*(MSBa*2^16+LSBb)

＝2^32*(MSBa*MSBb)+2^16*(MSBa*LSBb+LSBa*MSBb)+(LSBa*LSBb)。

类似单精度浮点运算，使用4个扩展的半精度尾数乘法器，三个移位器和三个扩展的单精度尾数加法器完成A*B的运算。结果截取低32位，截取时如果结果大于32位能表示的最大值，需要根据算法需要做饱和或上溢处理。

最后再级联一个扩展的单精度尾数加法器可完成一个32位定点乘加运算。

综上所述，四个扩展的半精度乘法器以及四个扩展的单精度加法器构成可重构的运算单元(图1和图2)，能够支持多种精度，例如半精度、单精度的浮点数的乘和/或加运算，并且还能够支持8位、16位和32位的定点数乘和/或加运算，即能够支持混合精度的浮点和定点乘和/或加运算。

更为重要的是，运算单元中一部分运算器可支持较低精度的运算，例如单精度指数乘法器与任意一个扩展的半精度乘法器实现半精度浮点乘法，整个运算单元支持精度更高的运算。并且，在一部分运算器的运算，并不影响并联的其它运算器的运算，因此，既可以实现多路并发的低精度运算，又可以整体作为一个高精度的运算单元。

而现有技术中，如果采用独立的单精度和半精度运算器，则在执行具体某种精度运算任务时，只会使用到其中一种运算器，从而造成晶体管利用率和能效比较低，并且，如果只采用最高精度的运算器，把低精度和运算转换成高精度运算，则在进行低精度运算时，运算的能效比较低(相当于高精度计算)。

因此，图1和图2所示的运算单元能够实现较高的晶体管利用率和能耗比。

需要说明的是，上述对于低精度乘法、加法的支持，不只限定于浮点半精度、8位和16位定点。任意指数不大于8位且小数部分不大于10位非标准的浮点数据格式(例如BFloat16)，以及不大于16位的非标准定点数据格式，例如2位、4位、12位定点，都可以利用该结构支持。

需要说明的是，针对上述两种连接方式，可以通过指令(控制)不同连接关系的切换(即可编程)。这种切换通过MUX(选通开关)实现。

图3为使用选择器在以上第一种连接方式和第二种连接方式之间切换，以实现不同运算的可编程混合精度运算单元的原理示意图：

其中，

1、实线通路表示浮点单精度的标量乘加：

D＝A*B+C＝(AM+AL)*(BM+BL)+C。AM表示单精度乘数A尾数的高12位以扩展的半精度浮点数(8位指数及16位尾数)表示，AL表示单精度乘数A尾数低12位以扩展的浮点数表示(注意此处AL指数需要在A的指数上乘2^-12调整)，BM表示单精度乘数B尾数的高12位以扩展的半精度浮点数(8位指数及16位尾数)表示，BL表示单精度乘数B尾数低12位以扩展的浮点数表示(注意此处BL指数需要在B的指数上乘2^-12调整)，C表示单精度浮点乘累加数。

2、虚线通路表示(4x16)浮点半精度的向量乘法/乘加:di＝ci+ai*bi，di表示向量{d0,d1,d2,d3}对应的元素，i＝0,1,2,3，ci表示向量{c0,c1,c2,c3}对应的元素，ai表示向量{a0,a1,a2,a3}对应的元素，bi表示向量{b0,b1,b2,b3}对应的元素。

3、选择器a、b选择虚线通路，其余选择器选择实线通路表示(4x16)浮点半精度的向量点积：A表示向量A，B^T表示向量B的转置，ak表示向量A{a0,a1,a2,a3}的对应元素，bk表示向量B{b0,b1,b2,b3}的对应元素。

图4为本申请实施例公开的又一种可编程的混合精度运算单元，包括四个扩展的单精度乘法器、以及四个扩展的双精度加法器。

扩展的双精度加法器用于将输入数值扩展到M位，并计算扩展后的数值之和。

具体的，M的范围包括：1、63～100位，这里超过64位(加法)的部分作为精度将用来保持中间结果的精度，不影响本发明的实施。2、46～62位，相比1，仅缺失对定点64位计算的支持，同样是本发明涵盖的内容。

图4中的运算单元，与图1所示的运算单元的区别在于：1、扩展的单精度指数乘法/加法器替换为扩展的双精度指数乘法/加法器；2、扩展的半精度尾数乘法器替换为扩展的单精度尾数乘法器；3、扩展的单精度尾数加法器替换为扩展的双精度尾数加法器。图4所示的运算单元中的连接关系同图1所示。

图4中所示的运算单元中的扩展的单精度乘法器，可以为图2中所示的可编程的混合精度运算单元中除单独的一个扩展的单精度加法器(即第四扩展的单精度加法器)之外的部分。因此，扩展的单精度乘法器位数的扩展范围为：1、32～50位，这里超过32位(乘法)的部分作为精度将用来保持中间结果的精度，不影响本发明的实施。2、23～31位，相比1，仅缺失对定点64位计算的支持，同样是本发明涵盖的内容。

图5所示为四个扩展的单精度乘法器、以及四个扩展的双精度加法器的另一种连接关系，图5与图2的区别为：1、扩展的单精度指数乘法/加法器替换为扩展的双精度指数乘法/加法器；2、扩展的半精度尾数乘法器替换为扩展的单精度尾数乘法器；3、扩展的单精度尾数加法器替换为扩展的双精度尾数加法器。

图5中所示的运算单元中的扩展的单精度乘法器，可以为图2中所示的可编程的混合精度运算单元中除单独的一个扩展的单精度加法器(即第四扩展的单精度加法器)之外的部分。相应的，四个扩展的单精度乘法器、以及四个扩展的双精度加法器组成的可重构结构，支持以下运算类型：

1、1个双精度浮点乘加运算；

2、1个64位定点乘加运算；

3、4个并发的定点8位、16位或32位乘加运算；

4、4个并发的64位定点加法运算；

5、4个并发的双精度加法运算。

图4或图5所示的运算单元实现乘法、加法以及乘加的过程，可以参见图1或图2中所示的过程，区别在于参与运算的数值的精度不同，例如，上述运算公式中的高位数值为扩展后的尾数的高32位，这里不再赘述。

图6为本申请实施例公开的又一种可编程的混合精度运算单元(也可以称为乘加运算算子)，包括并联的可编程的混合精度运算单元(图6中Kernel表示)，其中，可编程的混合精度运算单元可以为图1、图2所示或图4、图5所示的运算单元。需要说明的是，图6仅为并联的一个示例，本实施例中并不限定并联方式以及维度。

图6所示的可编程的混合精度运算单元，可以适用于向量的乘加运算，向量可以为一维、二维等维度，这里不做限定。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种可编程的混合精度运算单元，其特征在于，包括：

四个扩展的半精度乘法器、以及四个扩展的单精度加法器；

任意一个所述扩展的半精度乘法器用于将输入数值扩展到X位，并计算第一数值和第二数值之积，其中，第一数值为一个输入数值扩展后的数值中的高位数值或低位数值，第二数值为另一个输入数值扩展后的数值中的高位数值或低位数值，X为预设数值；

任意一个所述扩展的单精度加法器用于将输入数值扩展到Y位，并计算扩展后的数值之和，Y为预设数值；

其中，所述四个扩展的半精度乘法器和所述四个扩展的单精度加法器以第一方式或第二方式连接；

所述第一方式为：所述四个扩展的半精度乘法器与所述四个扩展的单精度加法器一一对应级联，构成四个并联的半精度乘加器；

所述第二方式为：第一扩展的单精度加法器与第一扩展的半精度乘法器和第二扩展的半精度乘法器分别级联；

第二扩展的单精度加法器与第三扩展的半精度乘法器和第四扩展的半精度乘法器分别级联；

第三扩展的单精度加法器与第一扩展的单精度加法器和第二扩展的单精度加法器分别级联。

2.根据权利要求1所述的可编程的混合精度运算单元，其特征在于，所述扩展的半精度乘法器中包括：

并联的一个单精度指数乘法器和一个扩展的半精度尾数乘法器；

所述扩展的半精度尾数乘法器用于将输入数值扩展到X位，并计算所述第一数值和所述第二数值之积。

3.根据权利要求1所述的可编程的混合精度运算单元，其特征在于，所述扩展的单精度加法器中包括：

并联的一个单精度指数加法器和一个扩展的单精度尾数加法器；

所述扩展的单精度尾数加法器用于将输入数值扩展到Y位，并计算扩展后的数值之和。

4.一种可编程的混合精度运算单元，其特征在于，包括：

四个扩展的单精度乘法器、以及四个扩展的双精度加法器；

所述扩展的单精度乘法器为权利要求1-3任一项所述的可编程的混合精度运算单元；

所述扩展的双精度加法器用于将输入数值扩展到M位，并计算扩展后的数值之和，M为预设数值；

其中，所述四个扩展的单精度乘法器和四个扩展的双精度加法器以第一方式或第二方式连接；

所述第一方式为：所述四个扩展的单精度乘法器与所述四个扩展的双精度加法器一一对应级联，构成四个并联的单精度乘加器；

所述第二方式为：第一扩展的双精度加法器与第一扩展的单精度乘法器和第二扩展的单精度乘法器分别级联；

第二扩展的双精度加法器与第三扩展的单精度乘法器和第四扩展的单精度乘法器分别级联；

第三扩展的双精度加法器与第一扩展的双精度加法器和第二扩展的双精度加法器分别级联。

5.根据权利要求4所述的可编程的混合精度运算单元，其特征在于，所述扩展的双精度加法器中包括：

并联的一个双精度指数加法器和一个扩展的双精度尾数加法器；

所述扩展的双精度尾数加法器用于将输入数值扩展到M位，并计算扩展后的数值之和。

6.一种可编程的混合精度运算单元，其特征在于，包括：

并联的、权利要求1-3任一项或4-5任一项所述的可编程的混合精度运算单元。

7.一种可编程的混合精度运算单元，其特征在于，包括：

四个扩展的半精度乘法器、以及三个扩展的单精度加法器；

第一扩展的半精度乘法器用于将输入数值扩展到X位后，计算MSBa*MSBb，得到第一乘积；

第二扩展的半精度乘法器用于将所述输入数值扩展到X位后，计算MSBa*LSBb，得到第二乘积；

第三扩展的半精度乘法器用于将所述输入数值扩展到X位后，计算LSBa*MSBb，得到第三乘积；

第四扩展的半精度乘法器用于将所述输入数值扩展到X位后，计算LSBa*LSBb，得到第四乘积；其中，所述输入数值为第一数值和第二数值，MSBa为扩展后的第一数值的高位，MSBb为扩展后的第二数值的高位，LSBa为所述扩展后的第一数值的低位，LSBb为所述扩展后的第二数值的低位；

第一扩展的单精度加法器用于将所述第一乘积和所述第二乘积扩展到Y位后，计算扩展后的第一乘积和扩展后的第二乘积之和，得到第一相加结果；

第二扩展的单精度加法器用于将所述第三乘积和所述第四乘积扩展到Y位后，计算扩展后的第三乘积和扩展后的第四乘积之和，得到第二相加结果；

第三扩展的单精度加法器用于将所述第一相加结果和所述第二相加结果扩展到Y位后，计算扩展后的第一相加结果和扩展后的第二相加结果之和。

8.根据权利要求7所述的可编程的混合精度运算单元，其特征在于，还包括：

第四扩展的单精度加法器，用于将两个单精度数值扩展到Y位后，计算扩展后的两个单精度数值之和，任意一个所述单精度数值为所述第一相加结果和所述第二相加结果之和。

9.一种可编程的混合精度运算单元，其特征在于，包括：

四个扩展的单精度乘法器、以及三个扩展的双精度加法器；

所述扩展的单精度乘法器用于实现权利要求7所述的可编程的混合精度运算单元的功能；

第一扩展的双精度加法器用于将第一乘积和第二乘积扩展到M位后，计算扩展后的第一乘积和扩展后的第二乘积之和，得到第一相加结果；所述第一乘积为第一扩展的单精度乘法器的输出结果，所述第二乘积为第二扩展的单精度乘法器的输出结果；

第二扩展的双精度加法器用于将第三乘积和第四乘积扩展到M位后，计算扩展后的第三乘积和扩展后的第四乘积之和，得到第二相加结果；所述第三乘积为第三扩展的单精度乘法器的输出结果，所述第四乘积为第四扩展的单精度乘法器的输出结果；

第三扩展的双精度加法器用于将所述第一相加结果和所述第二相加结果扩展到M位后，计算扩展后的第一相加结果和第二相加结果之和。

10.根据权利要求9所述的可编程的混合精度运算单元，其特征在于，还包括：

第四扩展的双精度加法器，用于将两个双精度数值扩展到M位后，计算扩展后的两个双精度数值之和，任意一个所述双精度数值为所述第一相加结果和所述第二相加结果之和。