CN117725963A - 一种用于Transformer模型推理计算的方法、***及装置 - Google Patents
一种用于Transformer模型推理计算的方法、***及装置 Download PDFInfo
- Publication number
- CN117725963A CN117725963A CN202311482067.9A CN202311482067A CN117725963A CN 117725963 A CN117725963 A CN 117725963A CN 202311482067 A CN202311482067 A CN 202311482067A CN 117725963 A CN117725963 A CN 117725963A
- Authority
- CN
- China
- Prior art keywords
- calculation
- type
- reasoning
- computing
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 179
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims 1
- 230000009466 transformation Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
Abstract
本发明提供了一种用于Transformer模型推理计算的方法,所述方法包括:将一个Transformer模型的计算图切分为由计算子图和注意力算子交替串接的结构;使用两种不同型号或不同种类的计算设备,进行推理计算的过程。本发明还公开了用于Transformer模型推理计算的***及装置。本发明通过将Transformer模型进行切分,并且针对不同的部分采用不同类型的设备进行计算,可以显著提高硬件资源的利用率,降低成本。
Description
技术领域
本发明属于计算机技术领域,尤其涉及一种用于Transformer模型推理的计算方法、***及装置。
背景技术
目前大模型多基于Transformer模型进行构建。Transformer模型是一种包含有注意力机制和前馈神经网络的机器学习模型。Transformer模型的推理是指,针对一个Transformer模型,在获得用户的输入数据后,将数据输入到推理***中进行计算,并获得计算结果的过程。
针对较大的Transformer模型的推理,目前通常采用的方法是,使用同种类型的一个或多个计算设备进行推理。即在模型规模相对较小时,采用单个计算设备完成整个模型的推理过程;当模型规模相对较大时,将模型整体切分为待串行处理的若干个部分(第1部分、第2部分……、第n部分),其中,模型输入和第1部分由第1个计算设备处理,第1部分的计算结果和模型第2部分由同类型的第2个计算设备处理,以此类推,直到获取最后第n部分的计算结果作为整个模型的计算结果。
现有Transformer模型都是采用同种类型的计算设备完成整个推理过程,然而,Transformer模型的不同部分对计算设备的不同性能指标有着不同的需求。因此,仅使用单一类型的计算设备进行Transformer模型的推理,特别是对于规模较大的Transformer模型(如大型神经网络,大型语言模型)的推理计算,难以持续地达到计算设备较高的资源使用率,因而产生了推理效率较低、总体成本较高的问题。
针对如何在Transformer模型推理计算中提高计算效率和计算设备的资源使用率、降低计算成本方面,目前尚无有效方法。
发明内容
本发明的目的在于解决现有Transformer模型推理效率较低,计算设备资源使用率较低、成本较高的问题,提出了一种用于Transformer模型推理计算的方法、***及装置,将一个Transformer模型的计算图切分为由计算子图和注意力算子交替串接的结构,其中的计算子图部分采用第一种类型的计算设备计算,注意力算子采用第二种类型的设备计算。
本发明通过以下方案实现:
一种用于Transformer模型推理计算的方法,所述方法包括:将一个Transformer模型的计算图切分为由计算子图和注意力算子交替串接的结构;使用两种不同型号或不同种类的计算设备,进行推理计算的过程。
进一步地,所述注意力算子的输入数据规模增长时,其计算量的增长速度不会超过输入数据规模的增长速度。
进一步地,所述由注意力算子和由计算子图交替串接的结构,包括n+1个计算子图和n个注意力算子,n为自然数;所述计算设备为A型计算设备和B型计算设备;所述推理计算的过程包括:
将多组推理请求的输入数据合并拷贝到A型计算设备上,进行计算子图1的推理计算,并获取计算结果;将计算子图1的推理计算结果拆分为若干部分,分别拷贝到数量上对应的若干个B型计算设备上并进行注意力算子1的推理计算,获取计算结果;将多个请求对应的注意力算子1的输出结果合并后拷贝到A型计算设备上,进行计算子图2的推理计算,并获取计算结果;以此类推,直到得到计算子图n+1的推理计算结果;将计算子图n+1的推理计算结果拆分为单个推理结果,作为对应推理请求在整个模型上推理计算的结果。
更进一步地,所述A型计算设备的计算能力总和强于所述B型计算设备;所述B型计算设备的存储器的存储空间总和大于所述A型计算设备的存储器。
进一步地,所述A型计算设备和B型计算设备包括:CPU、GPU、TPU、FPGA、ASIC、带有计算功能的存储器模块,以及CPU、GPU、TPU、FPGA、ASIC、带有计算功能的存储器模块通过高速总线/网络互联形成的整体。
本发明还提供了一种用于Transformer模型推理计算的***,所述***由模型切分模块、调度模块、A型推理计算模块、B型推理计算模块构成;模型切分模块将Transformer模型的计算图切分为由注意力算子和计算子图交替串接的结构;根据模型切分的结果,构建由调度模块、A型推理计算模块、B型推理计算模块连接形成的推理***。
进一步地,所述A型推理计算模块包括A型计算设备,B型推理计算模块包括B型计算设备。
进一步地,每个所述计算子图都有一个对应的调度模块。
更进一步地,计算子图1对应的调度模块1负责收集整个Transformer模型的推理请求,当达到预设条件并且计算子图1对应的A型计算设备空闲时,将推理请求的输入合并拷贝到A型计算设备上,同时通知对应的A型推理计算模块驱动A型设备进行计算子图1的计算;计算子图1的计算完成后,A型设备计算模块将计算结果拆分,并且等待注意力算子1对应的B型计算设备空闲时,将计算结果拷贝至B型计算设备上,并通知对应的B型推理计算模块驱动B型计算设备进行计算;该B型推理计算模块收到通知时,进行注意力算子1的计算,随后将计算结果发送给计算子图2的调度模块2;依次类推,直到计算子图n+1的A型推理计算模块得到计算结果后,将计算结果拆分,得到各个推理请求对应的推理结果。
本发明另外提供了一种用于Transformer模型推理计算的装置,所述装置包含存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述处理器执行所述计算机程序时实现前述的用于Transformer模型推理计算的方法和用于Transformer模型推理计算的***。
本发明通过将Transformer模型进行切分,并且针对不同的推理计算部分采用不同类型的计算设备进行计算,相比原有方法中采用同种设备进行推理,可以显著提高硬件资源的利用率,提升了计算速度,并降低了推理计算的成本。尤其是针对于大模型(例如大型神经网络、大型语言模型)的推理能取得很好的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明中Transformer模型的计算图的切分示意图。
图2示出了本发明一个实施例用于Transformer模型推理计算的流程示意图;
图3示出了本发明提供的一种用于Transformer模型推理计算的***框图;
图4示出了由n个Transformer块组成的Transformer模型的切分示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地说明,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的一种用于Transformer模型推理计算的方法,首先将一个Transformer模型的计算图切分为由计算子图和注意力算子交替串接的结构,如附图1所示。其中,注意力算子是含有形如
计算部分的算子,其中,Q为查询向量或多个查询向量构成的查询矩阵,K,V为键矩阵和值矩阵,dk为向量的维数。
需要说明的是,注意力算子是在机器学习中的一类对一组输入向量动态地分配权重并将其加以组合得到输出的算子。虽然注意力算子有很多变种和改进,但这些变种和改进均具有下述特征:其计算复杂度都不超过线性,即当该算子的输入数据规模增长时,该算子的计算量的增长速度不会超过输入数据规模的增长速度。
之后,在一个最佳实施例中,使用两种不同型号或不同种类的计算设备,称为A型计算设备和B型计算设备,进行推理计算的过程。如附图2所示。
结合参见附图1和附图2,切分后的Transformer模型推理计算的过程如下:
(1)将多组推理请求的输入数据合并拷贝到A型计算设备上,进行计算子图1的推理计算,并获取计算结果;
(2)将计算子图1的推理计算结果拆分为若干部分,分别拷贝到数量上对应的若干个B型计算设备上并进行注意力算子1的推理计算,获取计算结果;
当然,本领域技术人员可以理解,本实施例中计算子图1的推理计算结果也可以不拆分,直接输出到一台B型计算设备上并进行注意力算子1的推理计算,获取计算结果。即本发明的重点在于使用不同类型的计算设备对Transformer模型的切分结果进行推理计算,根据数据计算的特殊需要选择具有相适应性能指标的计算设备,以提高推理计算速度。
(3)将多个请求对应的注意力算子1的输出结果合并后拷贝到A型计算设备上,进行计算子图2的推理计算,并获取计算结果;
(4)以此类推,直到得到计算子图n+1的推理计算结果。将计算子图n+1的推理计算结果拆分为单个推理结果,作为对应推理请求在整个模型上推理计算的结果。
通常而言,Transformer模型进行推理时,注意力算子对计算设备的存储容量和带宽有较高的需求,而其他部分如计算子图对计算设备的计算能力有较高的要求。为了达到提高设备使用率,减少计算时间的目的,上述最佳实施例中的A型计算设备通常采用计算能力较强的设备,B型计算设备通常采用具有较大存储空间和较大带宽存储器的设备。或者说,A型计算设备的计算能力总和(数量大于等于1台)强于B型计算设备;B型计算设备的存储空间总和(数量大于等于1台)大于A型计算设备。
前述的A型计算设备和B型计算设备包括但不限于:CPU(central processingunit,中央处理器)、GPU(graphics processing unit,图形处理器)、TPU(tensorprocessing unit,张量处理器)、FPGA(field programmable gate array,现场可编程门阵列)、ASIC(Application Specific Integrated Circuit,专用集成电路)、带有计算功能的存储器模块等,以及它们通过高速总线/网络互联形成的整体。带有计算功能的存储器模块通常采取称为“存内计算”(Processing-in-memory,PIM)或者“近存计算”(Near-memoryprocessing)的技术,其基本特征是,在存储芯片内部增加计算电路或者在存储芯片附近增加与之互联的计算芯片,相比通常的存储器件(只能提供读、写功能)能提供一定的计算能力,该类产品尤其适合作为本发明的B型计算设备。
如附图3所示,本发明还提供了一种用于Transformer模型推理计算的***。该***由模型切分模块、调度模块、A型推理计算模块、B型推理计算模块构成。
模型切分模块将Transformer模型的计算图切分为由注意力算子和计算子图交替串接的结构。
然后,根据模型切分的结果,构建由调度模块、A型推理计算模块、B型推理计算模块连接形成的推理***。
A型推理计算模块包括A型计算设备,B型推理计算模块包括B型计算设备。
参见附图3,每个计算子图都有一个对应的调度模块。计算子图1对应的调度模块1负责收集整个Transformer模型的推理请求(请求1,请求2,……请求k),当达到预设条件(请求超过一定数量或者经过某一预设时间)并且计算子图1对应的A型计算设备空闲时,将推理请求的输入合并拷贝到A型计算设备上,同时通知对应的A型推理计算模块驱动A型设备进行计算子图1的计算;计算子图1的计算完成后,A型设备计算模块将计算结果拆分,并且等待注意力算子1对应的B型计算设备空闲时,将计算结果拷贝至B型计算设备上,并通知对应的B型推理计算模块驱动B型计算设备进行计算;该B型推理计算模块收到通知时,进行注意力算子1的计算,随后将计算结果发送给计算子图2的调度模块2。依次类推,直到计算子图n+1的A型推理计算模块得到计算结果后,将计算结果拆分,得到各个推理请求(请求1,请求2,……请求k)对应的推理结果。
附图3所示的实施例中,A型计算设备用于计算子图的推理计算,B型计算设备用于注意力算子的推理计算。但是在具体应用场景中,本领域技术人员可以根据数据计算对设备特性需求的实际情况灵活选择计算设备。
此外,本发明还提供了一种用于Transformer模型推理计算的装置,包含存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述用于Transformer模型推理计算的方法和***。
实施例1
附图4示出了由n个Transformer块组成的Transformer模型的切分示意图。
对于由n个Transformer块组成的示例性的Transformer模型,其中每个Transformer块由第1线性变换算子、注意力算子、第2线性变换算子和前馈神经网络构成。针对该实施例的Transformer模型,使用本发明进行推理计算的过程如下。
使用前述切分模块将上述实施例的Transformer模型进行切分,得到如下切分结果:
第1计算子图包括Transformer块1中的第1线性变换算子;
第1注意力算子为Transformer块1中的注意力算子;
第2计算子图包括Transformer1块中的第2线性变换算子、前馈神经网络算子和Transformer块2中的第1线性变换算子;
第2注意力算子为Transformer块2中的注意力算子;
……
第n计算子图包括Transformer块n-1中的第2线性变换算子、前馈神经网络算子和Transformer块n中的第1线性变换算子;
第n注意力算子为Transformer块n中的注意力算子;
第n+1计算子图包括Transformer块n中的第2线性变换算子、前馈神经网络算子。
根据上述切分结果,采用GPU作为A型计算设备,采用CPU和与之互联的RAM作为B型计算设备,构建由n个调度模块、n+1个A型推理计算模块、n组B型推理计算模块组构成的推理***,每组B型推理计算模块组包含m个B型推理计算模块。每个A型推理计算模块使用1个A型技术设备进行计算,每个B型推理计算模块使用1个B型设计算备进行计算。
推理计算***进行推理的过程如下:
首先,第1线性变换算子对应的调度模块1收集推理请求,待请求数量达到预设值(如100)并且第1个A型推理计算模块对应的A型计算设备上空闲时,将所有输入合并后拷贝待第1个A型推理计算模块对应的A型设备上,通知第1个A型推理计算模块。
第1个A型推理计算模块收到通知后,进行计算子图1、即Transformer块1中的第1线性变换算子的计算,并将结果拆分为m份,分别拷贝到第1组B型推理计算模块中的第1~m个B型计算设备,并分别通知对应的B型推理计算模块。
第1组B型推理模块收到通知后,将收到的输入进行Transformer块1中的注意力算子的计算,并将结果发送给第2调度模块。
第2调度模块的执行过程同第1调度模块。
第2个A型推理计算模块的执行过程参照第1个A型推理计算模块,但是计算的内容为计算子图2,即Transformer块1中的第2线性变换算子、前馈神经网络算子和Transformer块2中的第1线性变换算子。
以此类推,直到第n+1个A型推理计算模块得计算结果,经过拆分后,得到各个推理请求对应的推理结果。
在推理计算的过程中,不同的计算设备可以并行执行推理计算,从而提高推理计算的效率。
通过对不同计算部分采用不同类型的计算设备进行计算,可以充分利用不同种类计算设备的优势,提高计算设备的资源利用率,提高推理计算效率,降低成本。
实施例2
同实施例1,但是每组B型推理模块中只有1个模块,A型推理模块发送计算子图的计算结果给后续B型计算模块的过程不进行拆分,B型模块发送给后续调度模块的过程也无需进行合并。
实施例3
同实施例1,但是所有A型推理模块共用1个A型计算设备,所有B型推理模块共用1个B型计算设备。
实施例4
同实施例1,但是采用TPU作为A型计算设备,带有计算功能的存储器模块作为B型计算设备。
实施例5
同实施例1,但是示例模型在Transformer块1前面有一个预处理算子。对Transformer模型进行切分的过程中,将该预处理算子放在计算子图1的最前面。
本发明通过将Transformer模型进行切分,并且针对不同的推理计算部分采用不同类型的计算设备进行计算,相比原有方法中采用同种设备进行推理,可以显著提高硬件资源的利用率,提升了计算速度,并降低了推理计算的成本。尤其是针对于大模型(例如大型神经网络、大型语言模型)的推理能取得很好的技术效果。
尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种用于Transformer模型推理计算的方法,其特征在于,所述方法包括:
将一个Transformer模型的计算图切分为由计算子图和注意力算子交替串接的结构;
使用两种不同型号或不同种类的计算设备,进行推理计算的过程。
2.根据权利要求1所述的方法,其特征在于,
所述注意力算子的输入数据规模增长时,其计算量的增长速度不超过输入数据规模的增长速度。
3.根据权利要求1或2所述的方法,其特征在于,
所述由计算子图和注意力算子交替串接的结构,包括n+1个计算子图和n个注意力算子,n为自然数;
所述计算设备为A型计算设备和B型计算设备;
所述推理计算的过程包括:
将多组推理请求的输入数据合并拷贝到A型计算设备上,进行计算子图1的推理计算,并获取计算结果;
将计算子图1的推理计算结果拆分为若干部分,分别拷贝到数量上对应的若干个B型计算设备上并进行注意力算子1的推理计算,获取计算结果;
将多个请求对应的注意力算子1的输出结果合并后拷贝到A型计算设备上,进行计算子图2的推理计算,并获取计算结果;
以此类推,直到得到计算子图n+1的推理计算结果;将计算子图n+1的推理计算结果拆分为单个推理结果,作为对应推理请求在整个模型上推理计算的结果。
4.根据权利要求3所述的方法,其特征在于,
所述A型计算设备的计算能力总和强于所述B型计算设备;
所述B型计算设备的存储器的存储空间总和大于所述A型计算设备的存储器。
5.根据权利要求3所述的方法,其特征在于,
所述A型计算设备和B型计算设备包括:CPU、GPU、TPU、FPGA、ASIC、带有计算功能的存储器模块,以及CPU、GPU、TPU、FPGA、ASIC、带有计算功能的存储器模块通过高速总线/网络互联形成的整体。
6.一种用于Transformer模型推理计算的***,其特征在于,
所述***由模型切分模块、调度模块、A型推理计算模块、B型推理计算模块构成;
模型切分模块将Transformer模型的计算图切分为由注意力算子和计算子图交替串接的结构;
根据模型切分的结果,构建由调度模块、A型推理计算模块、B型推理计算模块连接形成的推理***。
7.根据权利要求6所述的***,其特征在于,
所述A型推理计算模块包括A型计算设备,B型推理计算模块包括B型计算设备。
8.根据权利要求6或7所述的***,其特征在于,
每个所述计算子图都有一个对应的调度模块。
9.根据权利要求8所述的***,其特征在于,
计算子图1对应的调度模块1负责收集整个Transformer模型的推理请求,当达到预设条件并且计算子图1对应的A型计算设备空闲时,将推理请求的输入合并拷贝到A型计算设备上,同时通知对应的A型推理计算模块驱动A型设备进行计算子图1的计算;
计算子图1的计算完成后,A型设备计算模块将计算结果拆分,并且等待注意力算子1对应的B型计算设备空闲时,将计算结果拷贝至B型计算设备上,并通知对应的B型推理计算模块驱动B型计算设备进行计算;
该B型推理计算模块收到通知时,进行注意力算子1的计算,随后将计算结果发送给计算子图2的调度模块2;
依次类推,直到计算子图n+1的A型推理计算模块得到计算结果后,将计算结果拆分,得到各个推理请求对应的推理结果。
10.一种用于Transformer模型推理计算的装置,其特征在于,
所述装置包含存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;
所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的用于Transformer模型推理计算的方法和权利要求6-9任一项所述的用于Transformer模型推理计算的***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311482067.9A CN117725963A (zh) | 2023-11-08 | 2023-11-08 | 一种用于Transformer模型推理计算的方法、***及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311482067.9A CN117725963A (zh) | 2023-11-08 | 2023-11-08 | 一种用于Transformer模型推理计算的方法、***及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117725963A true CN117725963A (zh) | 2024-03-19 |
Family
ID=90207654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311482067.9A Pending CN117725963A (zh) | 2023-11-08 | 2023-11-08 | 一种用于Transformer模型推理计算的方法、***及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117725963A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117933401A (zh) * | 2024-03-22 | 2024-04-26 | 北京大学 | 基于大语言模型投机采样推理的加速器硬件及加速方法 |
-
2023
- 2023-11-08 CN CN202311482067.9A patent/CN117725963A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117933401A (zh) * | 2024-03-22 | 2024-04-26 | 北京大学 | 基于大语言模型投机采样推理的加速器硬件及加速方法 |
CN117933401B (zh) * | 2024-03-22 | 2024-06-07 | 北京大学 | 基于大语言模型投机采样推理的加速器硬件及加速方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cai et al. | Yolobile: Real-time object detection on mobile devices via compression-compilation co-design | |
CN109543830B (zh) | 一种用于卷积神经网络加速器的拆分累加器 | |
US20230026006A1 (en) | Convolution computation engine, artificial intelligence chip, and data processing method | |
CN108701250B (zh) | 数据定点化方法和装置 | |
US20180260710A1 (en) | Calculating device and method for a sparsely connected artificial neural network | |
Huynh et al. | Deepsense: A gpu-based deep convolutional neural network framework on commodity mobile devices | |
CN111898733A (zh) | 一种深度可分离卷积神经网络加速器架构 | |
CN110781686B (zh) | 一种语句相似度计算方法、装置及计算机设备 | |
CN117725963A (zh) | 一种用于Transformer模型推理计算的方法、***及装置 | |
US20220327128A1 (en) | Method and apparatus for querying similar vectors in a candidate vector set | |
CN113051130A (zh) | 结合注意力机制的lstm网络的移动云负载预测方法及*** | |
CN110874627A (zh) | 数据处理方法、数据处理装置及计算机可读介质 | |
Qi et al. | Learning low resource consumption cnn through pruning and quantization | |
Shu et al. | High energy efficiency FPGA-based accelerator for convolutional neural networks using weight combination | |
Zhan et al. | Field programmable gate array‐based all‐layer accelerator with quantization neural networks for sustainable cyber‐physical systems | |
CN115130672B (zh) | 一种软硬件协同优化卷积神经网络计算的方法及装置 | |
US20220138528A1 (en) | Data processing method for neural network accelerator, device and storage medium | |
CN114492795A (zh) | 深度卷积神经网络压缩方法、计算机装置及存储介质 | |
CN112712174B (zh) | 全频域卷积神经网络的硬件加速器、加速方法和图像分类方法 | |
WO2021120036A1 (zh) | 数据处理装置和数据处理方法 | |
CN112749799B (zh) | 基于自适应ReLU的全频域卷积神经网络的硬件加速器、加速方法和图像分类方法 | |
CN110807479A (zh) | 一种基于Kmeans算法的神经网络卷积计算加速方法 | |
Wu et al. | Accelerating deep convolutional neural network inference based on OpenCL | |
Bai | A Flexible and Low-Resource CNN Accelerator on FPGA for Edge Computing | |
CN115658307B (zh) | 一种基于压缩数据直接计算的智能负载处理方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |