CN108805262A - 用于根据高级程序进行脉动阵列设计的***及方法 - Google Patents

用于根据高级程序进行脉动阵列设计的***及方法 Download PDF

Info

Publication number
CN108805262A
CN108805262A CN201810391781.XA CN201810391781A CN108805262A CN 108805262 A CN108805262 A CN 108805262A CN 201810391781 A CN201810391781 A CN 201810391781A CN 108805262 A CN108805262 A CN 108805262A
Authority
CN
China
Prior art keywords
processing element
data
systolic arrays
buffer
dsp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810391781.XA
Other languages
English (en)
Inventor
张鹏
俞浩
魏学超
潘培琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xilinx Inc
Original Assignee
American Flying Computing Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Flying Computing Solutions Co Ltd filed Critical American Flying Computing Solutions Co Ltd
Publication of CN108805262A publication Critical patent/CN108805262A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8046—Systolic arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8053—Vector processors
    • G06F15/8092—Array of vector units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Processing (AREA)
  • Complex Calculations (AREA)

Abstract

公开了用于根据高级程序进行脉动阵列设计的***及方法，该脉动阵列设计是自动的。支持卷积神经网络的脉动阵列设计的一种实现方式包括以行和列排列的可重新配置的处理元件的二维阵列。每个处理元件具有相关联的SIMD向量并且通过本地连接被连接至至少一个其他处理元件。具有双缓冲器的输入特征映射缓冲器被配置为存储输入特征映射，并且互连***被配置为根据处理元件调度器将数据传递到相邻处理元件。使用被配置为确定合适的可重新配置的处理元件参数的自动化***来将CNN计算映射到可重新配置的处理元件的二维阵列上。

Description

用于根据高级程序进行脉动阵列设计的***及方法
技术领域
本公开涉及用于在诸如现场可编程门阵列(FPGA)的可重配置处理平台上进行脉动阵列设计和实现的自动化***和方法。
背景和概述
卷积神经网络(CNN)是在深度学习应用中常用的计算结构，包括图像/视频分类和分析、自然语言理解和自主式车辆或机器人控制***。许多这些实现都是在使用脉动阵列计算架构的FPGA上实现的。然而，使脉动阵列架构适于在大规模CNN实现中起作用是具有挑战性的设计问题，这需要考虑计算和通信两方面。因此，存在了对使自动化设计流程能够在合适的计算设备上实现高效的脉动阵列架构的方法的需要。
在一个实施例中，支持卷积神经网络(CNN)的脉动阵列可以包括以行和列排列的可重配置处理元件的二维阵列，其中每个处理元件具有相关联的SIMD向量并且通过本地连接连接到至少一个其他处理元件。具有双缓冲器的输入特征映射缓冲器可以用于存储输入特征映射。互连***可以将数据传递到相邻的处理元件(例如在处理元件调度器中使用)，并且使用被配置为确定合适的可重配置处理元件参数的自动化***来将CNN计算映射到可重配置处理元件的二维阵列上。
在另一个实施例中，用于定义具有细粒度数据重用的计算***的方法包括定义迭代器向量，该迭代器向量列出在循环嵌套中从最外循环到内循环的循环迭代器。定义循环迭代器的范围的迭代域D被设置，并且访问函数计算如何将循环迭代器映射到阵列r的访问索引，其中间循环l上的每个阵列r要求在不同循环l迭代中的阵列r上访问的数据是相同的。
在另一个实施例中，用于定义计算***的方法包括找到用于用作机器学习***的嵌套循环的一组可行的脉动阵列配置。鉴于可行的脉动阵列配置，确定多个中间循环的各个边界以提高设计吞吐量依赖于至少部分地基于DSP和BRAM利用来修剪可行的脉动阵列配置候选者。
附图说明
参考以下附图描述了本公开的非限制性和非穷尽的实施例，其中，除非以其它方式说明，在所有各个附图中相似的参考数字指代相似的部分。
图1是描绘由CNN计算映射生成的脉动架构的实施例的框图。
图2是描绘由CNN计算映射生成的脉动阵列架构的实施例的框图。
图3是描绘在脉动阵列中使用的处理元件的实施例的框图。
图4是描绘在脉动阵列中使用的输入特征映射缓冲器的实施例的框图。
图5是描绘与脉动阵列的实施例相关联的周期级调度的框图。
图6是描绘与脉动阵列的实施例相关联的周期级调度的示例的示意图。
图7是描绘被用作与脉动阵列的实施例相关联的循环分块(tiling)表示的基础的一组嵌套循环的示意图。
图8是描绘包括循环分块的脉动阵列的实施例的框图。
图9是描绘用于定义计算***进行机器学习的方法的实施例的流程图。
图10是描绘用于定义具有细粒度数据重用的计算***进行机器学习的方法的实施例的流程图。
图11是描绘用于定义用于机器学习的计算***的方法的实施例的流程图。
图12是描绘服务器中的主机/加速器模型的实施例的框图。
图13是描绘嵌入式***的实施例的框图。
详细描述
本文描述的***和方法使得能够设计和实现使用脉动阵列架构的神经网络、卷积神经网络(CNN)、递归神经网络以及其他机器学***台上实现的脉动阵列架构。一些实施例可以改进诸如***吞吐量的性能参数并且包括诸如数据重用的特征。
图1是描绘由CNN计算映射生成的脉动阵列架构100的实施例的框图。在一些实施例中，由本文描述的***和方法生成的CNN计算映射112被用于实现经由映射114映射到合适的计算设备的脉动阵列102。在特定实施例中，映射114可以被实现为由诸如C或C++的高级程序到用于FPGA的比特流。
在一些实施例中，脉动阵列102可以包括处理元件阵列104。处理元件阵列104可以包括如本文所讨论的多个处理元件的二维阵列(也称为处理元件并且缩写为PE)。在一些实施例中，处理元件可以包括可重配置处理器块，包括但不限于数字信号处理器(DSP)块。在特定实施例中，每个DSP块可以在其架构中包括单指令多数据(SIMD)向量。在其他实施例中，处理元件可被配置为实现包括加法、减法、乘法和除法的数学运算，并且处理元件可以包括查找表。
在一些实施例中，脉动阵列102可以包括输入特征映射缓冲器106和输出特征映射缓冲器108，其中输入特征映射缓冲器106被配置为从数据源116读取数据并将该数据传输到处理元件阵列104，并且输出特征映射缓冲器108被配置为从处理元件阵列104读取数据并将该数据传输到数据接收器(data sink)118。在一些实施例中，数据源116可以包括模数转换器、存储器单元(例如，RAM或ROM)、数字成像设备等的任意组合。在特定实施例中，来自数据源116的输入数据可以是数字图像数据。在一些实施例中，数据接收器118可以包括存储器单元、显示驱动器等的任何组合。在本文中提供了关于输入特征映射缓冲器106和输出特征映射缓冲器108的细节。
脉动阵列架构100的一些实施例可以包括处理元件调度器110，其被配置为基于指定的定时协议使得能够在包括处理元件阵列104的各个处理元件之间传递数据。在本文中描述了处理元件调度器110的细节。
在一些实施例中，CNN计算或CNN架构可以用诸如C或C++的高级程序定义。该定义通过本文描述的过程转换成FPGA比特流。
CNN架构的一些实施例涉及卷积运算，其特征在于涉及乘法和加法运算的多个嵌套循环。本公开提出了允许在设计的脉动阵列架构中实现并行性以设计高效计算架构的方法。
图2是描绘由CNN计算映射生成的脉动阵列架构200的实施例的框图。在一些实施例中，脉动阵列架构200包括处理元件的二维阵列(也称为处理元件并且缩写为PE)。图2描绘了处理元件的二维阵列：处理元件220、处理元件222、处理元件224、处理元件226、处理元件230、处理元件232、处理元件234、处理元件236、处理元件240、处理元件242、处理元件244、处理元件246、处理元件250、处理元件252、处理元件254和处理元件256。在由处理元件220至处理元件256组成的二维阵列中，处理元件220至处理元件256经由互连***互连，该互连***允许处理元件根据由处理元件调度器(诸如处理元件调度器110)实现的定时协议来将数据传递至相邻处理元件或从相邻处理元件接收数据。例如，图2示出了处理元件220和处理元件230之间的双向互连264。另一方面，处理元件220只能通过相关联的单向数据链路将数据发送到处理元件222。
在一些实施例中，处理元件220至处理元件256中的每一个包括DSP块或由多个DSP块组成的向量处理器。在其他实施例中，处理元件220至处理元件256中的每一个可以被配置为实现包括加法、减法、乘法和除法的数学运算，并且处理元件220至处理元件256可以包括查找表或一些其他计算块。在另外的其他实施例中，处理元件220至处理元件256的组合可以包括DSP块和查找表的某种组合。
在一些实施例中，与处理元件220至处理元件256的二维阵列相关联的2-D拓扑与FPGA布局中的2-D结构相匹配，使得可以由于低路由复杂性而实现相关联的定时约束。在一些实施例中，由处理元件220至处理元件256中的每一个向处理元件的这个二维阵列添加第三维，处理元件中的每一个具有被配置为执行向量累积运算的相关联的SIMD向量。在一些实施例中，由于现代FPGA中的专用DSP间累积互连，SIMD向量的并行化因子是2的幂。这种架构能够解决CNN实现中大规模并行化的定时问题。虽然图2描绘了处理元件的4×4阵列作为说明，但是，如本文所述的，该概念可以被扩展以与数千个处理元件和相关联的支持的组件一起工作。
图2还描绘了输入缓冲器202、输入缓冲器204、输入缓冲器206和输入缓冲器208。输入缓冲器202至输入缓冲器208各自被配置为从诸如数据源116的数据源读取数据。输入缓冲器202至输入缓冲器208中的每一个也可以被称为输入特征映射缓冲器。在一些实施例中，如图2所示，输入缓冲器202经由输入线258从数据源读取数据，并且经由单向数据链路顺序地将数据发送到输入缓冲器204等等。在特定实施例中，传送数据的排序由诸如处理元件调度器110的处理元件调度器来确定。输入缓冲器202、输入缓冲器204、输入缓冲器206和输入缓冲器208中的每一个经由唯一的单向互连分别向处理元件220、处理元件222、处理元件224和处理元件228发送数据。
在一些实施例中，脉动阵列架构200包括权重缓冲器218、权重缓冲器228、权重缓冲器238和权重缓冲器248，其中每一个权重缓冲器被配置为将与CNN相关联的权重数据分别传输到处理元件220、处理元件230、处理元件240和处理元件250。在特定实施例中，权重缓冲器218经由权重线262读取权重数据，并且将该权重数据顺序地发送到权重缓冲器228等等。权重数据还从权重缓冲器218至权重缓冲器248中的每一个分别传输到相应连接的处理元件220至处理元件250。
在一些实施例中，处理元件220、处理元件222、处理元件224和处理元件226中的每一个均分别连接(耦合)到输出缓冲器210、输出缓冲器212、输出缓冲器214和输出缓冲器216。输出缓冲器210至输出缓冲器216各自被配置为接收来自处理元件220至处理元件226的数据，并经由输出线260将数据发送出去。输出缓冲器210至输出缓冲器216中的每一个也可以被称为输出特征映射缓冲器。如图2所示，输出缓冲器216经由单向数据链路将数据发送到输出缓冲器214等等，其中输出缓冲器210通过输出线260将数据发送出去。脉动阵列架构200中的所有数据流都由处理元件调度器(诸如处理元件调度器110)进行排序。
如图2所示，与脉动阵列架构200相关联的全局且大型扇出互连被分成在相邻PE之间的本地互连。此外，任何输入/输出数据都可以移入/移出PE阵列以及相邻的PE之间，使得多路复用被消除。借助本地短的对等互连，即使在大规模并行化的情况下以及当扩展到包括一千多个PE时，脉动阵列架构200也可以实现高频率。
在脉动阵列架构200的操作期间，PE每周期在垂直方向上将输入数据传递给相邻的PE并且在水平方向上将权重数据传递给相邻的PE，并且其还累积输入数据和权重数据的乘数。如图2所示，输出特征映射数据当它们在多轮累积之后准备就绪时还使用PE之间的双向互连特征跨PE阵列移出。输入缓冲器202至输入缓冲器208中的每一个包含双缓冲器——一个缓冲器用于存储从外部存储器提取的数据，以及另一个缓冲器用于将数据馈送到PE中。
在双缓冲器实施例中，所有输入特征映射数据都可以在水平方向上跨输入缓冲器202至输入缓冲器208移位，而输入缓冲器将通过本文描述的过滤器选择性地存储属于PE的对应列的数据。类似的双缓冲器结构被应用于权重缓冲器218至权重缓冲器248和输出缓冲器210至输出缓冲器216中的每一个。
在一些实施例中，图2中所示的本地互连可以包括通常与脉动阵列执行相关的常用特征。首先，PE的计算所需的数据必须从PE边界并跨多个PE进行转移。由于只有边界PE具有对输入数据的访问，因此需要在PE的每行和列之间数据重用。更重要的是，脉动阵列以定期和同步方式运行，使得在每个相邻PE之间执行细粒度的流水线操作。借助于这些特征，PE执行的合适调度对于脉动阵列设计是必不可少的，特别是不同方向上关于每个PE的数据的同步。该功能由处理元件调度器110执行。
图3是描绘在脉动阵列中使用的处理元件300的实施例的框图。在一些实施例中，处理元件300接收三个输入：输入A_in 322、输入B_in 328和输入C_in 324。输入A_in 322是水平输入，而输入B_in 328是垂直输入。在一些实施例中，输入A_in 322是从权重缓冲器或从与处理元件300同一行中的相邻PE接收的权重输入。在特定实施例中，输入B_in 328是从输入缓冲器或从与处理元件300同一列中的相邻PE接收的数据输入。输入C_in 324是与处理元件300相关联的输出数据的初始值。
在一些实施例中，输入A_in 322被处理元件300读取到A寄存器304中。寄存器304还产生输出A_out 332。输出A_out 332是由权重数据组成的、被传输到与处理元件300同一行中的PE的水平输出。在一些实施例中，输入B_in 328被处理元件读取到B寄存器306中。B寄存器306产生输出B_out 326。输出B_out 326是由输入数据组成的、被传输到与处理元件300同一列中的PE的垂直输出。在一些实施例中，多个权重数据元素和输入数据元素每周期经由并行通道移入和移出每个PE。这种数据移位的并行化因子是与脉动阵列相关联的微架构模板中的参数。
在一些实施例中，A寄存器304中的每个数据样本数据经由乘法器308、乘法器310至乘法器312与B寄存器306中的相应数据样本成对地相乘。实质上，A寄存器304中的每个权重数据样本乘以B寄存器306中的输入数据样本。在一些实施例中，由乘法器308至乘法器312执行的每次乘法是SIMD乘法。来自乘法器308至乘法器312的乘法结果由加法器314、保存由加法器314输出的结果的寄存器316和C循环累加移位寄存器318的组合来累加。在一些实施例中，C循环累加移位寄存器318每周期轮换以将来自加法器314的输出(也被称为加法器树)累加到不同的数据元素中，并且每个数据元素轮换以累加若干次。每个数据元素的轮换数由在算法中需要求和多少个数据样本确定，并且也是与脉动阵列相关联的微架构模板中的参数。一旦数据元素在C循环累加移位寄存器318中准备就绪，它们就移出到C输出移位寄存器组320中。最后，C输出移位寄存器组320中的所有数据元素经由输出通道C_out 330移出PE到达底部相邻PE。实质上，输入C_in 324是与输出通道330相关联的数据的初始值，并且在以交织方式在PE内部进行累积之后，更新的数据经由输出通道C_out 330被发出到其相邻PE，并且最终移出到脉动阵列之外以形成最终输出。
图4是描绘在脉动阵列中使用的输入特征映射缓冲器400的实施例的框图。在一些实施例中，输入特征映射缓冲器400(也称为输入缓冲器)包括寄存器410，其被配置为接收和存储来自输入线412(其可以类似于输入线258)或者来自如图2中所描绘的相邻输入缓冲器的输入。寄存器410的输出被过滤器408接收，过滤器408被配置为选择性地存储被指定用于与输入特征映射缓冲器400相关联的一列PE的数据。过滤器408经由输出线414将不与该列PE相关联的数据传递到相邻的输入特征映射缓冲器。
在一些实施例中，旨在用于与输入特征映射缓冲器400相关联的一列PE的数据经由缓冲器0 404和缓冲器1 406被双缓冲，其中的每一个缓冲器被配置为从过滤器408接收数据。在一些实施例中，在第一数据周期中，缓冲器0 404被配置为存储从与脉动阵列相关联的外部存储器提取的数据，而缓冲器1 406被配置为将数据馈送到相邻的PE中。接下来，在第二数据周期中，缓冲器0 404被配置为将数据馈送到相邻的PE中，而缓冲器1 406被配置为存储从外部存储器提取的数据。输入特征缓冲器映射400的操作以这种方式在第一数据周期和第二数据周期之间交替。在一些实施例中，缓冲器0 404和缓冲器1 406中的每一个由缓冲器段的阵列组成，其中每个缓冲器段经由本地连接耦合到相邻缓冲器段。在特定实施例中，诸如权重缓冲器218的权重缓冲器的架构和诸如输出缓冲器210的输出缓冲器的架构具有与输入特征映射缓冲器400类似的双缓冲配置和相关联操作。
图5是描绘与脉动阵列500的实施例相关联的周期级调度的框图。在一些实施例中，脉动阵列500包括二维3×3阵列，其包括处理元件PE00 502、处理元件PE01 504、处理元件PE02 506、处理元件PE10 508、处理元件PE11 510、处理元件PE12 512、处理元件PE20514、处理元件PE21 516以及处理元件PE22 518。图5还描绘了脉动阵列500读入输入数据和权重数据。在一些实施例中，输入数据样本和权重数据样本被顺序地按时钟输入到各个处理元件中。
图5描绘了包括权重数据样本W0[0]、W0[1]和W0[2]的第一权重数据序列526。第一权重数据序列526顺序地按时钟输入到包括处理元件PE00 502、处理元件PE01 504和处理元件PE02 506的脉动阵列500的第一行中。在此，术语Wx[y]表示在阵列(矢量)索引y处按时钟输入到脉动阵列500的第x行中的权重数据序列。类似地，包括权重数据样本W1[0]、W1[1]和W1[2]的第二权重数据序列528顺序地按时钟输入到包括处理元件PE10508、处理元件PE11 510和处理元件PE12 512的脉动阵列500的第二行中。重要的是要注意，处理元件调度器(图5中未示出)使数据转移同步，使得与第一权重数据序列526相比，第二权重数据序列528延迟了一个时钟周期。在3×3脉动阵列500中，包括权重数据样本W2[0]、W2[1]和W2[2]的第三权重数据序列530被顺序地按时钟输入到包括处理元件PE20 514、处理元件PE21516和处理元件PE22 518的脉动阵列500的第三行中。处理元件调度器使数据转移同步，使得与第二权重数据序列528相比，第三权重数据序列530延迟一个时钟周期。
图5描绘了包括输入数据样本IN0[0]、IN1[0]和IN2[0]的第一输入数据序列520。第一输入数据序列520顺序地按时钟输入到包括处理元件PE00 502、处理元件PE10 508和处理元件PE20 514的脉动阵列500的第一列中。此处，术语INx[y]表示在阵列(矢量)索引x处被按时钟输入到脉动阵列500的第y列中的输入数据序列。类似地，包括输入数据样本IN0[1]、IN1[1]和IN2[1]的第二输入数据序列522被顺序地按时钟输入到包括处理元件PE01504、处理元件PE11 510和处理元件PE21 516的脉动阵列500的第二列中。处理元件调度器使数据转移同步，使得与第一输入数据序列520相比，第二输入数据序列522延迟一个时钟周期。在3×3脉动阵列500中，包括输入数据样本IN0[2]、IN1[2]和IN2[2]的第三输入数据序列524被顺序地按时钟输入到包括处理元件PE02 506、处理元件PE12 512和处理元件PE22 518的脉动阵列500的第三列中。处理元件调度器使数据转移同步，使得与第二输入数据序列522相比，第三输入数据序列524延迟一个时钟周期。本文提供了关于如何通过脉动阵列500处理数据的细节。
图6是描绘与脉动阵列的实施例相关联的周期级调度600的示例的示意图。图6描绘了如何通过脉动阵列500处理在图5中描绘的权重数据样本和输入数据样本。图5描绘了示出时间索引0、1到t的时间轴604以及处理元件轴602，该处理元件轴602示出处理元件PE00 502、处理元件PE01 504、处理元件PE10 508、处理元件PE20 514，以此类推直到处理元件Pxy。(图5示出3×3处理元件脉动阵列；Pxy是用于表示任何数量的处理元件索引的广义处理元件名称。)在时间轴604上的周期t处，W(权重数据样本)和IN(输入数据样本)的乘积累加在OUT(输出数据样本)上。最初，在初始步骤(时间轴604上的索引0)处，处理元件PE00 502执行SIMD乘法W0[0]*IN[0]。该乘法的结果用于更新存储在输出寄存器中的先前的部分累加结果。在该初始步骤期间，所有其他处理元件(例如，处理元件PE11 510)在它们等待权重数据样本和输入数据样本的同时停止。在时间轴604上的索引1处，与处理元件PE00 502相关联的权重数据(即，W0[0])被传递到处理元件PE01 504(由箭头608示出)，而与处理元件PE00 502相关联的输入数据(即，IN[0])被传递到处理元件PE10 508(该数据传递未在图6中示出)。处理元件PE01 504和处理元件PE10 508现在可以开始处理数据。具体而言，处理元件PE01 504执行运算W0[0]*IN1[0]，而处理元件PE10 508执行运算W1[0]*IN0[0]。另一方面，处理元件PE00 502能够处理新的权重数据样本和新的输入数据样本，执行运算W0[1]*IN0[1]。在时间轴604上的索引2处，与处理元件PE10 508相关联的输入数据(即，IN0[0])被传递到处理元件PE20 514，该处理元件PE20 514还接收权重数据W2[0]以执行运算W2[0]*IN0[0]。这由箭头606示出。在该时间索引处，处理元件PE10 508执行运算W1[1]*IN0[1]，处理元件PE01 504执行运算W0[1]*IN1[1]，并且处理元件PE00 502执行运算W0[2]*IN0[2]。所有的数据移位和相关联的计算都基于这样的周期级调度来执行。对于图5所示的处理元件的3×3阵列，从处理元件PE00 502开始，随着每个时钟周期，随后的处理元件从停止状态移动到活动状态。在5个周期之后，所有处理元件将是活动的并且同步地从先前的邻居处理元件读取数据，执行计算并且在每个周期中将数据传递到相邻的处理元件。在处理元件内的累加结束之后，相关联的移位寄存器中的OUT数据在垂直(列)处理元件上移位以存储在诸如输出缓冲器210的输出缓冲器中。
图7是描绘用作与脉动阵列的实施例相关联的循环分块表示的基础的一组嵌套循环700的示意图。在一些实施例中，一组嵌套循环700包括原始循环体708，该原始循环体708包括一组外部循环(L0-Ln)702、一组中间循环(S0-Sn)704和一组内部循环(T0-T2)706。在一些实施例中，循环分块表示建立了脉动阵列架构与原始高级程序代码之间的链接。中间表示中的分块循环包含对脉动阵列的各种架构考量，包括PE阵列映射、PE阵列形状和数据重用策略。
在一些实施例中，在下面的意义上，一组嵌套循环700被映射到与脉动阵列相关联的循环分块架构。假定每个数据块独立于脉动阵列中的另一个数据块进行处理，则每个数据块对应于外部循环(L0-Ln)702的迭代。在一些实施例中，数据块是图像数据块。由于数据块被独立处理，因此外部循环(L0-Ln)702不影响脉动阵列的吞吐量。一旦从片外存储器提取数据块，其将被存储在诸如输入缓冲器202的输入缓冲器和诸如权重缓冲器218的权重缓冲器中，以用于数据重用。中间循环(S0-Sn)704表示将数据从输入缓冲器馈送到PE阵列的顺序处理。由向量定义的中间循环的边界确定数据重用缓冲器的大小。由PE访问的任何重用数据由如本文所讨论的中间循环(S0-Sn)704的迭代器索引的阵列访问地址来表示。
在一些实施例中，并行执行在细粒度流水线中在PE阵列中执行。在一些实施例中，内部循环(T0-T2)706表示PE阵列中的并行性，其中内部循环(T0-T2)706的每次迭代对应于阵列中的并行DSP单元。脉动阵列的架构形状由内部循环的边界来确定，而脉动阵列映射可行性由内部循环迭代器和循环体中的阵列访问地址之间的关系来确定。
图8是描绘包括循环分块的脉动阵列800的实施例的框图。在一些实施例中，脉动阵列800包括t0×t1二维阵列：第一行中的处理元件PE(0，0)802、处理元件PE(1，0)804直到处理元件PE(0，t1-1)806；第二行中的处理元件PE(1，0)808、处理元件PE(1，1)810至处理元件PE(1，t1-1)812；直到第t0行中的处理元件PE(t0-1，0)814、处理元件PE(t0-1，1)816至处理元件PE(t0-1，t1-1)。在图8中，t0和t1是对于图7中描绘的内部循环706中的两个内部循环的循环限制。图7中描绘的内部循环706的第三循环限制t2构成对于脉动阵列800的第三维，其被并入到对于被包括在脉动阵列800中的每个处理元件的SIMD向量中。
在一些实施例中，脉动阵列800包括t1个输入缓冲器：输入缓冲器IB(0)820、输入缓冲器IB(1)822至输入缓冲器IB(t1-1)824。与循环分块表示一致的是，输入缓冲器IB(0)820至输入缓冲器IB(t1-1)824中的每一个都与一组中间循环(诸如中间循环704)相关联。换句话说，输入缓冲器IB(0)820可以被指定为如与中间循环704的限制相关联的输入缓冲器IB(0)(IN(s0，...，sn-1))等等。
在一些实施例中，脉动阵列800包括t0个权重缓冲器：权重缓冲器WB(0)826、权重缓冲器WB(1)828至权重缓冲器WB(t0-1)830。与循环分块表示一致的是，权重缓冲器WB(0)826至权重缓冲器WB(t0)830中的每一个与诸如中间循环704的一组中间循环相关联。换句话说，可以将权重缓冲器WB(0)826指定为权重缓冲器WB(0)(W0(s0，...sn-1))等等。
在一些实施例中，诸如外部循环702的外部循环由脉动阵列800在逐块地基础上实现。以这种方式，在脉动阵列800的架构中的循环分块实现被用于计算包括原始循环体708的一组嵌套循环。总而言之，循环分块表示包括外部循环702、中间循环704和内部循环706，其中外部循环702被配置为计算与计算***相关联的多个数据块(例如图像数据块)，中间循环704被配置为表示将来自与计算***相关联的多个输入缓冲器(例如，输入缓冲器IB(0)820到输入缓冲器IB(t1)826)的数据馈送到处理元件的顺序处理，并且内部循环706被配置为表示脉动阵列中的并行性。
图9是描绘用于定义用于机器学习的计算***的方法900的实施例的流程图。在902处，方法900接收用于机器学习的计算***的模型。在一些实施例中，该模型可以用诸如C或C++的高级计算语言来定义。在904处，该方法确定模型中定义的计算到脉动阵列的可行映射。在特定实施例中，脉动阵列包括包含处理元件的行和列的二维阵列。脉动阵列还包括第三维，其中SIMD向量与脉动阵列中的每个处理元件相关联。接下来，在906处，方法900定义可行映射以将数据重用包括在脉动阵列的行和列中，并且也在每个SIMD向量中。例如，脉动阵列需要在两个方向上的数据重用；因此相应的循环需要承载两个不同阵列(权重缓冲器W和输入缓冲器IN)的数据重用，而第三个循环需要承载输出(OUT)的累加。未能满足此规则将导致不可行的映射。在一些实施例中，脉动阵列中的一个或更多个处理元件包括DSP块或DSP块的向量。在其他实施例中，脉动阵列中的一个或更多个处理元件被配置为实现包括加法、减法、乘法和除法的数学运算，并且这些处理元件包括查找表。
接下来，在908处，该方法通过表征DSP块的总数、DSP时钟频率和DSP效率来选择脉动阵列的形状。选择脉动阵列的形状包括定义阵列和SIMD向量大小以及其他变量。在一些实施例中，DSP效率被定义为：
在脉动阵列设计过程期间，尽管具有较高的DSP计数，但对于相同的时钟频率(例如，280MHz)，某些脉动阵列实现可能具有比其他阵列更低的效率。例如，具有16行、10列和8个SIMD向量的DSP阵列可能比具有11行、13列和8个SIMD向量的DSP阵列效率更低，尽管在其中后者更有效地映射到(128，13，192)行程计数的目标循环映射的环境下，前者具有更高数量的DSP。
接下来，在910处，该方法使用循环分块表示来确定数据分块大小。在一些实施例中，循环分块表示包括多个外部循环、多个中间循环和多个内部循环，如本文所讨论的。在特定实施例中，循环分块与定义数据重用策略相关联。数据重用策略对于增强性能是必不可少的，因为如步骤906中定义的数据重用可能不足以实现所需的***吞吐量。在一些实施例中，适当的数据分块实现向基础数据重用方案添加几个数量级的数据重用。
在一些实施例中，实现数据重用策略包括利用在具有长重用距离的多个for-循环上承载的数据重用，这又导致大的重用缓冲区。但是，在片上存储器利用率和片外带宽节省之间的权衡中，有超过一万个设计选项，包括选择要重用的阵列、承载数据重用的循环以及为对于承载数据重用所选择的循环的分块大小。例如，采用全流水线式脉动阵列设计，可以实现621浮点运算(Gflops)的近似吞吐量。
图10是描绘用于定义对于具有细粒度数据重用的计算***进行机器学习的方法1000的实施例的流程图。在1002处，方法1000接收用于具有细粒度数据重用的计算***进行机器学习的模型。在一些实施例中，在脉动阵列中的三个内部循环T0、T1和T2中的至少一个内部循环中具有细粒度的数据重用是强制的，以用于实现可行映射。在一些实施例中，引入二元变量kl以指示循环到架构映射。在特定实施例中，如果循环l被选择为内部循环之一，则kl等于1；否则，kl等于0。对于映射的可行性条件被表示为：
其中，crl表示循环l上的阵列r的数据重用；如果循环l承载阵列r的细粒度数据重用，则crl＝1，否则crl＝0。
在一些实施例中，确定细粒度数据重用涉及使用多面体模型。在1004处，该方法定义了迭代向量其列出在循环嵌套中从最外侧循环到最内侧循环的循环迭代器。在1006处，该方法设置迭代域D，其定义循环迭代器的范围。在一些实施例中，在1008处，该方法还定义(计算)将循环迭代器映射到阵列r的访问索引的访问函数Fr。
在一些实施例中，对于循环l上的阵列r的细粒度数据重用要求在不同循环l迭代中在阵列r上访问的数据是相同的。在1010处，方法1000检查以确定对于循环l上的每个阵列r，在不同循环迭代中在阵列r上访问的数据是否相同。这可以表示为以下条件：
如果上述条件不被满足，则该方法返回到1008。另一方面，如果在1010处满足上述条件，则该方法进入1012，其中该方法基于内部循环的边界来确定与计算***(脉动阵列)相关联的DSP的资源利用率。最后，在1014处，该方法基于在中间循环和与迭代器向量相关联的内部循环中所访问的来确定与计算***相关联的片上块RAM(BRAM)大小。
在一些实施例中，由于如本文所述的由脉动阵列执行的计算主要是浮点乘法和浮点累加，因此DSP块和片上块RAM(BRAM)是两种最关键的资源类型。在一些实施例中，DSP利用率是通过内部循环边界的乘积来确定：
其中，是多维阵列的访问向量，并且是中间循环和内部循环的迭代域。就实现而言，可以通过使用多面体模型来解决由上述问题提出的对具有线性约束的整数集的计数；然而，这个模型具有高计算复杂度。通过利用CNN算法的突出特征(诸如高计算复杂度和高数据重用性)，可以通过计数阵列访问索引的每个维度的范围来实现模型的简化，使得总大小是每个维度的范围大小的乘积。
在一些实施例中，通过将实际存储器大小分配到四舍五入为2的幂的值来简化与存储器映射相关联的地址生成复杂度。这允许有效的BRAM实现。基于此，总的BRAM利用率被表示如下：
其中，cb是用于与脉动阵列相关联的任何输入缓冲器和输出缓冲器的恒定BRAM成本，cp是对于每个处理元件的BRAM成本，是与内部循环相关联的边界向量。
在一些实施例中，与计算***相关联的性能是通过计算吞吐量和外部存储器转移吞吐量来建模的。在特定实施例中，计算吞吐量是由DSP并行性、时钟频率和DSP计算效率来表征的，并且外部存储器转移吞吐量是由总外部存储器带宽和至少一个相关联的访问端口的外部存储器带宽来表征的。
在一些实施例中，在输入和输出中使用双缓冲允许以解耦方式对吞吐量进行建模，因此总吞吐量T由计算吞吐量(PT)和外部存储器转移吞吐量(MT)中较低的一个主导，：
由于脉动阵列以完全流水线的方式执行，因此每个PE将在每个周期中完成两个浮点运算(乘法和累加)。然而，与数据重用策略相关联并且由于不合适的循环分块大小而导致的量化效应可能导致对原始循环的边界上的任何不完整数据块的浪费计算。通过将与脉动阵列相关联的时钟频率定义为F，计算吞吐量被建模为每秒执行的原始代码中的有效浮点运算的数量：
其中，是前面定义的DSP效率。
在一些实施例中，外部存储器转移吞吐量(MT)被定义为在每个块中执行的有效浮点运算的数量除以转移由这些运算所需的数据所花费的时间。由于硬件特征，存储器带宽限制不仅针对整个存储器访问带宽BW总数，还针对每个相关联的访问端口(如存储器访问端口)BW端口(阵列in，w，和out)。转移的数据量和带宽决定了数据转移时间，因此MT可以建模如下：
在上面的等式中，MTt(.)用于表示总存储器吞吐量，而MTr(.)用于表示对于单个存储器端口的存储器吞吐量。
图11是描绘用于定义用于计算***进行机器学习的方法1100的实施例的流程图。在1102处，该方法接收用于计算***进行机器学习的模型。在一些实施例中，这种计算***的实现通过如本文所述的脉动阵列架构来实现。在1104处，该方法找到用于作为机器学习***的函数的嵌套循环的一组可行的脉动阵列配置。在1106处，给定可行的脉动阵列配置，该方法确定中间循环的各种边界以改进设计吞吐量。步骤1104和1106可以共同地被转换为以下两个子问题的组合的问题：
问题1-步骤1104：给定用作CNN的嵌套循环L，找到包含所有可行的脉动阵列配置的集合S：
其中，是本文讨论的映射向量，是表示内部循环上的边界的向量。
问题2-步骤1106：给定脉动阵列配置找出中间循环的各种边界使得下面的总体设计吞吐量被基本上最大化：
最大化
其中T、B和D已在上面定义。和的复杂计算使得问题既不是线性的，也不是凸(convex)的，这又导致了解析求解的困难。另一方面，这两个问题的整个设计空间非常大，这使得蛮力搜索不切实际。在一个实施例中，在具有3.2GHz频率的Intel的XeonE5-2667CPU上，该算法的实现花费大约311小时来遍历来自AlexNet CNN型号的卷积层之一的每个设计选项。
为了解决大型搜索空间，实现了两阶段设计过程。在第一阶段中，其被称为架构设计阶段，通过考虑资源利用率和片上BRAM特征来减少设计空间。在1108处，方法1100基于DSP和BRAM利用率来修剪可行的脉动阵列配置候选项。由于本文描述的脉动PE阵列架构的可扩展性，在DSP利用率低时，时钟频率将不会明显下降。因此，可以通过在问题1中添加以下约束来修剪具有低DSP利用率的设计选项：
其中，cs是常数，用于设置由用户定义的DSP利用率的下边界。例如，通过应用其中cs＝80的上述等式，对于来自AlexNet CNN的卷积层之一，可用的脉动PE阵列映射的数量从160K减少到64K。
在一些实施例中，数据重用策略的设计空间是通过利用在实现中的BRAM大小总是舍入为二的幂的事实而根据的值进一步被降低的。具体地，设计空间仅通过探索其值是二的幂的的候选项来修剪。数据重用策略的修剪的设计空间可以覆盖原始设计空间中的改进解决方案，因为：
1)相关联的吞吐量的目标函数为的单调非递减函数，并且
2)对于其值具有相同的上舍入的二的幂的的选项，BRAM利用率相同。
通过这种方式，不是2的幂的BRAM设计和其他低效BRAM实现是通过设计过程来修剪的。通过对数据重用策略应用修剪，设计空间会以对数形式减少，使得可以执行穷举搜索以找到最佳策略。在一些实施例中，这结果是对于AlexNet卷积层在平均搜索时间上节省了额外的17.5倍。因此，设计空间探索过程的第一阶段只需不到30秒即可识别高吞吐量设计选项的集合，而不是数百小时。
在设计过程的第二阶段中，于是使用例如对于OpenCL Application的英特尔软件开发工具包(SDK)来合成集合中的设计，以实现时钟频率。实际的时钟频率用于细化性能评估以用于确定最佳的脉动阵列设计。
图12是描绘服务器中的主机/加速器模型1200的实施例的框图。在一些实施例中，服务器1202包括经由合适的通信协议(诸如PCI Express或QPI)接口连接到包括使用上述***和方法实现的脉动阵列1206的FPGA1204的CPU 1214。FPGA 1204还包括PCI Express/QPI接口1210(在图12中被描绘为PCIe/QPI接口1210)、DDR控制器1212和片上***总线1208。PCI Express/QPI接口1210和DDR控制器1212各自经由片上***总线1208与脉动阵列1206通信。在一些实施例中，PCI Express/QPI接口1210被配置为使用PCI Express或通信协议与***设备进行通信，而DDR控制器1212被设计为使脉动阵列1212与DDR存储器接口连接。
在一些实施例中，服务器1202可以用于实现涉及CNN计算的应用，诸如图像识别、视频检测、音频处理和自然语言处理。轻负载软件框架(主程序)可以在CPU 1214上执行，而重负载CNN计算被卸载并在FPGA 1204上运行的脉动阵列1206中加速。编译器生成的脉动阵列1206执行CNN加速作为在FPGA设计中的寄存器传输级(RTL)模块。该寄存器传输级模块经由诸如AXI的标准协议连接到片上***总线1208。此外，片上***总线1208然后连接到任何***接口，包括PCI Express/QPI接口1212和DDR控制器1214。数据(诸如图像帧和权重)首先通过PCIe/QPI接口1210、片上***总线1208和DDR控制器1212从CPU 1214传送到FPGA1204中的DDR存储器(未示出)。在转移初始数据之后，CPU 1214经由PCI Express/QPI接口1210和片上***总线1208通过信号开始在脉动阵列1206中的执行。然后，脉动阵列1206将来自FPGA 1204中的DDR存储器的数据提取到脉动阵列1206，并将结果存储回FPGA 1204中的DDR存储器(未示出)。在脉动阵列1206完成CNN加速的执行之后，CPU 1214将检测到完成并且经由DDR控制器1212和PCI Express/QPI接口1210将来自FPGA1204中的DDR存储器的数据转移回CPU 1214。这个周期构成了使用脉动阵列完成对加速的调用。根据应用需求，也可以在***中执行多个调用。
本文描述的脉动阵列设计也可以应用于单个服务器上的多FPGA平台。多个输入数据(图像)可以在多个FPGA上并行计算，其中每个FPGA具有类似于图12中描绘的脉动阵列模块的脉动阵列模块。
图13是描绘嵌入式***1300的实施例的框图。在一些实施例中，具有嵌入式CPU1308的片上***(SOC)1302经芯片上***总线1306接口连接到脉动阵列1304。片上***总线1306还与DDR控制器1310接口连接。在一些实施例中，使用本文描述的***和方法生成脉动阵列1304。
在嵌入式***1300中，就嵌入式CPU 1308、脉动阵列1304和DDR控制器1310经由片上***总线1306进行通信而言，该***的行为可以与主机/加速器模型1200相同。整个应用可以在嵌入式***1300中运行，其中脉动阵列1304部分用作加速器。在嵌入式***1300中，在同一FPGA芯片上通常存在用于嵌入式CPU 1308和脉动阵列1304的共享存储器空间。本文描述的由脉动阵列生成***和方法生成的RTL模块也可用于此场景。如针对主机/加速器模型1200所描述的，脉动阵列1304可以经由片上***总线1306访问共享DDR存储器(未示出)，并且嵌入式CPU 1308还可以经由片上***总线1306将控制信号直接发送到脉动阵列1304。在一些实施例中，嵌入式***1300可以经由嵌入式CPU 1308上的现有******设备来执行整个应用，同时在脉动阵列1304上的计算被加速。
虽然本文描述了本公开的各种实施例，但是应当理解的是，它们仅通过示例而不是限制的方式来呈现。对于相关领域的技术人员明显的是，在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。因此，本公开的广度和范围并不限于所描述的示例性实施例中的任一个，而应当仅仅根据所附的权利要求以及它们的等同物来限定。本文的描述已经被呈现用于说明和描述的目的。其不旨在为详尽本公开或将本公开限制为所公开的精确形式。鉴于所公开的教示，许多修改和变型是可能的。进一步地，应注意的是，本文所讨论的可选实施例中的任何实施例和全部实施例可用于任何所需的组合中，以形成本公开的附加混合实施方式。
在本公开中，参考了形成说明书的一部分的随附附图，并且其中以通过说明其中可实践本公开的具体实现的方式示出。应理解的是，其他实施方式可被使用并且可在不脱离本公开的范围的情况下做出结构改变。在实施方式中对“一个实施例”、“实施例”、“示例实施例”等的参考指示所描述的实施例可包括特定特征、结构或特性，但是每个实施例可以不必包括该特定特征、结构或特性。此外，这样的短语不一定是指同一实施例。此外，当描述与实施例有关的特定特征、结构或特性时，应理解，这是在本领域的技术人员的知识范围之内，用以实现与其它实施例有关的这种特征、结构或特性，无论是否明确地描述。
本文所公开的***、设备和方法的实现可包括或使用专用或通用计算机，其包括计算机硬件，诸如例如一个或更多个处理器和***存储器，如本文所讨论的。本公开的范围内的实现还可以包括物理和其他计算机可读介质，以用于承载或存储计算机可执行指令和/或数据结构。该类计算机可读介质可以是任何可用的介质，其可由通用或专用计算机***访问。存储计算机可读指令的计算机可读介质是计算机存储介质(设备)。承载计算机可执行指令的计算机可读介质为传输介质。因此，通过示例的方式且不为限制，本公开的实现可包括至少两个明显不同种类的计算机可读介质：计算机存储介质(设备)和传输介质。
计算机存储介质(设备)包括RAM、ROM、EEPROM、CD-ROM、固态驱动(“SSD”)(例如，基于RAM)、闪存、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储、磁盘存储或其他磁存储设备，或者可用于以计算机可执行指令或数据结构的形式存储所需程序代码并且可由通用或专用计算机访问的任何其他介质。
本文公开的设备、***和方法的实现可以通过计算机网络进行通信。“网络”被定义为一个或更多个数据链路，其实现计算机***和/或模块和/或其他电子设备之间的电子数据的传输。当经由网络或另一个通信连接(硬接线、无线或者硬接线或无线的组合)将信息转移或提供到计算机时，计算机适当地将连接视为传输介质。传输介质可包括网络和/或数据链路，其可用于以计算机可执行指令或数据结构的形式承载所需程序代码，并且可由通用或专用计算机访问。上述的组合也被包括在计算机可读介质的范围内。
例如，计算机可执行指令包括指令和数据，其中当在处理器处执行时，该指令和数据使通用计算机、专用计算机或专用处理设备执行某个功能或功能的集合。例如，计算机可执行指令可以是二进制、中间格式指令(诸如汇编语言或甚至源代码)。尽管已经以特定于结构化特征和/或方法行为的语言描述了主题，但应理解的是，随附权利要求中定义的主题不必需局限于所描述的特征或本文所描述的行为。相反，所描述的特征和行为被公开作为实施权利要求的示例形式。
本领域技术人员将认识到，可在具有许多类型的计算机***配置的网络计算环境中实践本发明，包括内置式车辆计算机、个人计算机、桌面型计算机、膝上型计算机、消息处理器、手持设备、多处理器***、基于微处理器的或可编程消费者电子设备、网络PC、迷你计算机、大型计算机、移动手机、PDA、平板电脑、传呼机、路由器、交换器、各种存储设备等等。还可在分布式***环境中实践本公开，其中经网络链接(通过硬接线数据链路、无线数据链路或通过硬接线和无线数据链路的组合)的本地和远程计算机***都执行任务。在分布式***环境中，程序模块可位于本地和远程存储器存储设备中。
进一步地，在适当的情况下，可在以下中的一个或更多个中执行本文所描述的功能：硬件、软件、固件、数字部件或模拟部件。例如，一个或更多个专用集成电路(ASIC)可经编程来执行本文所描述的***和过程中的一个或更多个。某些术语贯穿说明书和权利要求使用以指代特定***部件。如本领域技术人员将认识到，可通过不同的名字来指代部件。本文档不旨在区分在名字上而不是功能上不同的部件。
应该注意，本文讨论的传感器实施例可以包括计算机硬件、软件、固件或其任何组合以执行其功能的至少一部分。例如，传感器可以包括配置成在一个或更多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例设备在本文中被提供用于说明的目的并且不旨在限制。如相关领域的技术人员所知，本公开的实施例可以在其他类型的设备中实现。
本公开的至少一些实施例针对包括存储在任何计算机可用介质上的这种逻辑(例如，以软件的形式)的计算机程序产品。当在一个或更多个数据处理设备中执行时，这种软件使得设备如本文所述的那样进行操作。

Claims (20)

1.一种支持卷积神经网络(CNN)的脉动阵列，包括：
以行和列排列的可重新配置的处理元件的二维阵列，每个处理元件具有关联的SIMD向量并通过本地连接被连接至至少一个其他处理元件；
输入特征映射缓冲器，所述输入特征映射缓冲器具有用于存储输入特征映射的双缓冲器；
互连***，所述互连***用于根据处理元件调度器将数据传递到邻近的处理元件，并且其中，
CNN计算是使用被配置为确定合适的可重新配置的处理元件参数的自动化***而被映射到所述可重新配置的处理元件的二维阵列上的。
2.根据权利要求1所述的脉动阵列，其中，所述CNN计算是用高级C程序进行定义的，并且其中，所述映射被从所述高级C程序到FPGA比特流执行。
3.根据权利要求1所述的脉动阵列，其中，处理元件包括DSP块或者包括多个DSP块的向量处理器。
4.根据权利要求1所述的脉动阵列，其中，处理元件实现包括加法、减法、乘法和除法的数学运算，并且其中，所述处理元件包括查找表。
5.根据权利要求1所述的脉动阵列，其中，所述双缓冲器包括第一缓冲器和第二缓冲器，其中，在第一数据周期中，所述第一缓冲器被配置为存储由所述脉动阵列从外部存储器提取的数据，其中，在所述第一数据周期中，所述第二缓冲器被配置为将数据馈送到处理元件中，其中，在第二数据周期中，所述第二缓冲器被配置为存储由所述脉动阵列从外部存储器提取的数据，并且其中，在所述第二数据周期中，所述第一缓冲器被配置为将数据馈送到处理元件。
6.根据权利要求5所述的脉动阵列，其中，所述第一缓冲器和所述第二缓冲器中的每一个包括缓冲器段的阵列，并且其中，每个缓冲器段经由本地连接耦合到相邻的缓冲器段。
7.一种用于定义计算***的方法，包括以下步骤：
确定计算到包括处理元件的行和列的脉动阵列的可行映射，每个处理元件具有相关联的SIMD向量；
选择脉动阵列的形状；以及
使用循环分块表示来确定数据分块大小。
8.根据权利要求7所述的方法，其中，所述可行映射包括在所述行和列以及在所述SIMD向量中的数据重用。
9.根据权利要求7所述的方法，其中，处理元件是DSP块或DSP块的向量。
10.根据权利要求9所述的方法，其中，选择所述脉动阵列的形状表征DSP块的总数、DSP时钟频率和DSP效率。
11.根据权利要求7所述的方法，其中，处理元件实施包括加法、减法、乘法和除法的数学运算，并且其中，所述处理元件包括查找表。
12.根据权利要求7所述的方法，其中，所述循环分块表示包括多个外部循环、多个中间循环和多个内部循环，其中，所述外部循环被配置为计算与所述计算***相关联的多个图像块，所述中间循环被配置为表示将来自与所述计算***相关联的多个输入缓冲器的数据馈送到所述处理元件的顺序处理，并且所述内部循环被配置为表示在所述脉动阵列中的并行性。
13.一种用于定义具有细粒度数据重用的计算***的方法，包括以下步骤：
定义迭代器向量，所述迭代器向量列出循环嵌套中从最外侧循环到内部循环的循环迭代器；
设置定义循环迭代器的范围的迭代域D；和
计算将所述循环迭代器映射到阵列r的访问索引的访问函数，其中，循环l上的每个阵列r要求在不同循环l迭代中在阵列r上访问的数据是相同的。
14.根据权利要求13所述的方法，其中，基于所述内部循环的边界来确定与所述计算***相关联的DSP的资源利用率。
15.根据权利要求14所述的方法，其中，与所述计算***相关联的性能是通过计算吞吐量和外部存储器转移吞吐量建模的，其中，所述计算吞吐量由DSP并行性、时钟频率和DSP计算效率表征，并且其中，所述外部存储器转移吞吐量由总的外部存储器带宽和至少一个相关联的访问端口的外部存储器带宽来表征。
16.根据权利要求13所述的方法，其中，基于在与所述迭代器向量相关联的中间循环和所述内部循环中所访问的数据来确定与所述计算***相关联的BRAM块大小。
17.一种用于定义计算***的方法，包括以下步骤：
对于用作机器学习***的嵌套循环找到一组可行的脉动阵列配置；
给定可行的脉动阵列配置，确定多个中间循环的边界以改进设计吞吐量；和
至少部分地基于DSP和BRAM利用率来修剪可行的脉动阵列配置候选项。
18.根据权利要求17所述的方法，其中，修剪可行的脉动阵列配置候选项包括丢弃具有低DSP利用率的设计选项。
19.根据权利要求17所述的方法，还包括丢弃其中BRAM未被有效利用的设计选项。
20.根据权利要求17所述的方法，其中，修剪与包括与所述中间循环相关联的边界的向量函数的单调非递减函数相关联。
CN201810391781.XA 2017-04-27 2018-04-27 用于根据高级程序进行脉动阵列设计的***及方法 Pending CN108805262A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762490912P 2017-04-27 2017-04-27
US62/490,912 2017-04-27

Publications (1)

Publication Number Publication Date
CN108805262A true CN108805262A (zh) 2018-11-13

Family

ID=63917288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810391781.XA Pending CN108805262A (zh) 2017-04-27 2018-04-27 用于根据高级程序进行脉动阵列设计的***及方法

Country Status (2)

Country Link
US (2) US10838910B2 (zh)
CN (1) CN108805262A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902063A (zh) * 2019-02-01 2019-06-18 京微齐力(北京)科技有限公司 一种集成有二维卷积阵列的***芯片
CN109902795A (zh) * 2019-02-01 2019-06-18 京微齐力(北京)科技有限公司 处理单元设置有输入复用器的人工智能模块和***芯片
CN109902835A (zh) * 2019-02-01 2019-06-18 京微齐力(北京)科技有限公司 处理单元设置有通用算法单元的人工智能模块及***芯片
CN109919321A (zh) * 2019-02-01 2019-06-21 京微齐力(北京)科技有限公司 单元具有本地累加功能的人工智能模块及***芯片
CN109919323A (zh) * 2019-02-01 2019-06-21 京微齐力(北京)科技有限公司 边缘单元具有本地累加功能的人工智能模块及***芯片
WO2020133463A1 (zh) * 2018-12-29 2020-07-02 华为技术有限公司 神经网络***及数据处理技术
CN111506343A (zh) * 2020-03-05 2020-08-07 北京大学深圳研究生院 一种基于脉动阵列硬件架构的深度学习卷积运算实现方法
CN111666255A (zh) * 2019-03-07 2020-09-15 爱思开海力士有限公司 脉动阵列和处理***
CN111897579A (zh) * 2020-08-18 2020-11-06 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10838910B2 (en) * 2017-04-27 2020-11-17 Falcon Computing Systems and methods for systolic array design from a high-level program
US11328037B2 (en) * 2017-07-07 2022-05-10 Intel Corporation Memory-size- and bandwidth-efficient method for feeding systolic array matrix multipliers
US11507429B2 (en) * 2017-09-14 2022-11-22 Electronics And Telecommunications Research Institute Neural network accelerator including bidirectional processing element array
US11114138B2 (en) 2017-09-15 2021-09-07 Groq, Inc. Data structures with multiple read ports
US11868804B1 (en) 2019-11-18 2024-01-09 Groq, Inc. Processor instruction dispatch configuration
US11243880B1 (en) 2017-09-15 2022-02-08 Groq, Inc. Processor architecture
US11360934B1 (en) 2017-09-15 2022-06-14 Groq, Inc. Tensor streaming processor architecture
US11170307B1 (en) 2017-09-21 2021-11-09 Groq, Inc. Predictive model compiler for generating a statically scheduled binary with known resource constraints
US20190164037A1 (en) * 2017-11-29 2019-05-30 Electronics And Telecommunications Research Institute Apparatus for processing convolutional neural network using systolic array and method thereof
US11164073B2 (en) * 2018-02-08 2021-11-02 Western Digital Technologies, Inc. Systolic neural network processor with feedback control
US10796198B2 (en) 2018-02-08 2020-10-06 Western Digital Technologies, Inc. Adjusting enhancement coefficients for neural network engine
US20230229450A1 (en) * 2018-02-23 2023-07-20 Untether Ai Corporation Computational memory
US11868875B1 (en) * 2018-09-10 2024-01-09 Amazon Technologies, Inc. Data selection circuit
US10817042B2 (en) * 2018-09-27 2020-10-27 Intel Corporation Power savings for neural network architecture with zero activations during inference
US11501141B2 (en) * 2018-10-12 2022-11-15 Western Digital Technologies, Inc. Shifting architecture for data reuse in a neural network
US11301546B2 (en) 2018-11-19 2022-04-12 Groq, Inc. Spatial locality transform of matrices
TWI696961B (zh) * 2018-12-12 2020-06-21 財團法人工業技術研究院 深度神經網路硬體加速器與其操作方法
CN111383157B (zh) * 2018-12-29 2023-04-14 北京市商汤科技开发有限公司 图像处理方法、装置、车载运算平台、电子设备及***
JP7227769B2 (ja) * 2019-01-10 2023-02-22 キヤノン株式会社 情報処理装置及びメモリ制御方法
CN110163338B (zh) * 2019-01-31 2024-02-02 腾讯科技（深圳）有限公司 具有运算阵列的芯片运算方法、装置、终端及芯片
US11080017B2 (en) * 2019-02-21 2021-08-03 Micron Technology, Inc. Host-based bit string conversion
CN109934339B (zh) * 2019-03-06 2023-05-16 东南大学 一种基于一维脉动阵列的通用卷积神经网络加速器
US10983948B2 (en) * 2019-03-07 2021-04-20 Raytheon Company Reconfigurable computing appliance
US11783176B2 (en) 2019-03-25 2023-10-10 Western Digital Technologies, Inc. Enhanced storage device memory architecture for machine learning
US10929058B2 (en) 2019-03-25 2021-02-23 Western Digital Technologies, Inc. Enhanced memory device architecture for machine learning
US11663454B2 (en) * 2019-03-29 2023-05-30 Aspiring Sky Co. Limited Digital integrated circuit with embedded memory for neural network inferring
CN110070178B (zh) * 2019-04-25 2021-05-14 北京交通大学 一种卷积神经网络计算装置及方法
US11507349B2 (en) 2019-06-26 2022-11-22 Microsoft Technology Licensing, Llc Neural processing element with single instruction multiple data (SIMD) compute lanes
US10884707B1 (en) * 2019-06-27 2021-01-05 Amazon Technologies, Inc. Transpose operations using processing element array
US11907827B2 (en) * 2019-06-28 2024-02-20 Intel Corporation Schedule-aware tensor distribution module
KR20210006120A (ko) * 2019-07-08 2021-01-18 에스케이하이닉스 주식회사 데이터 저장 장치, 데이터 처리 시스템 및 이를 위한 가속 장치
US11842169B1 (en) 2019-09-25 2023-12-12 Amazon Technologies, Inc. Systolic multiply delayed accumulate processor architecture
US11194549B2 (en) * 2019-10-25 2021-12-07 Arm Limited Matrix multiplication system, apparatus and method
US11392535B2 (en) * 2019-11-26 2022-07-19 Groq, Inc. Loading operands and outputting results from a multi-dimensional array using only a single side
US11610102B1 (en) * 2019-11-27 2023-03-21 Amazon Technologies, Inc. Time-based memory allocation for neural network inference
US11467806B2 (en) 2019-11-27 2022-10-11 Amazon Technologies, Inc. Systolic array including fused multiply accumulate with efficient prenormalization and extended dynamic range
US11816446B2 (en) 2019-11-27 2023-11-14 Amazon Technologies, Inc. Systolic array component combining multiple integer and floating-point data types
CN111210004B (zh) * 2019-12-31 2022-03-25 深圳云天励飞技术股份有限公司 卷积计算方法、卷积计算装置及终端设备
KR20210123152A (ko) * 2020-04-02 2021-10-13 한국전자통신연구원 인공지능 프로세서를 위한 명령어 자동 생성 장치 및 그의 최적화 방법
US11182337B1 (en) * 2020-05-01 2021-11-23 Intel Corporation Computing efficient cross channel operations in parallel computing machines using systolic arrays
DE102020132088A1 (de) 2020-05-01 2021-11-04 Intel Corporation Berechnung effizienter kanalübergreifender operationen in parallelrechenmaschinen mit systolischen arrays
US11232062B1 (en) 2020-06-29 2022-01-25 Amazon Technologies, Inc. Parallelism within a systolic array using multiple accumulate busses
US11308027B1 (en) 2020-06-29 2022-04-19 Amazon Technologies, Inc. Multiple accumulate busses in a systolic array
US11113233B1 (en) * 2020-06-29 2021-09-07 Amazon Technologies, Inc. Multiple busses in a grouped systolic array
US11308026B1 (en) * 2020-06-29 2022-04-19 Amazon Technologies, Inc. Multiple busses interleaved in a systolic array
US11422773B1 (en) 2020-06-29 2022-08-23 Amazon Technologies, Inc. Multiple busses within a systolic array processing element
US11676068B1 (en) 2020-06-30 2023-06-13 Cadence Design Systems, Inc. Method, product, and apparatus for a machine learning process leveraging input sparsity on a pixel by pixel basis
US11651283B1 (en) 2020-06-30 2023-05-16 Cadence Design Systems, Inc. Method, product, and apparatus for a machine learning process using dynamic rearrangement of sparse data and corresponding weights
US11823018B1 (en) * 2020-06-30 2023-11-21 Cadence Design Systems, Inc. Method, product, and apparatus for a machine learning process using weight sharing within a systolic array having reduced memory bandwidth
US11615320B1 (en) 2020-06-30 2023-03-28 Cadence Design Systems, Inc. Method, product, and apparatus for variable precision weight management for neural networks
US11687831B1 (en) * 2020-06-30 2023-06-27 Cadence Design Systems, Inc. Method, product, and apparatus for a multidimensional processing array for hardware acceleration of convolutional neural network inference
CN113989169A (zh) 2020-07-08 2022-01-28 嘉楠明芯(北京)科技有限公司 一种膨胀卷积加速计算方法及装置
US20220043769A1 (en) * 2020-07-21 2022-02-10 Fathom Radiant, PBC Toroidal Systolic Array Processor for General Matrix Multiplication (GEMM) With Local Dot Product Output Accumulation
KR20220015680A (ko) 2020-07-31 2022-02-08 삼성전자주식회사 딥러닝 연산 수행 방법 및 장치
CN111931919B (zh) * 2020-09-24 2021-04-27 南京风兴科技有限公司 一种基于脉动阵列的稀疏神经网络计算方法及装置
KR20220049325A (ko) 2020-10-14 2022-04-21 삼성전자주식회사 가속기 및 이를 포함한 전자 장치
US11520731B1 (en) 2020-11-06 2022-12-06 Amazon Technologies, Inc. Arbitrating throttling recommendations for a systolic array
US11442890B1 (en) 2020-11-06 2022-09-13 Amazon Technologies, Inc. On-circuit data activity monitoring for a systolic array
US20220318013A1 (en) * 2021-03-25 2022-10-06 Intel Corporation Supporting 8-bit floating point format operands in a computing architecture
US20210326111A1 (en) * 2021-06-25 2021-10-21 Intel Corporation FPGA Processing Block for Machine Learning or Digital Signal Processing Operations
US11880682B2 (en) 2021-06-30 2024-01-23 Amazon Technologies, Inc. Systolic array with efficient input reduction and extended array performance
CN116662593B (zh) * 2023-07-21 2023-10-27 湖南大学 一种基于fpga的全流水线医药高光谱图像神经网络分类方法
US12008069B1 (en) 2023-11-29 2024-06-11 Recogni Inc. Multi-mode architecture for unifying matrix multiplication, 1×1 convolution and 3×3 convolution
US12007937B1 (en) 2023-11-29 2024-06-11 Recogni Inc. Multi-mode architecture for unifying matrix multiplication, 1×1 convolution and 3×3 convolution
US12045309B1 (en) 2023-11-29 2024-07-23 Recogni Inc. Systems and methods for performing matrix multiplication with a plurality of processing elements

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4707647A (en) * 1986-05-19 1987-11-17 Gmf Robotics Corporation Gray scale vision method and system utilizing same
EP0422348A2 (en) * 1989-10-10 1991-04-17 Hnc, Inc. Two-dimensional systolic array for neural networks, and method
CN1110187C (zh) * 1994-12-13 2003-05-28 汤姆森多媒体公司 选择运动矢量的方法及实现该方法的图象处理装置
US20070050603A1 (en) * 2002-08-07 2007-03-01 Martin Vorbach Data processing method and device
CN101067681A (zh) * 2007-05-11 2007-11-07 中国科学院光电技术研究所 用于自适应光学***波前控制运算的脉动阵列处理电路
US20110138259A1 (en) * 2009-12-03 2011-06-09 Microsoft Corporation High Performance Digital Signal Processing In Software Radios
US20120089812A1 (en) * 2009-06-12 2012-04-12 Graeme Roy Smith Shared resource multi-thread processor array
WO2015044696A2 (en) * 2013-09-27 2015-04-02 Pázmány Péter Katolikus Egyetem Computer architecture and processing method
US20160062947A1 (en) * 2014-08-29 2016-03-03 Nvidia Corporation Performing multi-convolution operations in a parallel processing system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930926B2 (en) * 2008-02-08 2015-01-06 Reservoir Labs, Inc. System, methods and apparatus for program optimization for multi-threaded processor architectures
US8572590B2 (en) * 2008-09-17 2013-10-29 Reservoir Labs, Inc. Methods and apparatus for joint parallelism and locality optimization in source code compilation
US9152427B2 (en) * 2008-10-15 2015-10-06 Hyperion Core, Inc. Instruction issue to array of arithmetic cells coupled to load/store cells with associated registers as extended register file
US10726583B2 (en) * 2016-12-30 2020-07-28 Intel Corporation System and method of encoding and decoding feature maps and weights for a convolutional neural network
US10838910B2 (en) * 2017-04-27 2020-11-17 Falcon Computing Systems and methods for systolic array design from a high-level program
US10990648B2 (en) * 2017-08-07 2021-04-27 Intel Corporation System and method for an optimized winograd convolution accelerator
US11106968B1 (en) * 2018-05-24 2021-08-31 Xilinx, Inc. Circuit arrangements and methods for traversing input feature maps

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4707647A (en) * 1986-05-19 1987-11-17 Gmf Robotics Corporation Gray scale vision method and system utilizing same
EP0422348A2 (en) * 1989-10-10 1991-04-17 Hnc, Inc. Two-dimensional systolic array for neural networks, and method
US5471627A (en) * 1989-10-10 1995-11-28 Hnc, Inc. Systolic array image processing system and method
CN1110187C (zh) * 1994-12-13 2003-05-28 汤姆森多媒体公司 选择运动矢量的方法及实现该方法的图象处理装置
US20070050603A1 (en) * 2002-08-07 2007-03-01 Martin Vorbach Data processing method and device
CN101067681A (zh) * 2007-05-11 2007-11-07 中国科学院光电技术研究所 用于自适应光学***波前控制运算的脉动阵列处理电路
US20120089812A1 (en) * 2009-06-12 2012-04-12 Graeme Roy Smith Shared resource multi-thread processor array
US20110138259A1 (en) * 2009-12-03 2011-06-09 Microsoft Corporation High Performance Digital Signal Processing In Software Radios
WO2015044696A2 (en) * 2013-09-27 2015-04-02 Pázmány Péter Katolikus Egyetem Computer architecture and processing method
US20160062947A1 (en) * 2014-08-29 2016-03-03 Nvidia Corporation Performing multi-convolution operations in a parallel processing system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020133463A1 (zh) * 2018-12-29 2020-07-02 华为技术有限公司 神经网络***及数据处理技术
CN109902063A (zh) * 2019-02-01 2019-06-18 京微齐力(北京)科技有限公司 一种集成有二维卷积阵列的***芯片
CN109902795A (zh) * 2019-02-01 2019-06-18 京微齐力(北京)科技有限公司 处理单元设置有输入复用器的人工智能模块和***芯片
CN109902835A (zh) * 2019-02-01 2019-06-18 京微齐力(北京)科技有限公司 处理单元设置有通用算法单元的人工智能模块及***芯片
CN109919321A (zh) * 2019-02-01 2019-06-21 京微齐力(北京)科技有限公司 单元具有本地累加功能的人工智能模块及***芯片
CN109919323A (zh) * 2019-02-01 2019-06-21 京微齐力(北京)科技有限公司 边缘单元具有本地累加功能的人工智能模块及***芯片
CN109902063B (zh) * 2019-02-01 2023-08-22 京微齐力(北京)科技有限公司 一种集成有二维卷积阵列的***芯片
CN111666255B (zh) * 2019-03-07 2023-03-10 爱思开海力士有限公司 脉动阵列和处理***
CN111666255A (zh) * 2019-03-07 2020-09-15 爱思开海力士有限公司 脉动阵列和处理***
CN111506343B (zh) * 2020-03-05 2023-07-07 北京大学深圳研究生院 一种基于脉动阵列硬件架构的深度学习卷积运算实现方法
CN111506343A (zh) * 2020-03-05 2020-08-07 北京大学深圳研究生院 一种基于脉动阵列硬件架构的深度学习卷积运算实现方法
CN111897579A (zh) * 2020-08-18 2020-11-06 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
CN111897579B (zh) * 2020-08-18 2024-01-30 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US11604758B2 (en) 2023-03-14
US10838910B2 (en) 2020-11-17
US20210081354A1 (en) 2021-03-18
US20180314671A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
CN108805262A (zh) 用于根据高级程序进行脉动阵列设计的***及方法
CN107239829B (zh) 一种优化人工神经网络的方法
JP7329533B2 (ja) 演算を加速するための方法および加速器装置
US20200225996A1 (en) Systems, apparatus, methods, and architectures for a neural network workflow to generate a hardware acceletator
CN107578098B (zh) 基于脉动阵列的神经网络处理器
Shen et al. Maximizing CNN accelerator efficiency through resource partitioning
CN110520834B (zh) 替选循环限制
WO2018171717A1 (zh) 面向神经网络处理器的自动化设计方法和***
Shen et al. Escher: A CNN accelerator with flexible buffering to minimize off-chip transfer
US10691996B2 (en) Hardware accelerator for compressed LSTM
WO2018171715A1 (zh) 适用神经网络处理器的自动化设计方法及***
Pestana et al. A full featured configurable accelerator for object detection with YOLO
Ke et al. Nnest: Early-stage design space exploration tool for neural network inference accelerators
KR20180123846A (ko) 합성곱 신경망을 위한 논리적 3차원 구조의 재구성형 연산 가속기
Basalama et al. FlexCNN: An end-to-end framework for composing CNN accelerators on FPGA
US20240232594A1 (en) Generating and globally tuning application-specific machine learning accelerators
CN104537278A (zh) 对带假结的rna二级结构预测进行硬件加速的方法
Xu et al. FCLNN: A flexible framework for fast CNN prototyping on FPGA with OpenCL and caffe
Jahanshahi et al. Inf4Edge: Automatic resource-aware generation of energy-efficient CNN inference accelerator for edge embedded FPGAs
Mazouz et al. Automated CNN back-propagation pipeline generation for FPGA online training
Sait et al. Optimization of FPGA-based CNN accelerators using metaheuristics
US20230334374A1 (en) Allocating computations of a machine learning network in a machine learning accelerator
Kim et al. Agamotto: A performance optimization framework for CNN accelerator with row stationary dataflow
Vink et al. Caffe barista: Brewing caffe with fpgas in the training loop
KR20240058084A (ko) 뉴럴 네트워크들에 대한 병렬 깊이별 프로세싱 아키텍처들

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210122

Address after: California, USA

Applicant after: XILINX, Inc.

Address before: California, USA

Applicant before: Falcon Computing