CN106250103A - 一种卷积神经网络循环卷积计算数据重用的*** - Google Patents

一种卷积神经网络循环卷积计算数据重用的*** Download PDF

Info

Publication number
CN106250103A
CN106250103A CN201610633040.9A CN201610633040A CN106250103A CN 106250103 A CN106250103 A CN 106250103A CN 201610633040 A CN201610633040 A CN 201610633040A CN 106250103 A CN106250103 A CN 106250103A
Authority
CN
China
Prior art keywords
data
array
convolution
module
reusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610633040.9A
Other languages
English (en)
Inventor
刘波
朱智洋
陈壮
阮星
龚宇
曹鹏
杨军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201610633040.9A priority Critical patent/CN106250103A/zh
Publication of CN106250103A publication Critical patent/CN106250103A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3867Concurrent instruction execution, e.g. pipeline or look ahead using instruction pipelines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • G06F17/153Multidimensional correlation or convolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098Register arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种面向粗粒度可重构***的卷积神经网络循环卷积计算数据重用的***,包括主控制器及连接控制模块、输入数据重用模块、卷积循环运算处理阵列、数据传输通路四部分。卷积循环运算时,本质为多个二维输入数据矩阵与多个二维权重矩阵相乘,一般这些矩阵规模都较大,相乘占据整个卷积计算的大部分时间。本发明利用粗粒度可重构阵列体系完成卷积计算过程,当接收到卷积运算请求指令后,利用寄存器轮转的方式充分发掘卷积循环计算过程的输入数据可重用性,提高了数据利用率并降低了带宽访存压力,且所设计的阵列单元是可配置的,可以完成不同循环卷积规模及步长时的卷积运算。

Description

一种卷积神经网络循环卷积计算数据重用的***
技术领域
本发明涉及嵌入式可重构设计领域,具体是一种面向粗粒度可重构***的卷积神经网络循环卷积计算数据重用的***,可用于高性能可重构***,实现卷积神经网络进行大数量循环卷积运算,尽量使用已有数据,对数据进行重用,提高运算速率,减少数据读取带宽压力。
背景技术
可重构处理器体系结构是一种理想的应用加速平台,由于硬件结构可以根据程序的数据流图重新组织,可重构阵列已被证明其对于科学计算或多媒体应用具有良好的性能提升潜力。
卷积运算在图像处理领域有着广泛的用途,例如在图像滤波、图像增强、图像分析等处理时都要用到卷积运算,图像卷积运算实质是一种矩阵运算,其特点是运算量大,并且数据复用率高,用软件计算图像卷积很难达到实时性的要求。
卷积神经网络作为一种前馈多层神经网络,能够对大量有标签数据进行自动学习并从中提取复杂特征,卷积神经网络的优点在于只需要对输入图像进行较少的预处理就能够从像素图像中识别出视觉模式,并且对有较多变化的识别对象也有较好的识别效果,同时卷积神经网络的识别能力不易受到图像的畸变或简单几何变换的影响。作为多层人工神经网络研究的一个重要方向,卷积神经网络多年来一直是研究的热点。
将卷积模板放在图像点阵的左上角,则卷积模板必与图像点阵中的左上角的分割矩阵重合。把它们的重合项对应相乘,之后再全部求和,就得到了第一个结果点。然后,再将卷积模板右移一列,即可求出第二个结果点。如此这样,卷积模板在图像点阵中遍历一遍,就完全可以求出一帧图像的卷积。数据的复用率很高,可是传统方式的缓存或直接从外部直接读取,由于受到数据读取带宽的限制,以及没有可配置阵列,完成多层卷积循环运算,效率较低。
发明内容
发明目的:针对现有技术中存在的问题与不足,本发明提供一种面向粗粒度可重构***的卷积神经网络循环卷积计算数据重用的***,可以加速完成大数量卷积计算的要求,降低对宽带的压力,并且卷积运算阵列是可配置的。卷积神经网络的计算性能与硬件资源的占用,是卷积神经网络在粗粒度可重构体系实现中需要进行折衷的两个方面,基于可重构处理阵列的卷积神经网络的设计目标是在满足应用性能要求的前提下,充分利用可重构阵列提供的计算资源和存储资源,利用输入图像数据重用结构,利用循环卷积运算中的高重用率,加之粗粒度可重构阵列的可配置性,在数据读取带宽,计算资源限制的情况下,完成卷积计算,达成一个较优的折衷。
技术方案:一种面向粗粒度可重构***的卷积神经网络循环卷积计算数据重用的***,包括主控制器及连接控制模块、输入数据重用模块、卷积循环运算处理阵列和数据传输通路。
所述主控制器及连接控制模块,完成外界卷积运算请求的接收,计算阵列配置信息加载,计算结果返回及对循环运行状态的监控,控制外部存储器和输入数据重用模块之间数据传输。
所述输入数据重用模块,是连接外部输入数据存储器与循环卷积运算处理阵列之间的数据重用模块,完成输入数据重用,其中模块上半部分是图像矩阵宽度数量FIFO,下半部分是图像矩阵宽度数量移位寄存器。FIFO从外界存储器不断加载输入数据,分别对应卷积计算的一列,当移位寄存器根据卷积步长移动,FIFO为移位寄存器更换其中一列,之后完成一次卷积运算,达到数据重用的效果。移位寄存器用于利用上半部分FIFO部分提供更新的邻域数据。由于多个移位寄存器采用环形寻址方式,来自FIFO的数据将总是替换环形移位寄存器中最旧的数据,之后把数据传输给运算阵列完成卷积运算。
此模块实现具体步骤如下:
数据一次输入S(1<=S<最大图像矩阵宽度)个32位数据给FIFO,当卷积运算用过一个寄存器中数据,FIFO就会把自己的数据传输给移位寄存器,移位寄存器需更新一列K(1<=K<最大图像矩阵宽度,K为此次卷积计算卷积核矩阵宽度)个32位数据,加上原有K-1列数据,移位寄存器把K*K个数据传输给卷积计算矩阵,之后继续向后根据步长移动,同样只需更新一列,实现入输入数据重用。
所述循环卷积运算处理阵列,从输入数据重用模块里获取所需输入数据,完成卷积计算,并在计算完成后将数据送出的功能。
所述数据传输通路,是完成主控制器及接口控制模块,循环卷积运算处理阵列,输入数据重用模块之间的数据传输通道。
进一步,主控制器及连接控制模块包括主控制和连接控制器,连接控制器有预取判断及数据重用配置控制作用,预取判断应用来判断要进行卷积运算时所需的数据是否准备就位,如果数据就位,循环卷积运算处理阵列执行卷积循环计算,如果没有,那就等待数据就位。缓存中的数据是由外部存储器中读取的,本发明采用直接内存存取方式读取,当需要外部数据输入时,主控制器发出向外部存储器读取数据命令,之后主控制器就不对存储读取进行控制,连接控制器会发一个停止信号给主控制器,主控制器放弃对地址总线、数据总线和有关控制总线的使用权,输入数据重用模块的数据需要更新时,就通过连接控制器,直接读取外存中的数据。
循环卷积运算处理阵列包括阵列配置模块,包括阵列配置模块、存储处理单元和计算处理单元,此模块应用在匹配数据重用模块时,根据卷积计算规模及步长,阵列配置模块对计算阵列进行配置,利用阵列可用的计算资源,每次计算完成一次后重新配置阵列,计算处理单元根据计算规模进行调整,进行下一次卷积运算。
所述卷积运算处理阵列配置控制器,在接口控制模块加载配置信息之后,运算阵列根据循环卷积循环规模的大小以及步长信息,可使卷积图像矩阵规模变量为从1到最大图像矩阵宽度之间取值计算,每一次卷积运算都可以对运算阵列进行重新配置,卷积核规模较小时,卷积阵列还是可以利用整个卷积计算矩阵,以此来缩短卷积计算总时长。
存储计算单元结构存储指令与数据重用模块紧密关联,它在循环控制部件的驱动下,从地址队列中取地址或直接通过地址生成部件计算得到地址,向数据重用模块发出读数据请求,返回数据写入数据队列中,在循环结束部件的控制下,读取移位寄存器中数据。
计算处理单元实现数据流动过程中的计算和选择功能,循环下标不断地从寄存器组中取得数据,并把数据传递给计算处理单元阵列,计算处理单元阵列按照固定的连接关系进行运算,运算的结果存储到指定的位置。
循环卷积运算处理阵列应用持续流水线操作,此操作循环映射到阵列配置模块,阵列配置模块来配置循环控制变量的初值、终值和步进值,循环程序的执行不需要外部控制,各个计算阵列单元之间构成流水线链接,完成循环卷积在流水线上的调度。
附图说明
图1为本发明实施例中卷积计算的粗粒度可重构阵列体系结构图;
图2为本发明实施例中输入数据重用模块数据轮转调度硬件结构图;
图3为本发明实施例中粗粒度可重构卷积计算阵列中存储处理单元的结构框图;
图4为本发明实施例中粗粒度可重构卷积计算阵列计算处理单元的结构框图;
图5为本发明实施例中循环卷积在可重构阵列里实现的流程图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
面向粗粒度可重构***的卷积神经网络循环卷积计算数据重用的***,包括主控制器及连接控制模块、输入数据重用模块、卷积循环运算处理阵列和数据传输通路。
主控制器及连接控制模块,完成外界卷积运算请求的接收,计算阵列配置信息加载,计算结果返回及对循环运行状态的监控,控制外部存储器和输入数据重用模块之间数据传输。
输入数据重用模块,是连接外部输入数据存储器与循环卷积运算处理阵列之间的数据重用模块,其中模块上半部分是图像矩阵宽度数量FIFO,下半部分是图像矩阵宽度数量移位寄存器。
循环卷积运算处理阵列,从输入数据重用模块里获取所需输入数据,完成卷积计算,并在计算完成后将数据送出的功能。
数据传输通路,是完成主控制器及接口控制模块,循环卷积运算处理阵列,输入数据重用模块之间的数据传输通道。
主控制器及连接控制模块包括主控制和连接控制器,连接控制器有预取判断及数据重用配置控制作用,预取判断应用来判断要进行卷积运算时所需的数据是否准备就位,如果数据就位,循环卷积运算处理阵列执行卷积循环计算,如果没有,那就等待数据就位。缓存中的数据是由外部存储器中读取的,本发明采用直接内存存取方式读取,当需要外部数据输入时,主控制器发出向外部存储器读取数据命令,之后主控制器就不对存储读取进行控制,连接控制器会发一个停止信号给主控制器,主控制器放弃对地址总线、数据总线和有关控制总线的使用权,输入数据重用模块的数据需要更新时,就通过连接控制器,直接读取外存中的数据。
如图1所示,具体计算阵列图及数据流的粗粒度可重构阵列图。可配置的PE单元占据了最主要部分,也是因为可重构阵列是完成卷积计算的具体部分,其余部分主要是为了把开始和结束的指令传输进来。通过图1可以看出,可配置阵列中存储处理单元直接连接输入数据重用模块(如图2),根据步长及卷积核规模信息,输入数据重用模块将卷积运算所需数据流传输给计算处理单元,路由器配置数据流通过互联网络路由到达各个计算处理单元,同时连接控制器担负一次卷积计算完成,将数据信息传出,并把计算处理单元重新配置,开始下一次新的运算。
输入数据重用模块的数据轮转调度硬件图如图2所示,以卷积核大小为K*K(K为卷积核宽度)为例,在外部存储器和移位寄存器之间加上了FIFO,数据一次输入S个32位数据给FIFO,当卷积运算用过一个寄存器中数据,FIFO就会把自己的数据传输给移位寄存器,移位寄存器需更新一列K个32位数据,加上原有K-1列数据,移位寄存器把K*K个数据传输给卷积计算矩阵,这样的输入图像数据重用结构,为高效率卷积运算提供了支撑。
如图3所示,对应的是存储处理单元的结构框图,在输入通道接收到地址信号时,此时就对应存储处理单元在阵列中的位置,这些存储处理单元完成对应数据的地址的生成,生成了地址就会对应会用到输入图像数据重用模块中的数据,此时把数据输出给计算处理单元。循环控制运算数据对应地址的生成,以及卷积运算的结束,把计算所得数据同步传输到外部存储器中。而且循环判断结构在数据不对或不足时,结束当前运算,把信息传给外部存储器,进行数据更新。
如图4所示,对应的是计算处理单元的结构图,计算处理单元在接收到输入数据时,应用内部乘法器及加法器完成卷积运算,完成一次运算,根据配置控制器,重新配置运算所需要的计算处理单元,完成可配置控制,当外部循环大小,步长变换时,还是能够很好完成运算。
结合图1、图2,卷积循环计算的具体步骤如图5所示,包括如下步骤:
1)如果需要粗粒度可重构阵列体系完成大量卷积运算,首先要对这个卷积控制体系发出请求,当主处理器接收到请求,就会向连接处理单元发出指令;
2)连接处理单元首先判断输入数据重用模块中所需数据是非已经就位,如果没有就会发出等待信号,同时用直接存储存取对缓冲器进行数据传输;
3)在数据就续后,通知正在等待的运算指令,控制循环开始,卷积循环运算处理阵列中配置控制单元就会对阵列进行配置,计算阵列里的访存配置模块就会计算数剧所处位置,之后计算阵列对此位置的数据进行卷积计算,依次向后面流水进行。
4)Y(最大图像矩阵宽度)个FIFO缓存通过直接存储读取方式不断更新寄存器中已用过数据,当再进入此位置时,数据已完成更新,不间断进行运算,也不用每次卷积运算到外存去访问数据。
5)连接控制器控制循环完成,当计算完成,将最终数据输出到外部存储器中,这次卷积运算阵列完成。
在具体进行大数量循环卷积运算时,当计算资源有限时,应用数据重用的方法,加上可配置的可重构阵列,流水线完成卷积运算,我们提高了运算效率和速度。设置了对比试验,分别为对比验证***A、对比验证***B。其中,对比验证***A,即传统的不支持阵列配置与重用的可重构***。对比验证***B,即本发明所提出的支持数据预取与重用的可重构***。选取16x16的输入数据矩阵,3x3的卷积矩阵,步长为1,设置了10个输入数据,10个卷积权重矩阵,同时进行卷积运算。实验结果表明,对比验证***B可以获得对比验证***A的平均1.76倍的性能提升。

Claims (5)

1.一种面向粗粒度可重构***的卷积神经网络循环卷积计算数据重用的***,其特征在于:包括主控制器及连接控制模块、输入数据重用模块、卷积循环运算处理阵列和数据传输通路;
所述主控制器及连接控制模块,完成外界卷积运算请求的接收,计算阵列配置信息加载,计算结果返回及对循环运行状态的监控,控制外部存储器和输入数据重用模块之间数据传输;
所述输入数据重用模块,是连接外部输入数据存储器与循环卷积运算处理阵列之间的数据重用模块,其中模块上半部分是图像矩阵宽度数量FIFO,下半部分是图像矩阵宽度数量移位寄存器;
所述循环卷积运算处理阵列,从输入数据重用模块里获取所需输入数据,完成卷积计算,并在计算完成后将数据送出的功能。
2.所述数据传输通路,是完成主控制器及接口控制模块,循环卷积运算处理阵列,输入数据重用模块之间的数据传输通道。
3.如权利要求1所述的面向粗粒度可重构***的卷积神经网络循环卷积计算数据重用的***,其特征在于:主控制器及连接控制模块包括主控制和连接控制器,连接控制器有预取判断及数据重用配置控制作用,预取判断应用来判断要进行卷积运算时所需的数据是否准备就位,如果数据就位,循环卷积运算处理阵列执行卷积循环计算,如果没有,那就等待数据就位;缓存中的数据是由外部存储器中读取的,采用直接内存存取方式读取,当需要外部数据输入时,主控制器发出向外部存储器读取数据命令,之后主控制器就不对存储读取进行控制,连接控制器会发一个停止信号给主控制器,主控制器放弃对地址总线、数据总线和有关控制总线的使用权,输入数据重用模块的数据需要更新时,就通过连接控制器,直接读取外存中的数据。
4.如权利要求1所述的面向粗粒度可重构***的卷积神经网络循环卷积计算数据重用的***,其特征在于:循环卷积运算处理阵列包括阵列配置模块,包括阵列配置模块、存储处理单元和计算处理单元,此模块应用在匹配输入数据重用模块时,根据卷积计算规模及步长,阵列配置模块对计算阵列进行配置,利用阵列可用的计算资源,每次计算完成一次后重新配置阵列,计算处理单元根据计算规模进行调整,进行下一次卷积运算;循环卷积运算处理阵列应用持续流水线操作,此操作循环映射到阵列配置模块,阵列配置模块来配置循环控制变量的初值、终值和步进值,循环程序的执行不需要外部控制,各个计算阵列单元之间构成流水线链接,完成循环卷积在流水线上的调度。
5.如权利要求1所述的面向粗粒度可重构***的卷积神经网络循环卷积计算数据重用的***,其特征在于:所述输入数据重用模块实现具体步骤如下:
数据一次输入S个32位数据给FIFO,当卷积运算用过一个寄存器中数据,FIFO就会把自己的数据传输给移位寄存器,移位寄存器需更新一列K个32位数据,加上原有K-1列数据,移位寄存器把K*K个数据传输给卷积计算矩阵,之后继续向后根据步长移动,同样只需更新一列,实现入输入数据重用。
CN201610633040.9A 2016-08-04 2016-08-04 一种卷积神经网络循环卷积计算数据重用的*** Pending CN106250103A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610633040.9A CN106250103A (zh) 2016-08-04 2016-08-04 一种卷积神经网络循环卷积计算数据重用的***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610633040.9A CN106250103A (zh) 2016-08-04 2016-08-04 一种卷积神经网络循环卷积计算数据重用的***

Publications (1)

Publication Number Publication Date
CN106250103A true CN106250103A (zh) 2016-12-21

Family

ID=58079364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610633040.9A Pending CN106250103A (zh) 2016-08-04 2016-08-04 一种卷积神经网络循环卷积计算数据重用的***

Country Status (1)

Country Link
CN (1) CN106250103A (zh)

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106775599A (zh) * 2017-01-09 2017-05-31 南京工业大学 递归神经网络的多计算单元粗粒度可重构***及方法
CN106844294A (zh) * 2016-12-29 2017-06-13 华为机器有限公司 卷积运算芯片和通信设备
CN107103754A (zh) * 2017-05-10 2017-08-29 华南师范大学 一种道路交通状况预测方法及***
CN107229598A (zh) * 2017-04-21 2017-10-03 东南大学 一种面向卷积神经网络的低功耗电压可调卷积运算模块
CN107590085A (zh) * 2017-08-18 2018-01-16 浙江大学 一种具有多级缓存的动态可重构阵列数据通路及其控制方法
CN107635138A (zh) * 2017-10-19 2018-01-26 珠海格力电器股份有限公司 图像处理装置
CN107832262A (zh) * 2017-10-19 2018-03-23 珠海格力电器股份有限公司 卷积运算方法及装置
CN107862650A (zh) * 2017-11-29 2018-03-30 中科亿海微电子科技(苏州)有限公司 加速计算二维图像cnn卷积的方法
CN108009126A (zh) * 2017-12-15 2018-05-08 北京中科寒武纪科技有限公司 一种计算方法及相关产品
CN108182471A (zh) * 2018-01-24 2018-06-19 上海岳芯电子科技有限公司 一种卷积神经网络推理加速器及方法
CN108198125A (zh) * 2017-12-29 2018-06-22 深圳云天励飞技术有限公司 一种图像处理方法及装置
CN108241890A (zh) * 2018-01-29 2018-07-03 清华大学 一种可重构神经网络加速方法及架构
WO2018137177A1 (zh) * 2017-01-25 2018-08-02 北京大学 一种基于nor flash阵列的卷积运算方法
CN108564524A (zh) * 2018-04-24 2018-09-21 开放智能机器(上海)有限公司 一种视觉图像的卷积计算优化方法
CN108596331A (zh) * 2018-04-16 2018-09-28 浙江大学 一种细胞神经网络硬件架构的优化方法
CN108595379A (zh) * 2018-05-08 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于多级缓存的并行化卷积运算方法及***
CN108665063A (zh) * 2018-05-18 2018-10-16 南京大学 用于bnn硬件加速器的双向并行处理卷积加速***
CN108681984A (zh) * 2018-07-26 2018-10-19 珠海市微半导体有限公司 一种3*3卷积算法的加速电路
CN108701015A (zh) * 2017-11-30 2018-10-23 深圳市大疆创新科技有限公司 用于神经网络的运算装置、芯片、设备及相关方法
CN108717571A (zh) * 2018-06-01 2018-10-30 阿依瓦(北京)技术有限公司 一种用于人工智能的加速方法和装置
CN108764182A (zh) * 2018-06-01 2018-11-06 阿依瓦(北京)技术有限公司 一种优化的用于人工智能的加速方法和装置
WO2018232615A1 (zh) * 2017-06-21 2018-12-27 华为技术有限公司 一种信号处理方法及装置
CN109272112A (zh) * 2018-07-03 2019-01-25 北京中科睿芯科技有限公司 一种面向神经网络的数据重用指令映射方法、***及装置
CN109284475A (zh) * 2018-09-20 2019-01-29 郑州云海信息技术有限公司 一种矩阵卷积计算模块及矩阵卷积计算方法
CN109375952A (zh) * 2018-09-29 2019-02-22 北京字节跳动网络技术有限公司 用于存储数据的方法和装置
CN109460813A (zh) * 2018-09-10 2019-03-12 中国科学院深圳先进技术研究院 卷积神经网络计算的加速方法、装置、设备及存储介质
CN109711533A (zh) * 2018-12-20 2019-05-03 西安电子科技大学 基于fpga的卷积神经网络模块
CN109754359A (zh) * 2017-11-01 2019-05-14 腾讯科技(深圳)有限公司 一种应用于卷积神经网络的池化处理的方法及***
CN109816093A (zh) * 2018-12-17 2019-05-28 北京理工大学 一种单路式卷积实现方法
CN109992541A (zh) * 2017-12-29 2019-07-09 深圳云天励飞技术有限公司 一种数据搬运方法、相关产品及计算机存储介质
CN110069444A (zh) * 2019-06-03 2019-07-30 南京宁麒智能计算芯片研究院有限公司 一种计算单元、阵列、模块、硬件***及实现方法
CN110325963A (zh) * 2017-02-28 2019-10-11 微软技术许可有限责任公司 用于神经网络处理的针对可编程硬件节点的多功能单元
CN110377874A (zh) * 2019-07-23 2019-10-25 江苏鼎速网络科技有限公司 卷积运算方法及***
CN110383237A (zh) * 2017-02-28 2019-10-25 德克萨斯仪器股份有限公司 可重新配置的矩阵乘法器***和方法
CN110413561A (zh) * 2018-04-28 2019-11-05 北京中科寒武纪科技有限公司 数据加速处理***
WO2019231254A1 (en) * 2018-05-30 2019-12-05 Samsung Electronics Co., Ltd. Processor, electronics apparatus and control method thereof
CN110705687A (zh) * 2019-09-05 2020-01-17 北京三快在线科技有限公司 卷积神经网络硬件计算装置及方法
WO2020051751A1 (zh) * 2018-09-10 2020-03-19 中国科学院深圳先进技术研究院 卷积神经网络计算的加速方法、装置、设备及存储介质
CN111045958A (zh) * 2018-10-11 2020-04-21 展讯通信(上海)有限公司 加速引擎及处理器
WO2020077565A1 (zh) * 2018-10-17 2020-04-23 北京比特大陆科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN111095242A (zh) * 2017-07-24 2020-05-01 特斯拉公司 向量计算单元
CN111176727A (zh) * 2017-07-20 2020-05-19 上海寒武纪信息科技有限公司 计算装置以及计算方法
CN111291880A (zh) * 2017-10-30 2020-06-16 上海寒武纪信息科技有限公司 计算装置以及计算方法
CN111465924A (zh) * 2017-12-12 2020-07-28 特斯拉公司 用于将矩阵输入转换为矩阵处理器的向量化输入的***和方法
US10733742B2 (en) 2018-09-26 2020-08-04 International Business Machines Corporation Image labeling
CN111523642A (zh) * 2020-04-10 2020-08-11 厦门星宸科技有限公司 用于卷积运算的数据重用方法、运算方法及装置、芯片
CN109800867B (zh) * 2018-12-17 2020-09-29 北京理工大学 一种基于fpga片外存储器的数据调用方法
CN111859797A (zh) * 2020-07-14 2020-10-30 Oppo广东移动通信有限公司 一种数据处理方法及装置、存储介质
WO2021007037A1 (en) * 2019-07-09 2021-01-14 MemryX Inc. Matrix data reuse techniques in processing systems
US10928456B2 (en) 2017-08-17 2021-02-23 Samsung Electronics Co., Ltd. Method and apparatus for estimating state of battery
CN112992248A (zh) * 2021-03-12 2021-06-18 西安交通大学深圳研究院 一种基于fifo的可变长循环移位寄存器的pe计算单元结构
US11176427B2 (en) 2018-09-26 2021-11-16 International Business Machines Corporation Overlapping CNN cache reuse in high resolution and streaming-based deep learning inference engines
CN114780910A (zh) * 2022-06-16 2022-07-22 千芯半导体科技(北京)有限公司 用于稀疏化卷积计算的硬件***和计算方法
WO2022179075A1 (zh) * 2021-02-26 2022-09-01 成都商汤科技有限公司 一种数据处理方法、装置、计算机设备及存储介质
US11694074B2 (en) 2018-09-07 2023-07-04 Samsung Electronics Co., Ltd. Integrated circuit that extracts data, neural network processor including the integrated circuit, and neural network device
CN116842307A (zh) * 2023-08-28 2023-10-03 腾讯科技(深圳)有限公司 数据处理方法、装置、设备、芯片及存储介质
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001090927A1 (en) * 2000-05-19 2001-11-29 Philipson Lars H G Method and device in a convolution process
CN102208005A (zh) * 2011-05-30 2011-10-05 华中科技大学 一种2-d卷积器
CN104077233A (zh) * 2014-06-18 2014-10-01 百度在线网络技术(北京)有限公司 单通道卷积层及多通道卷积层处理方法和装置
CN105681628A (zh) * 2016-01-05 2016-06-15 西安交通大学 一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001090927A1 (en) * 2000-05-19 2001-11-29 Philipson Lars H G Method and device in a convolution process
CN102208005A (zh) * 2011-05-30 2011-10-05 华中科技大学 一种2-d卷积器
CN104077233A (zh) * 2014-06-18 2014-10-01 百度在线网络技术(北京)有限公司 单通道卷积层及多通道卷积层处理方法和装置
CN105681628A (zh) * 2016-01-05 2016-06-15 西安交通大学 一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
窦勇等: "支持循环自动流水线的粗粒度可重构阵列体系结构", 《中国科学E辑:信息科学》 *
陆志坚: "基于FPGA的卷积神经网络并行结构研究", 《中国博士学位论文全文数据库,信息科技辑》 *

Cited By (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844294B (zh) * 2016-12-29 2019-05-03 华为机器有限公司 卷积运算芯片和通信设备
CN106844294A (zh) * 2016-12-29 2017-06-13 华为机器有限公司 卷积运算芯片和通信设备
CN106775599A (zh) * 2017-01-09 2017-05-31 南京工业大学 递归神经网络的多计算单元粗粒度可重构***及方法
WO2018137177A1 (zh) * 2017-01-25 2018-08-02 北京大学 一种基于nor flash阵列的卷积运算方法
US11309026B2 (en) 2017-01-25 2022-04-19 Peking University Convolution operation method based on NOR flash array
CN110325963A (zh) * 2017-02-28 2019-10-11 微软技术许可有限责任公司 用于神经网络处理的针对可编程硬件节点的多功能单元
CN110383237A (zh) * 2017-02-28 2019-10-25 德克萨斯仪器股份有限公司 可重新配置的矩阵乘法器***和方法
US11663450B2 (en) 2017-02-28 2023-05-30 Microsoft Technology Licensing, Llc Neural network processing with chained instructions
CN110383237B (zh) * 2017-02-28 2023-05-26 德克萨斯仪器股份有限公司 可重新配置的矩阵乘法器***和方法
CN110325963B (zh) * 2017-02-28 2023-05-23 微软技术许可有限责任公司 用于神经网络处理的针对可编程硬件节点的多功能单元
CN107229598A (zh) * 2017-04-21 2017-10-03 东南大学 一种面向卷积神经网络的低功耗电压可调卷积运算模块
CN107103754A (zh) * 2017-05-10 2017-08-29 华南师范大学 一种道路交通状况预测方法及***
WO2018232615A1 (zh) * 2017-06-21 2018-12-27 华为技术有限公司 一种信号处理方法及装置
CN111176727A (zh) * 2017-07-20 2020-05-19 上海寒武纪信息科技有限公司 计算装置以及计算方法
CN111176727B (zh) * 2017-07-20 2022-05-31 上海寒武纪信息科技有限公司 计算装置以及计算方法
CN111221578A (zh) * 2017-07-20 2020-06-02 上海寒武纪信息科技有限公司 计算装置以及计算方法
CN111221578B (zh) * 2017-07-20 2022-07-15 上海寒武纪信息科技有限公司 计算装置以及计算方法
CN111095242A (zh) * 2017-07-24 2020-05-01 特斯拉公司 向量计算单元
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
CN111095242B (zh) * 2017-07-24 2024-03-22 特斯拉公司 向量计算单元
US10928456B2 (en) 2017-08-17 2021-02-23 Samsung Electronics Co., Ltd. Method and apparatus for estimating state of battery
CN107590085B (zh) * 2017-08-18 2018-05-29 浙江大学 一种具有多级缓存的动态可重构阵列数据通路及其控制方法
CN107590085A (zh) * 2017-08-18 2018-01-16 浙江大学 一种具有多级缓存的动态可重构阵列数据通路及其控制方法
CN107832262A (zh) * 2017-10-19 2018-03-23 珠海格力电器股份有限公司 卷积运算方法及装置
CN107635138A (zh) * 2017-10-19 2018-01-26 珠海格力电器股份有限公司 图像处理装置
CN111291880A (zh) * 2017-10-30 2020-06-16 上海寒武纪信息科技有限公司 计算装置以及计算方法
CN111291880B (zh) * 2017-10-30 2024-05-14 上海寒武纪信息科技有限公司 计算装置以及计算方法
US11537857B2 (en) 2017-11-01 2022-12-27 Tencent Technology (Shenzhen) Company Limited Pooling processing method and system applied to convolutional neural network
US11734554B2 (en) 2017-11-01 2023-08-22 Tencent Technology (Shenzhen) Company Limited Pooling processing method and system applied to convolutional neural network
CN109754359A (zh) * 2017-11-01 2019-05-14 腾讯科技(深圳)有限公司 一种应用于卷积神经网络的池化处理的方法及***
CN107862650B (zh) * 2017-11-29 2021-07-06 中科亿海微电子科技(苏州)有限公司 加速计算二维图像cnn卷积的方法
CN107862650A (zh) * 2017-11-29 2018-03-30 中科亿海微电子科技(苏州)有限公司 加速计算二维图像cnn卷积的方法
CN108701015A (zh) * 2017-11-30 2018-10-23 深圳市大疆创新科技有限公司 用于神经网络的运算装置、芯片、设备及相关方法
CN111465924A (zh) * 2017-12-12 2020-07-28 特斯拉公司 用于将矩阵输入转换为矩阵处理器的向量化输入的***和方法
CN111465924B (zh) * 2017-12-12 2023-11-17 特斯拉公司 用于将矩阵输入转换为矩阵处理器的向量化输入的***和方法
CN108009126A (zh) * 2017-12-15 2018-05-08 北京中科寒武纪科技有限公司 一种计算方法及相关产品
CN108198125B (zh) * 2017-12-29 2021-10-08 深圳云天励飞技术有限公司 一种图像处理方法及装置
CN108198125A (zh) * 2017-12-29 2018-06-22 深圳云天励飞技术有限公司 一种图像处理方法及装置
CN109992541A (zh) * 2017-12-29 2019-07-09 深圳云天励飞技术有限公司 一种数据搬运方法、相关产品及计算机存储介质
CN108182471B (zh) * 2018-01-24 2022-02-15 上海岳芯电子科技有限公司 一种卷积神经网络推理加速器及方法
CN108182471A (zh) * 2018-01-24 2018-06-19 上海岳芯电子科技有限公司 一种卷积神经网络推理加速器及方法
CN108241890A (zh) * 2018-01-29 2018-07-03 清华大学 一种可重构神经网络加速方法及架构
CN108241890B (zh) * 2018-01-29 2021-11-23 清华大学 一种可重构神经网络加速方法及架构
CN108596331A (zh) * 2018-04-16 2018-09-28 浙江大学 一种细胞神经网络硬件架构的优化方法
CN108564524A (zh) * 2018-04-24 2018-09-21 开放智能机器(上海)有限公司 一种视觉图像的卷积计算优化方法
CN110413561B (zh) * 2018-04-28 2021-03-30 中科寒武纪科技股份有限公司 数据加速处理***
CN110413561A (zh) * 2018-04-28 2019-11-05 北京中科寒武纪科技有限公司 数据加速处理***
CN108595379A (zh) * 2018-05-08 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于多级缓存的并行化卷积运算方法及***
CN108665063B (zh) * 2018-05-18 2022-03-18 南京大学 用于bnn硬件加速器的双向并行处理卷积加速***
CN108665063A (zh) * 2018-05-18 2018-10-16 南京大学 用于bnn硬件加速器的双向并行处理卷积加速***
WO2019231254A1 (en) * 2018-05-30 2019-12-05 Samsung Electronics Co., Ltd. Processor, electronics apparatus and control method thereof
US11244027B2 (en) 2018-05-30 2022-02-08 Samsung Electronics Co., Ltd. Processor, electronics apparatus and control method thereof
CN108717571A (zh) * 2018-06-01 2018-10-30 阿依瓦(北京)技术有限公司 一种用于人工智能的加速方法和装置
CN108764182B (zh) * 2018-06-01 2020-12-08 阿依瓦(北京)技术有限公司 一种优化的用于人工智能的加速方法和装置
CN108764182A (zh) * 2018-06-01 2018-11-06 阿依瓦(北京)技术有限公司 一种优化的用于人工智能的加速方法和装置
CN108717571B (zh) * 2018-06-01 2020-09-15 阿依瓦(北京)技术有限公司 一种用于人工智能的加速方法和装置
CN109272112A (zh) * 2018-07-03 2019-01-25 北京中科睿芯科技有限公司 一种面向神经网络的数据重用指令映射方法、***及装置
CN109272112B (zh) * 2018-07-03 2021-08-27 北京中科睿芯科技集团有限公司 一种面向神经网络的数据重用指令映射方法、***及装置
CN108681984B (zh) * 2018-07-26 2023-08-15 珠海一微半导体股份有限公司 一种3*3卷积算法的加速电路
CN108681984A (zh) * 2018-07-26 2018-10-19 珠海市微半导体有限公司 一种3*3卷积算法的加速电路
US11694074B2 (en) 2018-09-07 2023-07-04 Samsung Electronics Co., Ltd. Integrated circuit that extracts data, neural network processor including the integrated circuit, and neural network device
WO2020051751A1 (zh) * 2018-09-10 2020-03-19 中国科学院深圳先进技术研究院 卷积神经网络计算的加速方法、装置、设备及存储介质
CN109460813A (zh) * 2018-09-10 2019-03-12 中国科学院深圳先进技术研究院 卷积神经网络计算的加速方法、装置、设备及存储介质
CN109284475A (zh) * 2018-09-20 2019-01-29 郑州云海信息技术有限公司 一种矩阵卷积计算模块及矩阵卷积计算方法
CN109284475B (zh) * 2018-09-20 2021-10-29 郑州云海信息技术有限公司 一种矩阵卷积计算装置及矩阵卷积计算方法
US10733742B2 (en) 2018-09-26 2020-08-04 International Business Machines Corporation Image labeling
US11176427B2 (en) 2018-09-26 2021-11-16 International Business Machines Corporation Overlapping CNN cache reuse in high resolution and streaming-based deep learning inference engines
CN109375952B (zh) * 2018-09-29 2021-01-26 北京字节跳动网络技术有限公司 用于存储数据的方法和装置
CN109375952A (zh) * 2018-09-29 2019-02-22 北京字节跳动网络技术有限公司 用于存储数据的方法和装置
CN111045958A (zh) * 2018-10-11 2020-04-21 展讯通信(上海)有限公司 加速引擎及处理器
CN111045958B (zh) * 2018-10-11 2022-09-16 展讯通信(上海)有限公司 加速引擎及处理器
WO2020077565A1 (zh) * 2018-10-17 2020-04-23 北京比特大陆科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN109800867B (zh) * 2018-12-17 2020-09-29 北京理工大学 一种基于fpga片外存储器的数据调用方法
CN109816093B (zh) * 2018-12-17 2020-12-04 北京理工大学 一种单路式卷积实现方法
CN109816093A (zh) * 2018-12-17 2019-05-28 北京理工大学 一种单路式卷积实现方法
CN109711533A (zh) * 2018-12-20 2019-05-03 西安电子科技大学 基于fpga的卷积神经网络模块
CN109711533B (zh) * 2018-12-20 2023-04-28 西安电子科技大学 基于fpga的卷积神经网络加速***
CN110069444A (zh) * 2019-06-03 2019-07-30 南京宁麒智能计算芯片研究院有限公司 一种计算单元、阵列、模块、硬件***及实现方法
WO2021007037A1 (en) * 2019-07-09 2021-01-14 MemryX Inc. Matrix data reuse techniques in processing systems
US11537535B2 (en) 2019-07-09 2022-12-27 Memryx Incorporated Non-volatile memory based processors and dataflow techniques
CN110377874B (zh) * 2019-07-23 2023-05-02 江苏鼎速网络科技有限公司 卷积运算方法及***
CN110377874A (zh) * 2019-07-23 2019-10-25 江苏鼎速网络科技有限公司 卷积运算方法及***
CN110705687A (zh) * 2019-09-05 2020-01-17 北京三快在线科技有限公司 卷积神经网络硬件计算装置及方法
CN111523642B (zh) * 2020-04-10 2023-03-28 星宸科技股份有限公司 用于卷积运算的数据重用方法、运算方法及装置、芯片
CN111523642A (zh) * 2020-04-10 2020-08-11 厦门星宸科技有限公司 用于卷积运算的数据重用方法、运算方法及装置、芯片
CN111859797A (zh) * 2020-07-14 2020-10-30 Oppo广东移动通信有限公司 一种数据处理方法及装置、存储介质
WO2022179075A1 (zh) * 2021-02-26 2022-09-01 成都商汤科技有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN112992248A (zh) * 2021-03-12 2021-06-18 西安交通大学深圳研究院 一种基于fifo的可变长循环移位寄存器的pe计算单元结构
CN114780910A (zh) * 2022-06-16 2022-07-22 千芯半导体科技(北京)有限公司 用于稀疏化卷积计算的硬件***和计算方法
CN114780910B (zh) * 2022-06-16 2022-09-06 千芯半导体科技(北京)有限公司 用于稀疏化卷积计算的硬件***和计算方法
CN116842307A (zh) * 2023-08-28 2023-10-03 腾讯科技(深圳)有限公司 数据处理方法、装置、设备、芯片及存储介质
CN116842307B (zh) * 2023-08-28 2023-11-28 腾讯科技(深圳)有限公司 数据处理方法、装置、设备、芯片及存储介质

Similar Documents

Publication Publication Date Title
CN106250103A (zh) 一种卷积神经网络循环卷积计算数据重用的***
JP7430203B2 (ja) 指定したバイアスを用いた浮動小数点演算を用いた行列乗算命令のためのシステム及び方法
CN111291880B (zh) 计算装置以及计算方法
CN108268943B (zh) 硬件加速器引擎
CN104899182B (zh) 一种支持可变分块的矩阵乘加速方法
CN108416436B (zh) 使用多核心处理模块进行神经网络划分的方法及其***
CN108108809B (zh) 一种针对卷积神经元网络进行推理加速的硬件架构及其工作方法
JP7315317B2 (ja) プロセッサおよびプロセッサのデータ転送方法
CN104054108B (zh) 可动态配置的流水线预处理器
CN109086867A (zh) 一种基于fpga的卷积神经网络加速***
CN103221918B (zh) 具有分开的数据总线和消息总线的ic集群处理设备
CA3051990A1 (en) Accelerated deep learning
JP2021510219A (ja) マルチキャストネットワークオンチップに基づいた畳み込みニューラルネットワークハードウェアアクセラレータおよびその動作方式
Kästner et al. Hardware/software codesign for convolutional neural networks exploiting dynamic partial reconfiguration on PYNQ
CN110490311A (zh) 基于risc-v架构的卷积神经网络加速装置及其控制方法
CN109740748B (zh) 一种基于fpga的卷积神经网络加速器
CN109711533A (zh) 基于fpga的卷积神经网络模块
CN106294278B (zh) 用于动态可重构阵列计算***的自适硬件预配置控制器
CN115136123A (zh) 用于集成电路架构内的自动化数据流和数据处理的瓦片子***和方法
CN105912501A (zh) 一种基于大规模粗粒度可重构处理器的sm4-128加密算法实现方法及***
WO2022001550A1 (zh) 一种地址生成的方法、相关装置以及存储介质
WO2018057294A1 (en) Combined world-space pipeline shader stages
CN110991619A (zh) 神经网络处理器、芯片和电子设备
CN111488051A (zh) 基于cpu和fpga协同计算的云端深度神经网络优化方法
CN108304926A (zh) 一种适用于神经网络的池化计算装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161221

RJ01 Rejection of invention patent application after publication