CN107766935A - 多层人造神经网络 - Google Patents

多层人造神经网络 Download PDF

Info

Publication number
CN107766935A
CN107766935A CN201610718701.8A CN201610718701A CN107766935A CN 107766935 A CN107766935 A CN 107766935A CN 201610718701 A CN201610718701 A CN 201610718701A CN 107766935 A CN107766935 A CN 107766935A
Authority
CN
China
Prior art keywords
operation layer
layer
neural networks
artificial neural
computing circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610718701.8A
Other languages
English (en)
Other versions
CN107766935B (zh
Inventor
李雷
李一雷
杜源
刘峻诚
杜力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Energy Ltd Co
Original Assignee
Energy Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Energy Ltd Co filed Critical Energy Ltd Co
Publication of CN107766935A publication Critical patent/CN107766935A/zh
Application granted granted Critical
Publication of CN107766935B publication Critical patent/CN107766935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Advance Control (AREA)

Abstract

本发明提供一种多层人造神经网络，其中包含至少一高速通信接口与N个运算层。N为大于1的整数。该N个运算层通过该至少一高速通信接口串联。每一个运算层各自包含一运算电路与一本地存储器。该本地存储器用以存储供该运算电路使用的输入数据以及可学习参数。第i个运算层中的该运算电路将其运算结果通过该至少一高速通信接口提供至第(i+1)个运算层中的该本地存储器，供该第(i+1)个运算层中的该运算电路作为输入数据。i为范围在1到(N‑1)间的一整数指标。通过实施本发明，几乎或完全不需要等待数据转移，其运算资源因此可被充分利用。

Description

多层人造神经网络
技术领域
本发明与人造神经网络(artificial neural network)相关，并且尤其与可执行深度学习的多层人造神经网络相关。
背景技术
以人造神经网络进行机器学习的概念存在已久，但先前受限于处理器运算能力，相关研究始终无法顺利推进。近十年来，随着处理器运算速度、存储器存取速度以及机器学习演算法等各方面技术的长足进步，能产出复杂判断结果的人造神经网络逐渐成为可能，因而在自动驾驶、图像辨识、自然语言辨识、数据勘探等领域中重新受到高度重视。
现行的人造神经网络通常被设计为具有多层(multi-layer)结构。除了最前端的输入层与最后端的输出层，其他串接在输入层与输出层之间的称为隐藏层(hiddenlayer)。输入层用以接收外部数据，不进行运算。隐藏层与输出层则是各自接收前一层的输出信号作为当层的输入信号，且各自包含多个进行运算工作的神经元。若以神经元连接方式区分，每一个隐藏层与输出层可以各自是一卷积层(convolutional layer)或一全连接层(fully-connected layer)。目前有多种人造神经网络架构，对于卷积层与全连接层的配置组合各有不同的规划。以Alex Krizhevsky等学者于2012年提出的AlexNet架构为例，其中总共包含六十五万个神经元，构成依序串接的五个卷积层以及三个全连接层。在需要进行较复杂的判断时，人造神经网络可能包含高达二十九个运算层。
实际上，人造神经网络大多是利用一超级电脑或一单芯片***来实现。在使用单芯片***的情况下，目前的做法是令单芯片***中的同一套电路在不同时间点分别扮演多层人造神经网络中不同的运算层。图1呈现一个单芯片***的功能方块图作为说明范例。时脉计数器11负责产生供控制器12与处理器13参考的时脉信号。在第一段工作周期内，处理器13首先扮演第一运算层的角色。控制器12会令存储器14输出应由第一运算层负责处理的输入数据以及第一运算层中各神经元的可学习参数(learnable parameter)，存入本地暂存器13A，供处理器13使用。在进行对应于第一运算层的运算期间，处理器13的运算结果会被暂存于本地暂存器13A。待处理器13完成所有对应于第一运算层的运算后，暂存于本地暂存器13A的运算结果会被转存至存储器14。随后，在第二段工作周期内，处理器13改为扮演第二运算层的角色。因此，控制器12会令存储器14改为输出应由第二运算层负责处理的输入数据以及第二运算层中各神经元的可学习参数，存入本地暂存器13A，供处理器13使用。依此类推，处理器13可逐步完成一多层人造神经网络中各个运算层的运算工作。
对于多层人造神经网络来说，各个运算层的输入数据、可学习参数与运算结果的数量都非常可观。因此，上述做法的缺点之一是本地暂存器13A与存储器14之间必须有大量的数据转移。此类大规模的存储器存取相当耗时，人造神经网络的整体效能会因此受限。此外，由这个范例可看出，必须等到本地暂存器13A中的运算结果被转移至存储器14，且新的输入数据与可学习参数自存储器14被载入本地暂存器13A后，处理器13才能开始进行下一轮的运算工作。处理器13因此有许多时间花费在等待数据转移，造成运算资源未被充分利用的问题。
发明内容
为解决上述问题，本发明为多层人造神经网络提出一种新的硬件架构。
根据本发明的一具体实施例为一种多层人造神经网络，其中包含至少一高速通信接口与N个运算层。N为大于1的整数。该N个运算层通过该至少一高速通信接口串联。每一个运算层各自包含一运算电路与一本地存储器。该本地存储器用以存储供该运算电路使用的输入数据以及可学习参数。第i个运算层中的该运算电路将其运算结果通过该至少一高速通信接口提供至第(i+1)个运算层中的该本地存储器，供该第(i+1)个运算层中的该运算电路作为输入数据。i为范围在1到(N-1)间的一整数指标。
在其中一种实施例中，该N个运算层利用至少N个完全相同的单位芯片来实现。
在其中一种实施例中，该N个运算层包含一卷积层，且该卷积层包含并联的M个该单位芯片，M为大于1的正整数。
在其中一种实施例中，该N个运算层包含一全连接层，且该全连接层包含并联的P个该单位芯片，作为P个神经元，P为大于1的正整数。
在其中一种实施例中，第i个运算层中的该运算电路依序产生Q笔运算结果，Q为大于1的整数，在开始产生该Q笔运算结果中的第q笔运算结果时，该运算电路同时将已产生的第(q-1)笔运算结果通过该至少一高速通信接口提供至第(i+1)个运算层中的该本地存储器，其中q为范围在2到Q间的一整数指标。
在其中一种实施例中，该N个运算层根据一管线式架构同时运作。
在其中一种实施例中，一运算层中的该运算电路被预设为根据多笔真实数据与多笔假数据进行运算，该多层人造神经网络进一步包含：
一控制器，耦接至该运算层中的该运算电路，用以作废根据该多笔假数据产生的一笔或多笔运算结果，并保留完全根据该多笔真实数据产生的一笔或多笔运算结果。
在其中一种实施例中，该高速通信接口包含一高速串列器-解串列器或是一射频接口。
在其中一种实施例中，第i个运算层与第(i+1)个运算层被设置为处于同一集成电路芯片中、处于不同集成电路芯片但同一封装中，或是处于不同封装中。
通过实施本发明，几乎或完全不需要等待数据转移，其运算资源因此可被充分利用。
关于本发明的优点与精神可以通过以下发明详述及所附图式得到进一步的了解。
附图说明
图1呈现一单芯片***的功能方块图作为背景技术的范例。
图2呈现根据本发明的一实施例中的多层人造神经网络的功能方块图。
图3呈现根据本发明的两个相邻运算层间的详细连接方式。
图4A至图4E图像化呈现存储在两个本地存储器中的输入数据矩阵。
图5呈现根据本发明的控制器与两运算层间的详细连接方式。
图6呈现并联两个单位芯片以提高数据处理量的概念。
图7呈现并联多个单位芯片以组成一全连接层的概念。
须说明的是，本发明的图式包含呈现多种彼此关联的功能性模块的功能方块图。该等图式并非细部电路图，且其中的连接线仅用以表示信号流。功能性元件及/或程序间的多种互动关系不一定要通过直接的电性连结始能达成。此外，各个元件的功能不一定要如图式中绘示的方式分配，且分散式的区块不一定要以分散式的电子元件实现。
附图标号
11：时脉计数器
12：控制器
13：处理器
13A：本地暂存器
14：存储器
200：多层人造神经网络
L1至LN：运算层
H1至H(N-1)：高速通信接口
T1至T5：工作周期
Ri_T1至Ri_T4：运算结果
510：控制器
610：数据分离电路
621、622：单位芯片
630：数据结合电路
710_1至710_P：单位芯片
具体实施方式
请参阅图2。根据本发明的一具体实施例为一种多层人造神经网络，其中包含(N-1)个高速通信接口H1至H(N-1)与N个串联的运算层L1至LN(N为大于1的整数)。以包含三个隐藏层的人造神经网络为例，电路设计者可令N等于四，并且令运算层L1至L4分别对应于其中的三个隐藏层与一个输出层。实际上，N的大小可依多层人造神经网络200的应用场合来决定，不限于特定数值。
如图2所示，两个相邻的运算层是通过高速通信接口H串联。举例而言，高速通信接口H可为但不限于一高速串列器-解串列器(high speed serializer-deserializer)或是一射频接口(radio frequency interface,RFI)。须说明的是，高速通信接口H的传输速率愈高，愈有助于缩短在两运算层间传递数据的时间，但本发明的范畴不受限于高速通信接口H的传输速率。
多层人造神经网络200中的运算层L1至LN各自具有独立的硬件。更明确地说，每一个运算层各自包含一运算电路与一本地存储器。图3以其中的第i个运算层Li与第(i+1)个运算层L(i+1)为例，呈现两个相邻运算层间的详细连接方式(i为范围在1到(N-1)间的整数指标)。如图3所示，第i运算电路的输入端连接于第i本地存储器，而第i运算电路的输出端通过高速通信接口Hi连接至第(i+1)本地存储器。
第i本地存储器中存储有供第i运算电路使用的输入数据以及可学习参数。若运算层Li为多层人造神经网络200中最前端的隐藏层，第i本地存储器中存储的输入数据便是来自多层人造神经网络200的输入层(未绘示)。若运算层Li并非多层人造神经网络200中最前端的隐藏层，第i本地存储器中存储的输入数据便是来自第(i-1)个运算层，也就是第(i-1)运算电路产生的运算结果。另一方面，在训练多层人造神经网络200的过程中，第i本地存储器中存储的可学习参数可能会被持续地修改，直到训练结果与理想结果的差异能收敛至低于一预设门槛值。随后，于一般的运算程序中，第i本地存储器中存储的可学习参数便是经训练完成后固定的数值。
实际上，运算层L1至LN可利用串接多个完全相同的单位芯片来实现。使用相同的单位芯片的好处在于，多层人造神经网络200所包含的运算层数量有相当大的调整弹性。只要串接更多数量的单位芯片，多层人造神经网络200所包含的运算层的数量便可以无限延伸。须说明的是，该等单位芯片在实体上可被设置为处于同一集成电路芯片中、处于不同集成电路芯片但同一封装中，或是处于不同封装中。换句话说，相邻的两个运算层间可以是通过同一芯片内、跨越芯片、跨越封装甚至是跨越电路板的高速通信接口互相连接。
于一实施例中，运算层L1至LN根据一管线式(pipeline)架构同时运作，以提高多层人造神经网络200的整体数据处理量。举例而言，假设有多组数据依序通过运算层L1至LN；当运算层L1在对第n组数据施以运算时，运算层L2可对第(n-1)组数据施以运算，……，运算层LN可对第1组数据施以运算。
配合管线式架构，各个运算层完成运算工作所需要的时间可被设计为大致相同。以下段落以两个分别包含3*3个神经元的卷积层为例，介绍一种可配合管线式架构的数据处理方法。在这个范例中，运算层Li、L(i+1)的取样窗(window)大小皆为2*2，且跨幅(stride)皆为1。运算层Li的输入数据是一个3*3的数据矩阵，运算层L(i+1)的输入数据则是一个2*2的数据矩阵。为了达到令各个运算层工作时间大致相同的效果，运算层L(i+1)的输入数据被填入五笔假数据(例如数值0)，使得运算层L(i+1)的输入数据矩阵大小变为3*3，亦即与运算层Li的输入数据矩阵大小相同。第i本地存储器与第(i+1)本地存储器中存储的输入数据矩阵被图像化呈现于图4A，其中的真实数据以实心圆点表示，假数据则以具有实线轮廓的空心圆点表示。
首先，如图4A所示，在工作周期T1中，运算层Li、L(i+1)的取样窗各自涵盖第i本地存储器与第(i+1)本地存储器中坐标为(1,1)、(2,1)、(1,2)、(2,2)的四个位置。更明确地说，在工作周期T1中，第i运算电路针对存储在第i本地存储器中位置坐标为(1,1)、(2,1)、(1,2)、(2,2)的四笔数据进行运算，而第(i+1)运算电路针对存储在第(i+1)本地存储器中位置坐标为(1,1)、(2,1)、(1,2)、(2,2)的四笔数据进行运算。因处理的数据量相同，第i运算电路和第(i+1)运算电路会大致在同一时间完成运算。随后，第i运算电路将其运算结果Ri_T1存入第(i+1)本地存储器中坐标为(1,1)的位置，并以具有虚线轮廓的空心圆点表示。须说明的是，基于卷积层的运算特性，第(i+1)本地存储器中坐标位置(1,1)原本存放的数据之后不再被需要，以运算结果Ri_T1取代原本存放于该位置的数据不会有任何问题。相似地，第(i+1)运算电路会其运算结果R(i+1)_T1存入第(i+2)本地存储器(未绘示)中坐标为(1,1)的位置，取代原本存放于该位置的数据。
接着，如图4B所示，在工作周期T2中，运算层Li、L(i+1)的取样窗各自涵盖第i本地存储器与第(i+1)本地存储器中的坐标为(2,1)、(2,1)、(2,2)、(3,2)的四个位置。第i运算电路会将本次的运算结果Ri_T2存入第(i+1)本地存储器中坐标为(2,1)的位置，取代原本存放于该位置的数据。相似地，第(i+1)运算电路可其运算结果R(i+1)_T2存入第(i+2)本地存储器中坐标为(2,1)的位置。值得注意的是，运算结果R(i+1)_T2是根据一部分真实数据与一部分假数据所产生，因此是无效的运算结果，其处理方式容后详述。
接着，如图4C所示，在工作周期T3中，运算层Li、L(i+1)的取样窗各自涵盖第i本地存储器与第(i+1)本地存储器中坐标为(1,2)、(2,2)、(1,3)、(2,3)的四个位置。第i运算电路会将本次的运算结果Ri_T3存入第(i+1)本地存储器中坐标为(1,2)的位置，取代原本存放于该位置的数据。第(i+1)运算电路可其运算结果R(i+1)_T3存入第(i+2)本地存储器中坐标为(1,2)的位置。相似地，运算结果R(i+1)_T3是无效的运算结果。
接着，如图4D所示，在工作周期T4中，运算层Li、L(i+1)的取样窗各自涵盖第i本地存储器与第(i+1)本地存储器中坐标为(2,2)、(3,2)、(2,3)、(3,3)的四个位置。第i运算电路会将本次的运算结果Ri_T4存入第(i+1)本地存储器中坐标为(2,2)的位置，取代原本存放于该位置的数据。第(i+1)运算电路可其运算结果R(i+1)_T4存入第(i+2)本地存储器中坐标为(2,2)的位置。相似地，运算结果R(i+1)_T4是无效的运算结果。
如图5所示，多层人造神经网络200可进一步包含一控制器510，耦接至第i运算电路与第(i+1)运算电路。控制器510用以作废根据假数据产生的运算结果，并保留完全根据真实数据产生的运算结果。以图4呈现的情况为例，控制器510会请求第(i+1)运算电路作废运算结果R(i+1)_T2、R(i+1)_T3、R(i+1)_T4，仅保留运算结果R(i+1)_T1。实际上，控制器510可请求第(i+1)运算电路不实际进行产生运算结果R(i+1)_T2、R(i+1)_T3、R(i+1)_T4的运算，或是请求第(i+1)运算电路不将运算结果R(i+1)_T2、R(i+1)_T3、R(i+1)_T4继续向后传递至第(i+2)本地存储器。由于各运算层的输入数据矩阵的实际尺寸皆为预先所知，控制器510可明确掌握应作废哪些运算结果。实际上，控制器510可利用多种固定式或可程序化的逻辑电路实现，例如可程序化逻辑门阵列、针对特定应用的集成电路、微存储器、微处理器、数字信号处理器。此外，控制器510亦可被设计为通过执行一存储器(未绘示)中所存储的处理器指令来完成任务。
在图4A至图4D呈现的范例中，第i运算电路在工作周期T1至T4依序产生四笔运算结果Ri_T1、Ri_T2、Ri_T3、Ri_T4。至工作周期T4结束时，运算层Li需要针对图4A中存储于第i本地存储器内的输入数据矩阵所进行的运算皆已完成。由图4E可看出，在工作周期T5开始时，运算层Li稍早产生的运算结果Ri_T1、Ri_T2、Ri_T3、Ri_T4，也就是运算层L(i+1)接下来所需要的新的输入数据矩阵，皆已被存储在第(i+1)本地存储器中坐标为(1,1)、(2,1)、(1,2)、(2,2)的四个位置。另一方面，对应于运算层L(i+1)的可学习参数原本即已存放在第(i+1)本地存储器中。因此，第(i+1)运算电路可以直接开始进行运算工作，几乎或完全不需要等待数据转移，其运算资源因此可被充分利用。
须说明的是，上述范例呈现的概念可以被应用在各种尺寸的输入数据矩阵、各种尺寸的取样窗，以及各种尺寸的取样跨幅。于实际应用中，运算层Li、L(i+1)实际上可能各自包含数万个人造神经元。由于高速串列器-解串列器等高速通信接口的传输速率可以达到每秒十吉赫位以上，即使第i运算电路同时产生数百或数千笔运算结果，运用图4A-图4E呈现的概念即时完成数据搬移仍是实际可行的。
须说明的是，前述“将运算结果Ri_T1存入第(i+1)本地存储器”的动作，也可改放在工作周期T2中进行，甚至与“第i运算电路进行运算以产生运算结果Ri_T2”平行进行。更广泛地说，假设第i运算电路依序产生Q笔运算结果(Q为大于1的整数)，在第i运算电路将已产生的第(q-1)笔运算结果存入第(i+1)本地存储器时，可同时开始进行运算、产生第q笔运算结果(q为范围在2到Q间的一整数指标)。藉此，整个运算流程需要的时间可被进一步缩短。
如先前所述，运算层L1至LN可利用多个完全相同的单位芯片来实现。除了串联之外，该等单位芯片也可以被并联使用。假设每个单位芯片能接收的输入数据最高数量为K、能产生的运算结果最高数量为J。如图6所示，数据分离电路610将收到的2*K笔数据分为两组K笔数据，并分别提供给单位芯片621、622进行处理。单位芯片621、622各自产生的J笔运算结果被向后传递，由数据结合电路630进行合并，并输出总数量为2*J的运算结果。依此类推，令一个运算层包含M个单位芯片(M为一正整数)，便可以平行产生数量为M倍的运算结果。
上述并联单位芯片的概念可以用于卷积层，也可用于全连接层。图7呈现一种利用并联的P个单位芯片(P为一正整数)作为P个神经元以组成一全连接层的范例。单位芯片710_1至710_P的输入端都是接收相同的K笔输入数据，并且各自对该K笔输入数据施以加权运算、加总运算以及激发函数(activationfunction)运算。每个单位芯片各自产生一个运算结果，P个单位芯片总共产生P个运算结果Out_1至Out_P。
实际上，多层人造神经网络200中的运算层L1至LN不一定要全部用单位芯片实现。以包含五个卷积层及三个全连接层的AlexNet为例，电路设计者可用前述单位芯片实现其中的五个卷积层，搭配以其他非单位芯片实现的三个全连接层。须说明的是，除了先前介绍的运算层L1至LN与控制器510外，根据本发明的人造神经网络可包含其他电路，例如但不限于连接在某些卷积层后的池化层(pooling layer)及负责产生时脉信号的振荡器。本领域技术人员可理解，本发明的范畴不限于以某种特定组态或架构来实现。根据本发明的人造神经网络可实现但不限于以下几种此领域中常被使用的网络架构：由Yann LeCun提出的LeNet、由Alex Krizhevsky等人提出的AlexNet、由Matthew Zeiler等人提出的ZF Net、由Szegedy等人提出的GoogLeNet、由Karen Simonyan等人提出的VGGNet，以及由Kaiming He等人提出的ResNet。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (9)

1.一种多层人造神经网络，其特征在于，包含：
至少一高速通信接口；以及
N个运算层，通过该至少一高速通信接口串联，N为大于1的整数，其中每一个运算层各自包含一运算电路与一本地存储器，该本地存储器用以存储供该运算电路使用的输入数据以及可学习参数，第i个运算层中的该运算电路将其运算结果通过该至少一高速通信接口提供至第(i+1)个运算层中的该本地存储器，供该第(i+1)个运算层中的该运算电路作为输入数据，其中i为范围在1到(N-1)间的一整数指标。
2.如权利要求1所述的多层人造神经网络，其特征在于，该N个运算层利用至少N个完全相同的单位芯片来实现。
3.如权利要求2所述的多层人造神经网络，其特征在于，该N个运算层包含一卷积层，且该卷积层包含并联的M个该单位芯片，M为大于1的正整数。
4.如权利要求2所述的多层人造神经网络，其特征在于，该N个运算层包含一全连接层，且该全连接层包含并联的P个该单位芯片，作为P个神经元，P为大于1的正整数。
5.如权利要求1所述的多层人造神经网络，其特征在于，第i个运算层中的该运算电路依序产生Q笔运算结果，Q为大于1的整数，在开始产生该Q笔运算结果中的第q笔运算结果时，该运算电路同时将已产生的第(q-1)笔运算结果通过该至少一高速通信接口提供至第(i+1)个运算层中的该本地存储器，其中q为范围在2到Q间的一整数指标。
6.如权利要求1所述的多层人造神经网络，其特征在于，该N个运算层根据一管线式架构同时运作。
7.如权利要求6所述的多层人造神经网络，其特征在于，一运算层中的该运算电路被预设为根据多笔真实数据与多笔假数据进行运算，该多层人造神经网络进一步包含：
一控制器，耦接至该运算层中的该运算电路，用以作废根据该多笔假数据产生的一笔或多笔运算结果，并保留完全根据该多笔真实数据产生的一笔或多笔运算结果。
8.如权利要求1所述的多层人造神经网络，其特征在于，该高速通信接口包含一高速串列器-解串列器或是一射频接口。
9.如权利要求1所述的多层人造神经网络，其特征在于，第i个运算层与第(i+1)个运算层被设置为处于同一集成电路芯片中、处于不同集成电路芯片但同一封装中，或是处于不同封装中。
CN201610718701.8A 2016-08-22 2016-08-24 多层人造神经网络 Active CN107766935B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/242,610 2016-08-22
US15/242,610 US10552732B2 (en) 2016-08-22 2016-08-22 Multi-layer neural network

Publications (2)

Publication Number Publication Date
CN107766935A true CN107766935A (zh) 2018-03-06
CN107766935B CN107766935B (zh) 2021-07-02

Family

ID=61191983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610718701.8A Active CN107766935B (zh) 2016-08-22 2016-08-24 多层人造神经网络

Country Status (3)

Country Link
US (1) US10552732B2 (zh)
CN (1) CN107766935B (zh)
TW (1) TWI634489B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685210A (zh) * 2018-12-29 2019-04-26 百度在线网络技术（北京）有限公司 卷积神经网络处理方法、卷积神经网络装置
CN109858619A (zh) * 2019-01-22 2019-06-07 杭州电子科技大学 基于自旋振荡器的神经脉冲发生电路
WO2020103653A1 (zh) * 2018-11-19 2020-05-28 深圳云天励飞技术有限公司 一种全连接层的实现方法、装置、电子设备及计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10779310B2 (en) * 2017-11-16 2020-09-15 Qualcomm Incorporated Uplink control channel resource allocation for new radio (NR)
US20190318226A1 (en) * 2018-04-12 2019-10-17 Gyrfalcon Technology Inc. Deep Learning Image Processing Systems Using Modularly Connected CNN Based Integrated Circuits
CN108647773B (zh) * 2018-04-20 2021-07-23 复旦大学 一种可重构卷积神经网络的硬件互连***
US11210447B2 (en) * 2018-09-26 2021-12-28 Taiwan Semiconductor Manufacturing Co., Ltd. Reconfiguring layout and sizing for transistor components to simultaneously optimize logic devices and non-logic devices
US20220413806A1 (en) * 2019-10-31 2022-12-29 Nec Corporation Information processing circuit and method of designing information processing circuit
US12010129B2 (en) * 2021-04-23 2024-06-11 Sophos Limited Methods and apparatus for using machine learning to classify malicious infrastructure

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685358A (zh) * 2008-09-27 2010-03-31 迅宏科技股份有限公司 信号处理装置与信号处理方法
CN104484703A (zh) * 2014-12-30 2015-04-01 合肥工业大学 一种基于列梅兹逼近算法的sigmoid函数拟合硬件电路
CN104715283A (zh) * 2015-04-08 2015-06-17 兰州理工大学 一种模拟神经元互连***及采用该***的可编程神经元阵列芯片
US9209809B1 (en) * 2014-12-17 2015-12-08 Xilinx, Inc. Circuits for and methods of controlling output swing in a current-mode logic circuit
US20150371132A1 (en) * 2014-06-18 2015-12-24 Nuance Communications, Inc. Methods and apparatus for training an artificial neural network for use in speech recognition
CN105260776A (zh) * 2015-09-10 2016-01-20 华为技术有限公司 神经网络处理器和卷积神经网络处理器
CN105760930A (zh) * 2016-02-18 2016-07-13 天津大学 用于aer的多层脉冲神经网络识别***
CN105844330A (zh) * 2016-03-22 2016-08-10 华为技术有限公司 神经网络处理器的数据处理方法及神经网络处理器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8103606B2 (en) 2006-12-08 2012-01-24 Medhat Moussa Architecture, system and method for artificial neural network implementation
TW201331855A (zh) 2012-01-19 2013-08-01 Univ Nat Taipei Technology 具自由回饋節點的高速硬體倒傳遞及回饋型類神經網路
KR20130090147A (ko) * 2012-02-03 2013-08-13 안병익 신경망 컴퓨팅 장치 및 시스템과 그 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685358A (zh) * 2008-09-27 2010-03-31 迅宏科技股份有限公司 信号处理装置与信号处理方法
US20150371132A1 (en) * 2014-06-18 2015-12-24 Nuance Communications, Inc. Methods and apparatus for training an artificial neural network for use in speech recognition
US9209809B1 (en) * 2014-12-17 2015-12-08 Xilinx, Inc. Circuits for and methods of controlling output swing in a current-mode logic circuit
CN104484703A (zh) * 2014-12-30 2015-04-01 合肥工业大学 一种基于列梅兹逼近算法的sigmoid函数拟合硬件电路
CN104715283A (zh) * 2015-04-08 2015-06-17 兰州理工大学 一种模拟神经元互连***及采用该***的可编程神经元阵列芯片
CN105260776A (zh) * 2015-09-10 2016-01-20 华为技术有限公司 神经网络处理器和卷积神经网络处理器
CN105760930A (zh) * 2016-02-18 2016-07-13 天津大学 用于aer的多层脉冲神经网络识别***
CN105844330A (zh) * 2016-03-22 2016-08-10 华为技术有限公司 神经网络处理器的数据处理方法及神经网络处理器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEX KRIZHEVSKY ET AL: ""ImageNet Classification with Deep Convolutional Neural Networks"", 《NEURAL INFORMATION PROCESSING SYSTEMS》 *
MURUGAN SANKARADAS ET AL: ""A Massively Parallel Coprocessor for Convolutional Neural Networks"", 《2009 20TH IEEE INTERNATIONAL CONFERENCE ON APPLICATION-SPECIFIC SYSTEMS》 *
RAUL ROJAS: "《Neural Network》", 31 December 1996 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020103653A1 (zh) * 2018-11-19 2020-05-28 深圳云天励飞技术有限公司 一种全连接层的实现方法、装置、电子设备及计算机可读存储介质
CN109685210A (zh) * 2018-12-29 2019-04-26 百度在线网络技术（北京）有限公司 卷积神经网络处理方法、卷积神经网络装置
CN109858619A (zh) * 2019-01-22 2019-06-07 杭州电子科技大学 基于自旋振荡器的神经脉冲发生电路

Also Published As

Publication number Publication date
US20180053084A1 (en) 2018-02-22
TW201807622A (zh) 2018-03-01
CN107766935B (zh) 2021-07-02
TWI634489B (zh) 2018-09-01
US10552732B2 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
CN107766935A (zh) 多层人造神经网络
CN106951395B (zh) 面向压缩卷积神经网络的并行卷积运算方法及装置
CN106022468B (zh) 人工神经网络处理器集成电路及该集成电路的设计方法
CN106295799B (zh) 一种深度学习多层神经网络的实现方法
CN109903221A (zh) 图像超分方法及装置
CN107918794A (zh) 基于计算阵列的神经网络处理器
CN107341544A (zh) 一种基于可分割阵列的可重构加速器及其实现方法
CN107679522A (zh) 基于多流lstm的动作识别方法
CN109784489A (zh) 基于fpga的卷积神经网络ip核
CN104145281A (zh) 神经网络计算装置和***及其方法
US20190138890A1 (en) Expandable and real-time recofigurable hardware for neural networks and logic reasoning
CN107862374A (zh) 基于流水线的神经网络处理***和处理方法
CN108171317A (zh) 一种基于soc的数据复用卷积神经网络加速器
CN108764466A (zh) 基于现场可编程门阵列的卷积神经网络硬件及其加速方法
CN109034382A (zh) 场景或物体的识别方法及相关产品
CN108416327A (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
CN108256628A (zh) 基于多播片上网络的卷积神经网络硬件加速器及其工作方式
CN108416437A (zh) 用于乘加运算的人工神经网络的处理***及方法
CN106201651A (zh) 神经形态芯片的模拟器
CN109409510A (zh) 神经元电路、芯片、***及其方法、存储介质
CN110163360A (zh) 一种计算装置及方法
CN105956659A (zh) 数据处理装置和***、服务器
CN110399211A (zh) 机器学习的分配***、方法及装置、计算机设备
JP7150998B2 (ja) 超伝導ニューロモルフィックコア
CN107273969A (zh) 一种参数化可扩展的神经网络全连接层多层互连结构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant