CN113673688A - 权重生成方法、数据处理方法及装置、电子设备、介质 - Google Patents
权重生成方法、数据处理方法及装置、电子设备、介质 Download PDFInfo
- Publication number
- CN113673688A CN113673688A CN202110976731.XA CN202110976731A CN113673688A CN 113673688 A CN113673688 A CN 113673688A CN 202110976731 A CN202110976731 A CN 202110976731A CN 113673688 A CN113673688 A CN 113673688A
- Authority
- CN
- China
- Prior art keywords
- neuron
- weight
- connection
- processing core
- core
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 210000002569 neuron Anatomy 0.000 claims abstract description 616
- 230000010354 integration Effects 0.000 claims abstract description 41
- 239000012528 membrane Substances 0.000 claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims description 104
- 238000009826 distribution Methods 0.000 claims description 44
- 238000005315 distribution function Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 14
- 238000010304 firing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009827 uniform distribution Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 11
- 210000000225 synapse Anatomy 0.000 description 10
- 210000003050 axon Anatomy 0.000 description 6
- 210000001787 dendrite Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000002243 precursor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000005056 cell body Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/58—Random or pseudo-random number generators
- G06F7/588—Random number generators, i.e. based on natural stochastic processes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Neurology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种权重生成方法，应用于众核***的处理核，众核***包括多个处理核，处理核包括多个神经元，权重生成方法包括：利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重；其中，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。本公开还提供了一种数据处理方法、装置、处理核、众核***、电子设备及计算机可读介质。
Description
技术领域
本公开涉及计算机技术领域，特别涉及一种权重生成方法、数据处理方法及装置、处理核、众核***、电子设备、计算机可读介质。
背景技术
在相关技术中，众核架构的神经形态芯片中大量的神经元之间的连接权重通常存储于芯片上，占用了较大的存储空间。
因此，如何有效减少众核架构的神经形态芯片的片上存储资源的占用，成为目前亟待解决的技术问题。
发明内容
本公开提供一种权重生成方法、数据处理方法及装置、处理核、众核***、电子设备、计算机可读介质。
根据本公开的第一方面，本公开实施例提供了一种权重生成方法，应用于众核***的处理核，所述众核***包括多个处理核，所述处理核包括多个神经元，所述权重生成方法包括：
利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重；
其中，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
在一些实施例中，在所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重之前，还包括：接收所述目标处理核的权重生成指令；
所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，包括：
根据所述权重生成指令，利用预设的权重产生器生成所述第一神经元对应的至少部分连接权重。
在一些实施例中，所述处理核包括指令存储空间，所述指令存储空间中包括权重生成指令，所述权重生成指令包括指令执行时间拍，
其中，所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，包括：
在所述指令执行时间拍开始时，从所述指令存储空间中获取并执行所述权重生成指令，利用预设的权重产生器生成所述第一神经元对应的至少部分连接权重。
在一些实施例中，所述方法还包括：向所述目标处理核发送所述第一神经元对应的至少部分连接权重。
在一些实施例中，在所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重之前，还包括：
确定目标存储空间中是否包括所述第一神经元对应的所有目标连接权重；
若不包括，则将所述目标存储空间中不包括的目标连接权重，确定为待生成的所述第一神经元对应的至少部分连接权重，其中，所述目标存储空间包括片内存储空间和/或片外存储器。
在一些实施例中，所述方法还包括：
从所述目标存储空间读取已存储的目标连接权重；
根据利用预设的权重产生器生成的所述第一神经元对应的至少部分连接权重以及从目标存储空间读取的已存储的所述目标连接权重，确定所述第一神经元对应的所有目标连接权重。
在一些实施例中，所述方法还包括：
在目标存储空间中，申请用于存储所述第一神经元对应的至少部分连接权重的存储空间；
若申请成功，则将所述第一神经元对应的至少部分连接权重存储在所述目标存储空间中。
在一些实施例中，所述权重产生器包括第一随机数产生器；所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，包括：
向所述第一随机数产生器发送第一控制信息，所述第一控制信息包含目标处理核中的第一神经元对应的连接矩阵，所述连接矩阵包括用于表征所述第一神经元与各第二神经元之间是否需要生成连接权重的信息；
所述第一随机数产生器用于响应于所述第一控制信息，根据第一随机种子和所述连接矩阵，生成需要生成连接权重的所述第一神经元和所述第二神经元之间所对应的至少部分连接权重。
在一些实施例中，所述权重产生器包括第一随机数产生器；
所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，包括：
生成目标处理核中的第一神经元对应的连接矩阵，所述连接矩阵包括用于表征所述第一神经元与各第二神经元之间是否需要生成连接权重的信息；
利用所述第一随机数产生器根据第一随机种子和所述连接矩阵，生成需要生成连接权重的第一神经元和第二神经元之间所对应的至少部分连接权重。
在一些实施例中，所述权重产生器还包括与所述第一随机数产生器连接的第二随机数产生器；
所述生成目标处理核中的第一神经元对应的连接矩阵，包括：
利用所述第二随机数产生器生成目标处理核中的第一神经元对应的所述连接矩阵。
在一些实施例中，所述利用所述第二随机数产生器生成目标处理核中的第一神经元对应的连接矩阵，包括：
向所述第二随机数产生器发送第二控制信息，所述第二控制信息包含目标处理核中的第一神经元对应的权重稀疏度信息，以使所述第二随机数产生器执行以下处理：
响应于所述第二控制信息，根据第二随机种子，生成稀疏度与所述权重稀疏度信息相匹配的所述连接矩阵；
向所述第一随机数产生器发送目标处理核中的第一神经元对应的所述连接矩阵。
在一些实施例中，所述生成目标处理核中的第一神经元对应的连接矩阵，包括：
从与所述第一神经元连接的多个所述第二神经元中，随机选取出一个第二神经元，并确定为与所述第一神经元之间需要生成连接权重的第二神经元；
在选取出的第二神经元的数量小于目标数量的情况下，继续随机选取下一个第二神经元，并确定为与所述第一神经元之间需要生成连接权重的第二神经元；
在选取出的第二神经元的数量等于目标数量的情况下，根据选取出的所有与所述第一神经元之间需要生成连接权重的第二神经元，生成目标处理核中的第一神经元对应的所述连接矩阵。
在一些实施例中，所述连接矩阵为由0元素和1元素构成的矩阵，每个元素对应目标处理核的一个第一神经元和一个第二神经元，每一列元素对应目标处理核的一个第一神经元；
每个0元素用于表征对应的第一神经元和第二神经元之间不需要生成连接权重，每个1元素用于表征对应的第一神经元和第二神经元之间需要生成连接权重。
在一些实施例中，所述第一随机数产生器包括均匀数产生器和与所述均匀数产生器连接的分布变换器，所述分布变换器中配置有预设分布函数和对应的分布参数；
所述均匀数产生器用于根据所述第一随机种子和所述连接矩阵，生成需要生成连接权重的第一神经元和第二神经元所对应的均匀随机数，所述均匀随机数满足均匀分布规律；
所述分布变换器用于根据所述分布参数和所述预设分布函数，将所述均匀随机数变换为满足预设分布函数的所述连接权重。
在一些实施例中，所述预设分布函数包括高斯分布函数或者泊松分布函数。
在一些实施例中，目标处理核中的第一神经元对应的连接权重满足预设分布规律。
在一些实施例中，所述预设分布规律包括高斯分布函数或者泊松分布函数。
在一些实施例中，在配置有多个所述权重产生器的情况下，对于多个所述第一神经元，所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，包括：
利用多个所述权重产生器并行生成多个所述第一神经元对应的至少部分连接权重，其中，每个权重产生器用于生成一个第一神经元对应的至少部分权重。
在一些实施例中，所述第一神经元包括当前发放的神经元和/或与当前发放的第二神经元有连接权重的神经元。
根据本公开的第二方面，本公开实施例提供了一种权重生成方法，应用于众核***的处理核，所述众核***包括多个处理核，所述处理核包括多个神经元，方法包括：
接收至少一个生成核发送的第一神经元对应的至少部分连接权重，
其中，所述第一神经元对应的至少部分连接权重是所述生成核利用预设的权重产生器生成的，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
根据本公开的第三方面，本公开实施例提供了一种数据处理方法，该数据处理方法包括：响应于接收到输入脉冲，利用上述权重生成方法，获取目标处理核中与所述输入脉冲对应的第一神经元所对应的连接权重；所述连接权重为所述第一神经元与所述第二神经元之间的连接权重；
根据所述第一神经元对应的所述输入脉冲与对应的所述连接权重，对所述第一神经元进行膜电位积分运算。
根据本公开的第四方面，本公开实施例提供了一种数据处理方法，该数据处理方法包括：在目标处理核的第一神经元满足发放条件的情况下，利用上述权重生成方法，获取所述第一神经元与第二神经元之间的连接权重；
向所述第二神经元发送输入信息，所述输入信息包括输入脉冲以及所述第一神经元与所述第二神经元之间的连接权重，以供所述第二神经元根据所述输入脉冲和所述连接权重，进行膜电位积分运算。
根据本公开的第五方面，本公开实施例提供了一种权重生成装置，应用于众核***的处理核，所述众核***包括多个处理核，所述处理核包括多个神经元，所述权重生成装置包括：控制模块和权重产生器；
所述控制模块，被配置为控制所述权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重；
其中，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
根据本公开的第六方面，本公开实施例提供了一种权重生成装置，应用于众核***的处理核，所述众核***包括多个处理核，所述处理核包括多个神经元，包括：
接收单元，被配置为接收至少一个生成核发送的第一神经元对应的至少部分连接权重，
其中，所述第一神经元对应的至少部分连接权重是所述生成核利用预设的权重产生器生成的，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
根据本公开的第七方面，本公开实施例提供了一种数据处理装置，该数据处理装置包括：权重获取单元，被配置为响应于接收到输入脉冲，利用如上述权重生成装置获取目标处理核中与所述输入脉冲对应的第一神经元所对应的连接权重；所述连接权重为所述第一神经元与所述第二神经元之间的连接权重；
积分发放单元，被配置为根据所述第一神经元对应的所述输入脉冲与对应的所述连接权重，对所述第一神经元进行膜电位积分运算。
根据本公开的第八方面，本公开实施例提供了一种数据处理装置，该数据处理装置包括：权重获取单元，被配置为在目标处理核的第一神经元满足发放条件的情况下，利用如上述权重生成装置获取所述第一神经元与第二神经元之间的连接权重；
积分发放单元，被配置为向所述第二神经元发送输入信息，所述输入信息包括输入脉冲以及所述第一神经元与所述第二神经元之间的连接权重，以供所述第二神经元根据所述输入脉冲和所述连接权重，进行膜电位积分运算。
根据本公开的第九方面，本公开实施例提供了一种处理核，该处理核包括权重生成装置和/或数据处理装置，所述权重生成装置包括上述权重生成装置，所述数据处理装置包括上述数据处理装置。
根据本公开的第十方面，本公开实施例提供了一种众核***，该众核***包括多个处理核，至少一个所述处理核采用上述的处理核。
根据本公开的第十一方面，本公开实施例提供了一种电子设备，该电子设备包括：多个处理核；以及，片上网络，被配置为交互所述多个处理核间的数据和外部数据；其中，一个或多个所述处理核中存储有一个或多个指令，一个或多个所述指令被一个或多个所述处理核执行，以使一个或多个所述处理核能够执行上述的权重生成方法或者数据处理方法。
根据本公开的第十二方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理核执行时实现上述的权重生成方法或者数据处理方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
图1为本公开实施例的一种众核***的结构示意图；
图2为图1中一种处理核的结构示意图；
图3为本公开实施例提供的一种权重生成方法的流程图；
图4为一种目标处理核B的第一神经元和处理核A的第二神经元之间的连接关系示意图；
图5为本公开实施例中一种权重产生器的结构示意图；
图6为本公开实施例中一种第一随机数产生器的结构示意图；
图7为本公开实施例提供的一种权重生成方法的流程图；
图8为本公开实施例提供的一种数据处理方法的流程图；
图9为本公开实施例提供的另一种数据处理方法的流程图；
图10为本公开实施例提供的一种权重生成装置的组成框图；
图11为本公开实施例提供的一种数据处理装置的组成框图；
图12为本公开实施例提供的另一种数据处理装置的组成框图；
图13为本公开实施例提供的一种电子设备的组成框图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
类脑计算通过模仿生物脑部的运行机制，构建与生物脑部相似的电子大脑，用于以较高的准确性和处理效率进行数据处理。基于冯·诺依曼体系的架构对类脑计算的支持有限，从而限制了神经网络的应用范围，且能效较低，因此为了获得更匹配神经计算的新型架构体系，神经形态芯片(例如，类脑计算芯片)应运而生，神经形态芯片通常为众核结构。
图1为本公开实施例的一种众核***的结构示意图，图2为图1中一种处理核的结构示意图，众核***包括多个处理核，每个处理核通常包括一组(多个)神经元、一组轴突、一组树突和突触阵列，可以模拟一个生物神经元簇的行为，众核***中的各处理核均可以完成对应的一组神经元的树突积分计算过程以及胞体运算过程。其中，树突是用于接收外界的刺激并产生输入电流的结构，轴突是用于将脉冲传递到后继神经元的突触的结构，突触是用于连接神经元的结构，突触阵列是由突触构成的阵列，连接一组轴突和一组树突。
对于处理核内的各神经元，树突积分计算过程用于描述将与该神经元的树突连接的所有输入轴突的脉冲数据进行积分操作的过程，树突积分计算过程在本公开实施例中也称为膜电位积分运算。胞体运算过程负责神经元的膜电位的更新和脉冲的发放判断，胞体运算过程在本公开实施例中也称为发放运算，如果任一神经元的膜电位满足发放条件，则该神经元的轴突会向与该神经元连接的后继神经元发放用1表示的脉冲；否则，该神经元的轴突会向与该神经元连接的后继神经元发放用0表示的脉冲。这使得众核***作为一种电子模拟电路的超大规模集成***能够较为准确地模拟神经***中的神经生物结构。
在相关技术中，突触阵列通常用于模拟一个处理核的一组神经元与另一个处理核的一组神经元之间的连接关系，作为用于存储一个处理核的一组神经元与另一个处理核的一组神经元之间的连接拓扑与连接权重(也称为突触权重)的阵列式存储结构。然而突触阵列对应存储的权重矩阵通常包含大量的神经元之间的连接权重，占用了处理核较大的存储空间。在一些应用场景中，在运算过程中神经元之间需要传递权重参数进行运算，也占用了较多的硬件处理资源，在一定程度上限制了处理核的硬件处理性能的提升，即限制了众核***的性能的提升。
为有效解决上述相关技术中存在的技术问题，本公开实施例提供了一种权重生成方法及数据处理方法、装置、处理核、众核***、电子设备、计算机可读介质，根据本公开实施例提供的技术方案，每个处理核无需存储神经元的运算所需的权重矩阵，而是伴随着神经元的运算过程产生预期的连接权重，以进行相应的运算，可以实现在众核***进行脑仿真过程中，有效减少了对各处理核的存储空间的占用，节省了众核***的处理核的存储空间。同时，在一些应用场景中，在运算过程中神经元之间无需传递权重参数，而是伴随着神经元的运算过程产生相应的权重参数，从而有效减少了硬件处理资源的占用，在一定程度上提升了处理核的硬件处理性能，即提升了众核***的性能。
下面结合相关附图对本公开实施例的技术方案进行详细描述。
图3为本公开实施例提供的一种权重生成方法的流程图，参照图3，本公开实施例提供一种权重生成方法，该方法应用于众核***的处理核，该方法可以由权重生成装置的来执行，该装置可以通过软件和/或硬件的方式实现，该装置可以集成于众核***的处理核中，该权重生成方法包括：
步骤S1、利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重。
其中，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
其中，目标处理核可以为众核***中的任意处理核，例如，可以为执行权重生成方法的当前处理核(或称生成核)，当前处理核可以利用权重产生器生成其包括的第一神经元对应的至少部分连接权重。目标处理核还可以是除当前处理核之外的任意处理核，当前处理核可以利用权重产生器生成其他处理核包括的第一神经元对应的至少部分连接权重，本公开对此不做限制。
其中，第二神经元可以为任意处理核中的、与第一神经元连接的神经元，其可以与第一神经元处于相同的处理核中，也可以与第一神经元处于不同的处理核中，本公开对此不做限制。其中，第一神经元与第二神经元之间的连接关系，可以是预设的，例如，预设有用于表征的第一神经元与第二神经元之间是否需要生成连接权重的信息的连接矩阵，连接矩阵可以是存储在生成核中，或者是生成核可以接收到的。第一神经元与第二神经元之间的连接关系，还可以是在线生成的，例如，根据随机数生成器以及随机种子在线生成，本公开对此不做限制。
在本公开实施例中，第一神经元可以作为第二神经元的前继神经元或者后继神经元，本公开对此不做限制。其中，第一神经元作为第二神经元的前继神经元，可以理解为第一神经元发放时，向第二神经元传递发放脉冲。第一神经元作为第二神经元的后继神经元，可以理解为第一神经元接收发放的第二神经元传递的发放脉冲。
在本公开实施例中，每个第一神经元可以对应至少一个第二神经元，还可以是每个第二神经元对应至少一个第一神经元，目标处理核可以包括至少一个第一神经元，本公开对第一神经元的数量、第二神经元的数量以及第一神经元与第二神经元的对应关系均不做限制。
其中，第一神经元可以是需要进行膜电位积分运算的第一神经元，或者与其有连接权重的第二神经元为需要进行膜电位积分运算的神经元，还可以是处理核中任意第一神经元。应理解，对于任意一个处理核，确定其包括的每个第一神经元对应所有连接权重可以确定该处理核的突触阵列。
在一些实施例中，所述第一神经元包括当前发放的神经元和/或与当前发放的第二神经元有连接权重的神经元。
在本公开实施例中，在应用于稀疏计算场景时，第一神经元可以为当前发放的神经元和/或与当前发放的第二神经元有连接权重的神经元，生成该第一神经元对应的连接权重，即可满足膜电位积分运算需求，无需生成处理核中所有神经元的连接权重，能够减少权重生成的数据量、提高权重生成效率。
其中，第一神经元对应的至少部分连接权重，可以是当前膜电位积分运算需要用到的至少部分连接权重，也可以是第一神经元对应的所有连接权重中的至少部分连接权重，本公开对此不做限制。
其中，连接权重可以为任意数值，本公开对此不做限制。
在本公开实施例中，对于目标处理核中的第一神经元，无需通过突触阵列预存第一神经元的运算所需的权重矩阵，而通过预设的权重产生器生成第一神经元与连接的第二神经元之间的连接权重，从而节省了处理核的存储空间，且在一些应用场景中，在向目标处理核的第一神经元传递脉冲或目标处理核第一神经元在向第二神经元传递脉冲时，无需再传递相关权重参数，从而有效减少了硬件处理资源的占用，在一定程度上提升了处理核的硬件处理性能，即提升了众核***的性能。
在一些可选的实施例中，目标处理核为除当前处理核之外的任意处理核，本公开对当前处理核如何利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重不做限制。例如，可以是当前处理核根据目标处理核发送的权重生成指令或者是预先存储的权重生成指令，利用权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重。其中，权重生成指令用于指示当前处理核生成目标处理核中的第一神经元对应的至少部分连接权重，本公开对权重生成指令的形式和内容不做限制。
在一种可能的实现方式中，权重生成指令可以包括但不限于：目标处理核的核位置、第一随机种子、分布函数类型、所需生成的连接权重数量、连接矩阵以及指令执行时间拍。
其中，第一随机种子用于生成连接权重，分布函数类型用于确定所生成的连接权重所需满足的分布函数(分布规律)，连接矩阵可以包括用于表征目标处理核中的第一神经元与各第二神经元之间是否需要生成连接权重的信息，即目标处理核可以通过连接矩阵指定哪些神经元之间需要生成连接权重及所需生成的连接权重数量。指令执行时间拍用于表征执行该权重生成指令的时间拍。其中，当包括多个权重生成指令时，在指令存储空间，多个权重生成指令可以按照指令执行时间拍的先后顺序依次存储，形成指令串。
在一些实施例中，权重生成指令还可以包括目标处理核的内存位置，以供当前处理核在生成目标处理核第一神经元对应的连接权重后将生成的至少部分连接权重缓存至该内存位置对应的内存空间。
在一些实施例中，权重生成指令还可以包括所需生成的连接权重的权重稀疏度信息和第二随机种子，权重稀疏度信息和第二随机种子用于生成所需的连接矩阵。
在一些可选的实施例中，在步骤S1之前，该权重生成方法还可以包括：
接收所述目标处理核的权重生成指令；
其中，所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，可以包括：
根据所述权重生成指令，利用预设的权重产生器生成所述第一神经元对应的至少部分连接权重。
在一些实施例中，当目标处理核需要使用权重参数时，可以向一个或多个用于生成连接权重的生成核发送权重生成指令，每个生成核响应于目标处理核的权重生成指令，生成目标处理核所需的至少部分连接权重。
其中，接收到目标处理核的权重生成指令的时间拍可以为指令执行时间拍，也可以提前于指令执行时间拍，本公开对此不做限制。
这样，可以根据权重生成指令生成至少部分连接权重，可以节省目标处理核的核内代码空间和存储空间。
在一些可选的实施例中，所述处理核包括指令存储空间，指令存储空间中包括权重生成指令，所述权重生成指令包括指令执行时间拍，
其中，所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，可以包括：
在所述指令执行时间拍开始时，从所述指令存储空间中获取并执行所述权重生成指令，利用预设的权重产生器生成所述第一神经元对应的至少部分连接权重。
其中，处理核的指令存储空间中的权重生成指令可以是在收到目标处理核提前于指令执行时间发送的权重生成指令之后存储的，也可以是预存储在指令存储空间中、无需目标处理核发送的，本公开对此不做限制。
在本公开实施例中，在指令执行时间拍开始时，从指令存储空间中获取并执行对应的权重生成指令，以生成至少部分连接权重，可以降低处理核间的数据交互频率，并减少数据交互带来的***延迟。
在一些实施例中，在步骤S1之后，该权重生成方法还可以包括：
向所述目标处理核发送所述第一神经元对应的至少部分连接权重。
示例性地，可以通过片上网络将所述第一神经元对应的至少部分连接权重，发送至目标处理核。
在本公开实施例中，可以生成除当前处理核之外的目标处理核中第一神经元对应的至少部分连接权重，众核***中部分处理核包括权重产生器即可保证生成众核***中各第一神经元对应的连接权重，能够节省部分处理核的核内代码空间和存储空间。
在一些可选的实施例中，目标处理核可以将一部分连接权重存储于目标存储空间中，其中，目标存储空间可以包括片内内存空间(例如，处理核内的存储空间)和/或片外存储器中，片外存储器例如是双倍速率同步动态随机存储器(Double Data Rate SDRAM，DDR)，对于该部分权重参数，目标处理核可以通过读取片内内存空间或片外存储器获取，而目标处理核所需的另一部分连接权重(例如，目标存储空间不存在的部分连接权重)可以通过在线生成。
其中，存储于片内内存空间(例如，处理核内的存储空间)或片外存储器中可以是预先生成连接权重并存储的，也可以是在线生成后存储的，本公开对此不做限制。
其中，读取目标存储空间，以获取至少部分权重参数的处理核可以是执行权重生成方法的当前处理核(生成核)，读取到至少部分权重参数可以是其本身包括的第一神经元对应的连接权重，还可以是其他处理核(目标处理核)中第一神经元对应的连接权重。应理解，当目标处理核为非生成核时，也可以读取目标存储空间，以获取其自身包括的第一神经元对应的连接权重，本公开对此不做限制。
应理解，利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重可以是生成尚未存储在目标存储空间中的第一神经元对应的至少部分连接权重，也可以是响应于目标处理核发送的权重生成指令，生成对应于权重生成指令的至少部分连接权重。
在一些可选的实施例中，在步骤S1之前，所述方法还包括：确定目标存储空间中是否包括所述第一神经元对应的所有目标连接权重；
若不包括，则将所述目标存储空间中不包括的目标连接权重，确定为待生成的所述第一神经元对应的至少部分连接权重。
其中，目标连接权重为目标处理核在当前运算过程中需要使用的连接权重，其可以为第一神经元对应的所有连接权重，也可以是第一神经元对应的部分连接权重。
通过这种方式，可以确定待生成的所述第一神经元对应的至少部分连接权重，以通过权重产生器进行生成，从而确定所有目标连接权重。
在一些可选的实施例中，该权重生成方法还可以包括：
从所述目标存储空间读取已存储的目标连接权重；
根据利用预设的权重产生器生成的所述第一神经元对应的至少部分连接权重以及从目标存储空间读取的已存储的所述目标连接权重，确定所述第一神经元对应的所有目标连接权重。
通过这种方式，对于已存储的目标连接权重，可以通过读取目标存储空间来获得，对于尚未存储的目标连接权重，可以通过在线生成来实现，从而能够降低生成权重的频率和生成数据量。
在一些可选的实施例中，该权重生成方法还可以包括：
在目标存储空间中，申请用于存储所述第一神经元对应的至少部分连接权重的存储空间；
若申请成功，则将所述第一神经元对应的至少部分连接权重存储在所述目标存储空间中。
在一些可选的实施例中，每次生成完目标处理核所需的至少部分连接权重后，可以尝试向片内内存空间和/或片外存储器申请存储该至少部分连接权重。当目标处理核的片内内存空间的剩余存储空间不足或片外存储器的带宽不足时，会被拒绝继续缓存生成的该至少部分连接权重。
在一些实施例中，在该至少部分连接权重被缓存至目标处理核的片内内存空间或片外存储器后，该至少部分连接权重可能会被后续的产生的其他临时数据存储覆盖，此时该至少部分连接权重将被标记为无效状态。目标处理核需使用该至少部分连接权重进行运行时，可以检查是否已生成该至少部分连接权重，且该至少部分连接权重仍有效，如果该两种情况均满足，则确定目标存储空间包括该至少部分连接权重，可以直接使用已有的该至少部分连接权重，否则重新在线生成。
这样，可以将至少部分连接权重存储在目标存储空间中，在需要使用的时候，可以直接从目标存储空间中读取，无需每次都执行生成操作。
在本公开实施例中，脑仿***要仿物理特性，仿物理特性意味着权重的具体数值的关注度较低，而权重的变化趋势的关注度较高，因此，为了使所生成的连接权重能够符合预期分布趋势，本公开实施例通过设置分布约束条件约束权重产生器所产生的权重数值，使得权重产生器所生产的第一神经元对应的连接权重可以满足预设分布规律，预设分布规律可以包括预设分布函数，从而使得权重产生器所产生的神经元的连接权重能够符合预期的分布需求。在一些实施例中，预设分布函数可以包括高斯分布(正态分布)函数或泊松分布函数。
在一些实施例中，预先根据目标处理核的第一神经元对应的权重稀疏度信息，设置目标处理核的第一神经元对应的连接矩阵，连接矩阵包括用于表征目标处理核中的第一神经元与各第二神经元之间是否需要生成连接权重的信息，连接矩阵中的每一个元素用于表征目标处理核中的每一个第一神经元与一个第二神经元之间是否需要生成连接权重，权重稀疏度信息用于控制连接矩阵中用于表征第一神经元与第二神经元需要生成连接权重的元素的数量，以及控制连接矩阵中用于表征第一神经元与第二神经元不需要生成连接权重的元素的数量。
在一些实施例中，连接矩阵为由0元素和1元素构成的矩阵，每个元素对应目标处理核的一个第一神经元和一个第二神经元，每一列元素对应目标处理核的一个第一神经元。其中每个0元素用于表征对应的第一神经元和第二神经元之间不需要生成连接权重，每个1元素用于表征对应的第一神经元和第二神经元之间需要生成连接权重。上述权重稀疏度信息可以理解为是连接矩阵中1元素所占的比例或0元素所占的比例。
为便于理解，下文以第一神经元位于目标处理核B，第二神经元位于处理核A进行示例性说明，应理解，本公开不限制于此。
图4为一种目标处理核B的第一神经元和处理核A的第二神经元之间的连接关系示意图，作为示例，目标处理核B包括第一神经元B1、第一神经元B2和第一神经元B3，处理核A包括第二神经元A1、第二神经元A2、第二神经元A3和第二神经元A4，目标处理核B中的每个第一神经元与处理核A的各第二神经元均具有连接关系，即目标处理核的第一神经元和处理核的第二神经元之间为全连接关系。其中，第一神经元B1与第二神经元A2之间不需要生成连接权重，第一神经元B1与第二神经元A1、A3、A4均需要生成连接权重，第一神经元B2与第二神经元A1之间不需要生成连接权重，第一神经元B2与第二神经元A2、A3、A4均需要生成连接权重，第一神经元B3与第二神经元A3、A4之间不需要生成连接权重，第一神经元B3与第二神经元A1、A2均需要生成连接权重。则对于目标处理核B的第一神经元B1，其对应的连接权重包括与连接的第二神经元A1之间的连接权重a11、与连接的第二神经元A3之间的连接权重a13、与连接的第二神经元A4之间的连接权重a14；对于目标处理核B的第一神经元B2，其对应的连接权重包括与连接的第二神经元A2之间的连接权重a22、与连接的第二神经元A3之间的连接权重a23、与连接的第二神经元A4之间的连接权重a24；对于目标处理核B的第一神经元B3，其对应的连接权重包括与连接的第二神经元A1的连接权重a31、与连接的第二神经元A2的连接权重a32。
根据图4所示的连接关系，可知，目标处理核B的第一神经元B1对应的连接矩阵为[1，0，1，1]，目标处理核B的第一神经元B2对应的连接矩阵为[0，1，1，1]，目标处理核B的第一神经元B3对应的连接矩阵为[1，1，0，0]，则目标处理核B对应的连接矩阵为4行3列的由0和1构成的矩阵，每一列元素对应目标处理核B的一个第一神经元。
在一些实施例中，目标处理核B的第一神经元和处理核A的各第二神经元之间可以均需要生成连接权重，对应的连接矩阵为全1元素的矩阵。
在一些实施例中，为减少计算量，目标处理核B的第一神经元和处理核A的第二神经元之间可以是部分需要生成连接权重，即目标处理核B的第一神经元和处理核A的第二神经元之间的连接权重具有一定的稀疏度。例如，图4所示的第一神经元B1与第二神经元A2、A3不需要生成连接权重，第一神经元B2与第二神经元A1、A3、A4不需要生成连接权重，第一神经元B3与第二神经元A1、A2、A4不需要生成连接权重，不需要生成连接权重的第一神经元和第二神经元之间对应的连接权重将被停用或置为0，而需要生成连接权重的第一神经元和第二神经元之间对应的连接权重将被保留。相应地，连接矩阵中对应不需要生成连接权重的神经元的元素为0元素，对应需要生成连接权重的神经元的元素为1元素。
在一些实施例中，在预先设置有目标处理核的第一神经元对应的连接矩阵的情况下，权重产生器可以包括第一随机数产生器，步骤S1可以进一步包括：向第一随机数产生器发送第一控制信息。
在该实施例中，第一控制信息包含目标处理核中的第一神经元对应的连接矩阵，连接矩阵包括用于表征目标处理核中的第一神经元与各第二神经元之间是否需要生成连接权重的信息。
在该实施例中，第一随机数产生器用于响应于第一控制信息，根据第一随机种子和连接矩阵，生成需要生成连接权重的第一神经元和第二神经元之间所对应的连接权重。换言之，对于连接矩阵中对应1元素的第一神经元和第二神经元，第一随机数产生器根据第一随机种子，生成该1元素对应的第一神经元和第二神经元之间所对应的连接权重。
在该实施例中，第一随机种子信息可以是预设的随机种子，第一随机种子可以预先设置和存储在第一随机数产生器中，第一随机数产生器可以根据预设的第一随机种子，生成随机数序列，将随机数序列和连接矩阵中位于相同行号且相同列号的元素进行相乘，则随机数序列中与连接矩阵中的0元素对应的元素将被置为0，而随机数序列中与连接矩阵中的1元素对应的元素将保持不变，从而得到需要生成连接权重的第一神经元和第二神经元之间所对应的至少部分连接权重。
在该实施例中，为了能够产生符合预期的分布需求的连接权重，第一随机数产生器中还可以预先设置分布约束条件，分布约束条件可以包括预设分布函数和分布参数，在生成连接权重时进行分布约束，使得第一随机数产生器所生成的第一神经元对应的连接权重可以满足预设分布函数，即预设分布规律。在一些实施例中，预设分布函数可以包括高斯分布(正态分布)函数或泊松分布函数。
其中，根据同一第一随机种子，第一随机数产生器每次生成的随机数序列是相同的。
在一些实施例中，在未预先设置有目标处理核的第一神经元对应的连接矩阵的情况下，利用预设的权重产生器生成目标处理核中的第一神经元对应的连接权重的步骤可以进一步包括：生成目标处理核中的第一神经元对应的连接矩阵的步骤，以及，利用第一随机数产生器根据第一随机种子和连接矩阵，生成需要生成连接权重的第一神经元和第二神经元之间所对应的至少部分连接权重的步骤。在该实施例中，关于连接矩阵和第一随机数产生器的描述可以参见上述相关描述，此处不再赘述。
需要说明的是，生成连接矩阵的步骤以及生成连接权重的步骤，可以是在生成连接矩阵中元素为1时，执行生成对应连接权重的操作，在生成连接矩阵中元素为0时，不执行生成连接权重的操作。还可以是生成连接矩阵中所有元素的情况下，生成与该连接矩阵对应的所有连接权重。本公开对此不做限制。
图5为本公开实施例中一种权重产生器的结构示意图，在一些实施例中，在未预先设置有目标处理核的第一神经元对应的连接矩阵的情况下，如图5所示，作为示例，权重产生器可以包括第一随机数产生器和与第一随机数产生器连接的第二随机数产生器，第二随机数产生器用于产生目标处理核的第一神经元对应的连接矩阵，第一随机数产生器用于产生需要生成连接权重的第一神经元和第二神经元之间所对应的至少部分连接权重。
在该实施例中，生成目标处理核中的第一神经元对应的连接矩阵的步骤可以进一步包括：利用第二随机数产生器产生目标处理核中的第一神经元对应的连接矩阵，以使第一随机数产生器根据第一随机种子和连接矩阵，生成需要生成连接权重的第一神经元和第二神经元之间所对应的至少部分连接权重。
在该实施例中，利用第二随机数产生器产生目标处理核中的第一神经元对应的连接矩阵的步骤可以进一步包括：向第二随机数产生器发送第二控制信息。
在该实施例中，第二控制信息包含目标处理核中的第一神经元对应的权重稀疏度信息。
在该实施例中，第二随机数产生器用于响应于第二控制信息，根据第二随机种子，生成稀疏度与权重稀疏度信息相匹配的连接矩阵，并向第一随机数产生器发送目标处理核中的第一神经元对应的连接矩阵。
在该实施例中，第二随机种子可以包含预设的随机种子，第二随机种子可以预先设置和存储在第二随机数产生器中，第二随机数产生器可以根据预设的第二随机种子和权重稀疏度信息，生成稀疏度与权重稀疏度信息相匹配的连接矩阵，连接矩阵的稀疏度是指1元素所占的比例或0元素所占的比例。其中，权重稀疏度信息可以包含目标处理核中的第一神经元对应的权重稀疏度，以及，目标处理核中的第一神经元与第二神经元之间的连接关系，权重稀疏度即为在所有连接关系中，需要生成连接权重的连接关系所占的比例或者不需要生成连接权重的连接关系所占的比例。
其中，稀疏度与权重稀疏度信息相匹配的连接矩阵是指：连接矩阵中1元素所占的比例与权重稀疏度信息中需要生成连接权重的连接关系所占的比例相同，或者连接矩阵中0元素所占的比例与权重稀疏度信息中不需要生成连接权重的连接关系所占的比例相同。
其中，根据同一第二随机种子，第二随机数产生器每次生成的随机数序列是相同的。
在该实施例中，第二随机种子信息可以包含预设的随机种子，第二随机种子信息与上述第一随机种子信息不同，而与上述初始随机种子信息可以相同也可以不同，第二随机种子信息可以预先设置和存储在第二随机数产生器中，第二随机数产生器可以根据预设的随机种子和连接矩阵，生成具有连接关系的第一神经元和第二神经元所对应的至少部分连接权重。换言之，对于连接矩阵中对应1元素的第一神经元和第二神经元，第二随机数产生器根据第二随机种子信息，生成该1元素对应的第一神经元和第二神经元之间所对应的至少部分连接权重。
在该实施例中，关于第二随机数产生器可以根据预设的随机种子和连接矩阵，生成具有连接关系的第一神经元和第二神经元所对应的至少部分连接权重的描述，具体可以参见上述关于权重产生器根据初始随机种子信息和连接矩阵，生成具有连接关系的第一神经元和第二神经元所对应的至少部分连接权重的描述，此处不再赘述。
在一些实施例中，生成目标处理核中的第一神经元对应的连接矩阵的步骤可以进一步包括：从与第一神经元连接的多个第二神经元中，随机选取出一个第二神经元，并确定为与第一神经元之间需要生成连接权重的第二神经元；在选取出的第二神经元的数量小于目标数量的情况下，继续随机选取下一个第二神经元，并确定为与第一神经元之间需要生成连接权重的第二神经元；在选取出的第二神经元的数量等于目标数量的情况下，根据选取出的所有与第一神经元之间需要生成连接权重的第二神经元，生成目标处理核中的第一神经元对应的连接矩阵。
其中，随机选取第二神经元的次数可以大于或等于目标数量，选取出的所有与所述第一神经元之间需要生成连接权重的第二神经元为不同的第二神经元。
示例性地，可以将计数器的初始值配置为零，目标值配置为目标数量。具体地，与第一神经元连接的多个第二神经元中每个第二神经元具有一神经元标识，可以采用数字形式表示，例如，1、2、3、4….等，随机产生一个第二神经元的神经元标识，并将该第二神经元确定为与第一神经元之间需要生成连接权重的第二神经元，同时计数器的计数进行加1处理。在计数器的计数值小于目标数量的值的情况下，继续随机产生一个第二神经元的神经元标识，并将该第二神经元确定为与第一神经元之间需要生成连接权重的第二神经元，同时计数器的计数进行加1处理。在计数器的计数值等于目标数量的值的情况下，根据选取出的所有与第一神经元之间需要生成连接权重的第二神经元，生成目标处理核中的第一神经元对应的连接矩阵，例如，将与第一神经元之间需要生成连接权重的第二神经元所对应的矩阵元素置为1，将与第一神经元之间不需要生成连接权重的第二神经元所对应的矩阵元素置为0，从而生成目标处理核中的第一神经元对应的连接矩阵。
需要说明的是，在当前随机选取出的第二神经元的神经元标识与之前选取出的第二神经元的神经元标识重复时，则忽略当前选取出的第二神经元的神经元标识，继续随机选取下一个第二神经元的神经元标识。
图6为本公开实施例中一种第一随机数产生器的结构示意图，在一些实施例中，如图6所示，第一随机数产生器可以包括均匀数产生器和与均匀数产生器串行连接的分布变换器，均匀数产生器中预设有均匀分布函数和对应的均匀分布参数，分布变换器中配置有预设分布函数和对应的分布参数。
其中，均匀数产生器用于根据第一随机种子和连接矩阵，生成具有连接关系的第一神经元和第二神经元所对应的均匀随机数，所生成的均匀随机数满足均匀分布规律。
分布变换器用于将符合均匀分布的均匀随机数变换为符合预设分布规律的连接权重，具体用于根据预设分布函数和对应的分布参数，将均匀分布的均匀随机数变换为满足预设分布函数的连接权重，即满足预设分布规律的连接权重。其中，预设分布函数可以包括高斯分布函数或泊松分布函数。
在该实施例中，均匀数产生器可以包括至少一个线性反馈移位寄存器(LinearFeedback Shift Register，LFSR)。
在该实施例中，根据预设分布函数的不同，分布变换器的分布变换方式不同，分布变换器可以通过算法进行分布变换，也可以通过查表方式进行分布变换。
在一些实施例中，在配置有多个所述权重产生器的情况下，对于多个所述第一神经元，所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，包括：
利用多个所述权重产生器并行生成多个所述第一神经元对应的至少部分连接权重，其中，每个权重产生器用于生成一个第一神经元对应的至少部分连接权重。
在该实施例中，如需针对多个第一神经元或第二神经元进行膜电位积分运算，而每个第一神经元或第二神经元均使用对应的至少一个连接权重进行运算，则可以利用对应的多个权重产生器并行生成该多个第一神经元对应的连接权重。
在该实施例中，对于每个权重产生器生成第一神经元对应的连接权重的描述可以参见上述的描述，此处不再赘述。应理解，多个权重产生器可以复用，以生成较多数量的第一神经元对应的连接权重。
通过这种方式，可以提高生成连接权重的效率。
图7为本公开实施例提供的一种权重生成方法的流程图，参照图7，本公开实施例提供一种权重生成方法，该方法应用于众核***的处理核，该方法可以由权重生成装置的来执行，该装置可以通过软件和/或硬件的方式实现，该装置可以集成于众核***的处理核中，该权重生成方法包括：
步骤S11、接收至少一个生成核发送的第一神经元对应的至少部分连接权重。
其中，所述第一神经元对应的至少部分连接权重是所述生成核利用预设的权重产生器生成的，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
其中，生成核可以是前文所述的可以利用预设的权重产生器生成所述第一神经元对应的至少部分连接权重的处理核，生成核的数量可以为一个或多个。
示例性地，在处理核短时间内需要大量的权重参数时，可以分别接收多个生成核生成的第一神经元对应的至少部分连接权重，以快速确定该第一神经元对应的目标连接权重。
如前所述，每个生成核可以是响应于接收到的权重生成指令或者是根据预存储的权重生成指令，生成并发送第一神经元对应的至少部分连接权重，在此不再赘述。
在一些可选的实施例中，所述方法还包括：
确定目标存储空间中是否包括所述第一神经元对应的所有目标连接权重；
若不包括，则根据所述目标存储空间中不包括的目标连接权重，确定权重生成指令；
向至少一个所述生成核发送所述权重生成指令，其中，所述目标存储空间包括片内存储空间和/或片外存储器。
权重生成指令用于生成目标存储空间中不包括的所述第一神经元对应的目标连接权重，权重生成指令可以为多个，每个权重生成指令可以对应于一个生成核，可以通过片上网络分别将权重生成指令发送给对应的生成核。只要生成核可以根据权重生成指令生成目标存储空间中不包括的所述第一神经元对应的目标连接权重即可，本公开对此不做限制。
图8为本公开实施例提供的一种数据处理方法的流程图，参照图8，本公开实施例提供一种数据处理方法，该方法应用于众核***的处理核，该方法可以由数据处理装置的来执行，该装置可以通过软件和/或硬件的方式实现，该装置可以集成于众核***的处理核中，该数据处理方法包括：
步骤S21、响应于接收到输入脉冲，利用上述权重生成方法，获取目标处理核中与所述输入脉冲对应的第一神经元所对应的连接权重；所述连接权重为所述第一神经元与所述第二神经元之间的连接权重。
其中，第二神经元为第一神经元的前继神经元，输入脉冲为第二神经元发送给目标处理核中第一神经元的发放脉冲。
在一些可选的实施例中，第二神经元位于目标处理核的前继处理核中，可以通过接收前继处理核的路由包，路由包可以包括但不限于：输入脉冲、发放该输入脉冲的第二神经元的标识、目的处理核(即目标处理核)的标识、目的神经元(即第一神经元)的标识。第一神经元所对应的连接权重为第一神经元与前继处理核中的第二神经元之间的连接权重。
在一些可选的实施例中，第二神经元位于目标处理核中，可以由目标处理核确定发放脉冲给第一神经元的第二神经元以及第一神经元与第二神经元之间的连接权重。
步骤S22、根据所述第一神经元对应的所述输入脉冲与对应的所述连接权重，对所述第一神经元进行膜电位积分运算。
具体地，根据第一神经元对应的输入脉冲与对应的连接权重，对第一神经元进行膜电位积分运算的步骤可以包括：将连接到第一神经元的所有输入脉冲，根据对应的连接权重进行加权并求和，得到第一神经元的积分电位。根据第一神经元对应的输入脉冲与对应的连接权重，对第一神经元进行膜电位积分运算的步骤之后，还包括：将第一神经元的积分电位与历史膜电位进行相加，以更新第一神经元的膜电位，在更新后的膜电位超过预设膜电位阈值的情况下，确定第一神经元满足发放条件，即需发放脉冲，否则确定第一神经元不满足发放条件，即无需发放脉冲。
图9为本公开实施例提供的另一种数据处理方法的流程图，参照图9，本公开实施例提供另一种数据处理方法，该方法应用于众核***的处理核，该方法可以由数据处理装置的来执行，该装置可以通过软件和/或硬件的方式实现，该装置可以集成于众核***的处理核中，该数据处理方法包括：
步骤S31、在目标处理核的第一神经元满足发放条件的情况下，利用上述权重生成方法，获取所述第一神经元与第二神经元之间的连接权重。
步骤S32、向所述第二神经元发送输入信息，所述输入信息包括输入脉冲以及所述第一神经元与所述第二神经元之间的连接权重，以供所述第二神经元根据所述输入脉冲和所述连接权重，进行膜电位积分运算。
其中，第二神经元为第一神经元的后继神经元，输入脉冲为第一神经元发送给第二神经元的发放脉冲。
在一些可选的实施例中，第二神经元位于目标处理核的后继处理核中。输入脉冲为目标处理核发送给后继处理核的脉冲。具体地，向后继处理核发送的输入信息可以包括但不限于：输入脉冲、发放该输入脉冲的第一神经元的标识、目的处理核(即后继处理核)的标识、目的神经元(即第二神经元)的标识。
在一些可选的实施例中，第二神经元位于目标处理核中，可以由目标处理核确定发放脉冲给第二神经元的第一神经元以及第一神经元与第二神经元之间的连接权重。
关于对第二神经元进行膜电位积分运算的过程的具体描述可参见上述关于根据第一神经元对应的输入脉冲与对应的连接权重，对第一神经元进行膜电位积分运算的步骤的描述，此处不再赘述。
图10为本公开实施例提供的一种权重生成装置的组成框图，该装置应用于众核***的处理核，众核***包括多个处理核，处理核包括多个神经元，如图10所示，权重生成装置300包括：控制模块301和权重产生器302。
控制模块301被配置为控制所述权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重；
其中，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
在一些实施例中，权重产生器302包括第一随机数产生器；控制模块301被配置为：向第一随机数产生器发送第一控制信息，第一控制信息包含目标处理核中的第一神经元对应的连接矩阵，连接矩阵包括用于表征目标处理核中的第一神经元与各第二神经元之间是否需要生成连接权重的信息。第一随机数产生器被配置为响应于第一控制信息，根据第一随机种子和连接矩阵，生成需要生成连接权重的第一神经元和第二神经元之间所对应的至少部分连接权重。
在一些实施例中，如图5和图10所示，权重产生器302包括第一随机数产生器和与第一随机数产生器连接的第二随机数产生器。控制模块301被配置为：利用第二随机数产生器生成目标处理核中的第一神经元对应的连接矩阵，连接矩阵包括用于表征目标处理核中的第一神经元与第二神经元之间是否需要生成连接权重的信息。第一随机数产生器被配置为：根据第一随机种子和连接矩阵，生成需要生成连接权重的第一神经元和第二神经元之间所对应的至少部分连接权重。
在一些实施例中，如图5和图10所示，控制模块301被配置为：向第二随机数产生器发送第二控制信息，控制信息包含目标处理核中的第一神经元对应的权重稀疏度信息。第二随机数产生器被配置为：响应于第二控制信息，根据第二随机种子，生成稀疏度与权重稀疏度信息相匹配的连接矩阵；向第一随机数产生器发送目标处理核中的第一神经元对应的连接矩阵。
在一些实施例中，如图6所示，第一随机数产生器包括均匀数产生器和与均匀数产生器连接的分布变换器，分布变换器中配置有预设分布函数和对应的分布参数。均匀数产生器被配置为：根据第一随机种子和连接矩阵，生成需要生成连接权重的第一神经元和第二神经元所对应的均匀随机数，均匀随机数满足均匀分布规律。分布变换器被配置为：根据预设分布函数和对应的分布参数，将均匀随机数变换为满足预设分布函数的连接权重。
关于权重生成装置300以及权重产生器302的具体实现方式可以参见上述权重生成方法的实施例中的描述，此处不再赘述。
本公开实施例提供的另一种权重生成装置，该装置应用于众核***的处理核，所述众核***包括多个处理核，所述处理核包括多个神经元，包括：
接收单元，被配置为接收至少一个生成核发送的第一神经元对应的至少部分连接权重。
其中，所述第一神经元对应的至少部分连接权重是所述生成核利用预设的权重产生器生成的，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
该权重生成装置的实现方式可以参见上述权重生成方法的实施例中的描述，此处不再赘述。
图11为本公开实施例提供的一种数据处理装置的组成框图，如图11所示，该数据处理装置400包括权重获取单元401和积分发放单元402。
权重获取单元401被配置为响应于接收到输入脉冲，利用如上述权重生成装置获取目标处理核中与所述输入脉冲对应的第一神经元所对应的连接权重；所述连接权重为所述第一神经元与所述第二神经元之间的连接权重。积分发放单元402被配置为根据所述第一神经元对应的所述输入脉冲与对应的所述连接权重，对所述第一神经元进行膜电位积分运算。
在一些实施例中，权重获取单元401可以采用上述权重生成装置。
关于数据处理装置400的具体实现方式可以参见上述权重生成装置以及图8所示的数据处理方法的实施例中的描述，此处不再赘述。
图12为本公开实施例提供的一种数据处理装置的组成框图，如图12所示，该数据处理装置500包括权重获取单元501和积分发放单元502。
权重获取单元501被配置为被配置为在目标处理核的第一神经元满足发放条件的情况下，利用上述权重生成装置获取所述第一神经元与第二神经元之间的连接权重。积分发放单元502被配置为向所述第二神经元发送输入信息，所述输入信息包括输入脉冲以及所述第一神经元与所述第二神经元之间的连接权重，以供所述第二神经元根据所述输入脉冲和所述连接权重，进行膜电位积分运算。
在一些实施例中，权重获取单元501可以采用上述权重生成装置。
关于数据处理装置500的具体实现方式可以参见上述权重生成装置以及图9所示的数据处理方法的实施例中的描述，此处不再赘述。
本公开实施例还提供了一种处理核，该处理核包括上述的权重生成装置。
本公开实施例还提供了一种处理核，该处理核包括上述的数据处理装置。
本公开实施例还提供了一种处理核，该处理核包括上述的权重生成装置和上述的数据处理装置。
本公开实施例还提供了一种众核***，其包括多个处理核，至少一个处理核采用上述任一个实施例所述的处理核。
图13为本公开实施例提供的一种电子设备的组成框图。
参照图13，本公开实施例提供了一种电子设备，该电子设备包括多个处理核601以及片上网络602，其中，多个处理核601均与片上网络602连接，片上网络602用于交互多个处理核间的数据和外部数据。
其中，一个或多个处理核601中存储有一个或多个指令，一个或多个指令被一个或多个处理核601执行，以使一个或多个处理核601能够执行上述的权重生成方法或者数据处理方法。
此外，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，计算机程序在被处理核执行时实现上述的权重生成方法或者数据处理方法。
本公开实施例还提供了一种计算机程序产品，其包括计算机程序，所述计算机程序在被处理核执行时实现上述的权重生成方法或者数据处理方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。
Claims (20)
1.一种权重生成方法，应用于众核***的处理核，所述众核***包括多个处理核，所述处理核包括多个神经元，所述权重生成方法包括：
利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重；
其中，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
2.根据权利要求1所述的权重生成方法，其中，在所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重之前，还包括：接收所述目标处理核的权重生成指令；
所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，包括：
根据所述权重生成指令，利用预设的权重产生器生成所述第一神经元对应的至少部分连接权重。
3.根据权利要求1所述的权重生成方法，所述处理核包括指令存储空间，所述指令存储空间中包括权重生成指令，所述权重生成指令包括指令执行时间拍，
其中，所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，包括：
在所述指令执行时间拍开始时，从所述指令存储空间中获取并执行所述权重生成指令，利用预设的权重产生器生成所述第一神经元对应的至少部分连接权重。
4.根据权利要求1所述的权重生成方法，其中所述权重产生器包括第一随机数产生器；所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，包括：
向所述第一随机数产生器发送第一控制信息，所述第一控制信息包含目标处理核中的第一神经元对应的连接矩阵，所述连接矩阵包括用于表征所述第一神经元与各第二神经元之间是否需要生成连接权重的信息；
所述第一随机数产生器用于响应于所述第一控制信息，根据第一随机种子和所述连接矩阵，生成需要生成连接权重的所述第一神经元和所述第二神经元之间所对应的至少部分连接权重。
5.根据权利要求1所述的权重生成方法，其中所述权重产生器包括第一随机数产生器；
所述利用预设的权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重，包括：
生成目标处理核中的第一神经元对应的连接矩阵，所述连接矩阵包括用于表征所述第一神经元与各第二神经元之间是否需要生成连接权重的信息；
利用所述第一随机数产生器根据第一随机种子和所述连接矩阵，生成需要生成连接权重的第一神经元和第二神经元之间所对应的至少部分连接权重。
6.根据权利要求5所述的权重生成方法，其中所述权重产生器还包括与所述第一随机数产生器连接的第二随机数产生器；
所述生成目标处理核中的第一神经元对应的连接矩阵，包括：
利用所述第二随机数产生器生成目标处理核中的第一神经元对应的所述连接矩阵。
7.根据权利要求6所述的权重生成方法，其中所述利用所述第二随机数产生器生成目标处理核中的第一神经元对应的连接矩阵，包括：
向所述第二随机数产生器发送第二控制信息，所述第二控制信息包含目标处理核中的第一神经元对应的权重稀疏度信息，以使所述第二随机数产生器执行以下处理：
响应于所述第二控制信息，根据第二随机种子，生成稀疏度与所述权重稀疏度信息相匹配的所述连接矩阵；
向所述第一随机数产生器发送目标处理核中的第一神经元对应的所述连接矩阵。
8.根据权利要求5所述的权重生成方法，其中所述生成目标处理核中的第一神经元对应的连接矩阵，包括：
从与所述第一神经元连接的多个所述第二神经元中，随机选取出一个第二神经元，并确定为与所述第一神经元之间需要生成连接权重的第二神经元；
在选取出的第二神经元的数量小于目标数量的情况下，继续随机选取下一个第二神经元，并确定为与所述第一神经元之间需要生成连接权重的第二神经元；
在选取出的第二神经元的数量等于目标数量的情况下，根据选取出的所有与所述第一神经元之间需要生成连接权重的第二神经元，生成目标处理核中的第一神经元对应的所述连接矩阵。
9.根据权利要求4-8中任一项所述的权重生成方法，其中所述第一随机数产生器包括均匀数产生器和与所述均匀数产生器连接的分布变换器，所述分布变换器中配置有预设分布函数和对应的分布参数；
所述均匀数产生器用于根据所述第一随机种子和所述连接矩阵，生成需要生成连接权重的第一神经元和第二神经元所对应的均匀随机数，所述均匀随机数满足均匀分布规律；
所述分布变换器用于根据所述分布参数和所述预设分布函数，将所述均匀随机数变换为满足预设分布函数的所述连接权重。
10.一种权重生成方法，应用于众核***的处理核，所述众核***包括多个处理核，所述处理核包括多个神经元，方法包括：
接收至少一个生成核发送的第一神经元对应的至少部分连接权重，
其中，所述第一神经元对应的至少部分连接权重是所述生成核利用预设的权重产生器生成的，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
11.一种数据处理方法，包括：
响应于接收到输入脉冲，利用上述权利要求1-10中任一项所述的权重生成方法，获取目标处理核中与所述输入脉冲对应的第一神经元所对应的连接权重；所述连接权重为所述第一神经元与所述第二神经元之间的连接权重；
根据所述第一神经元对应的所述输入脉冲与对应的所述连接权重，对所述第一神经元进行膜电位积分运算。
12.一种数据处理方法，包括：
在目标处理核的第一神经元满足发放条件的情况下，利用上述权利要求1-10中任一项所述的权重生成方法，获取所述第一神经元与第二神经元之间的连接权重；
向所述第二神经元发送输入信息，所述输入信息包括输入脉冲以及所述第一神经元与所述第二神经元之间的连接权重，以供所述第二神经元根据所述输入脉冲和所述连接权重，进行膜电位积分运算。
13.一种权重生成装置，应用于众核***的处理核，所述众核***包括多个处理核，所述处理核包括多个神经元，所述权重生成装置包括：控制模块和权重产生器；
所述控制模块，被配置为控制所述权重产生器生成目标处理核中的第一神经元对应的至少部分连接权重；
其中，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
14.一种权重生成装置，应用于众核***的处理核，所述众核***包括多个处理核，所述处理核包括多个神经元，包括：
接收单元，被配置为接收至少一个生成核发送的第一神经元对应的至少部分连接权重，
其中，所述第一神经元对应的至少部分连接权重是所述生成核利用预设的权重产生器生成的，所述连接权重为所述第一神经元与第二神经元之间的连接权重，所述连接权重用于进行对应的第一神经元或第二神经元的膜电位积分运算。
15.一种数据处理装置，包括：
权重获取单元，被配置为响应于接收到输入脉冲，利用如权利要求13所述的权重生成装置或者权利要求14所述的权重生成装置获取目标处理核中与所述输入脉冲对应的第一神经元所对应的连接权重；所述连接权重为所述第一神经元与所述第二神经元之间的连接权重；
积分发放单元，被配置为根据所述第一神经元对应的所述输入脉冲与对应的所述连接权重，对所述第一神经元进行膜电位积分运算。
16.一种数据处理装置，包括：
权重获取单元，被配置为在目标处理核的第一神经元满足发放条件的情况下，利用如权利要求13所述的权重生成装置或者权利要求14所述的权重生成装置获取所述第一神经元与第二神经元之间的连接权重；
积分发放单元，被配置为向所述第二神经元发送输入信息，所述输入信息包括输入脉冲以及所述第一神经元与所述第二神经元之间的连接权重，以供所述第二神经元根据所述输入脉冲和所述连接权重，进行膜电位积分运算。
17.一种处理核，包括权重生成装置和/或数据处理装置；
所述权重生成装置包括如权利要求13或14所述的权重生成装置；
所述数据处理装置包括如权利要求15所述的数据处理装置，或者如权利要求16所述的数据处理装置。
18.一种众核***，包括多个处理核，至少一个所述处理核采用如权利要求17所述的处理核。
19.一种电子设备，包括：
多个处理核；以及
片上网络，被配置为交互所述多个处理核间的数据和外部数据；
一个或多个所述处理核中存储有一个或多个指令，一个或多个所述指令被一个或多个所述处理核执行，以使一个或多个所述处理核能够执行如权利要求1-10中任一项所述权重生成方法，或者如权利要求11所述的数据处理方法，或者如权利要求12所述的数据处理方法。
20.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理核心执行时实现如权利要求1-10中任一项所述权重生成方法，或者如权利要求11所述的数据处理方法，或者如权利要求12所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110976731.XA CN113673688A (zh) | 2021-08-24 | 2021-08-24 | 权重生成方法、数据处理方法及装置、电子设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110976731.XA CN113673688A (zh) | 2021-08-24 | 2021-08-24 | 权重生成方法、数据处理方法及装置、电子设备、介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113673688A true CN113673688A (zh) | 2021-11-19 |
Family
ID=78545735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110976731.XA Pending CN113673688A (zh) | 2021-08-24 | 2021-08-24 | 权重生成方法、数据处理方法及装置、电子设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673688A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023134561A1 (zh) * | 2022-01-11 | 2023-07-20 | 北京灵汐科技有限公司 | 数据处理方法及装置、电子设备、计算机可读介质 |
| WO2023208243A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京灵汐科技有限公司 | 权重存储方法、传输方法、计算方法、装置、***和设备 |
| WO2023208027A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京灵汐科技有限公司 | 信息处理方法及处理单元、设备、介质、产品 |
| WO2023208178A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京灵汐科技有限公司 | 信息处理方法及处理单元、芯片、设备、介质、产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150039546A1 (en) * | 2013-08-02 | 2015-02-05 | International Business Machines Corporation | Dual deterministic and stochastic neurosynaptic core circuit |
| CN106127301A (zh) * | 2016-01-16 | 2016-11-16 | 上海大学 | 一种随机神经网络硬件实现装置 |
| US20190042913A1 (en) * | 2018-01-30 | 2019-02-07 | Intel Corporation | Memoryless weight storage hardware for neural networks |
| CN112352248A (zh) * | 2018-06-19 | 2021-02-09 | 奥利拜技术股份有限公司 | 用于利用表征神经网络连接的参数基因组作为构建块来构造具有前馈和反馈路径的神经网络的装置和方法 |
| CN112348177A (zh) * | 2019-07-05 | 2021-02-09 | 安徽寒武纪信息科技有限公司 | 神经网络模型验证方法、装置、计算机设备和存储介质 |
| CN112698811A (zh) * | 2021-01-11 | 2021-04-23 | 湖北大学 | 神经网络随机数发生器共享电路、共享方法、处理器芯片 |
-
2021
- 2021-08-24 CN CN202110976731.XA patent/CN113673688A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150039546A1 (en) * | 2013-08-02 | 2015-02-05 | International Business Machines Corporation | Dual deterministic and stochastic neurosynaptic core circuit |
| CN106127301A (zh) * | 2016-01-16 | 2016-11-16 | 上海大学 | 一种随机神经网络硬件实现装置 |
| US20190042913A1 (en) * | 2018-01-30 | 2019-02-07 | Intel Corporation | Memoryless weight storage hardware for neural networks |
| CN112352248A (zh) * | 2018-06-19 | 2021-02-09 | 奥利拜技术股份有限公司 | 用于利用表征神经网络连接的参数基因组作为构建块来构造具有前馈和反馈路径的神经网络的装置和方法 |
| CN112348177A (zh) * | 2019-07-05 | 2021-02-09 | 安徽寒武纪信息科技有限公司 | 神经网络模型验证方法、装置、计算机设备和存储介质 |
| CN112698811A (zh) * | 2021-01-11 | 2021-04-23 | 湖北大学 | 神经网络随机数发生器共享电路、共享方法、处理器芯片 |
Non-Patent Citations (3)
| Title |
|---|
| SEONGCHUL PARK ETAL.: "The weights initialization methodology of unsupervised neural networks to improve clustering stability", THE JOURNAL OF SUPERCOMPUTING, vol. 76, 12 July 2019 (2019-07-12), XP037195473, DOI: 10.1007/s11227-019-02940-4 * |
| 李莉 等: "基于压缩感知的回声状态神经网络在时间序列预测中的应用", 软件导刊, no. 04, 15 April 2020 (2020-04-15) * |
| 罗熊 等: "回声状态网络的研究进展", 北京科技大学学报, vol. 34, no. 2, 24 February 2012 (2012-02-24) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023134561A1 (zh) * | 2022-01-11 | 2023-07-20 | 北京灵汐科技有限公司 | 数据处理方法及装置、电子设备、计算机可读介质 |
| WO2023208243A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京灵汐科技有限公司 | 权重存储方法、传输方法、计算方法、装置、***和设备 |
| WO2023208027A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京灵汐科技有限公司 | 信息处理方法及处理单元、设备、介质、产品 |
| WO2023208178A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京灵汐科技有限公司 | 信息处理方法及处理单元、芯片、设备、介质、产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113673688A (zh) | 权重生成方法、数据处理方法及装置、电子设备、介质 | |
| US10713561B2 (en) | Multiplexing physical neurons to optimize power and area | |
| US8655813B2 (en) | Synaptic weight normalized spiking neuronal networks | |
| CN108460460A (zh) | 用于经优化机器学习训练的技术 | |
| CN106845633B (zh) | 神经网络信息转换方法和*** | |
| CN103699440A (zh) | 一种云计算平台***为任务分配资源的方法和装置 | |
| US20140214739A1 (en) | Cortical simulator | |
| CN107783840A (zh) | 一种分布式多层深度学习资源分配方法和装置 | |
| CN108154232A (zh) | 人工神经网络的剪枝方法、装置、设备及可读存储介质 | |
| KR20220009682A (ko) | 분산 기계 학습 방법 및 시스템 | |
| CN111353591A (zh) | 一种计算装置及相关产品 | |
| CN117634564B (zh) | 一种基于可编程神经拟态核的脉冲延时测量方法及*** | |
| US11709910B1 (en) | Systems and methods for imputing missing values in data sets | |
| CN112949853B (zh) | 深度学习模型的训练方法、***、装置及设备 | |
| CN115794570A (zh) | 压力测试方法、装置、设备及计算机可读存储介质 | |
| CN114781630A (zh) | 权重数据存储方法及装置、芯片、电子设备、可读介质 | |
| US20220036190A1 (en) | Neural network compression device | |
| CN114925817A (zh) | 数据处理方法、延迟链单元、延迟装置、众核*** | |
| CN114595815A (zh) | 一种面向传输友好的云-端协作训练神经网络模型方法 | |
| CN108764464B (zh) | 神经元信息发送方法、装置和存储介质 | |
| CN114721599A (zh) | 权重数据存储方法及装置、芯片、电子设备、可读介质 | |
| WO2023208243A1 (zh) | 权重存储方法、传输方法、计算方法、装置、***和设备 | |
| EP3830763A1 (en) | Data processing module, data processing system and data processing method | |
| CN114792128A (zh) | 权重数据传输的方法、众核***、电子设备、介质 | |
| CN116663622A (zh) | 一种生物可信的神经元计算电路及计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |