CN105701540B - 一种自生成神经网络构建方法 - Google Patents
一种自生成神经网络构建方法 Download PDFInfo
- Publication number
- CN105701540B CN105701540B CN201610015589.1A CN201610015589A CN105701540B CN 105701540 B CN105701540 B CN 105701540B CN 201610015589 A CN201610015589 A CN 201610015589A CN 105701540 B CN105701540 B CN 105701540B
- Authority
- CN
- China
- Prior art keywords
- neuron
- output
- network
- self
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007935 neutral effect Effects 0.000 title claims abstract description 28
- 238000010276 construction Methods 0.000 title claims abstract description 12
- 210000002569 neuron Anatomy 0.000 claims abstract description 126
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000001537 neural effect Effects 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 18
- 210000005036 nerve Anatomy 0.000 claims abstract description 9
- 230000008859 change Effects 0.000 claims description 23
- 210000004205 output neuron Anatomy 0.000 claims description 19
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 7
- 230000000638 stimulation Effects 0.000 claims description 7
- 210000002856 peripheral neuron Anatomy 0.000 claims description 4
- 238000000137 annealing Methods 0.000 claims description 3
- 230000002068 genetic effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 210000004556 brain Anatomy 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 210000004218 nerve net Anatomy 0.000 description 8
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 230000012010 growth Effects 0.000 description 6
- 229910052710 silicon Inorganic materials 0.000 description 6
- 239000010703 silicon Substances 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000002364 input neuron Anatomy 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013529 biological neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 240000002627 Cordeauxia edulis Species 0.000 description 2
- 230000003698 anagen phase Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 1
- 206010036590 Premature baby Diseases 0.000 description 1
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010429 evolutionary process Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000003585 interneuronal effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 230000003518 presynaptic effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
一种自生成神经网络构建方法，包括如下步骤：步骤1，加入刺激信号；步骤2，评估神经元输出强度，确定该神经元的连接方向，不断形成网络连接，最终生成初始网络；步骤3，计算连向目标神经元的位置与概率；步骤4，判断当前网络生成过程是否停止，如果是，则转入步骤5，否则转入步骤2继续；步骤5，通过寻优算法，优化网络连接；步骤6，判断是否还需要加入刺激，如果否，则结束，否则转入步骤1；本发明提出的网络为自生成的网络，可有效减小人为主观因素影响，此外本网络的生成过程与生物神经理论为基础，为进一步探索神经脑，从而实现真正的智能带来可能。
Description
技术领域
本发明属于神经网络计算技术领域，涉及面向软件建模方法和硬件实现的神经网络自生成方法，特别涉及一种自生成神经网络构建方法。
背景技术
计算机发展到今天，无论是计算能力还是功耗在性能上都得到了本质上的提升。但随着人们需求的多样化，当下的计算机结构暴露的问题也越累越多。自然界提供的信息处理问题有结构性和非结构性两种。结构性问题是指可用数学语言清楚而严格地描述，且可将问题的实现算法公式化，并映射到计算机程序，然后由计算机条指令处理。在求解这类问题时，传统的冯诺依曼机的能力远远超过人类。而非结构性问题是指无法用算法描述的问题，人们难以把自己的认识翻译成机器指令或仅能极其粗略地进行。因此，传统计算机在进行诸如图象处理与景物分析、语言识别与理解、智能机器人控制时，则与人类能力相差甚远，甚至无能为力。
神经网络的发展大致可分为三个阶段。1947～1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等。1970～1986年为过渡期，在此期间，Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1987年至今为发展期，形成神经网络发展的一个高潮。代表性的有CNN(卷积神经网络)和RNN(循环神经网络)。当下人工神经网络在图像识别、语音识别等方向取得了很大的成功。但其结构决定了它无法实现生物体一样的智能。
现代人工神经网或者脉冲神经网设计中一个最大缺陷就是神经网不能自组织，自生长。而是需要外部***干预才能够改变自身状态。比如神经元之间的连接关系，权值调整等等。这就注定了这种方式不能像生物神经元一样根据外部的刺激自我生长，修复，也就无法实现自学习功能。因此要彻底改变人工神经网的局限性，就必须让人工神经网具备自组织，自生长功能。
现已知的生物神经网络模型有：Kohonen神经网络模型，每个神经元结构相同，但受刺激后，产生连接权值不同，在外界刺激下，不断接收信号，不断执行聚类过程，形成经验；Hebb学习规则，神经网络的学习过程最终是发生在神经元之间的突触部位，突触的联结强度随着突触前后神经元的活动而变化，变化的量与两个神经元的活性之和成正比。神经网络生成规则可分为两个阶段，生长阶段：未成熟神经细胞柔弱的轴突在刺激信号的引导下，试探地穿行于正处于发育阶段的大脑之中。一旦轴突的末端找到了其正确的栖息地，它就开始与周围神经元细胞建立尽可能广泛的突触联系，以便传导信息。成熟阶段：脊椎动物出生后早期发育中的一个特征是，神经连接的消除。由于生长阶段建立的广泛连接，并不是所有连接都是高效的。在外部信号的长期刺激下，正确的信息传递会使链接会变的更加稳固，反之则萎缩分离。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种自生成神经网络构建方法，将生物神经模型的特点和适当的启发式算法映射到硅基电路上，使神经网络可以通过该模型自生成和自组织，避免了人工神经网络的缺点。
为了实现上述目的，本发明采用的技术方案是：
一种自生成神经网络构建方法，包括如下步骤：
步骤1，加入刺激信号；
步骤2，评估神经元输出强度，确定该神经元的连接方向，不断形成网络连接，最终生成初始网络；
步骤3，计算连向目标神经元的位置与概率；
步骤4，判断当前网络生成过程是否停止，如果是，则转入步骤5，否则转入步骤2继续；
步骤5，通过寻优算法，优化网络连接；
步骤6，判断是否还需要加入刺激，如果否，则结束，否则转入步骤1。
所述神经网络中的神经元具备对输入进行运算然后输出的功能，神经元和神经元之间能够通过连接进行信号传递，神经元在接收到输入信号时，对输入信号进行运算并存储相关信息；所述神经元位置在空间布局上呈规则的二维排列，同时给每个神经元一个确定的坐标值。
通过修改代码，使得神经元具备阈值判断和发射脉冲的功能，即具备输入运算然后输出的功能，该部分代码是一个可以改变计算模式的黑盒子；
所述输入信号指当前神经元接收到的来自其他神经元的输出信号，所述运算为阈值判断，即输出值超出某个范围，则输出为1；存储的相关信息指每个神经元的输入输出信号和阈值判断值，即将每个神经元看作一个可计算、可存储的单元。
本发明中，网络初始神经元数量可设定为49，最终大小设定为10000。
刺激信号为静态的0,1信息，通过输入转换模块，将静态的0,1信息输入转变为动态脉冲信号，即输入为1时，不断发射脉冲，为0时，不产生脉冲，从而使整个网络的生成过程由静态过程转化为动态过程。
所述步骤2中，根据神经元输出强度，确定该神经元的连接方向的规则如下：
每20个时钟周期统计一次该神经元输出的变化，则该神经元的输出在该20个时钟周期内变化了M次，0≤M≤20，如果M为0，则不产生连线；若M为1到5，则连向该神经元周边距离为1范围内的神经元；如果M为6到10，则连向该神经元周边距离为2范围内的神经元；如果M为11到15，则连向该神经元周边距离为3范围内的神经元；如果M为16到20，则连向该神经元周边距离为4范围内的神经元。
在连接范围内，该神经元连向被连接神经元的概率如下：
其中i和j表示被连接神经元的横坐标和纵坐标，kij为连向被连接神经元的连线数量，求和是指对连接范围内所有被连接神经元的连线数量或者横坐标值相加。
所述步骤4中，通过如下任一方式判断信号是否到达输出：
方式一，判断输出神经元的输出在20个时钟周期内是否发生变化，变化则说明到达输出；
方式二，观察输出神经元，看是否有连线连向它，如有，则说明信号已到达输出；
当所有的输出神经元中，超过设定个数的输出神经元有脉冲输出，则说明网络生成完成。
所述步骤5中，寻优算法为遗传算法、遍历算法或退火算法，以其中任意设定的神经元的输出作为参考量，通过算法，去除网络中冗余部分。具体地，设定A个神经元的输出作为参考量，当检测到有B个神经元的输出在变化，则停止网络的生成，进入减线阶段；从头开始遍历每一条连接线，每删除一条，观察该A个神经元的输出是否发生变化，如果发生变化，则不删除该条连线，如果不变，则认为该线段对***不产生影响，为冗余部分，将其删除，一直进行该过程，直到遍历完所有连线，则计算完成。
所述步骤6中，判断是否还需要加入刺激的具体依据是：输出神经元中的变化的神经元数量达到设定值。
相比于传统的只可改变神经元的权值的神经网络，本发明提出了一种网络整体可变的方式，即连接方式、神经元的计算单元、连接权重均是可变的，本发明提出的网络为自生成的网络，与传统的神经网络全部为人为设定的实现方式完全不同，可有效减小人为主观因素影响。此外本网络的生成过程与生物神经理论为基础，为进一步探索神经脑，从而实现真正的智能带来可能。
附图说明
图1是当处于中心处的神经元输出值为8～11时，其可能连向的周围神经元的位置，如图所示有25个神经元。
图2是网络构建的流程图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
生物神经网经过了漫长的进化过程，才形成了异常复杂、规模庞大的神经网络***。生物学家对生物神经网的研究工作已经进行了上百年，至今还对生物神经网的工作原理知之甚少。更不用说对脑神经这种具备认知、学习、创新方式的神经网原理的理解。面对这样复杂的神经网络，需要调整研究的方法。不能继续按照人工神经网的研究思路进行，而应该从仿生学角度研究自组织、自生长硅基神经网的研究工作。这里需要明确说明的是不要试图复制一个和生物神经网相同或者类似的硅基神经网。而是应该研究如何让硅基神经网可以像生物神经网一样在接收外部刺激的情况下实现自组织，自生长和自学习。
硅基神经网的特点是已经具有足够多的神经元数量，但是问题是无法有效地组织起来并能够自生长最终实现自学习功能。因此本申请设计一种机制可以解决这个问题。首先设计神经元网络的自生成规则：
1.单个神经元有输入输出能力，并且能够对输入信号进行一定的加工，然后进行输出。即神经元内部计算单元可以根据需求改定。
在本次验证中采用Integrate-and-fire模型作为神经元的内部计算方式，该模型为一个阈值判断模型，当输入大于某一阈值时，输出将变为高电平。
2.网络能够对输出信号按照时间进行强度统计(此处的强度是指单位时间内输出信号变化的大小)。如果神经元输出强度超过一个阈值就和周围神经元生成一个新的连接，并且把输出传递过去。
3.根据输出的强度来决定选择多远距离的神经元。如果输出强度高，就连接附近的，如果输出强度低，就连接远处的。
4.神经元发射脉冲之后，要决定脉冲传输通道强度的问题。这个通过连线上的权值确定。
5.本发明设定神经元的排列为规则的二维排列，每个神经元有其对应的坐标值，如图1所示。输入神经元坐标定在较小的位置，输出神经元坐标放在较大位置。神经元连接输出神经元的时候可以设置优先级，优先选择坐标大的神经元进行连接。即神经元优先向输出神经元方向传输信号。
6.由于输入为静态的高低电平输入，通过一个转换模块将输入转换为一个随时间变化的脉冲信号。开始网络中只有少数的输入神经元被激活，其余未被激活的神经元可以认为暂时不存在。对于神经网的输入神经元，外界给予一个连续的电刺激信号。该神经元会按照其基本功能向相邻神经元生长出连接，并且把电信号传递出去。当电信号传递到指定神经元时，停止或者减少在输入神经元给予电刺激信号。这样就自生长，自学习出一个神经网络。
以上是神经网络的生成规则，其后还需要针对自学习方式进行设计，通过加入启发式的算法使得网络可学习得到特定的性能。
1.将上述生成步骤中得到的神经网络，通过启发式算法删除网络中的冗余部分，直到网络得到预期的稳定输出，则第一轮优化完成。
2.在得到稳定网络的基础上，同时重复上述6个步骤，本次网络的输入项为与上次不同的刺激信号。得到网络后减除冗余项，一直循环迭代直到网络得到稳定输出。
本发明的验证先采用软件模拟平台进行功能上的验证，模拟器利用C++进行编写，在GPU上进行仿真加速。为了可以模拟出各种神经元的效果，本发明中对多种神经元的运算方式进行模拟，此外还可以根据用户需求自行开发相应的神经元运算单元。当得到确定的网络结构后，再利用硬件对该网络的结构进行实现。
以上是本发明的基本规则和原理，下面结合附图2说明本发明的具体生成步骤。
生物神经网路的发展是一个由简单到复杂的推进过程，并且发展过程中网络的生长方式受到外界刺激的影响。本发明通过模拟生物神经网络的自组织过程，提出一套基于硅基电路下通过外界信号刺激，从而自生成神经网络的方法，具体实施流程如图2所示，本发明中通过数字0，1表示大小为28*28的黑白图片，每个像素点位一个0,1值，0为黑1为白。将其转化为一位数组，也就是一个784个输入的数组，然后将该数组，作为网络的输入。
每张图片都是由像素点构成的，本发明数字1的图片如下：
0代表黑点，1代表亮点。
其神经网络生成方法包括以下步骤：
1.利用C++搭建模拟器平台。其中模拟器的神经元计算单元可以通关过配置文件进行重新配置，此外神经元间的连接也可以通过配置信息进行修改。修改方式如前所述。
为了充分模拟生物神经网络的连接情况，本发明给每个神经元的连接数设定了一个最大值m(该值可通过配置信息进行更改，本发明每个神经元的最大连接值设定为4，即最多可连向4个其他的神经元，但每个输入有4位输入线表示，即用4条线表示一个输入，输入值的范围为0到15)。其中本发明在模拟器中神经元位置排列为二维规则排列，每个神经元由其对应的坐标表示。
2.初始需要确定需构建网络的大小，即横向和纵向神经元个数。本发明将初始值设定为横向1000个神经元，纵向100个神经元。
3.从中间某处选择若干个神经元作为初始的网络，同时加入输入刺激信号(该刺激信号为经过转换模块转换完成后的脉冲信号)。让网络进行自组织，本发明网络初始神经元数量可设定为49，每个神经元有16个输入信号，具体伸展规则如下：
(1)每20个时钟周期统计一次每个神经元输出的变化，如果该神经元的输出在这20个时钟周期内变化了M次(M范围是0到20)，如果M的值为0，则不产生连线；若M为1到5，则连向该神经元周边距离为1范围内的神经元；同理M为6到10，则连向距离为2的范围；M为11到15，则连向距离为3；M为16到20则连向距离为4.具体和为距离1,2,3,4.参考图1，它表示该神经元的输出值M为11到15之间的值，连向上下左右距离都为3的神经元。至于具体连向哪个神经元，通过一个概率事件来判断，所以这个每次生成的网络可能不同。
(2)由于每次神经元只连出一根线，所以需根据概率来确定具体连向周边哪个神经元。在连接范围内，该神经元连向被连接神经元的概率如下：
其中i和j表示被连接神经元的横坐标和纵坐标，kij为连向被连接神经元的连线数量，求和是指对连接范围内所有被连接神经元的连线数量或者横坐标值相加。
图1表示当神经元输出为8～11时，中心神经元可能连向的神经元位置，其余情况则与其同理。
4.判断信号是否到达输出，具体地，指定横坐标值为1000的位置的神经元为输出神经元，当其中有十个神经神经元有输出信号产生时，则将刺激信号撤离。最后得到一个不再发生结构变化的神经网络结构。可通过如下任一方式判断信号是否到达输出：
方式一，判断输出神经元的输出在20个时钟周期内是否发生变化，变化则说明到达输出；
方式二，观察输出神经元，看是否有连线连向它，如有，则说明信号已到达输出；
当所有的输出神经元中，超过设定个数的输出神经元有脉冲输出，则说明网络生成完成。
5.通过步骤4得到一个自生成的神经网络，之后通过查找算法，删除网络中的冗余部分，得到稳定的输出。寻优算法为遗传算法、遍历算法或退火算法，以其中任意设定的神经元的输出作为参考量，通过算法，去除网络中冗余部分。具体地，设定A个神经元的输出作为参考量，当检测到有B个神经元的输出在变化，则停止网络的生成，进入减线阶段；从头开始遍历每一条连接线，每删除一条，观察该A个神经元的输出是否发生变化，如果发生变化，则不删除该条连线，如果不变，则认为该线段对***不产生影响，为冗余部分，将其删除，一直进行该过程，直到遍历完所有连线，则计算完成。
6.在步骤5生成网络的基础上，加入新的刺激，循环上述5个步骤。输出神经元中的变化的神经元数量达到设定值时，则停止加入新的刺激。通过多次循环的训练，最终可得到若干种预期的输出模式。
以上，仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。
Claims (7)
1.一种自生成神经网络构建方法，其特征在于，包括如下步骤：
步骤1，加入刺激信号：刺激信号为静态的0,1信息，通过输入转换模块，将静态的0,1信息输入转变为动态脉冲信号，即输入为1时，不断发射脉冲，为0时，不产生脉冲，从而使整个网络的生成过程由静态过程转化为动态过程；
步骤2，评估神经元输出强度，确定该神经元的连接方向，不断形成网络连接，最终生成初始网络；
所述神经元输出强度是指单位时间内输出信号变化的大小，对输出信号按照时间进行神经元输出强度统计，如果神经元输出强度超过一个阈值就和周围神经元生成一个新的连接，并且把输出传递过去；
所述确定神经元的连接方向的规则如下：每20个时钟周期统计一次该神经元输出的变化，则该神经元的输出在该20个时钟周期内变化了M次，0≤M≤20，如果M为0，则不产生连线；若M为1到5，则连向该神经元周边距离为1范围内的神经元；如果M为6到10，则连向该神经元周边距离为2范围内的神经元；如果M为11到15，则连向该神经元周边距离为3范围内的神经元；如果M为16到20，则连向该神经元周边距离为4范围内的神经元；
步骤3，计算连向目标神经元的位置与概率；
步骤4，判断当前网络生成过程是否停止，如果是，则转入步骤5，否则转入步骤2继续；
步骤5，通过寻优算法，优化网络连接；
步骤6，判断是否还需要加入刺激，如果否，则结束，否则转入步骤1。
2.根据权利要求1所述自生成神经网络构建方法，其特征在于，所述神经网络中的神经元具备对输入进行运算然后输出的功能，神经元和神经元之间能够通过连接进行信号传递，神经元在接收到输入信号时，对输入信号进行运算并存储相关信息；所述神经元位置在空间布局上呈规则的二维排列，同时给每个神经元一个确定的坐标值；
其中，所述神经元对输入信号进行运算的方法为：
通过修改代码，使得神经元具备阈值判断和发射脉冲的功能，即具备输入运算然后输出的功能，该代码是一个可以改变计算模式的黑盒子；所述输入信号指当前神经元接收到的来自其他神经元的输出信号，所述运算为阈值判断，即输出值超出某个范围，则输出为1；存储的相关信息指每个神经元的输入输出信号和阈值判断值，即将每个神经元看作一个可计算、可存储的单元。
3.根据权利要求1所述自生成神经网络构建方法，其特征在于，在连接范围内，该神经元连向被连接神经元的概率如下：
<mrow>
<mi>P</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>k</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>+</mo>
<mi>i</mi>
</mrow>
<mrow>
<mo>&Sigma;</mo>
<msub>
<mi>k</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>+</mo>
<mo>&Sigma;</mo>
<mi>i</mi>
</mrow>
</mfrac>
</mrow>
其中i和j表示被连接神经元的横坐标和纵坐标，kij为连向被连接神经元的连线数量，求和是指对连接范围内所有被连接神经元的连线数量或者横坐标值相加。
4.根据权利要求1所述自生成神经网络构建方法，其特征在于，所述步骤4中，通过如下任一方式判断信号是否到达输出：
方式一，判断输出神经元的输出在20个时钟周期内是否发生变化，变化则说明到达输出；
方式二，观察输出神经元，看是否有连线连向它，如有，则说明信号已到达输出；
当所有的输出神经元中，超过设定个数的输出神经元有脉冲输出，则说明网络生成完成。
5.根据权利要求1所述自生成神经网络构建方法，其特征在于，所述步骤5中，寻优算法为遗传算法、遍历算法或退火算法，以其中任意设定的神经元的输出作为参考量，通过算法，去除网络中冗余部分。
6.根据权利要求1所述自生成神经网络构建方法，其特征在于，设定A个神经元的输出作为参考量，当检测到有B个神经元的输出在变化，则停止网络的生成，进入减线阶段；从头开始遍历每一条连接线，每删除一条，观察该A个神经元的输出是否发生变化，如果发生变化，则不删除该条连线，如果不变，则认为该线段对***不产生影响，为冗余部分，将其删除，一直进行该过程，直到遍历完所有连线，则计算完成。
7.根据权利要求1所述自生成神经网络构建方法，其特征在于，所述步骤6中，判断是否还需要加入刺激的具体依据是：输出神经元中的变化的神经元数量达到设定值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610015589.1A CN105701540B (zh) | 2016-01-11 | 2016-01-11 | 一种自生成神经网络构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610015589.1A CN105701540B (zh) | 2016-01-11 | 2016-01-11 | 一种自生成神经网络构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105701540A CN105701540A (zh) | 2016-06-22 |
| CN105701540B true CN105701540B (zh) | 2017-12-19 |
Family
ID=56227129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610015589.1A Active CN105701540B (zh) | 2016-01-11 | 2016-01-11 | 一种自生成神经网络构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105701540B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108320018B (zh) * | 2016-12-23 | 2020-03-06 | 中科寒武纪科技股份有限公司 | 一种人工神经网络运算的装置及方法 |
| WO2018112892A1 (zh) * | 2016-12-23 | 2018-06-28 | 北京中科寒武纪科技有限公司 | 一种支持快速人工神经网络运算的装置及方法 |
| CN108229647A (zh) | 2017-08-18 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络结构的生成方法和装置、电子设备、存储介质 |
| CN109034372B (zh) * | 2018-06-28 | 2020-10-16 | 浙江大学 | 一种基于概率的神经网络剪枝方法 |
| CN110059809B (zh) * | 2018-10-10 | 2020-01-17 | 中科寒武纪科技股份有限公司 | 一种计算装置及相关产品 |
| CN109376853B (zh) * | 2018-10-26 | 2021-09-24 | 电子科技大学 | 回声状态神经网络输出轴突电路 |
| CN111611893B (zh) * | 2020-05-14 | 2024-03-19 | 龙立强人工智能科技(苏州)有限公司 | 应用神经网络深度学习的智能测判方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104584037A (zh) * | 2012-08-23 | 2015-04-29 | 高通股份有限公司 | 自适应行为的神经*** |
| CN104915195A (zh) * | 2015-05-20 | 2015-09-16 | 清华大学 | 一种基于现场可编程门阵列实现神经网络计算的方法 |
-
2016
- 2016-01-11 CN CN201610015589.1A patent/CN105701540B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104584037A (zh) * | 2012-08-23 | 2015-04-29 | 高通股份有限公司 | 自适应行为的神经*** |
| CN104915195A (zh) * | 2015-05-20 | 2015-09-16 | 清华大学 | 一种基于现场可编程门阵列实现神经网络计算的方法 |
Non-Patent Citations (2)
| Title |
|---|
| Development of the learning process for the neuron and neural network for pattern recognition;Khurodae R;《American Journal of Intelligent Systems》;20151231;第5卷(第1期);第34-41页 * |
| Hardware implementation of a bio-plausible neuron model for evolution and growth of spiking neural networks on FPGA;Shayani H etal.;《Conference on Adaptive Hardware and Systems》;20081231;第236-243页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105701540A (zh) | 2016-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105701540B (zh) | 一种自生成神经网络构建方法 | |
| CN109829541A (zh) | 基于学习自动机的深度神经网络增量式训练方法及*** | |
| EP0366804A1 (en) | Method of recognizing image structures | |
| CN110223785A (zh) | 一种基于深度学习的传染病传播网络重构方法 | |
| Wang et al. | Echo state networks regulated by local intrinsic plasticity rules for regression | |
| CN106951960A (zh) | 一种神经网络及该神经网络的学习方法 | |
| Wang et al. | Motivated optimal developmental learning for sequential tasks without using rigid time-discounts | |
| CN109165730A (zh) | 交叉阵列神经形态硬件中状态量化网络实现方法 | |
| CN112364988A (zh) | 一种基于fpga的分层异构类脑计算*** | |
| CN112405542B (zh) | 基于脑启发多任务学习的肌肉骨骼机器人控制方法及*** | |
| KR20160125967A (ko) | 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치 | |
| Wang et al. | Complex dynamic neurons improved spiking transformer network for efficient automatic speech recognition | |
| CN105427241A (zh) | 一种大视场显示设备的畸变校正方法 | |
| CN111382840B (zh) | 一种面向自然语言处理的基于循环学习单元的htm设计方法 | |
| CN105122278B (zh) | 神经网络及编程方法 | |
| Li et al. | Adaptive dropout method based on biological principles | |
| CN115242428B (zh) | 一种基于优化cw-rnn的网络安全态势预测方法 | |
| Hassan | On simulation of adaptive learner control considering students' cognitive styles using artificial neural networks (ANNs) | |
| EP2212833A1 (en) | Prediction by single neurons and networks | |
| CN109635942B (zh) | 一种仿脑兴奋态和抑制态工作状态神经网络电路结构及方法 | |
| CN114548239A (zh) | 一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法 | |
| Wu et al. | Sensorimotor in space and time: Audition | |
| CN107341543A (zh) | 一种基于强化学习的小脑模型建模方法 | |
| Rückauer | Event-based vision processing in deep neural networks | |
| Vaila et al. | Spiking CNNs with PYNN and NEURON |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190710 Address after: 361022 Unit 0206, Unit 109, 62 Chengyi North Street, Xiamen Software Park Phase III, Fujian Province Patentee after: Xiamen Semiconductor Industry Technology Research and Development Co., Ltd. Address before: 100084 Beijing Haidian District 100084 box 82 box, Tsinghua University Patent Office Patentee before: Tsinghua University |
|
| TR01 | Transfer of patent right |