CN115841142A - 基于深度脉冲神经网络的视觉皮层模拟方法及相关设备 - Google Patents
基于深度脉冲神经网络的视觉皮层模拟方法及相关设备 Download PDFInfo
- Publication number
- CN115841142A CN115841142A CN202310134058.4A CN202310134058A CN115841142A CN 115841142 A CN115841142 A CN 115841142A CN 202310134058 A CN202310134058 A CN 202310134058A CN 115841142 A CN115841142 A CN 115841142A
- Authority
- CN
- China
- Prior art keywords
- neural network
- deep
- impulse
- pulse
- biological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 168
- 210000000857 visual cortex Anatomy 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000004088 simulation Methods 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 54
- 230000001537 neural effect Effects 0.000 claims abstract description 52
- 230000004044 response Effects 0.000 claims abstract description 50
- 238000012512 characterization method Methods 0.000 claims abstract description 34
- 238000002474 experimental method Methods 0.000 claims abstract description 30
- 238000010219 correlation analysis Methods 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 210000004556 brain Anatomy 0.000 claims abstract description 24
- 230000008904 neural response Effects 0.000 claims abstract description 14
- 210000002569 neuron Anatomy 0.000 claims description 42
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 20
- 239000012528 membrane Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 11
- 238000012421 spiking Methods 0.000 claims description 10
- 230000000638 stimulation Effects 0.000 claims description 10
- 210000005036 nerve Anatomy 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000010304 firing Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 11
- 210000000653 nervous system Anatomy 0.000 abstract description 11
- 230000010365 information processing Effects 0.000 abstract description 6
- 241000699666 Mus <mouse, genus> Species 0.000 description 21
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 241000282553 Macaca Species 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 241000288906 Primates Species 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 241000699670 Mus sp. Species 0.000 description 4
- 230000001054 cortical effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 244000298715 Actinidia chinensis Species 0.000 description 2
- 235000009434 Actinidia chinensis Nutrition 0.000 description 2
- 235000009436 Actinidia deliciosa Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 210000000239 visual pathway Anatomy 0.000 description 2
- 230000004400 visual pathway Effects 0.000 description 2
- 208000035126 Facies Diseases 0.000 description 1
- 241000282567 Macaca fascicularis Species 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 210000003061 neural cell Anatomy 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010831 paired-sample T-test Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于深度脉冲神经网络的视觉皮层模拟方法及相关设备,所述方法包括:将与生物实验中相同的图片刺激输入到预训练的深度脉冲神经网络,得到各层的脉冲响应;采用表征相似性分析RSA或者典型相关分析CCA度量深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性;选择最高的神经相似性得分作为深度脉冲神经网络的结构针对相应脑区的得分,并记录得分最高的层以与生物视觉***进行对比。本发明利用深度脉冲神经网络对神经***视觉皮层进行建模,可以直接与生物实验记录的时序信号进行比较,取得了相对于相似结构卷积神经网络更高的神经相似性得分,同时也在网络结构和信息处理机制方面更好地匹配了真实神经***的性质。
Description
技术领域
本发明涉及生物视觉技术领域,尤其涉及一种基于深度脉冲神经网络的视觉皮层模拟方法、***、终端及计算机可读存储介质。
背景技术
大脑是自然界最复杂的***之一,借鉴和模仿大脑一直是人类技术创新的源泉。人类通过视觉从外界获取大约80%的信息。因此,探索视觉***如何对外界信息进行编码与处理一直是神经科学中的研究重点,主要手段为实验方法和理论模型。近年来,借鉴了视觉神经***分层结构的深度卷积神经网络(Deep neural network,DNN)在图片、语音、文本、游戏等多领域取得了巨大的成功,同时神经科学技术的发展产生了大量的神经生物学数据。研究人员开始利用深度卷积神经网络模拟视觉皮层对信息的加工处理过程,并测量深度卷积神经网络与视觉皮层之间的相似性,作为模拟效果的重要衡量指标(如图1所示)。研究表明,深度卷积神经网络模型在单神经元感受野特征、神经活动模式、决策行为特性等方面的相似性超越了传统的计算神经科学模型,成为目前生物视觉皮层的最佳计算模型。
尽管深度卷积神经网络模型结构一定程度上模拟了生物视觉***,但它们极大地简化了真实神经元的计算特性,未利用神经元处理动态时序信息的能力,无法直接与生物实验记录的时序信号进行对比。研究表明,生物神经元响应的时序特性能够编码重要信息,对于神经***实现各种感知、认知、运动功能至关重要。相比而言,脉冲神经网络(Spikingneural network,SNN)是一种更具生物学合理性的模型,能够利用脉冲信号编码信息、提取外界信息的时空特性,且其输出的脉冲信号可直接与生物实验记录的时序信号进行对比,但目前尚无研究探索深度脉冲神经网络(Deep SNN)在视觉皮层建模方面的表现。
近年来,深度卷积神经网络模型在灵长类和啮齿类动物视觉皮层的视觉加工机制建模中发挥着重要作用,是目前视觉皮层的最佳计算模型。尽管深度卷积神经网络模型结构受到生物视觉***层级结构的启发,但它们极大地简化了真实神经元的计算特性。这一类模型未考虑真实神经元的动力学特性,未能利用神经元处理动态时序信息的能力,而外部世界通常是动态变化的。另一方面,这一类模型只能产生发放率数据,因而需要先将记录的响应数据转换为发放率后方可进行比较,会导致时序信息的损失,降低分析结果的准确性与可信度。
因此,现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于深度脉冲神经网络的视觉皮层模拟方法、***、终端及计算机可读存储介质,旨在解决现有技术中深度卷积神经网络模型未考虑真实神经元的动力学特性,未能利用神经元处理动态时序信息的能力,以及只能产生发放率数据,导致时序信息的损失,降低分析结果的准确性与可信度的问题。
为实现上述目的,本发明提供一种基于深度脉冲神经网络的视觉皮层模拟方法,所述基于深度脉冲神经网络的视觉皮层模拟方法包括如下步骤:
在ImageNet数据集上预训练深度脉冲神经网络,将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络,得到所述深度脉冲神经网络各层的脉冲响应;
采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性;
选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分,并记录得分最高的层以与生物视觉***进行对比。
所述的基于深度脉冲神经网络的视觉皮层模拟方法,其中,所述在ImageNet数据集上预训练深度脉冲神经网络,具体包括:
基于ImageNet图像识别数据集,采用SpikingJelly惊蜇脉冲神经网络深度学习框架对所述深度脉冲神经网络进行预训练;
所述深度脉冲神经网络采用整合发放神经元作为脉冲神经元,所述脉冲神经元是膜电位的累积,当电位超过阈值时,所述脉冲神经元发放脉冲,动力学方程如下:
其中,是脉冲神经元发放脉冲后的膜电位,/>是上一时刻脉冲神经元发放脉冲后的膜电位,/>是脉冲神经元充电后,发放脉冲前的膜电位,/>是单位阶跃函数,当大于发放阈值/>时,/>,即发放脉冲,同时,/>被重置为/>;
所述的基于深度脉冲神经网络的视觉皮层模拟方法,其中,所述典型相关分析CCA,具体包括:
下载生物实验视觉刺激与神经响应数据集,根据所述生物实验视觉刺激与神经响应数据集生成生物神经响应表征矩阵,根据深度脉冲神经网络的输出生成网络表征矩阵/>,其中,/>为视觉刺激数,/>和/>分别为生物神经元个数和网络特征个数;
其中, 表示计算使得相关系数/>最大的线性变换向量/>、/>,/>表示相关系数,/>表示依次计算k个相关系数,k为自定义的参数,表示总共计算的相关系数的个数,/>和/>分别表示通过/>和/>对于/>和/>进行线性变换后的结果;
计算所有相关系数的均值作为相似性度量标准。
所述的基于深度脉冲神经网络的视觉皮层模拟方法,其中,所述基于深度脉冲神经网络的视觉皮层模拟方法还包括:
所述的基于深度脉冲神经网络的视觉皮层模拟方法,其中,所述表征相似性分析RSA,具体包括:
所述的基于深度脉冲神经网络的视觉皮层模拟方法,其中,所述深度脉冲神经网络包括SEW ResNet。
所述的基于深度脉冲神经网络的视觉皮层模拟方法,其中,所述深度脉冲神经网络的神经相似性得分稳定地高于相同结构的深度卷积神经网络。
此外,为实现上述目的,本发明还提供一种基于深度脉冲神经网络的视觉皮层模拟***,其中,所述基于深度脉冲神经网络的视觉皮层模拟***包括:
脉冲响应获取模块,用于在ImageNet数据集上预训练深度脉冲神经网络,将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络,得到所述深度脉冲神经网络各层的脉冲响应;
相似性分析模块,用于采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性;
相似性得分对比模块,用于选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分,并记录得分最高的层以与生物视觉***进行对比。
此外,为实现上述目的,本发明还提供一种终端,其中,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度脉冲神经网络的视觉皮层模拟程序,所述基于深度脉冲神经网络的视觉皮层模拟程序被所述处理器执行时实现如上所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有基于深度脉冲神经网络的视觉皮层模拟程序,所述基于深度脉冲神经网络的视觉皮层模拟程序被处理器执行时实现如上所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
本发明中,在ImageNet数据集上预训练深度脉冲神经网络,将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络,得到所述深度脉冲神经网络各层的脉冲响应;采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性;选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分,并记录得分最高的层以与生物视觉***进行对比。本发明利用深度脉冲神经网络对神经***视觉皮层进行建模,可以直接与生物实验记录的时序信号进行比较,取得了相对于相似结构卷积神经网络更高的神经相似性得分,同时也在网络结构和信息处理机制方面更好地匹配了真实神经***的性质。
附图说明
图1是现有技术中神经相似性测量的示意图;
图2是本发明基于深度脉冲神经网络的视觉皮层模拟方法的较佳实施例的流程图;
图3是本发明基于深度脉冲神经网络的视觉皮层模拟方法的较佳实施例中深度脉冲神经网络与深度卷积神经网络神经相似性对比的流程图;
图4是本发明基于深度脉冲神经网络的视觉皮层模拟方法的较佳实施例中深度脉冲神经网络SEW ResNet与几乎相同结构(具有相同深度)的深度卷积神经网络ResNet之间神经相似性得分比较的示意图;
图5是本发明基于深度脉冲神经网络的视觉皮层模拟方法的较佳实施例中不同深度的SEW ResNet模型针对不同脑区的相似性得分最高的层分布的示意图;
图6是本发明基于深度脉冲神经网络的视觉皮层模拟***的较佳实施例的原理示意图;
图7为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
鉴于最新研究表明可通过替代梯度(surrogate gradient)的方法直接在大规模数据集如ImageNet上训练深度脉冲神经网络,本发明首次探索了深度脉冲神经网络在视觉皮层建模方面的潜力。基于深度脉冲神经网络对视觉皮层的模拟,本发明使用两种相似性度量方法(表征相似性分析RSA、典型相关分析CCA,其中RSA全称为 RepresentationalSimilarity Analysis,CCA全称为Canonical Correlation Analysis)对来自两个物种的两个神经表征数据集(小鼠视觉皮层;猕猴V4、IT视觉区域)进行了神经表征相似性的测量实验。结果表明,在两个神经数据集和两种相似性度量方法中,深度脉冲神经网络的神经相似性得分稳定地高于几乎相同结构(具有相同深度)的深度卷积神经网络;进一步地,对于深度脉冲神经网络而言,考虑时序信息的神经相似性得分高于忽略时序信息的得分,印证了时序信息对神经编码的重要性,并凸显了深度脉冲神经网络相对于深度卷积神经网络的独特优势。
进一步通过得分最高的层与生物视觉皮层区域的对比,发现了灵长类与小鼠视觉处理机制的异同,得到了与生理学和解剖学研究观测一致的结果。一方面,猕猴的视觉皮层表现出清晰的顺序层级,而小鼠视觉皮层可能被组织为平行结构;另一方面,小鼠视觉皮层区域和猕猴视觉皮层区域相比,其感受野大小的增加比率更小。
由于深度脉冲神经网络拥有生物可解释的脉冲神经元和计算高效的模型架构,它不仅能从功能上拟合生物***,还能从结构上进行匹配,从而揭示视觉皮层的功能结构和计算机制。进一步而言,将生物启发的结构和功能引入人工神经网络,从能效、性能、可扩展性等方面提升现有的用于各类视觉任务的深度网络模型。
本发明较佳实施例所述的基于深度脉冲神经网络的视觉皮层模拟方法,如图2和图3所示,所述基于深度脉冲神经网络的视觉皮层模拟方法包括以下步骤:
步骤S10、在ImageNet数据集上预训练深度脉冲神经网络,将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络,得到所述深度脉冲神经网络各层的脉冲响应。
具体地,如图3所示,首先需要获取相应的数据集和预训练的模型(例如深度脉冲神经网络和深度卷积神经网络)。通过公开网址下载生物实验视觉刺激与神经响应数据集。通过SpikingJelly惊蜇脉冲神经网络深度学习框架,在ImageNet数据集( ImageNet数据集仅仅是图片,一般用于训练深度网络)上预训练深度脉冲神经网络SEW ResNet;通过公开网络下载在ImageNet数据集上预训练的深度卷积神经网络ResNet作为对照。具体操作流程如下所述(图3)。基于在ImageNet数据集上预训练的深度脉冲神经网络,将与生物实验中相同的图片刺激输入到网络中,得到深度脉冲神经网络各层的响应;采用两种定量方法(表征相似性分析RSA和典型相关分析CCA)度量深度脉冲神经网络各层响应和真实生物神经响应之间的相似性;选择最高的神经相似性得分作为该网络结构针对相应脑区的得分,并记录得分最高的层以与生物视觉***进行对比(利用深度脉冲神经网络模拟生物视觉皮层,一方面可以帮助理解生物视觉***的工作原理,另一方面可以启发构建新的深度网络模型;神经相似性是一个对比网络模型和生物视觉***的指标,分数越高表明模型模拟得更好;通过得分最高层与生物视觉***对比,可以从结构角度验证模型的有效性)。对深度卷积神经网络进行同样的测量,获取针对各脑区的相似性得分,并记录相应得分最高的层。对深度脉冲神经网络和深度卷积神经网络的结果进行对比分析,展示深度脉冲神经网络的优势。
生物实验视觉刺激与神经响应数据集:
艾伦脑研究所小鼠视觉编码数据集(Allen Brain Observatory Visual Codingdataset):该数据集由艾伦脑研究所(Allen Institute for Brain Science)公开发布,包括小鼠观察视觉刺激(包括电影、自然场景图片、静态光栅、移动光栅等)时通过Neuropixels电极同步记录的小鼠视觉皮层六个脑区的高时间分辨率脉冲信号。本发明以小鼠观察自然场景图片时的脉冲响应作为研究基础。实验中,共118张自然场景图片以随机的方式呈现给小鼠,每张图片持续250ms;重复该刺激施加的方案共50次,构成整个视觉刺激合集,相应的小鼠视觉皮层六个脑区的脉冲响应(时序信号)则作为分析用的神经信号。
猕猴V4、IT视觉区域数据集(Macaque-Synthetic):该数据集由James DiCarlo实验室公开发布,记录了猕猴V4、IT视觉区域针对3200张图像刺激的神经响应。图像采用将3D目标物体投影至2D自然背景的方法合成,其中目标物体共包含8个大类(各大类由8个子类组成),且每张合成的图像随机选定目标物体的位置、尺寸、视角。神经信号包含88个V4神经元和168个IT神经元针对合成图像刺激的平均发放率,无时序信息。
为了获取预训练的深度卷积神经网络,直接通过PyTorch下载基于ImageNet图像识别数据集预训练的ResNet家族的模型(深度包括18,34,50,101和152,分类正确率分别为69.758%,73.314%,76.13%,77.374%和78.312%),用于下一步的神经相似性评估。为了获取预训练的深度脉冲神经网络,基于ImageNet图像识别数据集,采用SpikingJelly惊蜇脉冲神经网络深度学习框架对SEW ResNet(深度与ResNet保持一致)进行预训练,达到的图像识别准确率分别为63.18%,67.04%,67.78%,68.76%和69.26%,得到的预训练模型将用于下一步的神经相似性评估。SEW ResNet采用整合发放神经元(Integrate-and-Fire Neuron,IFNeuron)作为脉冲神经元,所述脉冲神经元是膜电位的累积,当电位超过阈值时,所述脉冲神经元发放脉冲,动力学方程如下:
其中,是脉冲神经元发放脉冲后的膜电位,/>是上一时刻脉冲神经元发放脉冲后的膜电位,/>是脉冲神经元充电后,发放脉冲前的膜电位,/>是单位阶跃函数,当大于发放阈值/>时,/>,即发放脉冲,同时,/>被重置为/>。
步骤S20、采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性。
具体地,将与生物实验中相同的图片刺激输入到网络模型中,得到深度脉冲神经网络(深度卷积神经网络)各层的脉冲响应(发放率响应,即图3中的激活强度);与实验记录的神经信号进行比较,获取各层得分;选择最高得分作为该网络的整体得分,并记录得分最高的层。
其中,典型相关分析CCA方法利用线性组合之间的相关关系来反映两组变量之间的整体相关性,该方法能够从总体上把握两组变量之间的相关关系,并且无需仿真模型的特征数与生物神经元个数相等。然而,刺激个数远小于仿真模型特征数或生物神经元个数的情况会对典型相关分析结果造成较大影响。因此,通常先对模型特征数进行降维,最大程度地保留其包含的特征,再进行典型相关分析,以提高其鲁棒性。具体流程如下:下载生物实验视觉刺激与神经响应数据集,根据所述生物实验视觉刺激与神经响应数据集生成生物神经响应表征矩阵,根据深度脉冲神经网络的输出生成网络表征矩阵,其中,/>为视觉刺激数,/>和/>分别为生物神经元个数和网络特征个数;
对生物神经响应表征矩阵和网络表征矩阵/>,采用截断奇异值分解(Truncated singular value decomposition,TSVD)方法进行降维得到和/>,其中,/>和/>分别为降维后的生物神经元个数和网络特征个数(例如本发明中/>);
其中, 表示计算使得相关系数/>最大的线性变换向量/>、/>,/>表示相关系数,/>表示依次计算k个相关系数,k为自定义的参数(例如k=40),表示总共计算的相关系数的个数,/>和/>分别表示通过/>和/>对于/>和/>进行线性变换后的结果;计算所有相关系数的均值作为相似性度量标准。
表征相似性分析RSA方法:对于深度脉冲神经网络(或者深度卷积神经网络)的响应矩阵,计算刺激/>的响应/>和刺激/>的响应/>的相关系数/>;每对刺激均计算相关系数,得到表征相异性矩阵/>,其中/>,/>为视觉刺激数;同样的,对生物神经响应矩阵计算得到表征相异性矩阵/>;由于/>和/>均为对称矩阵且对角线为0,在实际计算时,将/>和/>的上三角元素各排列拼接为一个向量,进一步计算两个向量的斯皮尔曼相关系数作为相似性度量标准。表征相似性分析方法通过计算表征相异性矩阵,解决了仿真模型的特征数与生物神经元个数不同、信号类别不同的问题。/>
步骤S30、选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分,并记录得分最高的层以与生物视觉***进行对比。
具体地,为了对比深度脉冲神经网络和深度卷积神经网络的视觉皮层模拟效果,进行如下分析:将深度脉冲神经网络的神经相似性得分与深度卷积神经网络的得分进行比较;将得分最高的层(网络结构特点)与视觉皮层区域进行比较,揭示视觉皮层信息加工的机制。下述具体分析结果显示了深度脉冲神经网络的优势:
第一,在两个神经数据集和两种相似性度量方法中,通过测量模型输出的激活强度与由生物神经记录计算所得出的发放率,深度脉冲神经网络的神经相似性得分稳定地高于几乎相同结构(具有相同深度)的深度卷积神经网络(如图4所示,深度脉冲神经网络SEWResNet与几乎相同结构(具有相同深度)的深度卷积神经网络ResNet之间神经相似性得分的比较。第一、二行分别对应小鼠视觉编码数据集(Allen Brain)和猕猴V4、IT视觉区域数据集(Macaque-Synthetic);第一、二列分别对应结合截断奇异值分解的典型相关分析方法(SVCCA)和表征相似性分析方法(RSA)。每一个子图中,横坐标表示两类模型,纵坐标表示神经相似性得分,线条旁边的数字表示模型深度,表示配对样本t检验的结果。由图4可知,深度脉冲神经网络的神经相似性得分稳定地高于几乎相同结构(具有相同深度)的深度卷积神经网络)。进一步地,基于小鼠视觉编码数据集和深度脉冲神经网络,将时间维度的信息加入分析,利用典型相关分析方法直接测量模型输出脉冲信号与生物神经脉冲信号的神经相似性,发现相似性得分高于忽略时序信息的测量得分(表1),印证了时序信息对于神经编码的重要性,也凸显了深度脉冲神经网络相对于深度卷积神经网络的独特优势。
表1
第二,进一步通过深度脉冲神经网络得分最高的层与生物视觉皮层区域的对比,发现了灵长类与小鼠视觉处理机制的异同,得到了与生理学和解剖学研究观测一致的结果:一方面,猕猴的视觉皮层表现出清晰的顺序层级,而小鼠视觉皮层可能被组织为平行结构;另一方面,小鼠视觉皮层区域和猕猴视觉皮层区域相比,其感受野大小的增加比率更小。具体地,参照图5,不同深度的SEW ResNet模型针对不同脑区的相似性得分最高的层的分布,左右两个子图分别对应小鼠视觉编码数据集(Allen Brain)和猕猴V4、IT视觉区域数据集(Macaque-Synthetic),横坐标表示不同脑区,纵坐标表示得分最高的层在整个网络中的深度,不同颜色的线条代表不同深度的网络。图5中揭示出灵长类与小鼠视觉处理机制的异同,得到了与生理学和解剖学研究观测一致的结果。一方面,对于猕猴视觉皮层,V4和IT对应的最相似模型层的深度有显著差异,且差异趋势与灵长类视觉皮层的信息处理层次一致,而对于小鼠视觉皮层,相似性分数最高的层的深度在小鼠皮层区域之间差异较小,说明小鼠的视觉皮层可能被组织为平行结构。另一方面,小鼠视觉皮层所对应的最相似层往往出现于网络中前部分,而猕猴IT区对应的最相似层则出现于网络的后部,说明小鼠视觉皮层对应的层所经过的下采样次数比猕猴视觉皮层的要更少,该结果从计算模型角度证实了小鼠视觉通路相比于猕猴视觉通路,其皮层区域的感受野大小的增加比率更小。
本发明基于在ImageNet数据集上预训练的深度脉冲神经网络,将与生物实验中相同的图片刺激输入到网络中,得到深度脉冲神经网络各层的响应;采用两种定量方法(表征相似性分析RSA和典型相关分析CCA)度量深度脉冲神经网络各层响应和真实生物神经响应之间的相似性;选择最高的神经相似性得分作为该网络结构针对相应脑区的得分,并记录得分最高的层以与生物视觉皮层进行对比。对深度卷积神经网络进行同样的测量,获取针对各脑区的相似性得分,并记录相应得分最高的层。进一步地,对两类网络的结果进行对比分析。
本发明首次利用深度脉冲神经网络对神经***视觉皮层进行建模,可以直接与生物实验记录的时序信号进行比较,取得了相对于相似结构(同样深度)卷积神经网络更高的神经相似性得分,同时也在网络结构和信息处理机制方面更好地匹配了真实神经***的性质。
鉴于近期研究实现了直接训练的深度脉冲神经网络,大幅提升了深度脉冲神经网络的表征能力,本发明首次利用深度脉冲神经网络对神经***视觉皮层进行建模;除了利用表征相似性分析RSA方法进行神经相似性测量,本发明首次将深度脉冲神经网络模型输出的脉冲序列与实验记录的脉冲信号通过典型相关分析CCA方法直接进行比较,以充分利用时序信息。
有益效果:
(1)在两个神经数据集和两种相似性度量方法中,深度脉冲神经网络的神经相似性得分稳定地高于几乎相同结构(具有相同深度)的深度卷积神经网络;
(2)对于深度脉冲神经网络而言,考虑时序信息的神经相似性得分高于忽略时序信息的得分,印证了时序信息对神经编码的重要性,凸显了深度脉冲神经网络相对于深度卷积神经网络的独特优势;
(3)通过神经相似性得分最高的层与生物视觉皮层区域的对比,发现了灵长类与小鼠视觉皮层的功能层级和处理机制的异同,得到了与生理学和解剖学研究一致的结果。
进一步地,如图6所示,基于上述基于深度脉冲神经网络的视觉皮层模拟方法,本发明还相应提供了一种基于深度脉冲神经网络的视觉皮层模拟***,其中,所述基于深度脉冲神经网络的视觉皮层模拟***包括:
脉冲响应获取模块51,用于在ImageNet数据集上预训练深度脉冲神经网络,将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络,得到所述深度脉冲神经网络各层的脉冲响应;
相似性分析模块52,用于采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性;
相似性得分对比模块53,用于选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分,并记录得分最高的层以与生物视觉***进行对比。
进一步地,如图7所示,基于上述基于深度脉冲神经网络的视觉皮层模拟方法和***,本发明还相应提供了一种终端,所述终端包括处理器10、存储器20及显示器30。图7仅示出了终端的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元,例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备,例如所述终端上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(SecureDigital, SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据,例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器20上存储有基于深度脉冲神经网络的视觉皮层模拟程序40,该基于深度脉冲神经网络的视觉皮层模拟程序40可被处理器10所执行,从而实现本申请中基于深度脉冲神经网络的视觉皮层模拟方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行所述存储器20中存储的程序代码或处理数据,例如执行所述基于深度脉冲神经网络的视觉皮层模拟方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过***总线相互通信。
在一实施例中,当处理器10执行所述存储器20中基于深度脉冲神经网络的视觉皮层模拟程序40时实现如上所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有基于深度脉冲神经网络的视觉皮层模拟程序,所述基于深度脉冲神经网络的视觉皮层模拟程序被处理器执行时实现如上所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
综上所述,本发明提供一种基于深度脉冲神经网络的视觉皮层模拟方法及相关设备,所述方法包括:在ImageNet数据集上预训练深度脉冲神经网络,将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络,得到所述深度脉冲神经网络各层的脉冲响应;采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性;选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分,并记录得分最高的层以与生物视觉***进行对比。本发明利用深度脉冲神经网络对神经***视觉皮层进行建模,可以直接与生物实验记录的时序信号进行比较,取得了相对于相似结构卷积神经网络更高的神经相似性得分,同时也在网络结构和信息处理机制方面更好地匹配了真实神经***的性质。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关硬件(如处理器,控制器等)来完成,所述的程序可存储于计算机可读存储介质中,所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于深度脉冲神经网络的视觉皮层模拟方法,其特征在于,所述基于深度脉冲神经网络的视觉皮层模拟方法包括:
在ImageNet数据集上预训练深度脉冲神经网络,将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络,得到所述深度脉冲神经网络各层的脉冲响应;
采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性;
选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分,并记录得分最高的层以与生物视觉***进行对比。
2.根据权利要求1所述的基于深度脉冲神经网络的视觉皮层模拟方法,其特征在于,所述在ImageNet数据集上预训练深度脉冲神经网络,具体包括:
基于ImageNet图像识别数据集,采用SpikingJelly惊蜇脉冲神经网络深度学习框架对所述深度脉冲神经网络进行预训练;
所述深度脉冲神经网络采用整合发放神经元作为脉冲神经元,所述脉冲神经元是膜电位的累积,当电位超过阈值时,所述脉冲神经元发放脉冲,动力学方程如下:
3.根据权利要求1所述的基于深度脉冲神经网络的视觉皮层模拟方法,其特征在于,所述典型相关分析CCA,具体包括:
下载生物实验视觉刺激与神经响应数据集,根据所述生物实验视觉刺激与神经响应数据集生成生物神经响应表征矩阵,根据深度脉冲神经网络的输出生成网络表征矩阵,其中,为视觉刺激数,和分别为生物神经元个数和网络特征个数;
计算所有相关系数的均值作为相似性度量标准。
6.根据权利要求1所述的基于深度脉冲神经网络的视觉皮层模拟方法,其特征在于,所述深度脉冲神经网络包括SEW ResNet。
7.根据权利要求1所述的基于深度脉冲神经网络的视觉皮层模拟方法,其特征在于,所述深度脉冲神经网络的神经相似性得分稳定地高于相同结构的深度卷积神经网络。
8.一种基于深度脉冲神经网络的视觉皮层模拟***,其特征在于,所述基于深度脉冲神经网络的视觉皮层模拟***包括:
脉冲响应获取模块,用于在ImageNet数据集上预训练深度脉冲神经网络,将与生物实验中相同的图片刺激输入到预训练后的所述深度脉冲神经网络,得到所述深度脉冲神经网络各层的脉冲响应;
相似性分析模块,用于采用表征相似性分析RSA或者典型相关分析CCA度量所述深度脉冲神经网络各层的脉冲响应和真实生物神经响应之间的相似性;
相似性得分对比模块,用于选择最高的神经相似性得分作为所述深度脉冲神经网络的结构针对相应脑区的得分,并记录得分最高的层以与生物视觉***进行对比。
9.一种终端,其特征在于,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度脉冲神经网络的视觉皮层模拟程序,所述基于深度脉冲神经网络的视觉皮层模拟程序被所述处理器执行时实现如权利要求1-7任一项所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有基于深度脉冲神经网络的视觉皮层模拟程序,所述基于深度脉冲神经网络的视觉皮层模拟程序被处理器执行时实现如权利要求1-7任一项所述的基于深度脉冲神经网络的视觉皮层模拟方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310134058.4A CN115841142B (zh) | 2023-02-20 | 2023-02-20 | 基于深度脉冲神经网络的视觉皮层模拟方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310134058.4A CN115841142B (zh) | 2023-02-20 | 2023-02-20 | 基于深度脉冲神经网络的视觉皮层模拟方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115841142A true CN115841142A (zh) | 2023-03-24 |
CN115841142B CN115841142B (zh) | 2023-06-06 |
Family
ID=85579885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310134058.4A Active CN115841142B (zh) | 2023-02-20 | 2023-02-20 | 基于深度脉冲神经网络的视觉皮层模拟方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115841142B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306289A (zh) * | 2011-09-16 | 2012-01-04 | 兰州大学 | 基于脉冲耦合神经网络的虹膜特征提取方法 |
CN108197711A (zh) * | 2017-12-13 | 2018-06-22 | 中国科学院自动化研究所 | 基于类脑多感觉注意切换的计算方法 |
CN108416391A (zh) * | 2018-03-16 | 2018-08-17 | 重庆大学 | 基于视觉皮层处理机制及脉冲监督学习的图像分类方法 |
CN109102000A (zh) * | 2018-09-05 | 2018-12-28 | 杭州电子科技大学 | 一种基于分层特征提取与多层脉冲神经网络的图像识别方法 |
CN112906884A (zh) * | 2021-02-05 | 2021-06-04 | 鹏城实验室 | 一种基于脉冲连续吸引子网络的类脑预测跟踪方法 |
WO2021143066A1 (zh) * | 2020-01-19 | 2021-07-22 | 北京大学 | 一种目标识别方法、装置、***及计算机可读存储介质 |
CN113988276A (zh) * | 2021-12-27 | 2022-01-28 | 中科南京智能技术研究院 | 一种目标识别方法及*** |
US20220273907A1 (en) * | 2017-12-31 | 2022-09-01 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to enhance emotional response |
-
2023
- 2023-02-20 CN CN202310134058.4A patent/CN115841142B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306289A (zh) * | 2011-09-16 | 2012-01-04 | 兰州大学 | 基于脉冲耦合神经网络的虹膜特征提取方法 |
CN108197711A (zh) * | 2017-12-13 | 2018-06-22 | 中国科学院自动化研究所 | 基于类脑多感觉注意切换的计算方法 |
US20220273907A1 (en) * | 2017-12-31 | 2022-09-01 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to enhance emotional response |
CN108416391A (zh) * | 2018-03-16 | 2018-08-17 | 重庆大学 | 基于视觉皮层处理机制及脉冲监督学习的图像分类方法 |
CN109102000A (zh) * | 2018-09-05 | 2018-12-28 | 杭州电子科技大学 | 一种基于分层特征提取与多层脉冲神经网络的图像识别方法 |
WO2021143066A1 (zh) * | 2020-01-19 | 2021-07-22 | 北京大学 | 一种目标识别方法、装置、***及计算机可读存储介质 |
CN112906884A (zh) * | 2021-02-05 | 2021-06-04 | 鹏城实验室 | 一种基于脉冲连续吸引子网络的类脑预测跟踪方法 |
CN113988276A (zh) * | 2021-12-27 | 2022-01-28 | 中科南京智能技术研究院 | 一种目标识别方法及*** |
Non-Patent Citations (7)
Title |
---|
LIWEI HUANG等: "Deep Spiking Neural Networks with High Representation Similarity Model Visual Pathways of Macaque and Mouse" * |
MICHAEL BEYELER等: "Efficient spiking neural network model of pattern motion selectivity in visual cortex" * |
李晶玲: "生物启发的层次脉冲神经网络及其应用" * |
赵俊红: "神经网络的正则化及在地质预测中的应用研究" * |
赵松年等: "同步化响应:视-脑信息处理的新进展" * |
邹冬兰: "视皮层假体中的视觉信息编码方法研究" * |
陈晓艳等: "动态贝叶斯网络结构搜索法辨识生物神经网络连接" * |
Also Published As
Publication number | Publication date |
---|---|
CN115841142B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
O'Reilly et al. | Computational cognitive neuroscience | |
US10963785B2 (en) | Methods and systems for artificial cognition | |
Carello et al. | Inadequacies of the computer metaphor | |
Dayan et al. | Theoretical neuroscience: computational and mathematical modeling of neural systems | |
Heitman et al. | Testing pseudo-linear models of responses to natural scenes in primate retina | |
Miikkulainen et al. | Computational maps in the visual cortex | |
Cessac et al. | PRANAS: a new platform for retinal analysis and simulation | |
CN108471943A (zh) | 自动分类动物行为 | |
Snoek et al. | A determinantal point process latent variable model for inhibition in neural spiking data | |
CN111026267B (zh) | Vr脑电意念控制接口*** | |
Huang et al. | A single-cell level and connectome-derived computational model of the Drosophila brain | |
Liu et al. | Functional connectomics from neural dynamics: probabilistic graphical models for neuronal network of Caenorhabditis elegans | |
US20120093423A1 (en) | Electronic system with simulated sense perception and method of providing simulated sense perception | |
CN105893947A (zh) | 基于多局部相关特征学习的两视角人脸识别方法 | |
Mazzucato | Neural mechanisms underlying the temporal organization of naturalistic animal behavior | |
Grabska-Barwinska et al. | Demixing odors-fast inference in olfaction | |
Suzuki et al. | Modelling phenomenological differences in aetiologically distinct visual hallucinations using deep neural networks | |
CN115841142B (zh) | 基于深度脉冲神经网络的视觉皮层模拟方法及相关设备 | |
EP2741242A1 (en) | Methods and systems for artificial cognition | |
CN115457374B (zh) | 基于推理模式评估深伪图像检测模型泛化性方法及装置 | |
CN116304871A (zh) | 一种基于对比学习的单通道锋电位分类方法及相关设备 | |
Preminger et al. | Mapping dynamic memories of gradually changing objects | |
Pitkow et al. | Neural computation in sensory systems | |
CN114548239A (zh) | 一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法 | |
KR102605576B1 (ko) | 가상현실 다차원 피노타입 기반 심리평가 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |