CN113762487A - 基于神经架构搜索及dbn网络的脑功能网络生成方法及*** - Google Patents
基于神经架构搜索及dbn网络的脑功能网络生成方法及*** Download PDFInfo
- Publication number
- CN113762487A CN113762487A CN202110942242.2A CN202110942242A CN113762487A CN 113762487 A CN113762487 A CN 113762487A CN 202110942242 A CN202110942242 A CN 202110942242A CN 113762487 A CN113762487 A CN 113762487A
- Authority
- CN
- China
- Prior art keywords
- fmri
- dbn
- dimensional
- network
- particles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003925 brain function Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000001537 neural effect Effects 0.000 title claims abstract description 25
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 121
- 239000002245 particle Substances 0.000 claims abstract description 81
- 239000011159 matrix material Substances 0.000 claims abstract description 53
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 26
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 210000002569 neuron Anatomy 0.000 claims description 36
- 210000004556 brain Anatomy 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 12
- 210000003625 skull Anatomy 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000035772 mutation Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 210000001175 cerebrospinal fluid Anatomy 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 210000004885 white matter Anatomy 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 230000004044 response Effects 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000002068 genetic effect Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 229940008201 allegra Drugs 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- RWTNPBWLLIMQHL-UHFFFAOYSA-N fexofenadine Chemical compound C1=CC(C(C)(C(O)=O)C)=CC=C1C(O)CCCN1CCC(C(O)(C=2C=CC=CC=2)C=2C=CC=CC=2)CC1 RWTNPBWLLIMQHL-UHFFFAOYSA-N 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004751 neurological system process Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Neurology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- High Energy & Nuclear Physics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明属于医学影像和神经网络交叉技术领域，公开了一种基于神经架构搜索及DBN网络的脑功能网络生成方法及***，方法包括如下步骤：步骤1：获取自然范式fMRI数据并进行预处理得到四维fMRI体素图像，将四维fMRI体素图像转换为一维fMRI向量，将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵；步骤2：生成M个DBN网络并对M个DBN网络进行初始化获得解空间；将二维fMRI矩阵输入解空间，利用结构优化算法对解空间进行多次搜索，每次搜索获得一个局部最优解，每个局部最优解包含N个局部最优粒子；步骤3：将所有局部最优解中损失最小的局部最优粒子作为全局最优粒子，获取全局最优粒子的权重矩阵，根据全局最优粒子的权重矩阵获得脑功能网络。
Description
技术领域
本发明属于医学影像和神经网络交叉技术领域，具体涉及一种基于神经架构搜索及DBN网络的脑功能网络生成方法及***。
背景技术
功能磁共振成像(fMRI)已被广泛用于识别功能性脑网络。现有大多数研究都是基于任务范式，尽管这些任务旨在参与和隔离大脑功能的特定方面(例如工作记忆或视觉感知)，但仍不清楚任务范式是否以及在何种程度上可以揭示现实生活中的复杂神经过程，这是由于被试者的行为是非自然的行为。同时，采集静息态fMRI数据时许多被试者经常会发生微睡眠和头动，这会产生本应相同的数据在个体上的差异性，影响采集结果的可靠性。基于人类自然行为的自然范式方法克服了任务范式的局限性，例如，被试者看电影时不会轻易睡着，头动的行为也会相对减少，同时自然范式的设计可以极大地揭示现实生活中的大脑功能活动，这是因为该种方法大多是基于人类自然的行为。但是，自然范式的动态性和复杂性使得建模它们的神经相关性变得困难。
先前的研究中，研究人员提出了多种从fMRI数据中重建和表征脑功能网络的计算方法。常见的有模型驱动方法-广义线性模型(GLM)，独立主成分分析(ICA)，稀疏字典学习(SDL)等。尽管这些方法可以很好地构造有意义的脑功能网络，但由于其模型都是基于浅层结构，参数数量过少，无法在自然范式下表征大脑功能网络的层级结构。
最近一些研究已经提出利用各种深度学习模型从fMRI数据中建模功能大脑活动的时空模式，并通过其出色的数据表示能力解决浅层模型的缺点，例如卷积神经网络，卷积自动编码器(CAE)和深度信念网络(DBN)。尽管这些模型在提取多尺度fMRI数据的时空特征方面表现出了出色的性能，但这些深度学习模型中仍然存在着巨大的挑战：由于fMRI数据的高维度性质和各种训练参数之多，根据经验来设计神经网络体系结构非常耗时且可靠性较低。
发明内容
本发明的目的在于提供一种基于神经架构搜索及DBN网络的脑图建立方法及***，用以解决现有技术中的任务态和静息态fMRI数据不能真实还原大脑自然活动、以往浅层模型方法无法揭示大脑层级结构、深度学习模型手动调参耗时且可靠性较低等问题。
为了实现上述任务，本发明采用以下技术方案：
一种基于神经架构搜索及DBN网络的脑功能网络生成方法，包括如下步骤：
步骤1：获取自然范式fMRI数据并进行预处理得到四维fMRI体素图像，将四维fMRI体素图像转换为一维fMRI向量，将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵；
步骤2：生成M个DBN网络并对M个DBN网络进行初始化获得解空间，M为正整数，所述的M个DBN网络的神经元个数和模型层数均不同；
将二维fMRI矩阵输入解空间，利用结构优化算法对解空间进行多次搜索，每次搜索获得一个局部最优解，每个局部最优解包含N个局部最优粒子；
其中，任意一次搜索包括如下子步骤：
步骤2.1：随机选择N个DBN网络，N＜M且N为正整数，分别对选择的DBN网络的神经元个数和模型层数进行突变，得到N个粒子；
步骤2.2：将二维fMRI矩阵分别输入N个粒子进行训练，并采用适应度函数计算每个粒子训练过程中的损失，将训练完成的N个粒子作为局部最优粒子；
步骤3：将所有局部最优解中损失最小的局部最优粒子作为全局最优粒子，获取全局最优粒子的权重矩阵，根据全局最优粒子的权重矩阵获得脑功能网络，所述的脑功能网络包括多个大脑空间特征，全局最优粒子权重矩阵的每一行对应一个大脑空间特征。
进一步的，步骤1包括如下子步骤：
步骤1.1：获取自然范式fMRI数据；
步骤1.2：对自然范式fMRI数据进行预处理，所述预处理包括去除头骨、头动校正、切片时间校正、空间平滑、去除线性趋势和带通滤波，得到四维fMRI体素图像；
步骤1.3：消除四维fMRI体素图像中白质和脑脊液信号的影响后，将四维fMRI体素图像非线性配准到标准MNI空间上后进行Mask处理，得到一维fMRI向量；
步骤1.4：将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵。
进一步的，步骤2.1采用式1对选择的DBN网络的神经元个数和模型层数进行突变：
其中，
是突变前第i个DBN网络的神经元个数或模型层数，i∈[1，N]，
是突变后第i个DBN网络的神经元个数或模型层数，
是前一次搜索的更新速度，
是当前次搜索的更新速度，w∈[0，1]，pBest,gBest分别为个体极值和全局极值，c1和c2是学习因子。
更进一步的，w＝0.1，c1＝c2＝2。
进一步的，所述适应度函数为粒子输入与输出的均方误差。
一种基于神经架构搜索及DBN网络的脑功能网络生成***，该***包括处理器和用于存储能够在处理器上运行的多个功能模块的存储器，所述功能模块包括采集模块、预处理模块、最优架构搜索模块和输出模块；
所述的采集模块用于获取自然范式fMRI数据；
所述的预处理模块用于对自然范式fMRI数据进行预处理得到四维fMRI体素图像，将四维fMRI体素图像转换为一维fMRI向量，将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵；
所述的最优架构搜索模块用于生成M个DBN网络并对M个DBN网络进行初始化获得解空间，M为正整数，所述的M个DBN网络的神经元个数和模型层数均不同；将二维fMRI矩阵输入解空间，利用结构优化算法对解空间进行多次搜索，每次搜索获得一个局部最优解，每个局部最优解包含N个局部最优粒子；
其中，任意一次搜索包括如下子步骤：
步骤2.1：随机选择N个DBN网络，N＜M且N为正整数，分别对选择的DBN网络的神经元个数和模型层数进行突变，得到N个粒子；
步骤2.2：将二维fMRI矩阵分别输入N个粒子进行训练，并采用适应度函数计算每个粒子训练过程中的损失，将训练完成的N个粒子作为局部最优粒子；
所述的输出模块用于将所有局部最优解中损失最小的局部最优粒子作为全局最优粒子，获取全局最优粒子的权重矩阵，根据全局最优粒子的权重矩阵获得脑功能网络，所述的脑功能网络包括多个大脑空间特征，全局最优粒子权重矩阵的每一行对应一个大脑空间特征。。
进一步的，预处理模块包括如下子模块：
第一子模块用于对自然范式fMRI数据进行预处理，所述预处理包括去除头骨、头动校正、切片时间校正、空间平滑、去除线性趋势和带通滤波，得到四维fMRI体素图像；
第二子模块用于消除四维fMRI体素图像中白质和脑脊液信号的影响后，将四维fMRI体素图像非线性配准到标准MNI空间上后进行Mask处理，得到一维fMRI向量；
第三子模块用于将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵。
进一步的，步骤2.1采用式1对选择的DBN网络的神经元个数和模型层数进行突变：
其中，
是突变前第i个DBN网络的神经元个数或模型层数，i∈[1，N]，
是突变后第i个DBN网络的神经元个数或模型层数，
是前一次搜索的更新速度，
是当前次搜索的更新速度，w∈[0，1]，pBest,gBest分别为个体极值和全局极值，c1和c2是学习因子。
更进一步的，w＝0.1，c1＝c2＝2。
进一步的，所述适应度函数为粒子输入与输出的均方误差。
本发明与现有技术相比具有以下技术特点：
本发明首次在自然范式下揭示了实现自动调参的深度信念网络来识别大脑层级结构。所提出神经架构搜索及空间信息深度信念网络的层级脑功能网络识别方法能够在有限的计算资源下，在可接受的时间内找到空间信息深度信念网络结构的可行最优解，从而揭示自然范式下大脑的层次时间响应和空间分布。
附图说明
图1是本发明所提基于神经架构搜索的深度信念网络建模自然范式fMRI体素图像的模型流程图；
图2是实施例中对应的10次神经架构搜索结果图；
图3是实施例中识别脑功能网络结果图，每层有12个脑功能网络；
图4是实施例中识别分层时间特征的结果图，ISC每一层网络独立级和组级的结果；
图5是大脑空间特征和自然范式对应关系图，每层ISC最高的前5个谱图，每个脑功能网络对应ISC值，每层ISC的平均值和标准差都被标注；
图6是实施例中验证模型识别分层空间特征的结果图，是通过ISR测量到的脑功能网络层之间的空间层次属性，(A)图为二层到一层的ISR图，(B)为三层到二层的ISR图；
图7是实施例中验证模型识别分层时间特征结果图，是通过时间层次的3个隐藏层之间的ISR得到的；A)图为二层到一层的ISR图，(B)为三层到二层的ISR图。
具体实施方式
首先对本发明中出现的技术词语进行解释：
自然范式fMRI：设计一种任务模式，所述的任务模式如在一段连续时间内动指头等，然后在这种任务模式下采集到的一段时间内的受试者的功能磁共振图像。
静息态fMRI：受试者静躺在机器上什么事情都不做，然后所采集到的这段时间内的功能磁共振图像。
DBN网络：深度信念网络，该网络由一个可视层和多个隐藏层构成，层间的每个神经元之间都有连接，但层内的神经元之间不存在连接。
脑功能网络：大脑空间位置不同的皮质区域通过功能联系整合起来形成的网络模式，如视觉网络，听觉网络等，不同的网络负责处理不同的大脑功能，如本发明图3所示。
标准MNI空间：是根据一系列正常人脑的磁共振图像而建立的坐标***。采集原始fMRI图像时，各个图像的维度、原点、体素尺寸都是不同的，因此我们会使用标准MNI模板，将图像配准到同一模板上。
Mask处理：是一种用于部分或者完全隐藏对象或元素的图形操作，可以将我们初始采集到的fMRI数据中一些不符合统计规律的坏值去除。
在本实施例中公开一种基于神经架构搜索及DBN网络的脑功能网络生成方法，如图1所示包括神经架构搜索过程，深度信念网络表征自然刺激层级时空特征的过程，模型的输出对应的时空特征；
包括如下步骤：
步骤1：获取自然范式fMRI数据并进行预处理得到四维fMRI体素图像，将四维fMRI体素图像转换为一维fMRI向量，将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵；
步骤2：生成M个DBN网络并对M个DBN网络进行初始化获得解空间，M为正整数，所述的M个DBN网络的神经元个数和模型层数均不同；
将二维fMRI矩阵输入解空间，利用结构优化算法对解空间进行多次搜索，每次搜索获得一个局部最优解，每个局部最优解包含N个局部最优粒子；
其中，任意一次搜索包括如下子步骤：
步骤2.1：随机选择N个DBN网络，N＜M且N为正整数，分别对选择的DBN网络的神经元个数和模型层数进行突变，得到N个粒子；
步骤2.2：将二维fMRI矩阵分别输入N个粒子进行训练，并采用适应度函数计算每个粒子训练过程中的损失，将训练完成的N个粒子作为局部最优粒子；
步骤3：将所有局部最优解中损失最小的局部最优粒子作为全局最优粒子，获取全局最优粒子的权重矩阵，根据全局最优粒子的权重矩阵获得脑功能网络，所述的脑功能网络包括多个大脑空间特征，全局最优粒子权重矩阵的每一行对应一个大脑空间特征。
每次迭代都记录了当前全局最优的网络结构，并且在迭代的过程中替换原始的最优网络，最后达到最大迭代次数之后，将选择拥有最小的神经网络损失的局部最优粒子作为全局最优粒子。
利用全局最优粒子权重矩阵每行的权重映射回3D大脑空间得到相应的脑功能网络。
具体的，步骤1包括如下子步骤：
步骤1.1：通过3T西门子Allegra扫描仪获取一段时间内多个受试者的自然范式fMRI数据；
步骤1.2：使用SPM12工具包对自然范式fMRI数据进行预处理，所述预处理包括去除头骨、头动校正、切片时间校正、空间平滑、去除线性趋势和带通滤波，得到四维fMRI体素图像；
步骤1.3：消除四维fMRI体素图像中白质和脑脊液信号的影响后，将四维fMRI体素图像非线性配准到标准MNI空间上后进行Mask处理，得到一维fMRI向量；
步骤1.4：将所有被试者的一维fMRI向量沿时间点连接成一个二维矩阵，最终得到体素级别的二维fMRI矩阵。
具体的，M＝20，即随机生成20个神经元个数和神经网络层数不同的DBN网络。
具体的，步骤2.1采用式1对选择的DBN网络的神经元个数和模型层数进行突变：
其中，
是突变前第i个DBN网络的神经元个数或模型层数，i∈[1，N]，
是突变后第i个DBN网络的神经元个数或模型层数，
是前一次搜索的更新速度，
是当前次搜索的更新速度，w∈[0，1]，pBest,gBest分别为个体极值和全局极值，c1和c2是学习因子。
具体的，w＝0.1，c1＝c2＝2。
具体的，所述适应度函数为粒子输入与输出的均方误差。
具体的，由于GPU内存限制和fMRI体素图像的高维性质，本发明将神经元个数的搜索范围设置为[10,200]，层数的搜索范围设置为[2,10]，具体训练参数如下：学习率为0.001，权重稀疏度为0.01，epcoh为20，batchsize为10。
在本实施例中还公开一种基于神经架构搜索及DBN网络的脑功能网络生成***，该***包括处理器和用于存储能够在处理器上运行的多个功能模块的存储器，所述功能模块包括采集模块、预处理模块、最优架构搜索模块和输出模块；
所述的采集模块用于获取自然范式fMRI数据；
所述的预处理模块用于对自然范式fMRI数据进行预处理得到四维fMRI体素图像，将四维fMRI体素图像转换为一维fMRI向量，将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵；
所述的最优架构搜索模块用于生成M个DBN网络并对M个DBN网络进行初始化获得解空间，M为正整数，所述的M个DBN网络的神经元个数和模型层数均不同；将二维fMRI矩阵输入解空间，利用结构优化算法对解空间进行多次搜索，每次搜索获得一个局部最优解，每个局部最优解包含N个局部最优粒子；
其中，任意一次搜索包括如下子步骤：
步骤2.1：随机选择N个DBN网络，N＜M且N为正整数，分别对选择的DBN网络的神经元个数和模型层数进行突变，得到N个粒子；
步骤2.2：将二维fMRI矩阵分别输入N个粒子进行训练，并采用适应度函数计算每个粒子训练过程中的损失，将训练完成的N个粒子作为局部最优粒子；
所述的输出模块用于将所有局部最优解中损失最小的局部最优粒子作为全局最优粒子，获取全局最优粒子的权重矩阵，根据全局最优粒子的权重矩阵获得脑功能网络，所述的脑功能网络包括多个大脑空间特征，全局最优粒子权重矩阵的每一行对应一个大脑空间特征。。
具体的，预处理模块包括如下子模块：
第一子模块用于对自然范式fMRI数据进行预处理，所述预处理包括去除头骨、头动校正、切片时间校正、空间平滑、去除线性趋势和带通滤波，得到四维fMRI体素图像；
第二子模块用于消除四维fMRI体素图像中白质和脑脊液信号的影响后，将四维fMRI体素图像非线性配准到标准MNI空间上后进行Mask处理，得到一维fMRI向量；
第三子模块用于将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵。
具体的，步骤3中还可以获得全局最优粒子的输出矩阵，其中输出矩阵的每一行对应全局最优粒子的网络中每个神经元的时间响应，权重矩阵的每一行代表该神经元学习出的大脑空间特征(Zhang Y,Hu X等人)。对于更深的层，使用线性组合方法来解释这种权重，即w3×w2×w1是第三层的权重，w2×w1是第二层的权重，w1是第一层权重，而相应线性关系对应的权重则为每一层反馈的自然范式fMRI体素图像对应的空间特征。在图1(B)中，隐藏层的输出表示时间响应。对于权重矩阵，权重矩阵的每一行都被映射回原始的3D大脑图像空间，并被量化为脑功能网络，如图1(B)所示。
具体的，本实施例独立执行了10次神经架构搜索过程，结果展示在图2，层数和神经元个数两方面都表现出高度的一致性和鲁棒性，结果中可以看到，最优的模型层数为3，重复神经元个数搜索过程结果标准方差为5.49(平均神经元数量的6％)。最终确定了3层每层91个节点的DBN架构用于表征自然范式fMRI数据的时空特征。
图3显示了本发明提出的方法识别自然范式层级脑功能网络，为了在不同层的脑功能网络之间实现公平的比较，所有的空间脑网络都被归一化并等阈值化，在第一层，有听觉网络，和视觉网络等。在第二层，有默认模式网络和听觉显著性网络等。在第三层，有视觉-脑岛网络，内侧视觉-听觉网络，枕极视觉-听觉网络等。几个较低层的简单和局部网络组合成较高层的复杂和全局网络的现象表明了自然刺激下的脑功能网络的层次结构。
本实施例通过ISC性能评估和遗传相似度评估来证明方法的有效性：
为了研究本发明提出的方法推导的时间响应的分层组织，进一步测量并比较了个体时间反应的inter-subject correlation(ISC)，其中ISC测量了个体间每个原子时间反应的主体间一致性，如图4所示，较低层的时间响应显示出较低的主体间一致性，而较高层的时间响应显示出在个体水平和群组水平上的更高的个体间一致性，进而证明了自然刺激下时间特征的分层组织。此外，图5示出了每层中群组水平具有最高ISC值的前五个脑功能网络。这些功能性神经网络大多与听觉、视觉网络或视觉-听觉网络相关，这与自然功能磁共振成像研究得出的ISC图相一致，表明本发明提出的方法在表征自然范式fMRI体素图像的时序响应方面的有效性。
图6是第二层和第一层以及第三层和第二层空间特征的遗传相似图，可以看到更高层的大脑网络显示出较高的遗传相似度，因此具有更高的相似性，表明自然刺激下大脑的分层结构。图7为验证在不同层之间导出的时间响应的遗传相似度的结果，进一步验证了本发明在时间水平上层次性的优越能力。这些关联网络和不同层时空特征之间的遗传相似度定量地确认了DBN模型中空间分布和时间特征的分层组织。
Claims (10)
1.一种基于神经架构搜索及DBN网络的脑功能网络生成方法，其特征在于，包括如下步骤：
步骤1：获取自然范式fMRI数据并进行预处理得到四维fMRI体素图像，将四维fMRI体素图像转换为一维fMRI向量，将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵；
步骤2：生成M个DBN网络并对M个DBN网络进行初始化获得解空间，M为正整数，所述的M个DBN网络的神经元个数和模型层数均不同；
将二维fMRI矩阵输入解空间，利用结构优化算法对解空间进行多次搜索，每次搜索获得一个局部最优解，每个局部最优解包含N个局部最优粒子；
其中，任意一次搜索包括如下子步骤：
步骤2.1：随机选择N个DBN网络，N＜M且N为正整数，分别对选择的DBN网络的神经元个数和模型层数进行突变，得到N个粒子；
步骤2.2：将二维fMRI矩阵分别输入N个粒子进行训练，并采用适应度函数计算每个粒子训练过程中的损失，将训练完成的N个粒子作为局部最优粒子；
步骤3：将所有局部最优解中损失最小的局部最优粒子作为全局最优粒子，获取全局最优粒子的权重矩阵，根据全局最优粒子的权重矩阵获得脑功能网络，所述的脑功能网络包括多个大脑空间特征，全局最优粒子权重矩阵的每一行对应一个大脑空间特征。
2.如权利要求1所述的基于神经架构搜索及DBN网络的脑功能网络生成方法，其特征在于，步骤1包括如下子步骤：
步骤1.1：获取自然范式fMRI数据；
步骤1.2：对自然范式fMRI数据进行预处理，所述预处理包括去除头骨、头动校正、切片时间校正、空间平滑、去除线性趋势和带通滤波，得到四维fMRI体素图像；
步骤1.3：消除四维fMRI体素图像中白质和脑脊液信号的影响后，将四维fMRI体素图像非线性配准到标准MNI空间上后进行Mask处理，得到一维fMRI向量；
步骤1.4：将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵。
3.如权利要求1所述的基于神经架构搜索及DBN网络的脑功能网络生成方法，其特征在于，步骤2.1采用式1对选择的DBN网络的神经元个数和模型层数进行突变：
其中，
是突变前第i个DBN网络的神经元个数或模型层数，i∈[1，N]，
是突变后第i个DBN网络的神经元个数或模型层数，
是前一次搜索的更新速度，
是当前次搜索的更新速度，w∈[0，1]，pBest,gBest分别为个体极值和全局极值，c1和c2是学习因子。
4.如权利要求3所述的基于神经架构搜索及DBN网络的脑功能网络生成方法，其特征在于，w＝0.1，c1＝c2＝2。
5.如权利要求1所述的基于神经架构搜索及DBN网络的脑功能网络生成方法，其特征在于，所述适应度函数为粒子输入与输出的均方误差。
6.一种基于神经架构搜索及DBN网络的脑功能网络生成***，该***包括处理器和用于存储能够在处理器上运行的多个功能模块的存储器，其特征在于，所述功能模块包括采集模块、预处理模块、最优架构搜索模块和输出模块；
所述的采集模块用于获取自然范式fMRI数据；
所述的预处理模块用于对自然范式fMRI数据进行预处理得到四维fMRI体素图像，将四维fMRI体素图像转换为一维fMRI向量，将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵；
所述的最优架构搜索模块用于生成M个DBN网络并对M个DBN网络进行初始化获得解空间，M为正整数，所述的M个DBN网络的神经元个数和模型层数均不同；将二维fMRI矩阵输入解空间，利用结构优化算法对解空间进行多次搜索，每次搜索获得一个局部最优解，每个局部最优解包含N个局部最优粒子；
其中，任意一次搜索包括如下子步骤：
步骤2.1：随机选择N个DBN网络，N＜M且N为正整数，分别对选择的DBN网络的神经元个数和模型层数进行突变，得到N个粒子；
步骤2.2：将二维fMRI矩阵分别输入N个粒子进行训练，并采用适应度函数计算每个粒子训练过程中的损失，将训练完成的N个粒子作为局部最优粒子；
所述的输出模块用于将所有局部最优解中损失最小的局部最优粒子作为全局最优粒子，获取全局最优粒子的权重矩阵，根据全局最优粒子的权重矩阵获得脑功能网络，所述的脑功能网络包括多个大脑空间特征，全局最优粒子权重矩阵的每一行对应一个大脑空间特征。
7.如权利要求6所述的基于神经架构搜索及DBN网络的脑功能网络生成***，其特征在于，预处理模块包括如下子模块：
第一子模块用于对自然范式fMRI数据进行预处理，所述预处理包括去除头骨、头动校正、切片时间校正、空间平滑、去除线性趋势和带通滤波，得到四维fMRI体素图像；
第二子模块用于消除四维fMRI体素图像中白质和脑脊液信号的影响后，将四维fMRI体素图像非线性配准到标准MNI空间上后进行Mask处理，得到一维fMRI向量；
第三子模块用于将所有一维fMRI向量的时间点进行连接获得二维fMRI矩阵。
8.如权利要求6所述的基于神经架构搜索及DBN网络的脑功能网络生成***，其特征在于，步骤2.1采用式1对选择的DBN网络的神经元个数和模型层数进行突变：
其中，
是突变前第i个DBN网络的神经元个数或模型层数，i∈[1，N]，
是突变后第i个DBN网络的神经元个数或模型层数，
是前一次搜索的更新速度，
是当前次搜索的更新速度，w∈[0，1]，pBest,gBest分别为个体极值和全局极值，c1和c2是学习因子。
9.如权利要求8所述的基于神经架构搜索及DBN网络的脑功能网络生成***，其特征在于，w＝0.1，c1＝c2＝2。
10.如权利要求6所述的基于神经架构搜索及DBN网络的脑功能网络生成***，其特征在于，所述适应度函数为粒子输入与输出的均方误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110942242.2A CN113762487B (zh) | 2021-08-17 | 2021-08-17 | 基于神经架构搜索及dbn网络的脑功能网络生成方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110942242.2A CN113762487B (zh) | 2021-08-17 | 2021-08-17 | 基于神经架构搜索及dbn网络的脑功能网络生成方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113762487A true CN113762487A (zh) | 2021-12-07 |
| CN113762487B CN113762487B (zh) | 2023-11-10 |
Family
ID=78790055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110942242.2A Active CN113762487B (zh) | 2021-08-17 | 2021-08-17 | 基于神经架构搜索及dbn网络的脑功能网络生成方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762487B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355151A (zh) * | 2016-08-30 | 2017-01-25 | 电子科技大学 | 一种基于深度置信网络的三维sar图像目标识别方法 |
| CN107077637A (zh) * | 2014-03-24 | 2017-08-18 | 高通股份有限公司 | 神经网络中的差分编码 |
| CN109376751A (zh) * | 2018-08-21 | 2019-02-22 | 北京工业大学 | 一种基于卷积神经网络的人脑功能网络分类方法 |
| US20200311558A1 (en) * | 2019-03-29 | 2020-10-01 | Peking University | Generative Adversarial Network-Based Optimization Method And Application |
| AU2020102977A4 (en) * | 2020-10-23 | 2020-12-24 | Bhima, Ravi Teja DR | A Deep learning technique to recognise brain activity by fMRI and DTI image fusion |
-
2021
- 2021-08-17 CN CN202110942242.2A patent/CN113762487B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107077637A (zh) * | 2014-03-24 | 2017-08-18 | 高通股份有限公司 | 神经网络中的差分编码 |
| CN106355151A (zh) * | 2016-08-30 | 2017-01-25 | 电子科技大学 | 一种基于深度置信网络的三维sar图像目标识别方法 |
| CN109376751A (zh) * | 2018-08-21 | 2019-02-22 | 北京工业大学 | 一种基于卷积神经网络的人脑功能网络分类方法 |
| US20200311558A1 (en) * | 2019-03-29 | 2020-10-01 | Peking University | Generative Adversarial Network-Based Optimization Method And Application |
| AU2020102977A4 (en) * | 2020-10-23 | 2020-12-24 | Bhima, Ravi Teja DR | A Deep learning technique to recognise brain activity by fMRI and DTI image fusion |
Non-Patent Citations (2)
| Title |
|---|
| 刘扬;付征叶;郑逢斌;: "基于神经认知计算模型的高分辨率遥感图像场景分类", ***工程与电子技术, no. 11 * |
| 刘议聪;朱泓光;宋永强;: "一种改进粒子群算法优化BP神经网络实现核素识别方法", 兵工自动化, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113762487B (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | A face emotion recognition method using convolutional neural network and image edge computing | |
| JP7373042B2 (ja) | グラフモデルに基づく脳機能レジストレーション方法 | |
| US8861815B2 (en) | Systems and methods for modeling and processing functional magnetic resonance image data using full-brain vector auto-regressive model | |
| Yu et al. | Cortical surface shape analysis based on spherical wavelets | |
| Miao et al. | Local segmentation of images using an improved fuzzy C-means clustering algorithm based on self-adaptive dictionary learning | |
| Prasetio et al. | The facial stress recognition based on multi-histogram features and convolutional neural network | |
| Suganthe et al. | Diagnosis of Alzheimer's disease from brain magnetic resonance imaging images using deep learning algorithms | |
| CN104361318A (zh) | 一种基于弥散张量成像技术的疾病诊断辅助***及方法 | |
| CN114748053A (zh) | 一种基于fMRI高维时间序列的信号分类方法及装置 | |
| CN112863664A (zh) | 基于多模态超图卷积神经网络的阿尔茨海默病分类方法 | |
| CN110569880A (zh) | 一种利用人工神经网络模型对视觉刺激解码方法 | |
| Schwartz et al. | Soft mixer assignment in a hierarchical generative model of natural scene statistics | |
| Ibrahim et al. | Image mosaicing for evaluation of MRI brain tissue abnormalities segmentation study | |
| CN115909016A (zh) | 基于GCN分析fMRI图像的***、方法、电子设备及介质 | |
| Pontabry et al. | A discriminative feature selection approach for shape analysis: Application to fetal brain cortical folding | |
| CN113762487B (zh) | 基于神经架构搜索及dbn网络的脑功能网络生成方法及*** | |
| Finzi et al. | A single computational objective drives specialization of streams in visual cortex | |
| Edelman | Receptive fields for vision: from hyperacuity to object recognition | |
| Ma et al. | Multi-scale anatomical awareness improves the accuracy of the real-time electric field estimation | |
| Bannister et al. | Detecting 3D syndromic faces as outliers using unsupervised normalizing flow models | |
| Smith et al. | Deep learning PET epilepsy detection with a novel symmetric loss convolutional autoencoder | |
| Cao et al. | Mental disease feature extraction with MRI by 3D convolutional neural network with multi-channel input | |
| Tuhin et al. | Detection and 3d visualization of brain tumor using deep learning and polynomial interpolation | |
| Thorat | Using Convolutional Neural Networks to measure the contribution of visual features to the representation of object animacy in the brain | |
| Li et al. | Reconstruction of natural images from evoked brain activity with a dictionary-based invertible encoding procedure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |