CN109165667A - 基于自注意力机制的脑疾病分类*** - Google Patents

基于自注意力机制的脑疾病分类*** Download PDF

Info

Publication number
CN109165667A
CN109165667A CN201810739141.3A CN201810739141A CN109165667A CN 109165667 A CN109165667 A CN 109165667A CN 201810739141 A CN201810739141 A CN 201810739141A CN 109165667 A CN109165667 A CN 109165667A
Authority
CN
China
Prior art keywords
cerebral disease
attention mechanism
module
classification
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810739141.3A
Other languages
English (en)
Other versions
CN109165667B (zh
Inventor
刘勇
金丹
蒋田仔
刘冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201810739141.3A priority Critical patent/CN109165667B/zh
Publication of CN109165667A publication Critical patent/CN109165667A/zh
Application granted granted Critical
Publication of CN109165667B publication Critical patent/CN109165667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,并提出了一种基于自注意力机制的脑疾病分类***,旨在解决脑疾病分类诊断中需要对磁共振影像进行预处理、特征提取和特征选择的复杂过程及其所导致的分类准确率不高的技术问题。为此目的,本发明中的基于自注意力机制的脑疾病分类***包括:对获取脑疾病病人的人脑磁共振影像进行预处理,得到人脑的灰质密度图;利用预先构建的脑疾病分类模型对所述灰质密度图进行脑疾病分类,得到所述脑疾病病人的脑疾病类别;其中,所述预先构建的脑疾病分类模型是基于自注意力机制构建的三维卷积神经网络模型。本发明实施例所示的***可以快速、准确的分类脑疾病的类别。

Description

基于自注意力机制的脑疾病分类***
技术领域
本发明涉及医学图像处理技术领域,特别是基于深度学习的图像处理处理领域,具体涉及一种基于自注意力机制的脑疾病分类***。
背景技术
阿尔兹海默病(Alzheimer’s Disease,AD)作为一种老年痴呆的主要类型,严重威胁了老年人的健康。阿尔兹海默病患者的认知能力逐渐受损,生活能力逐渐丧失,给社会和家人带来了极大的负担。因此,对阿尔兹海默病患者的早期检测和诊断非常重要。
非侵入性神经影像技术的迅速发展极大促进了对正常和异常脑结构与脑功能的研究。磁共振成像(Magnetic Resonance Imaging,MRI)作为一种高空间分辨率、非侵入式的医学成像技术,在脑疾病的发病机理和生物学差异的研究中得到了广泛的应用。
随着深度学习在各大领域取得了优秀的成果,越来越多的医学图像的研究也开始引入深度学习的方法。卷积神经网络是一种多层神经网络,擅长处理图像的相关机器学习问题。在脑疾病分类研究中,相较与常用的支持向量机(Support Vector Machine,SVM)等其他分类方法,基于卷积神经网络的分类方法不需要复杂的预处理过程就可以达到很好的分类正确率。但是目前对于脑疾病的分类中,需要进行图像的预处理、特征提取和特征选择的复杂过程,导致脑疾病分类准确率低的问题,并且无法识别出与脑疾病密切相关的异常脑区。
发明内容
为了解决现有技术中的上述技术问题,即为了解决在传统的脑疾病分类中需要进行预处理、特征提取和特征选择的复杂过程及其所导致的分类准确率不高的技术问题,为此目的,本发明提供了一种基于自注意力机制的脑疾病分类***,以解决上述问题。
本发明提供的基于自注意力机制的脑疾病分类***包括:数据获取模块,配置为获取脑疾病病人的人脑磁共振影像对应的灰质密度图像;脑疾病分类模型,配置为根据上述灰质密度图像和多个预设的脑疾病类别进行脑疾病分类,得到上述脑疾病病人的脑疾病类别;其中,上述脑疾病分类模型是基于自注意力机制构建的三维卷积神经网络模型。
进一步地,本发明提供的一个优选技术方案中,上述数据获取模块处理装置进一步配置为执行下列操作:
对上述人脑磁共振影像进行数据格式转换;对格式转换后的上述人脑磁共振影像进行灰度不均匀性校正;将校正后的人脑磁共振影像,配准到标准的MNI空间并分割灰质密度图像。
进一步地,本发明提供的一个优选技术方案中,上述脑疾病分类模型包括输入层、隐含层、自注意力机制模块、全连接层和分类器;其中:
上述输入层配置为获取上述数据获取模块所获取的灰质密度图像;上述隐含层配置为获取上述灰质密度图像对应的第一特征图;上述自注意力机制模块配置为上述隐含层所获取的第一特征图进行自注意力机制处理得到第二特征图;上述全连接层配置为对上述第一特征图和第二特征图进行全连接操作,得到特征向量;上述分类器配置为根据上述特征向量和多个上述脑疾病类别,获取每个上述脑疾病类别对应的概率;相应地,上述脑疾病分类模型进一步配置为选取最大概率对应的脑疾病类别作为上述脑疾病病人的脑疾病类别。
进一步地,本发明提供的一个优选技术方案中,上述脑疾病分类模型还包括两个残差池化网络,上述残差池化网络包括多个顺次连接的残差池化单元,上述残差池化单元包括顺次连接的池化层和残差网络模块;上述隐含层、第一个残差池化网络、自注意力机制模块、第二个残差池化网络、全连接层和分类器顺次连接;相应地,上述全连接层进一步配置为对上述第一特征图和第二特征图以及每个池化层输出的特征图和每个残差网络模块输出的特征图进行全连接操作,得到特征向量。
进一步地,本发明提供的一个优选技术方案中,上述自注意力机制模块包括卷积层、激活函数层和乘法器;上述卷积层的输入侧与上述自注意力机制模块的输入端连接,上述卷积层的输出侧与激活函数层的输入侧连接;上述激活函数层的输出侧与上述乘法器的一个输入侧连接;上述乘法器的另一个输入侧与上述自注意力机制模块的输入端连接,上述乘法器的输出侧与上述自注意力机制模块的输出端连接。
进一步地,本发明提供的一个优选技术方案中,基于自注意力机制的脑疾病分类***还包括模型训练模块,上述模型训练模块配置为根据预设的交叉熵代价函数并利用机器学习算法对上述脑疾病分类模型进行模型训练;上述交叉熵代价函数如下式所示:
zi=∑jwijxj
其中,E表示交叉熵代价函数,zi表示全连接层对应类别i的输出,xj表示全连接层的输入,wij全连接层的权重,si表示经过softmax函数后输入样本属于第i类的概率,η表示学习率,y表示样本脑疾病类别,x表示样本,n表示样本的总数,i代表全连接层输出的第i个节点,对应类别数,j表示全连接层输入的第j个节点。
进一步地,本发明提供的一个优选技术方案中,上述模型训练模块进一步配置为利用自适应时刻估计方法并按照下式所示的方法优化所述学习率η:
其中,
其中,mt,nt分别是对梯度的一阶矩估计和二阶矩估计, 是对mt,nt的校正;β1和β2分别是一阶和二阶矩估计的指数衰减率∈为一个非零的极小数,以保证分母非零,θt+1表示更新后网络权重,θt表示更新前的网络权重,t表示当前的训练轮数。
与最接近的现有技术相比,上述技术方案至少具有如下有益效果:
本发明提供的基于自注意力机制的脑疾病分类***,通过有监督的方式自主进行特征提取和特征选择以及参数调节,提高了脑疾病的分类效果;避免了当前的脑疾病分类中所涉及的预处理、特征提取和特征选择等繁琐过程。同时,自注意力机制的引入使得该***可以自主学习对预测疾病有重要作用的脑区,使重要的脑区权重增大、不重要的脑区权重减小,从而识别出与脑疾病密切相关的异常脑区;为理解特定脑疾病的结构和功能异常与发病机理提供有价值的参考。
附图说明
图1是本发明实施例中一种基于自注意力机制的脑疾病分类***的主要结构示意图;
图2是本发明实施例中脑疾病分类模型的基本框架示意图;
图3是本发明实施例中一个优选的技术方案中的脑疾病分类模型框架示意图;
图4是本发明实施例中脑疾病分类模型的残差池化网络的结构示意图;
图5是本发明实施例中残差网络模块的结构示意图;
图6是本发明实施例中脑疾病分类模型的自注意力机制模块的结构原理示意图;
图7是本发明实施例中脑区重要性的矢状面示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
参阅附图1,附图1示例性示出了本发明实施例中一种基于自注意力机制的脑疾病分类***的主要结构。如图1所示,本实施例中基于自注意力机制的脑疾病分类***,包括数据获取模块和脑疾病分类模型,其中:
数据获取模块,配置为获取脑疾病病人的人脑磁共振影像对应的灰质密度图像。
脑疾病分类模型,配置为根据上述灰质密度图像和多个预设的脑疾病类别进行脑疾病分类,得到上述脑疾病病人的脑疾病类别;其中,上述脑疾病分类模型是基于自注意力机制构建的三维卷积神经网络模型。
在本实施例中,基于自注意力机制的脑疾病分类***,可以是以具有图像处理能力服务器或应用平台为核心组成的***。上述服务器或应用平台可以与核磁共振设备通信连接,获得病患的磁共振影像;并且与显示装置通信连接,将分类结果通过显示装置显示。上述数据获取模块和脑疾病分类模型设置于上述服务器或应用平台中,上述数据获取模块可以从与其通信连接的核磁共振设备或数据库或其他网络设备中获得脑疾病病人的人脑磁共振影像。其中,人脑磁共振影像是基于磁共振成像原理所获得的一种非侵入式的人脑医学影像。这里,上述人脑磁共振影像可以是待进行脑疾病检测的人脑磁共振影像,或者,用于测试的人脑磁共振影像。
由于人脑磁共振影像成像过程中受到射频场不均匀性、核磁共振设备本身以及人脑组织容积效应的影响,导致图像的灰度均匀性变差,使得图像中同一组织的像素灰度沿空间呈缓慢平滑的变化。因此,需要对上述人脑磁共振影像进行预处理,得到适宜医学处理的人脑的灰质密度图。
进一步地,本实施例提供的一个优选技术方案中,上述数据获取模块进一步配置为执行下列操作:对上述人脑磁共振影像进行数据格式转换;对格式转换后的人脑磁共振影像进行灰度不均匀性校正;将校正后的人脑磁共振影像配准到MNI空间并分割灰质密度图像。
可以使用脑功能成像软件(Statistical Parametric Mapping,SPM)将上述人脑磁共振影像从DICOM影像数据格式转换成标准的NIfTI数据格式,并使用SPM软件对转换为标准格式后的人脑磁共振影像进行灰度不均匀性校正,然后配准到标准的MNI空间,并分割出该人脑磁共振影像的大脑灰质密度图。对上述人脑磁共振影像进行灰度不均匀性校正可以是使用基于EM算法的偏移场校正,还可以是采用模糊均值模型的偏移校正。
在原始空间中图像的维度、原点、voxel size等都是不同的。不同图像之间不具有可比性,计算出的任何特征都不能进行统计分析,或是用于机器学习。使用MNI标准模板,将图像进行配准,标准化到同一个模板上,即在一个标准的MNI空间,使得图像的维度、原点、voxelsize统一。
在本实施例中,上述脑疾病分类模型根据上述数据获取模块所获得的人脑磁共振影像的灰质密度图和预先设置的多个脑疾病类别对上述灰质密度图进行分类处理,得到病患的脑疾病类别。可以是将待检测的人脑磁共振影像的灰质密度图输入到上述脑疾病分类模型中,得到该人脑磁共振影像疾病属性的预测值。1表示该人脑磁共振影像被判断为AD患者,0表示该人脑磁共振影像被判断为健康对照(normal control)。
进一步地,本实施例提供的一个优选技术方案中,参考附图2,附图2示出了脑疾病分类模型的基本框架结构,如图2所示上述脑疾病分类模型包括:输入层、隐含层、自注意力机制模块、全连接层和分类器。其中,上述输入层配置为获取上述数据获取模块所获取的灰质密度图像;上述隐含层配置为获取上述灰质密度图像对应的第一特征图;上述自注意力机制模块配置为上述隐含层所获取的第一特征图进行自注意力机制处理得到第二特征图;上述全连接层配置为对上述第一特征图和第二特征图进行全连接操作,得到特征向量;上述分类器配置为根据上述特征向量和多个上述脑疾病类别,获取每个上述脑疾病类别对应的概率;相应地,上述脑疾病分类模型进一步配置为选取最大概率对应的脑疾病类别作为上述脑疾病病人的脑疾病类别。
进一步地,本实施例提供的一个优选技术方案中,参考附图3,附图3示出了在本实施例的一个优选的技术方案中,脑疾病分类模型的框架结构图,如图3所示,上述脑疾病分类模型还包括两个残差池化网络。参考附图4,附图4示出了残差池化网络的结构图,如图4所示,上述残差池化网络包括多个顺次连接的残差池化单元,上述残差池化单元包括顺次连接的池化层和残差网络模块;如图3所示,上述隐含层、第一个残差池化网络、自注意力机制模块、第二个残差池化网络、全连接层和分类器顺次连接。
相应地,上述全连接层进一步配置为对上述第一特征图和第二特征图以及每个池化层输出的特征图和每个残差网络模块输出的特征图进行全连接操作,得到特征向量。
具体地,参考附图5,附图5示出了残差网络模块的结构图,如图5所示,残差网络模块包两个顺次连接的残差单元。每个上述残差单元包括顺次连接的两个子单元,每个子单元由卷积网络、批规范化(Batch Normalization)和ReLU激活函数组成。每个上述残差单元的输入与该残差单元中的第二个子单元的批规范化输出的值相加,其运算结果经该残差单元的第二个子单元中ReLU激活函数激活后输出。其中,第一个残差单元的输出作为第二个残差单元的输入。
进一步地,本实施例提供的一个优选技术方案中,参考附图6,附图6示出了自注意力机制模块的主要结构示意图,如图6所示,上述自注意力机制模块包括卷积层、激活函数层和乘法器;上述卷积层的输入侧与上述自注意力机制模块的输入端连接,上述卷积层的输出侧与激活函数层的输入侧连接;上述激活函数层的输出侧与上述乘法器的一个输入侧连接;上述乘法器的另一个输入侧与上述自注意力机制模块的输入端连接,上述乘法器的输出侧与上述自注意力机制模块的输出端连接。
进一步地,本实施例提供的一个优选技术方案中,上述基于自注意力机制的脑疾病分类***还包括模型训练模块,上述模型训练模块配置为根据预设的交叉熵代价函数并利用机器学习算法对上述脑疾病分类模型进行模型训练。上述交叉熵代价函数如下式所示:
zi=∑jwijxj (3)
其中,E表示交叉熵代价函数,zi表示全连接层对应类别i的输出,xj表示全连接层的输入,wij全连接层的权重,si表示经过softmax函数后输入样本属于第i类的概率,η表示学习率,y表示样本脑疾病类别,x表示样本,n表示样本的总数,i代表全连接层输出的第i个节点,对应类别数,j表示全连接层输入的第j个节点,对应全连接层节点的数目,在本实施例的优选方式中,j的取值范围为1,2,…,256。
进一步地,本实施例提供的一个优选技术方案中,上述模型训练模块进一步配置为利用自适应时刻估计方法并按照下式所示的方法优化所述学习率η:
其中,
其中,mt,nt分别是对梯度的一阶矩估计和二阶矩估计, 是对mt,nt的校正;β1和β2分别是一阶和二阶矩估计的指数衰减率,这里,默认其取值为β1=0.9,β2=0.999。∈为一个非零的极小数,以保证分母非零,θt+1表示更新后网络权重,θt表示更新前的网络权重,t表示当前的训练轮数。
作为示例,参考上述附图3-6。根据脑疾病分类模型的结构,说明利用样本数据对上述脑疾病分类模型进行训练的过程。
样本数据为AD患者和正常对照组的磁共振图像数据。对样本数据进行处理,得到标准MNI空间的灰质密度图的图像,其中,图像大小为91×109×91,并将图像存储为神经网络可输入的数据格式。
S0:设置脑疾病分类模型的参数,批处理数量Batch Size=8,即每次将8个训练样本输入脑疾病分类模型。
S1:将样本数据通过输入层输入到预先搭建的脑疾病分类模型进行训练。
S2:隐含层包括三层,分别为实例正则化处理层、卷积层和批规范化(BatchNormalization,BN)和ReLU激活函数处理层。
实例正则化处理层对图像大小为91×109×91的输入样本进行实例正则化处理,上述实例正则化处理为对每一个输入样本去除均值和方差。
卷积层中用32个大小为3×3×3的3维卷积核对图像进行卷积。其中,参数设置stride=1,padding=1,得到32个大小为91×109×91的特征图。
BN和ReLU激活函数处理层对所得到的32个特征图进行批规范化处理和ReLU函数激活处理。
S3:第一个残差池化网络中,包括两个顺次连接的残差池化单元,每个残差池化单元包括顺次连接的池化层和残差网络模块。
第一个池化层将经过批规范化和ReLU激活函数处理后的32个特征图,在池化层进行平均值池化(average pooling)操作,得到32个大小为46×55×46的特征图。其中,池化单元为3×3×3,stride=2。
第一个残差网络模块(ResNet模块),将第一池化层的输出作为ResNet模块的输入,得到32个大小为46×55×46的特征图。其中,每个ResNet模块包含2个单元(blocks),每个blocks包含2个卷积层,卷积核数量为32,大小为3×3×3的3维卷积核,stride=1,以及2次批规范化和ReLU激活。在每一个blocks中先经过一个卷积层、批规范化和ReLU激活,再经过一个卷积层和批规范化,之后将得到的特征图和block的输入相加,最后在经过ReLU函数激活得到block的输出。
第二池化层对上一层得到的32个特征图进行平均值池化,得到32个大小为23×28×23的特征图。其中,池化单元为3×3×3,stride=2。
第二个ResNet模块将第二池化层的输出作为输入,得到64个大小为23×28×23的特征图。在第二个ResNet模块,卷积核数量为64。
S4:自注意力机制模块中,上述自注意力机制模块将上述残差池化网络层所输出的特征图作为输入得到64个大小为23×28×23特征图。上述自注意力机制模块中,先用3×3×3大小的卷积核对所输入的特征图进行卷积,将卷积结果与自注意力机制模块的输入相乘,将乘积结果进行ReLU函数激活,得到64个大小为23×28×23的特征图。
S5:第二个残差池化网络层,包括两个顺次连接的残差池化单元,残差池化单元包括顺次连接的池化层和残差网络模块。
第一个池化层对所输入的特征图进行平均值池化,得到64个大小为12×14×12的特征图。其中,池化单元为3×3×3,stride=2。
第一个ResNet模块根据输入的特征图,得到128个大小为12×14×12的特征图,在该ResNet模块中卷积核数量为128。
第二池化层对输入的特征图进行平均值池化,得到128个大小为6×7×6的特征图。其中,池化单元为3×3×3,stride=2。
第二个ResNet模块卷积核数量为256,根据输入的特征图得到256个大小为6×7×6的特征图。
S6:全连接层将得到的256个6×7×6的特征图分别求平均值后聚合成256维的特征向量。并将上述256维的特征向量输入全连接层,输出对应类别数。
S7:分类器层中,将全连接层的输出,作为softmax分类器的输入,上述softmax分类器输出一个0到1的浮点数,表示输入样本图像是脑疾病患者的概率。
通过反向传播(BP)算法对每一层的权重参数进行调整,使脑疾病分类模型的预测标签和训练标签的交叉熵代价函数E最小。其中,网络权重的增量Δwij如下式所示。当误差满足收敛条件时,迭代结束,得到训练好的脑疾病分类模型。其中,
其中,η为学习学习率,E表示交叉熵代价函数。
进一步地,可以使用自适应时刻估计方法(Adaptive Moment Estimation,Adam)来优化网络学***稳。其参数更新如公式4所示。
在一些示例中,采用了多家医院收集的AD患者和正常对照组的磁共振图像数据,共6个数据集。其中,正常对照组共231人;阿尔茨海默患者共262人。详细信息见表1:
Dataset1 Dataset2 Dataset3 Dataset4 Dataset5 Dataset6
被试数 60 71 83 106 113 60
将上述样本数据分为训练集和测试集。使用上述训练集训练上述脑疾病分类模型,利用上述测试集测试上述脑疾病分类模型的参数。将上述测试集的样本数据输入到训练好的网络模型中,得到该测试样本疾病属性的预测值。1表示该样本被判断为AD患者,0表示该样本被判断为健康对照。
我们依次将每个中心的样本作为测试集,其他5个中心的样本作为训练集,依次计算得到每个中心的分类准确率。结果见下表2:
测试集 Dataset 1 Dataset2 Dataset3 Dataset4 Dataset5 Dataset6
正确率 93.3 88.7 90.4 82.1 91.2 96.6
由表2可知,基于自注意力机制的脑疾病分类***对AD的平均分类准确率高达90.4%,能够更加准确地定位与AD发病机制密切相关的异常脑区,实现精准医疗的目标。
进一步地,同时,通过训练好的脑疾病分类模型的注意力机制模块,可以通过上采样的方式得到大脑中每个体素点对于疾病分类的权重,即大脑的每个区域对疾病预测的重要性,每个体素权重越大,分类过程中也就越重要。附图7示例性示出脑区重要性的矢状面示意图,如图7所示,与AD密切相关的脑区主要是颞叶,前额叶,海马和旁海马,基底神经节和小脑部分区域。上述区域是在AD患者中发生显著变化的区域,可作为辅助医疗诊断的生物标志。
本发明上述实施例所提供的***利用脑疾病分类模型对待检测的人脑磁共振影像进行分类,确定出病患的脑疾病类别。其中,脑疾病分类模型中融入自注意力机制,解决了传统的脑疾病分类中需要进行预处理、特征提取和特征选择的复杂过程及其所导致的分类准确率不高的问题,同时,所融入的自注意力机制能够识别出与脑疾病密切相关的异常脑区,为理解特定脑疾病的结构和功能异常与发病机理提供参考信息。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征和数据分辨率作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种基于自注意力机制的脑疾病分类***,其特征在于包括:
数据获取模块,配置为获取脑疾病病人的人脑磁共振影像对应的灰质密度图像;
脑疾病分类模型,配置为根据所述灰质密度图像和多个预设的脑疾病类别进行脑疾病分类,得到所述脑疾病病人的脑疾病类别;其中,所述脑疾病分类模型是基于自注意力机制构建的三维卷积神经网络模型。
2.根据权利要求1所述的基于自注意力机制的脑疾病分类***,其特征在于,所述数据获取模块进一步配置为执行下列操作:
对所述人脑磁共振影像进行数据格式转换;
将格式转换后的人脑磁共振影像进行灰度不均匀性校正;
将校正后的人脑磁共振影像配准到MNI空间并分割灰质密度图像。
3.根据权利要求1所述的基于自注意力机制的脑疾病分类***,其特征在于,所述脑疾病分类模型包括输入层、隐含层、自注意力机制模块、全连接层和分类器;
所述输入层配置为获取所述数据获取模块所获取的灰质密度图像;
所述隐含层配置为获取所述灰质密度图像对应的第一特征图;
所述自注意力机制模块配置为所述隐含层所获取的第一特征图进行自注意力机制处理得到第二特征图;
所述全连接层配置为对所述第一特征图和第二特征图进行全连接操作,得到特征向量;
所述分类器配置为根据所述特征向量和多个所述脑疾病类别,获取每个所述脑疾病类别对应的概率;
相应地,所述脑疾病分类模型进一步配置为选取最大概率对应的脑疾病类别作为所述脑疾病病人的脑疾病类别。
4.根据权利要求3所述的基于自注意力机制的脑疾病分类***,其特征在于,所述脑疾病分类模型还包括两个残差池化网络,所述残差池化网络包括多个顺次连接的残差池化单元,所述残差池化单元包括顺次连接的池化层和残差网络模块;
所述隐含层、第一个残差池化网络、自注意力机制模块、第二个残差池化网络、全连接层和分类器顺次连接;
相应地,所述全连接层进一步配置为对所述第一特征图和第二特征图以及每个池化层输出的特征图和每个残差网络模块输出的特征图进行全连接操作,得到特征向量。
5.根据权利要求3或4所述的基于自注意力机制的脑疾病分类***,其特征在于,所述自注意力机制模块包括卷积层、激活函数层和乘法器;
所述卷积层的输入侧与所述自注意力机制模块的输入端连接,所述卷积层的输出侧与激活函数层的输入侧连接;
所述激活函数层的输出侧与所述乘法器的一个输入侧连接;
所述乘法器的另一个输入侧与所述自注意力机制模块的输入端连接,所述乘法器的输出侧与所述自注意力机制模块的输出端连接。
6.根据权利要求3或4所述的基于自注意力机制的脑疾病分类***,其特征在于还包括模型训练模块,所述模型训练模块配置为根据预设的交叉熵代价函数并利用机器学习算法对所述脑疾病分类模型进行模型训练;
所述交叉熵代价函数如下式所示:
其中,E表示交叉熵代价函数,zi表示全连接层对应类别i的输出,xj表示全连接层的输入,wij全连接层的权重,si表示经过softmax函数后输入样本属于第i类的概率,η表示学习率,y表示样本脑疾病类别,x表示样本,n表示样本的总数,i代表全连接层输出的第i个节点,对应类别数,j表示全连接层输入的第j个节点。
7.根据权利要求6所述的基于自注意力机制的脑疾病分类装置,其特征在于,所述模型训练模块进一步配置为利用自适应时刻估计方法并按照下式所示的方法优化所述学习率η:
其中,
其中,mt,nt分别是对梯度的一阶矩估计和二阶矩估计,是对mt,nt的校正;β1和β2分别是一阶和二阶矩估计的指数衰减率,∈为一个非零的极小数,θt+1表示更新后网络权重,θt表示更新前的网络权重,t表示当前的训练轮数。
CN201810739141.3A 2018-07-06 2018-07-06 基于自注意力机制的脑疾病分类*** Active CN109165667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810739141.3A CN109165667B (zh) 2018-07-06 2018-07-06 基于自注意力机制的脑疾病分类***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810739141.3A CN109165667B (zh) 2018-07-06 2018-07-06 基于自注意力机制的脑疾病分类***

Publications (2)

Publication Number Publication Date
CN109165667A true CN109165667A (zh) 2019-01-08
CN109165667B CN109165667B (zh) 2022-02-22

Family

ID=64897473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810739141.3A Active CN109165667B (zh) 2018-07-06 2018-07-06 基于自注意力机制的脑疾病分类***

Country Status (1)

Country Link
CN (1) CN109165667B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN109887606A (zh) * 2019-02-28 2019-06-14 莫毓昌 一种基于注意力的双向递归神经网络的诊断预测方法
CN109934804A (zh) * 2019-02-28 2019-06-25 北京科技大学 基于卷积神经网络的阿尔茨海默病变区域的检测方法
CN110033438A (zh) * 2019-03-14 2019-07-19 上海市第六人民医院 髋关节标记***及其标记方法
CN110136109A (zh) * 2019-05-08 2019-08-16 常州大学 一种基于膨胀卷积神经网络的mci分类方法
CN110211685A (zh) * 2019-06-10 2019-09-06 珠海上工医信科技有限公司 基于完全关注机制的糖网筛查网络结构模型
CN110246566A (zh) * 2019-04-24 2019-09-17 中南大学湘雅二医院 基于卷积神经网络的品行障碍确定方法、***和存储介质
CN110334749A (zh) * 2019-06-20 2019-10-15 浙江工业大学 基于注意力机制的对抗攻击防御模型、构建方法及应用
CN110459303A (zh) * 2019-06-27 2019-11-15 浙江工业大学 基于深度迁移的医疗影像异常检测装置
CN110491501A (zh) * 2019-08-14 2019-11-22 电子科技大学 一种青少年孤独症大脑功能网络模型分析方法
CN110619045A (zh) * 2019-08-27 2019-12-27 四川大学 一种基于卷积神经网络和自注意力的文本分类模型
CN110969614A (zh) * 2019-12-11 2020-04-07 中国科学院自动化研究所 基于三维卷积神经网络的脑龄预测方法及***
CN111160413A (zh) * 2019-12-12 2020-05-15 天津大学 一种基于多尺度特征融合的甲状腺结节分类方法
CN111402198A (zh) * 2020-02-11 2020-07-10 山东师范大学 基于解剖地标和残差网络的阿尔兹海默症分类方法及***
CN111582225A (zh) * 2020-05-19 2020-08-25 长沙理工大学 一种遥感图像场景分类方法及装置
CN111666972A (zh) * 2020-04-28 2020-09-15 清华大学 基于深度神经网络的肝部病例图像分类方法及***
CN111721535A (zh) * 2020-06-23 2020-09-29 中国人民解放军战略支援部队航天工程大学 一种基于卷积多头自注意力机制的轴承故障检测方法
CN111754520A (zh) * 2020-06-09 2020-10-09 江苏师范大学 一种基于深度学习的脑血肿分割方法及***
CN111783570A (zh) * 2020-06-16 2020-10-16 厦门市美亚柏科信息股份有限公司 一种目标重识别的方法、装置、***及计算机存储介质
CN111951950A (zh) * 2019-05-16 2020-11-17 中国科学院自动化研究所 基于深度学习的三维数据医疗分类***、方法和装置
CN112037179A (zh) * 2020-08-11 2020-12-04 深圳大学 一种脑疾病诊断模型的生成方法、***及设备
CN112070742A (zh) * 2020-09-07 2020-12-11 杭州师范大学 基于自适应感受野3d空间注意力的脑影像分类装置
CN112382385A (zh) * 2020-11-12 2021-02-19 山东中医药大学 一种基于3d卷积神经网络的无先兆偏头痛辅助诊断算法
CN112420170A (zh) * 2020-12-10 2021-02-26 北京理工大学 一种提高计算机辅助诊断***图片分类准确度的方法
CN112784909A (zh) * 2021-01-28 2021-05-11 哈尔滨工业大学 基于自注意力机制和自适应子网络的图像分类识别方法
CN113256616A (zh) * 2021-06-23 2021-08-13 北京大学第三医院(北京大学第三临床医学院) 膝关节mri影像的分类方法和装置
CN113516186A (zh) * 2021-07-12 2021-10-19 聊城大学 一种面向脑疾病分类的模块化特征选择方法
CN113724236A (zh) * 2021-09-03 2021-11-30 深圳技术大学 基于注意力机制的oct图像检测方法及相关设备
CN113951830A (zh) * 2021-11-15 2022-01-21 北京工业大学 一种基于3d注意力卷积与自监督学习的脑疾病分类方法
CN115063419A (zh) * 2022-08-16 2022-09-16 广东工业大学 基于可解释集成3dcnn的神经影像学生物标志物的提取方法
CN115375665A (zh) * 2022-08-31 2022-11-22 河南大学 一种基于深度学习策略的早期阿尔兹海默症发展预测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100292560A1 (en) * 2009-04-16 2010-11-18 Wyrwicz Alice M Diffusion Tensor Imaging-Based Alzheimer's Diagnosis System and Method
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100292560A1 (en) * 2009-04-16 2010-11-18 Wyrwicz Alice M Diffusion Tensor Imaging-Based Alzheimer's Diagnosis System and Method
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AMMARAH FAROOQ等: "《A Deep CNN based Multi-class Classification of Alzheimer’s Disease using MRI》", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGING SYSTEMS AND TECHNIQUES》 *
OZAN OKTAY 等: "《Attention U-Net:Learning Where to Look for the Pancreas》", 《ARXIV》 *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859106B (zh) * 2019-01-28 2022-07-05 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN109887606A (zh) * 2019-02-28 2019-06-14 莫毓昌 一种基于注意力的双向递归神经网络的诊断预测方法
CN109934804A (zh) * 2019-02-28 2019-06-25 北京科技大学 基于卷积神经网络的阿尔茨海默病变区域的检测方法
CN110033438A (zh) * 2019-03-14 2019-07-19 上海市第六人民医院 髋关节标记***及其标记方法
CN110246566A (zh) * 2019-04-24 2019-09-17 中南大学湘雅二医院 基于卷积神经网络的品行障碍确定方法、***和存储介质
CN110136109B (zh) * 2019-05-08 2022-07-22 常州大学 一种基于膨胀卷积神经网络的mci分类方法
CN110136109A (zh) * 2019-05-08 2019-08-16 常州大学 一种基于膨胀卷积神经网络的mci分类方法
CN111951950B (zh) * 2019-05-16 2023-11-24 中国科学院自动化研究所 基于深度学习的三维数据医疗分类***
CN111951950A (zh) * 2019-05-16 2020-11-17 中国科学院自动化研究所 基于深度学习的三维数据医疗分类***、方法和装置
CN110211685A (zh) * 2019-06-10 2019-09-06 珠海上工医信科技有限公司 基于完全关注机制的糖网筛查网络结构模型
CN110211685B (zh) * 2019-06-10 2020-08-28 珠海上工医信科技有限公司 基于完全关注机制的糖网筛查网络结构模型
CN110334749A (zh) * 2019-06-20 2019-10-15 浙江工业大学 基于注意力机制的对抗攻击防御模型、构建方法及应用
CN110334749B (zh) * 2019-06-20 2021-08-03 浙江工业大学 基于注意力机制的对抗攻击防御模型、构建方法及应用
CN110459303A (zh) * 2019-06-27 2019-11-15 浙江工业大学 基于深度迁移的医疗影像异常检测装置
CN110491501B (zh) * 2019-08-14 2023-05-02 电子科技大学 一种青少年孤独症大脑功能网络模型分析方法
CN110491501A (zh) * 2019-08-14 2019-11-22 电子科技大学 一种青少年孤独症大脑功能网络模型分析方法
CN110619045A (zh) * 2019-08-27 2019-12-27 四川大学 一种基于卷积神经网络和自注意力的文本分类模型
CN110969614A (zh) * 2019-12-11 2020-04-07 中国科学院自动化研究所 基于三维卷积神经网络的脑龄预测方法及***
CN110969614B (zh) * 2019-12-11 2024-03-29 中国科学院自动化研究所 基于三维卷积神经网络的脑龄预测方法及***
CN111160413A (zh) * 2019-12-12 2020-05-15 天津大学 一种基于多尺度特征融合的甲状腺结节分类方法
CN111160413B (zh) * 2019-12-12 2023-11-17 天津大学 一种基于多尺度特征融合的甲状腺结节分类方法
CN111402198A (zh) * 2020-02-11 2020-07-10 山东师范大学 基于解剖地标和残差网络的阿尔兹海默症分类方法及***
CN111402198B (zh) * 2020-02-11 2022-12-27 山东师范大学 基于解剖地标和残差网络的阿尔兹海默症分类方法及***
CN111666972A (zh) * 2020-04-28 2020-09-15 清华大学 基于深度神经网络的肝部病例图像分类方法及***
CN111582225A (zh) * 2020-05-19 2020-08-25 长沙理工大学 一种遥感图像场景分类方法及装置
CN111754520A (zh) * 2020-06-09 2020-10-09 江苏师范大学 一种基于深度学习的脑血肿分割方法及***
CN111754520B (zh) * 2020-06-09 2023-09-15 江苏师范大学 一种基于深度学习的脑血肿分割方法及***
CN111783570A (zh) * 2020-06-16 2020-10-16 厦门市美亚柏科信息股份有限公司 一种目标重识别的方法、装置、***及计算机存储介质
CN111721535B (zh) * 2020-06-23 2021-11-30 中国人民解放军战略支援部队航天工程大学 一种基于卷积多头自注意力机制的轴承故障检测方法
CN111721535A (zh) * 2020-06-23 2020-09-29 中国人民解放军战略支援部队航天工程大学 一种基于卷积多头自注意力机制的轴承故障检测方法
CN112037179A (zh) * 2020-08-11 2020-12-04 深圳大学 一种脑疾病诊断模型的生成方法、***及设备
CN112070742A (zh) * 2020-09-07 2020-12-11 杭州师范大学 基于自适应感受野3d空间注意力的脑影像分类装置
CN112070742B (zh) * 2020-09-07 2023-09-26 杭州师范大学 基于自适应感受野3d空间注意力的脑影像分类装置
CN112382385A (zh) * 2020-11-12 2021-02-19 山东中医药大学 一种基于3d卷积神经网络的无先兆偏头痛辅助诊断算法
CN112420170A (zh) * 2020-12-10 2021-02-26 北京理工大学 一种提高计算机辅助诊断***图片分类准确度的方法
CN112420170B (zh) * 2020-12-10 2022-12-09 北京理工大学 一种提高计算机辅助诊断***图片分类准确度的方法
CN112784909A (zh) * 2021-01-28 2021-05-11 哈尔滨工业大学 基于自注意力机制和自适应子网络的图像分类识别方法
CN113256616A (zh) * 2021-06-23 2021-08-13 北京大学第三医院(北京大学第三临床医学院) 膝关节mri影像的分类方法和装置
CN113516186A (zh) * 2021-07-12 2021-10-19 聊城大学 一种面向脑疾病分类的模块化特征选择方法
CN113516186B (zh) * 2021-07-12 2024-01-30 聊城大学 一种面向脑疾病分类的模块化特征选择方法
CN113724236B (zh) * 2021-09-03 2023-06-09 深圳技术大学 基于注意力机制的oct图像检测方法及相关设备
CN113724236A (zh) * 2021-09-03 2021-11-30 深圳技术大学 基于注意力机制的oct图像检测方法及相关设备
CN113951830B (zh) * 2021-11-15 2023-09-12 北京工业大学 一种基于3d注意力卷积与自监督学习的脑疾病分类方法
CN113951830A (zh) * 2021-11-15 2022-01-21 北京工业大学 一种基于3d注意力卷积与自监督学习的脑疾病分类方法
CN115063419A (zh) * 2022-08-16 2022-09-16 广东工业大学 基于可解释集成3dcnn的神经影像学生物标志物的提取方法
CN115375665A (zh) * 2022-08-31 2022-11-22 河南大学 一种基于深度学习策略的早期阿尔兹海默症发展预测方法
CN115375665B (zh) * 2022-08-31 2024-04-16 河南大学 一种基于深度学习策略的早期阿尔兹海默症发展预测方法

Also Published As

Publication number Publication date
CN109165667B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN109165667A (zh) 基于自注意力机制的脑疾病分类***
CN109528197B (zh) 基于脑功能图谱进行精神疾病的个体化预测方法和***
Folego et al. Alzheimer's disease detection through whole-brain 3D-CNN MRI
CN110390351B (zh) 一种基于深度学习的致痫灶三维自动定位***
Cui et al. Braingb: a benchmark for brain network analysis with graph neural networks
Sujit et al. Automated image quality evaluation of structural brain MRI using an ensemble of deep learning networks
CN107944490B (zh) 一种基于半多模态融合特征约简框架的图像分类方法
Yang et al. A deep neural network study of the ABIDE repository on autism spectrum classification
CN108921233A (zh) 一种基于自编码网络的拉曼光谱数据分类方法
CN108596228B (zh) 一种基于无监督模糊***的脑功能磁共振图像分类方法
Tripathi et al. Optimal pneumonia detection using convolutional neural networks from x-ray images
Han et al. A novel convolutional variation of broad learning system for Alzheimer’s disease diagnosis by using MRI images
Sujit et al. Automated image quality evaluation of structural brain magnetic resonance images using deep convolutional neural networks
Qaiser et al. Multiple instance learning with auxiliary task weighting for multiple myeloma classification
Qian et al. [Retracted] 3D Automatic Segmentation of Brain Tumor Based on Deep Neural Network and Multimodal MRI Images
Al Jannat et al. Detection of multiple sclerosis using deep learning
Dhinagar et al. Efficiently Training Vision Transformers on Structural MRI Scans for Alzheimer’s Disease Detection
CN113255734A (zh) 一种基于自监督学习和迁移学习的抑郁症分类方法
Yao Hearing loss classification via stationary wavelet entropy and cat swarm optimization
Li et al. Alzheimer's level classification by 3D PMNet using PET/MRI multi-modal images
Yeung et al. Pipeline comparisons of convolutional neural networks for structural connectomes: predicting sex across 3,152 participants
Mahmoud et al. An Effective Sparse Autoencoders based Deep Learning Framework for fMRI Scans Classification.
CN112070742B (zh) 基于自适应感受野3d空间注意力的脑影像分类装置
Chetoui et al. Automated Detection of COVID-19 Cases using Recent Deep Convolutional Neural Networks and CT images
Depeursinge et al. A classification framework for lung tissue categorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant