CN109820507B - 疾病辅助诊断方法及装置 - Google Patents
疾病辅助诊断方法及装置 Download PDFInfo
- Publication number
- CN109820507B CN109820507B CN201910228369.0A CN201910228369A CN109820507B CN 109820507 B CN109820507 B CN 109820507B CN 201910228369 A CN201910228369 A CN 201910228369A CN 109820507 B CN109820507 B CN 109820507B
- Authority
- CN
- China
- Prior art keywords
- fmri
- neural network
- data
- diagnosed
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 87
- 201000010099 disease Diseases 0.000 title claims abstract description 77
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 202
- 238000013528 artificial neural network Methods 0.000 claims abstract description 107
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 74
- 238000012360 testing method Methods 0.000 claims description 36
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000012800 visualization Methods 0.000 abstract description 5
- 239000000523 sample Substances 0.000 description 69
- 206010015037 epilepsy Diseases 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000001037 epileptic effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明实施例涉及磁共振技术领域，提供一种疾病辅助诊断方法及装置，所述方法包括：获取待诊断fMRI数据；将待诊断fMRI数据输入预先训练好的混合神经网络中进行疾病预测，得到待诊断fMRI数据对应的辅助诊断结果；当辅助诊断结果为患病时，基于混合神经网络确定出待诊断fMRI数据对应的患病区域可视图。与现有技术相比，本发明实施例能够实现对预测的患病区域的可视化，从而为医生诊断提供有力的辅诊参考。
Description
技术领域
本发明实施例涉及磁共振技术领域，具体而言，涉及一种疾病辅助诊断方法及装置。
背景技术
功能磁共振成像(functional magnetic resonance imaging，fMRI)是一种完整监测患者脑区时空活动变化的方法，相较于传统电极式脑电图分析方法能够更加全面的反映患者脑区的时空活动变化。随着人工智能技术的发展，基于fMRI的计算机辅助诊断正在逐步发展，通过利用计算机对影像图片的分类判读，辅助医生进行疾病诊断，从而降低读片工作量，提高诊断准确率。
现有的基于fMRI的计算机辅助诊断方法，多专注于疾病的诊断，并不能对可能的患病区域进行定位，从而使得辅助诊断效果不理想。
发明内容
本发明实施例的目的在于提供一种疾病辅助诊断方法及装置，用以改善上述问题。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种疾病辅助诊断方法，所述方法包括：获取待诊断功能磁共振成像fMRI数据；将待诊断fMRI数据输入预先训练好的混合神经网络中进行疾病预测，得到待诊断fMRI数据对应的辅助诊断结果；当辅助诊断结果为患病时，基于混合神经网络确定出待诊断fMRI数据对应的患病区域可视图。
第二方面，本发明实施例还提供了一种疾病辅助诊断装置，所述装置包括数据获取模块、疾病预测模块及病患可视图辅诊模块。其中，数据获取模块用于获取待诊断功能磁共振成像fMRI数据；疾病预测模块用于将所述待诊断fMRI数据输入预先训练好的混合神经网络中进行疾病预测，得到所述待诊断fMRI数据对应的辅助诊断结果；病患可视图辅诊模块用于当所述辅助诊断结果为患病时，基于所述混合神经网络确定出所述待诊断fMRI数据对应的患病区域可视图。
相对现有技术，本发明实施例提供的一种疾病辅助诊断方法及装置，通过获取待诊断fMRI数据，并将待诊断fMRI数据输入预先训练好的混合神经网络中进行疾病预测，得到待诊断fMRI数据对应的辅助诊断结果；然后对辅助诊断结果进行分析，当辅助诊断结果为患病时，基于混合神经网络确定出待诊断fMRI数据对应的患病区域可视图。与现有技术相比，本发明实施例能够实现对预测的患病区域的可视化，从而为医生诊断提供有力的辅诊参考。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的电子设备的方框示意图。
图2示出了本发明实施例提供的疾病辅助诊断方法流程图。
图3示出了混合神经网络的训练方法流程图。
图4示出了本发明实施例提供的疾病辅助诊断装置的方框示意图。
图标：100-电子设备；101-处理器；102-存储器；103-总线；104-通信接口；200-疾病辅助诊断装置；201-图像获取模块；202-数据获取模块；203-疾病预测模块；204-病患可视图辅诊模块；205-模型训练模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
目前针对疾病(例如，癫痫)的分类诊断方法主要有基因标志物辅助测试法、基于脑电波信号(Electroencephalography，EEG)提取癫痫相关信号的诊断方法、基于动态脑网络和长短时记忆网络的癫痫诊断法、基于视频和EEG多模态融合判别法。这些方法普遍适用于疾病辅助诊断，主要流程通常是提取与癫痫相关的信号作为先验特征，并将该先验特征输送至预先训练好的分类器进行预测得到预测结果，为疾病诊断提供辅助手段。
以上这些方法多为非特定人群的疾病辅助诊断方法，但是对某些特定人群或者特定疾病的辅助诊断适用受限，例如，对于儿童群体的癫痫诊断，由于儿童群体正处在快速生理发育期，个体样本特征分布与成人存在差异，现有方法用于儿童癫痫诊断时，无法无效的对其进行预测。同时，现有方法所依赖的生物信号特征(例如，脑电信号)都是疾病有限视角的刻画，由于脑电信号是低纬度时间信号，其生物特征信息单一且与儿童癫痫的成因关系不明确，其他特征也多为低纬数据，无法从时间空间的角度全面刻画患病区域的变化。另外，现有疾病辅助诊断方法在提取特征时多为根据已取得的先验知识人工提取特征，疾病特征的刻画局限在人们对其已有的理解和认知范围内，很难实现更广范围的拓展。
针对现有的疾病辅助诊断方法存在的上述问题，本发明实施例通过更为全面反映病患时空变换的fMRI数据，让机器自组织学习与疾病相关的特征，并通过数据表达能力更强的混合神经网络进行疾病预测，同时将预测出来的患病区域进行可视化处理，使得最终得到的患病区域可视图能够为医生诊断提供有力的辅诊参考，下述实施例以儿童良性癫痫这种疾病为例进行详细说明。
请参照图1，图1示出了本发明实施例提供的电子设备100的方框示意图。电子设备100可以与磁共振扫描仪通信连接，电子设备100可以依据磁共振扫描仪采集的fMRI图像进行疾病辅助诊断，得到对应的患病区域可视图。电子设备100可以是，但不限于笔记本电脑、台式机、服务器、便携计算机等等。电子设备100包括处理器101、存储器102、总线103和通信接口104，处理器101、存储器102和通信接口104通过总线103连接。
存储器102可能包括高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。电子设备100通过至少一个通信接口104(可以是有线或者无线)实现该电子设备100与磁共振仪之间的通信连接。
存储器102用于存储程序，例如图4所示的疾病辅助诊断装置200。疾病辅助诊断装置200包括至少一个能以软件或固件(firmware)的形式存储于存储器102中或固化在电子设备100的操作***中的软件功能模块。处理器101可以在接收到执行指令后，执行存储器102中存储的程序以实现下述实施例揭示的疾病辅助诊断方法。
处理器101可能是一种集成电路芯片，具有信号的处理能力，用于执行存储器102中存储的可执行模块，例如计算机程序，在执行过程中，疾病辅助诊断方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、图形处理器(GraphicsProcessing Unit，简称GPU)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
总线103可以是ISA总线、PCI总线或EISA总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器101执行时实现下述实施例揭示的疾病辅助诊断方法。
请参照图2，图2示出了本发明实施例提供的疾病辅助诊断方法流程图。疾病辅助诊断方法包括以下步骤：
步骤S101，获取磁共振扫描仪采集的待诊断fMRI图像，并将待诊断fMRI图像转换为数据矩阵格式，得到待诊断fMRI数据。
在一个实施例中，磁共振扫描仪采集的待诊断fMRI图像是一个四维的数据，分别包括X、Y、Z空间维度及T时间维度，在进行疾病辅助诊断时，首先需要将待诊断fMRI图像转换为可以输入到混合神经网络中的数据矩阵格式，得到待诊断fMRI数据。以儿童良性癫痫辅助诊断为例，需要将儿童的脑部放入磁共振扫描仪中，扫描儿童头部得到待诊断fMRI图像。
本领域技术人员能够理解，本实施例中关于步骤S101中采集待诊断fMRI图像，并将待诊断fMRI图像转换为待诊断fMRI数据的描述是示例性的而非限制性的，在疾病辅助诊断过程中，可以现场采集待诊断fMRI图像并转换为待诊断fMRI数据用于后续疾病预测，也可以预先采集待诊断fMRI图像并转换为待诊断fMRI数据存储于电子设备100中用于后续疾病预测，当电子设备100中预先存储有待诊断fMRI数据时，可以跳过步骤S101。
步骤S102，获取待诊断fMRI数据。
在一个实施例中，待诊断fMRI数据可以是利用磁共振扫描仪采集待诊断fMRI图像，并进行数据格式转换得到的；也可以是预先采集待诊断fMRI图像并转换为待诊断fMRI数据后存储于电子设备100中的。
步骤S103，将待诊断fMRI数据输入预先训练好的混合神经网络中进行疾病预测，得到待诊断fMRI数据对应的辅助诊断结果。
在一个实施例中，混合神经网络由深度卷积神经网络和长短时记忆网络拼接而成，是从时间空间不同维度上构建的数据处理模型。深度卷积神经网络用于从三维空间中学习fMRI数据中的空间特征并达到对高维fMRI数据的数据降维，长短时记忆网络用于学习时间维度的特征。
混合神经网络由多层非线性函数构成具有高度抽象能力的模型，其用公式抽象为：
其中，xi为待诊断fMRI数据，其可以表示为xi＝[xi(1),…,xi(t),...,xi(T)]；为深度卷积神经网络提取的空间维度特征，/>为深度卷积神经网络中第l层的参数，/>为深度卷积神经网络中第l层的输出特征图，深度卷积神经网络每一层均有对应的输出特征图；flstm表示长短时记忆网络，y为混合神经网络对待诊断fMRI数据xi的辅助诊断结果。
在一个实施例中，将待诊断fMRI数据输入预先训练好的混合神经网络中进行疾病预测的方式，包括：首先，将待诊断fMRI数据输入混合神经网络，利用深度卷积神经网络提取待诊断fMRI数据中的空间维度特征，即式(1)中的然后，将获得的空间维度特征输入长短时记忆网络，利用长短时记忆网络对空间维度特征进行时间维度的迭代计算，得到辅助诊断结果，也就是说，利用式(1)中的/>进行多次迭代计算，直至t+1等于待诊断fMRI数据中的时间维度特征T，最终得到的结果就是辅助诊断结果。
步骤S104，当辅助诊断结果为患病时，基于混合神经网络确定出待诊断fMRI数据对应的患病区域可视图。
在一个实施例中，将待诊断fMRI数据输入预先训练好的混合神经网络中进行疾病预测得到辅助诊断结果之后，根据辅助诊断结果所属的分类，分析辅助诊断结果为健康或患病。当辅助诊断结果为患病时，需要确定出待诊断fMRI数据对应的患病区域可视图，具体来说，首先，获取疾病预测过程中混合神经网络每一层的输出特征图，即， 然后，对每一层的输出特征图均进行最大化激活处理得到对应的激活图；再计算所有激活图在时间维度中的均值，并基于得到的计算结果在原始fMRI图像中标记出患病区域，得到所述患病区域可视图，可以用下式表示：
其中，y3D为所有激活图在时间维度中的均值，为每一层的输出特征图。
请参照图3，图3示出了混合神经网络的训练方法流程图，可以通过步骤S201～步骤S204中介绍的方法得到训练好的混合神经网络，下面进行详细介绍：
步骤S201，获取多个fMRI训练样本及每个fMRI训练样本的样本标签。
在一个实施例中，以儿童良性癫痫辅助诊断为例，在获取多个fMRI训练样本时，首先将儿童的脑部放入磁共振扫描仪中，对儿童脑部进行扫描得到fMRI图像，本实施例中将每个儿童单次扫描得到的fMRI图像作为一个样本数据。之后对每个fMRI图像进行预处理，得到多个fMRI训练样本；同时，针对采集到的每一例fMRI训练样本，均由专业的儿童神经科医生根据实际门诊诊断结果标注是否患有儿童良性癫痫疾病，也就是确定每个fMRI训练样本的标签。
具体来说，获取多个fMRI训练样本及每个fMRI训练样本的样本标签的过程可以包括：首先，获取磁共振扫描仪采集的多个原始fMRI图像，并将每个原始fMRI图像均转换为数据矩阵格式，得到多个fMRI数据；然后，将多个fMRI数据的空间分辨率进行统一，使得每个fMRI数据的时间维度相同，例如，第一个fMRI数据的采集时长为20min，其它fMRI数据的采集时长为15min，则将第一个fMRI数据的采集时长也调整为15min；接下来，对每个fMRI数据的颜色空间进行归一化，得到多个fMRI训练样本，也就是将每个fMRI数据的颜色空间均归一化到[0-1]的范围，并对空间分辨率不一致的fMRI数据进行补零归一化到相同的时间维度。同时，对每个样本的标签进行one-hot编码得到每个fMRI训练样本的样本标签，也就是，如果第i个样本的标签为健康，则设置其目标输出为di＝[1,0]T；如果第i个样本的标签为患病，则设置其目标输出为di＝[0,1]T。
步骤S202，基于fMRI训练样本及fMRI训练样本的样本标签，对构建的混合神经网络进行训练。
在一个实施例中，获取到由多个fMRI训练样本及每个fMRI训练样本的样本标签构成的数据集之后，可以将数据集划分为80％的训练集和20％的测试集，利用80％的训练集进行混合神经网络的训练，利用20％的测试集验证训练后的混合神经网络的性能；也可以将数据集全部作为数据集进行混合神经网络的训练，再获取fMRI测试样本及fMRI测试样本的样本标签对训练后的混合神经网络进行测试，本实施例以后一种方式为例进行介绍。
混合神经网络可以用式(1)进行表示，在对混合神经网络进行训练时，式(1)中的xi为fMRI训练样本，为混合神经网络中第l层的参数；y为混合神经网络对fMRI训练样本xi的预测结果。由于混合神经网络需要学习大量参数，大规模的参数学习需要进行大量样本训练，自编码网络可以以无监督方式学习数据的分布，进而初始化混合神经网络的参数分布，减小混合神经网络对大规模训练数据的依赖，实现在小样本条件下混合神经网络对儿童良性癫痫的辅助诊断。
在一个实施例中，基于fMRI训练样本及fMRI训练样本的样本标签，对构建的混合神经网络进行训练的步骤，包括：首先，将fMRI训练样本输入混合神经网络，利用混合神经网络的深度卷积神经网络提取fMRI训练样本中的空间维度特征；然后，将获得的空间维度特征输入混合神经网络的长短时记忆网络，利用长短时记忆网络对空间维度特征进行时间维度的迭代计算，得到fMRI训练样本的预测结果；最后，依据fMRI训练样本的预测结果和样本标签，对混合神经网络进行参数更新，参数更新可以基于预先定义的混合神经网络的性能函数来实现，性能函数可以用下式表示：
其中，n为fMRI训练样本的数量，di为fMRI训练样本xi的样本标签，flstm(w,xi)为fMRI训练样本的预测结果；混合神经网络通过反向计算每个参数的梯度实现对数据特征的有监督学习，优化混合神经网络中所有的参数w，即，依据公式/>进行参数更新。
步骤S203，对训练后的混合神经网络进行评估，得到评估结果。
在一个实施例中，对混合神经网络进行训练之后，需要对训练后的混合神经网络进行评估，具体的评估过程可以包括：首先，获取fMRI测试样本及fMRI测试样本的样本标签，fMRI测试样本及fMRI测试样本的样本标签的获取过程与步骤S201中fMRI测试样本及fMRI测试样本的样本标签的获取过程类似，在此不再赘述；然后，将fMRI测试样本及fMRI测试样本的样本标签输入训练后的混合神经网络，得到fMRI测试样本的预测结果；接下来，将fMRI测试样本的预测结果和样本标签代入预先定义的评估公式，得到评估结果，评估公式可以用下式表示：
其中，Acc为评估结果，yi为fMRI测试样本的预测结果，di为fMRI测试样本的样本标签，N为fMRI测试样本的数目。
步骤S204，依据评估结果判断混合神经网络是否达到预设条件，并在混合神经网络达到预设条件时，得到训练好的混合神经网络。
在一个实施例中，预设条件可以是预测准确度达到预设阈值(例如，90％)或者达到规定的迭代次数(例如，200次)，也就是，如果评估结果满足模型条件，则得到训练好的混合神经网络；如果评估结果不满足模型条件，则继续对混合神经网络进行训练，直到模型收敛或者达到规定的迭代次数(例如，200次)。
与现有技术相比，本发明实施例具有以下有益效果：
首先，针对特征人群或者特定疾病，设计出混合神经网络实现疾病的预测，使得疾病辅助诊断更有针对性；
其次，在进行混合神经网络训练时，从fMRI训练样本中以无监督的方式自主学习与疾病相关的特征，并通过有监督学习方式优化特征提取，所有特征均源自原始数据，突破固有的人工先验特征的局限；同时，利用自编码网络对混合神经网络进行初始化得到初始参数，能够减小混合神经网络对大规模数据的依赖，实现在小样本条件下混合神经网络对儿童良性癫痫的辅助诊断；
第三，使用单一的fMRI数据进行疾病辅助诊断，突破了现有的辅助诊断方法对EEG数据的依赖，由于fMRI数据是由三维空间扫描和三维图像在时间上的变化组成，故fMRI数据相较于基于多探头采集的EEG数据或基于先验知识提取的各种人工特征，对疾病拥有更全面的反映，能得到更为准确的疾病预测结果；
第四，实现了患病区域的三维可视化，能在10秒内快速实现疾病诊断的同时实现对预测的患病区域三维可视化，从而为医生诊断提供有力的辅诊参考。
请参照图4，图4示出了本发明实施例提供的疾病辅助诊断装置200的方框示意图。疾病辅助诊断装置200包括图像获取模块201、数据获取模块202、疾病预测模块203、病患可视图辅诊模块204及模型训练模块205。
图像获取模块201，用于获取磁共振扫描仪采集的待诊断fMRI图像，并将待诊断fMRI图像转换为数据矩阵格式，得到待诊断fMRI数据。
数据获取模块202，用于获取待诊断fMRI数据。
疾病预测模块203，用于将待诊断fMRI数据输入预先训练好的混合神经网络中进行疾病预测，得到待诊断fMRI数据对应的辅助诊断结果。
在一个实施例中，疾病预测模块203，具体用于将待诊断fMRI数据输入混合神经网络，利用深度卷积神经网络提取待诊断fMRI数据中的空间维度特征；将获得的空间维度特征输入长短时记忆网络，利用长短时记忆网络对空间维度特征进行时间维度的迭代计算，得到辅助诊断结果。
病患可视图辅诊模块204，用于当辅助诊断结果为患病时，基于混合神经网络确定出待诊断fMRI数据对应的患病区域可视图。
在一个实施例中，病患可视图辅诊模块204，具体用于当辅助诊断结果为患病时，获取疾病预测过程中混合神经网络每一层的输出特征图；对每一层的输出特征图均进行最大化激活处理得到对应的激活图；计算所有激活图在时间维度中的均值，并基于得到的计算结果在原始fMRI图像中标记出患病区域，得到患病区域可视图。
模型训练模块205，用于采用下述方式得到训练好的混合神经网络：获取多个fMRI训练样本及每个fMRI训练样本的样本标签；基于fMRI训练样本及fMRI训练样本的样本标签，对构建的混合神经网络进行训练；对训练后的混合神经网络进行评估，得到评估结果；依据评估结果判断混合神经网络是否达到预设条件，并在混合神经网络达到预设条件时，得到训练好的混合神经网络。
在一个实施例中，混合神经网络为其中，xi为fMRI训练样本，/>为混合神经网络中第l层的参数的；y为混合神经网络对fMRI训练样本xi的预测结果。
在一个实施例中，模型训练模块205执行获取多个fMRI训练样本的方式，包括：获取磁共振扫描仪采集的多个原始fMRI图像，并将每个原始fMRI图像均转换为数据矩阵格式，得到多个fMRI数据；将多个fMRI数据的空间分辨率进行统一，使得每个fMRI数据的时间维度相同；对每个fMRI数据的颜色空间进行归一化，得到多个fMRI训练样本。
在一个实施例中，模型训练模块205执行基于fMRI训练样本及fMRI训练样本的样本标签，对构建的混合神经网络进行训练的方式，包括：将fMRI训练样本输入混合神经网络，利用混合神经网络的深度卷积神经网络提取fMRI训练样本中的空间维度特征；将获得的空间维度特征输入混合神经网络的长短时记忆网络，利用长短时记忆网络对空间维度特征进行时间维度的迭代计算，得到fMRI训练样本的预测结果；依据fMRI训练样本的预测结果和样本标签，对混合神经网络进行参数更新。
在一种实施例中，模型训练模块205执行对训练后的混合神经网络进行评估，得到评估结果的方式，包括：获取fMRI测试样本及fMRI测试样本的样本标签；将fMRI测试样本及fMRI测试样本的样本标签输入训练后的混合神经网络，得到fMRI测试样本的预测结果；将fMRI测试样本的预测结果和样本标签代入预先定义的评估公式得到评估结果，其中，Acc为评估结果，yi为fMRI测试样本的预测结果，di为fMRI测试样本的样本标签，N为fMRI测试样本的数目。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的疾病辅助诊断装置200的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
综上所述，本发明实施例提供的一种疾病辅助诊断方法及装置，所述方法包括：获取待诊断fMRI数据；将待诊断fMRI数据输入预先训练好的混合神经网络中进行疾病预测，得到待诊断fMRI数据对应的辅助诊断结果；当辅助诊断结果为患病时，基于混合神经网络确定出待诊断fMRI数据对应的患病区域可视图。与现有技术相比，本发明实施例能够实现对预测的患病区域的可视化，从而为医生诊断提供有力的辅诊参考。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
Claims (5)
1.一种疾病辅助诊断装置，其特征在于，所述疾病辅助诊断装置包括：
图像获取模块，用于获取磁共振扫描仪采集的待诊断fMRI图像，并将所述待诊断fMRI图像转换为数据矩阵格式，得到待诊断fMRI数据；所述待诊断fMRI图像是一个四维的数据，包括X、Y、Z空间维度及T时间维度；
数据获取模块，用于获取待诊断功能磁共振成像fMRI数据；
疾病预测模块，用于将待诊断fMRI数据输入预先训练好的混合神经网络中进行疾病预测，得到所述待诊断fMRI数据对应的辅助诊断结果；
病患可视图辅诊模块，用于当所述辅助诊断结果为患病时，基于所述混合神经网络确定出所述待诊断fMRI数据对应的患病区域可视图；
所述混合神经网络包括深度卷积神经网络和长短时记忆网络，所述深度卷积神经网络用于从三维空间中学习所述待诊断fMRI数据中的空间特征并对高维fMRI数据进行数据降维，所述长短时记忆网络用于学习时间维度的特征，所述混合神经网络表示为：
其中，为待诊断fMRI数据，其表示为/>；/>为深度卷积神经网络提取的空间维度特征，/>为深度卷积神经网络中第/>层的参数，/>为深度卷积神经网络中第/>层的输出特征图，深度卷积神经网络每一层均有对应的输出特征图；/>表示长短时记忆网络，/>为混合神经网络对待诊断fMRI数据/>的辅助诊断结果；
所述疾病预测模块具体用于：
将所述待诊断fMRI数据输入所述混合神经网络，利用所述深度卷积神经网络提取所述待诊断fMRI数据中的空间维度特征；
将获得的空间维度特征输入所述长短时记忆网络，利用所述长短时记忆网络对空间维度特征/>进行时间维度的迭代计算，直至t+1等于待诊断fMRI数据中的时间维度特征T，得到辅助诊断结果/>；
所述病患可视图辅诊模块具体用于：
当所述辅助诊断结果为患病时，获取疾病预测过程中所述混合神经网络每一层的输出特征图、/>、……、/>；
对每一层的输出特征图均进行最大化激活处理得到对应的激活图；
计算所有激活图在时间维度中的均值，并基于得到的计算结果在原始fMRI图像中标记出患病区域，得到所述患病区域可视图，其表示为：
其中，为所有激活图在时间维度中的均值，/>为每一层的输出特征图。
2.如权利要求1所述的疾病辅助诊断装置，其特征在于，采用下述方式得到训练好的混合神经网络：
获取多个fMRI训练样本及每个所述fMRI训练样本的样本标签；
基于所述fMRI训练样本及所述fMRI训练样本的样本标签，对构建的混合神经网络进行训练；
对训练后的混合神经网络进行评估，得到评估结果；
依据所述评估结果判断混合神经网络是否达到预设条件，并在所述混合神经网络达到预设条件时，得到训练好的混合神经网络。
3.如权利要求2所述的疾病辅助诊断装置，其特征在于，所述获取多个fMRI训练样本的步骤，包括：
获取磁共振扫描仪采集的多个原始fMRI图像，并将每个原始fMRI图像均转换为数据矩阵格式，得到多个fMRI数据；
将多个fMRI数据的空间分辨率进行统一，使得每个fMRI数据的时间维度相同；
对每个fMRI数据的颜色空间进行归一化，得到多个fMRI训练样本。
4.如权利要求2所述的疾病辅助诊断装置，其特征在于，所述基于所述fMRI训练样本及所述fMRI训练样本的样本标签，对构建的混合神经网络进行训练的步骤，包括：
将所述fMRI训练样本输入所述混合神经网络，利用所述混合神经网络的深度卷积神经网络提取所述fMRI训练样本中的空间维度特征；
将获得的所述空间维度特征输入所述混合神经网络的长短时记忆网络，利用所述长短时记忆网络对所述空间维度特征进行时间维度的迭代计算，得到所述fMRI训练样本的预测结果；
依据所述fMRI训练样本的预测结果和样本标签，对所述混合神经网络进行参数更新。
5.如权利要求2所述的疾病辅助诊断装置，其特征在于，所述对训练后的所述混合神经网络进行评估，得到评估结果的步骤，包括：
获取fMRI测试样本及所述fMRI测试样本的样本标签；
将所述fMRI测试样本及所述fMRI测试样本的样本标签输入训练后的所述混合神经网络，得到所述fMRI测试样本的预测结果；
将所述fMRI测试样本的预测结果和样本标签代入预先定义的评估公式，得到所述评估结果，其中，/>为所述评估结果，/>为所述fMRI测试样本的预测结果，/>为所述fMRI测试样本的样本标签，/>为所述fMRI测试样本的数目。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910228369.0A CN109820507B (zh) | 2019-03-25 | 2019-03-25 | 疾病辅助诊断方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910228369.0A CN109820507B (zh) | 2019-03-25 | 2019-03-25 | 疾病辅助诊断方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109820507A CN109820507A (zh) | 2019-05-31 |
| CN109820507B true CN109820507B (zh) | 2024-03-08 |
Family
ID=66872077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910228369.0A Active CN109820507B (zh) | 2019-03-25 | 2019-03-25 | 疾病辅助诊断方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109820507B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113768465A (zh) * | 2021-09-15 | 2021-12-10 | 安徽师范大学 | 基于卷积网络和长短期记忆网络的脑网络特征提取方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250707A (zh) * | 2016-08-12 | 2016-12-21 | 王双坤 | 一种基于深度学习算法处理头部结构像数据的方法 |
| CN107680088A (zh) * | 2017-09-30 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
| CN107961007A (zh) * | 2018-01-05 | 2018-04-27 | 重庆邮电大学 | 一种结合卷积神经网络和长短时记忆网络的脑电识别方法 |
| CN108695001A (zh) * | 2018-07-16 | 2018-10-23 | 武汉大学人民医院（湖北省人民医院） | 一种基于深度学习的癌症病灶范围预测辅助***及方法 |
| CN109063639A (zh) * | 2018-07-30 | 2018-12-21 | 浙江大学 | 一种实时预测大脑行为的方法 |
| CN109145838A (zh) * | 2018-08-29 | 2019-01-04 | 常州市第二人民医院 | 基于随机高斯场神经网络辅助的肾透明细胞癌诊断方法 |
| CN109242865A (zh) * | 2018-09-26 | 2019-01-18 | 上海联影智能医疗科技有限公司 | 基于多图谱的医学图像自动分区***、方法、装置及存储介质 |
| CN109300531A (zh) * | 2018-08-24 | 2019-02-01 | 深圳大学 | 一种脑疾病早期诊断方法和装置 |
| CN109346159A (zh) * | 2018-11-13 | 2019-02-15 | 平安科技（深圳）有限公司 | 病例图像分类方法、装置、计算机设备及存储介质 |
| CN109461495A (zh) * | 2018-11-01 | 2019-03-12 | 腾讯科技（深圳）有限公司 | 一种医学图像的识别方法、模型训练的方法及服务器 |
| CN109493954A (zh) * | 2018-12-20 | 2019-03-19 | 广东工业大学 | 一种基于类别判别定位的sd-oct图像视网膜病变检测*** |
-
2019
- 2019-03-25 CN CN201910228369.0A patent/CN109820507B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250707A (zh) * | 2016-08-12 | 2016-12-21 | 王双坤 | 一种基于深度学习算法处理头部结构像数据的方法 |
| CN107680088A (zh) * | 2017-09-30 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
| CN107961007A (zh) * | 2018-01-05 | 2018-04-27 | 重庆邮电大学 | 一种结合卷积神经网络和长短时记忆网络的脑电识别方法 |
| CN108695001A (zh) * | 2018-07-16 | 2018-10-23 | 武汉大学人民医院（湖北省人民医院） | 一种基于深度学习的癌症病灶范围预测辅助***及方法 |
| CN109063639A (zh) * | 2018-07-30 | 2018-12-21 | 浙江大学 | 一种实时预测大脑行为的方法 |
| CN109300531A (zh) * | 2018-08-24 | 2019-02-01 | 深圳大学 | 一种脑疾病早期诊断方法和装置 |
| CN109145838A (zh) * | 2018-08-29 | 2019-01-04 | 常州市第二人民医院 | 基于随机高斯场神经网络辅助的肾透明细胞癌诊断方法 |
| CN109242865A (zh) * | 2018-09-26 | 2019-01-18 | 上海联影智能医疗科技有限公司 | 基于多图谱的医学图像自动分区***、方法、装置及存储介质 |
| CN109461495A (zh) * | 2018-11-01 | 2019-03-12 | 腾讯科技（深圳）有限公司 | 一种医学图像的识别方法、模型训练的方法及服务器 |
| CN109346159A (zh) * | 2018-11-13 | 2019-02-15 | 平安科技（深圳）有限公司 | 病例图像分类方法、装置、计算机设备及存储介质 |
| CN109493954A (zh) * | 2018-12-20 | 2019-03-19 | 广东工业大学 | 一种基于类别判别定位的sd-oct图像视网膜病变检测*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109820507A (zh) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khan et al. | Skin lesion segmentation and classification: A unified framework of deep neural network features fusion and selection | |
| Khedher et al. | Independent component analysis-support vector machine-based computer-aided diagnosis system for Alzheimer’s with visual support | |
| Nanmaran et al. | Investigating the role of image fusion in brain tumor classification models based on machine learning algorithm for personalized medicine | |
| Islam et al. | A deep learning based framework for the registration of three dimensional multi-modal medical images of the head | |
| Putra et al. | Enhanced skin condition prediction through machine learning using dynamic training and testing augmentation | |
| CN107133651B (zh) | 基于超网络判别子图的功能磁共振影像数据分类方法 | |
| Shanmuganathan et al. | Review of advanced computational approaches on multiple sclerosis segmentation and classification | |
| CN112365980B (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及*** | |
| CN113569554B (zh) | 一种数据库中实体对匹配方法、装置、电子设备及存储介质 | |
| Zhan et al. | Automatic method for white matter lesion segmentation based on T1‐fluid‐attenuated inversion recovery images | |
| KR20210036840A (ko) | 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치 | |
| Khaleghi et al. | Visual saliency and image reconstruction from EEG signals via an effective geometric deep network-based generative adversarial network | |
| CN113569891A (zh) | 一种神经网络模型的训练数据处理、装置、电子设备及存储介质 | |
| Zhu et al. | A novel dynamic hyper-graph inference framework for computer assisted diagnosis of neuro-diseases | |
| CN115601299A (zh) | 基于图像的肝硬化状态智能评估***及其方法 | |
| CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及*** | |
| CN115190999A (zh) | 使用对比损失对分布外的数据进行分类 | |
| Soltani et al. | Improved algorithm for multiple sclerosis diagnosis in MRI using convolutional neural network | |
| CN112434718A (zh) | 基于深度图的新冠肺炎多模态特征提取融合方法及*** | |
| Shkurat et al. | Image Segmentation Method Based on Statistical Parameters of Homogeneous Data Set | |
| CN109820507B (zh) | 疾病辅助诊断方法及装置 | |
| Alyami et al. | Automatic skin lesions detection from images through microscopic hybrid features set and machine learning classifiers | |
| CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
| Singh et al. | An empirical review on evaluating the impact of image segmentation on the classification performance for skin lesion detection | |
| El-Shafai et al. | An Efficient CNN-Based Automated Diagnosis Framework from COVID-19 CT Images. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhong Jiyuan Inventor after: Yan Ming Inventor before: Zhong Jiyuan Inventor before: Liu Ling Inventor before: Yan Ming |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |