CN114581438B - Mri图像分类方法、装置、电子设备及存储介质 - Google Patents
Mri图像分类方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114581438B CN114581438B CN202210392384.0A CN202210392384A CN114581438B CN 114581438 B CN114581438 B CN 114581438B CN 202210392384 A CN202210392384 A CN 202210392384A CN 114581438 B CN114581438 B CN 114581438B
- Authority
- CN
- China
- Prior art keywords
- mri
- mri image
- classification
- processing
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种MRI图像分类方法、装置、电子设备及存储介质,能够在MRI图像未经过处理模型处理的情况下,根据分类模型按照处理模型对MRI图像可能的处理结果,对实际经过处理模型处理之前的MRI图像进行分类,从而能够更快、更有效率地完成对实际未经过处理模型进行处理的MRI图像进行分类。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种MRI图像分类方法、装置、电子设备及存储介质。
背景技术
磁共振成像(Magnetic Resonance Imaging,简称MRI)图像是一样利用磁共振现象从人体中获得的人体断层图像,常见于医院、体检中心等功能机构,通过非侵入人体的方式,获得人体关键位置处的MRI图像,进而可以由相关人员对MRI图像进行后续的处理。
功能机构在一些情况下需要对MRI图像进行分类管理,例如按照MRI图像经过机器学习模型处理后的处理结果,将MRI图像分为不同的类别。但由于机器学习模型在处理MRI图像时的数据量和计算量也较大。当存在较多数量的MRI图像时,将消耗非常大的时间成本、计算成本,才能够对MRI图像进行分类管理。导致了对MRI图像进行分类时的速度较慢、效率较低。
发明内容
本申请提供一种MRI图像分类方法、装置、电子设备及存储介质,用于解决对MRI图像进行分类时速度较慢、效率较低的问题。
本申请第一方面提供一种MRI图像分类方法,包括:获取第一MRI图像;对所述第一MRI图像进行预处理;将预处理后的所述第一MRI图像输入分类模型;根据所述分类模型输出的概率信息,确定所述第一MRI图像的类别;所述分类模型用于提取所述第一MRI图像的特征,并将所述第一MRI图像的特征与存储的多个类别特征进行比较后,输出所述第一MRI图像的特征与每个类别特征之间的概率信息;所述分类模型是根据所述多个类别的MRI训练图像和所述多个类别的辅助分类信息训练得到的,所述辅助分类信息包括所述MRI训练图像经过处理模型处理后的处理结果,所述多个类别对应于所述处理模型对MRI训练图像的多个处理结果;
在本申请第一方面一实施例中,所述分类模型包括:多个卷积神经网络模块、多个注意力机制模块、辅助分类信息处理模块、特征池化模块以及分类模块;其中,所述多个卷积神经网络模块和所述多个注意力机制模块依次间隔连接,所述多个卷积神经网络模块中的第一个卷积神经网络模块用于接收输入的MRI图像,所述多个注意力机制模块中的最后一个注意力机制模块连接所述分类模块,所述辅助信息处理模块通过所述特征池化模块连接所述分类模块;所述卷积神经网络模块用于提取特征;所述注意力机制模块用于对所述卷积神经网络模块提取的特征进行加权融合处理;所述辅助信息处理模块用于提供所述处理模型对所述多个类别的MRI训练图像进行处理后的处理结果;所述特征池化模块用于对所述辅助信息处理模块提供的数据进行降维处理;所述分类模块用于确定接收到的特征与每个类别特征之间的概率信息。
在本申请第一方面一实施例中,所述获取第一MRI图像之前,还包括:获取多个MRI训练图像,以及每个MRI训练图像的类别和处理结果;将所述多个MRI训练图像的处理结果输入所述分类模型中的辅助分类信息处理模块;依次将每个所述MRI训练图像进行预处理后,与所述MRI训练图像的类别输入所述分类模型;对所述分类模型进行迭代训练,使所述分类模型的损失函数满足条件。
在本申请第一方面一实施例中,对MRI图像进行的预处理,包括以下的一项或多项:使用SPM12方法对所述MRI图像进行处理;使用水平集分割算法将所述MRI图像划分为不同的区域;根据预设的模板,对所述MRI图像进行配准。
在本申请第一方面一实施例中,所述确定所述第一MRI图像的类别之后,还包括:将所述第一MRI图像,与所述类别对应的MRI训练图像进行相似度分析,当得到的相似度大于预设值,确定所述第一MRI图像分类准确。
在本申请第一方面一实施例中,所述对所述分类模型进行迭代训练,使所述分类模型的损失函数满足条件,包括:在预设数量区间内,调整所述多个卷积神经网络模块和所述多个注意力机制模块的数量,使所述分类模型的损失函数满足条件。
在本申请第一方面一实施例中,所述确定所述第一MRI图像的类别之后,还包括:当接收到第二MRI图像,且所述第二MRI图像满足预设条件时,确定所述第二MRI图像的类别为所述第一MRI图像的类别;所述预设条件包括:所述第一MRI图像和所述第二MRI图像的生成时间之差小于预设值、所述第一MRI图像和所述第二MRI图像是同一个设备生成的,或者所述第一MRI图像和所述第二MRI图像的标识信息相同。
本申请第二方面提供一种MRI图像分类装置,可用于执行如本申请第一方面提供的MRI图像分类方法。
本申请第三方面提供一种电子设备,包括:处理器及存储器;其中,存储器中存储有计算机程序,当处理器执行计算器程序时,处理器可用于执行如本申请第一方面任一项所述的方法。
本申请第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被执行时可用于执行如本申请第一方面任一项所述的方法。
综上,本申请提供的MRI图像分类方法、装置、电子设备及存储介质,能够在MRI图像未经过处理模型处理的情况下,根据分类模型按照处理模型对MRI图像可能的处理结果,对实际经过处理模型处理之前的MRI图像进行分类,从而能够更快、更有效率地完成对实际未经过处理模型进行处理的MRI图像进行分类。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请应用场景的示意图;
图2为本申请提供的MRI图像分类方法一实施例的流程示意图;
图3为本申请提供的一种分类模型的结构示意图;
图4为本申请提供的分类模型另一种应用的示意图;
图5为本申请提供的一种MRI图像分类的结构示意图;
图6为本申请提供的电子设备一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
磁共振成像(Magnetic Resonance Imaging,简称MRI)是一种利用磁共振现象从人体中获得电磁信号,并重建出人体断层的图像的成像技术,得到的图像被称为MRI图像。MRI常应用于医院、体检中心等功能机构,通过非侵入人体的方式,获得人体关键位置处的MRI图像,进而可以由相关人员对MRI图像进行后续的处理。
随着机器学习技术在图像识别等领域的广泛应用,越来越多的功能机构为了对MRI图像进行分析,都使用基于机器学习技术的处理模型对MRI图像进行处理。例如,功能机构在一些情况下需要对MRI图像进行分类管理。示例性地,假设一类MRI图像经过处理模型进行处理后得到处理结果A(处理结果A例如,确定MRI图像是人体脑部的图,或者确定MRI图像是病人A的MRI图像等)、另一类MRI图像经过处理模型进行处理后得到处理结果B(确定MRI图像是人体腹部的图像,或者确定MRI图像是病人B的MRI图像等),以此类推,就可以按照MRI图像经过处理模型处理后的处理结果,将MRI图像分为不同的类别。本申请对上述机器学习模型对MRI图像进行的处理不做限定,例如在功能机构的实际应用过程中,处理结果还可以是MRI图像中的人体脑部的灰质、白质和脑脊液的分布为预定的第一类型图像,第一类型可以对应于癫痫患者等。
但是,不同于其他彩色图像,MRI图像是通过灰度值来呈现内容,并通过图像不同像素点灰度值,所呈现出黑、白、灰等颜色的灰度值来体现图像内不同内容之间的边界和区别。进一步地,由于MRI图像仅通过灰度值呈现内容、而没有色彩等信息,机器学习模型在处理MRI图像时,与处理相同像素大小的彩色图像相比,对包括单一灰度值的MRI图像进行处理所需考虑的因素更多、所需的分析处理更多、处理更为复杂并且需要的精度更大,所使用的基于机器学习技术实现的处理模型的数据量和计算量也较大。因此,当存在较多数量的MRI图像时,就需要将每一个MRI图像都送入处理模型进行处理,在得到处理模型对所有MRI图像的处理结果后,才能按照处理模型的处理结果,将MRI图像分为不同的类别进行后续的管理与分类等处理。
综上,由于基于机器学习实现的处理模型本身就具有较大的计算量,使用处理模型对所有MRI图像进行处理后再分类的方式,将消耗非常大的时间成本、计算成本,才能够对MRI图像进行分类管理。导致了对MRI图像进行分类时的速度较慢、效率较低。
因此,本申请提供一种MRI图像分类方法、装置、电子设备及存储介质,用于解决现有技术中对MRI图像进行分类时速度较慢、效率较低的问题。下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本申请应用场景的示意图,如图1所示,本申请应用在对MRI图像进行处理,尤其是对MRI图像进行分类的场景中。其中,电子设备10可用于接收待分类的MRI图像,并对待分类的MRI图像进行分类处理后,在设备20上向用户30展示分类结果,使用户30根据分类结果对MRI图像进行后续处理。本申请实施例对用户30确定MRI图像的分类结果后进行的后续处理不做限定。
在一些实施例中,电子设备10可以将待分类的MRI图像输入基于机器学习技术实现的分类模型,由分类模型对MRI图像进行分类。其中,机器学习模型是通过电子设备10接收的MRI训练图像学习并训练得到的。
在一些实施例中,电子设备10具体可以是电脑、服务器或者工作站等。设备20可以是显示器等显示设备,或者还可以是具有显示功能的电能、平板电脑等电子设备。
图2为本申请提供的MRI图像分类方法一实施例的流程示意图,如图2所示的MRI图像分类方法可应用于如图1所示的场景中,由电子设备10执行,当电子设备执行如图2所示的方法时,可以对接收到的待测试MRI图像进行分类。如图2所示,本实施例提供的MRI图像分类方法包括:
S101:电子设备获取第一MRI图像。其中,第一MRI图像可以是当前待分类的MRI图像,可以是通过交互设备获取的、也可以是接收到的指示信息所确定的。或者,第一MRI图像可以是电子设备在连续处理多个MRI图像过程中的任一MRI图像。
S102:电子设备对第一MRI图像进行预处理。
在一些实施例中,本申请实施例中电子设备对MRI图像进行的预处理包括以下的一项或多项:使用SPM12方法对所述MRI图像进行处理;使用水平集分割算法将所述MRI图像划分为不同的区域;使用预设的模板,对所述MRI图像进行配准。
其中,SPM12方法是一种用于处理MRI图像的数据预处理处理方法,该可以在Matlab中通过软件库形式实现。利用水平集分割算法将MRI图像中T1加权图像分割为灰质、白质和脑脊液等部分。其中,MRI图像包括多个成像参数,成像参数包括反映T1弛豫时间的T1值、反映T2弛豫时间的T2值和反映质子密度的弛豫时间值等。在一些情况下,当MRI图像为脑部图像,而MRI图像内脑部的大小不同,因此可以将不同MRI图像通过配准的方式,配准到一个标准的模板上。配准的过程可以理解为对MRI图像进行变形,使MRI图像中的人体脑部与标准的模板尽可能轮廓一致。在具体的实现过程中,可以使用样条函数对MRI图像中的脑组织进行平滑配准;使用搞死函数对MRI图像中的脑组织和白质之间进行线性配准。
S103:电子设备将经过S102中预处理后的第一MRI图像输出基于机器学习技术的分类模型中,由分类模型对接收到的第一MRI图像进行分类处理,并输出第一MRI图像与每个类别的概率信息。
在一些实施例中,本申请提供一种可用于对MRI图像进行分类的分类模型,该分类模型基于机器学习技术实现。图3为本申请提供的一种分类模型的结构示意图,如图3所示,本实施例提供的分类模型包括:多个卷积神经网络(Convolutional Neural Networks,简称:CNN)模块、多个注意力机制(Attention)模块、一个辅助分类信息处理模块、一个特征池化(Pooling)模块和一个分类模块。在一些实施例中,分类模块可以包括全连接层和/或SoftMax函数层。
如图3所示,在分类模型中,多个卷积神经网络模块和多个注意力机制模块依次间隔连接,形成卷积神经网络模块、注意力机制模块、卷积神经网络模块、注意力机制模块……的连接顺序,以此类推。多个卷积神经网络模块中的第一个卷积神经网络模块用于接收输入的MRI图像,在本申请实施例中具体接收的是经过预处理后的第一MRI图像。多个注意力机制模块中的最后一个注意力机制模块连接分类模块。辅助信息模块通过特征池化模块连接分类模块。
具体地,每个卷积神经网络模块用于通过卷积神经网络提取输入的MRI图像的特征,并输入后续的注意力机制模块进行处理。注意力机制模块用于对卷积神经网络提取的特征进行加权融合处理后,输入后续的卷积神经网络模块。辅助信息处理模块用于提供处理模型对多个类别的MRI训练图像进行处理后的处理结果。特征池化模块特征池化模块可用于对特征进行降采样(subsample)处理,来降低数据的维度,进而降低数据的大小,并将处理后的特征输入分类模块。分类模块用于确定接收到额MRI图像的特征,与每个类别特征之间的概率信息。
在一些实施例中,当MRI图像为人脑图像,本申请提供的卷积网络模块所提取的特征包括MRI图像中人脑的灰质密度和对应于白质的部分各向异性参数(Fractionalanisotropy,简称FA)值等特征信息,并利用所构建模型特征的体素信息进行分类模型训练。其中,FA值指弥散的各项异性部分与弥散张量总值的比值,取值在0~1之间,0代表最大各项同性的弥散数,1代表假想下最大各项异性的弥散。在一些实施例中,电子设备还可以通过典型相关分析(Canonical Correlation Analysis,简称:CCA),通过综合变量之间的相关性来反应两组指标之间的总体相关性。则可以将MRI图像的不同特征与处理模型的处理结果之间的相关性作为协方差,并根据最小二乘法求解相关系数,以便进行进一步的相关性分析,从而将相关性高的特征作为分类的主要依据。
S104:电子设备根据S103中分类模型输出的第一MRI图像与每个类别特征之间的概率信息,确定第一MRI图像的类别。
在一些实施例中,电子设备可以将分类模型输出的概率信息中,概率值最大的类别特征对应的类别,作为第一MRI图像的类别。示例性地,分类模型输出的第一MRI图像与第一类别特征的相似概率信息为0.8、第一MRI图像与第二类别特征的相似概率信息为0.1,则电子设备可以确定第一MRI图像的类别为第一类别。
在一些实施例中,上述分类模型对MRI图像划分的多个类别可以是预设的,或者是用户根据所有MRI训练图像的处理结果所划分的,并进行标准后输入辅助分类信息处理模块。使得辅助分类信息处理模块提供的信息可以直接输入分类模块,进一步提高了分类模块的处理精度,从而以更高的置信度输出MRI图像与每个类别特征之间的概率信息。
综上,本实施例提供的MRI图像分类方法,当根据处理模型对MRI图像进行处理后的处理结果,对MRI图像进行分类时,实际并不需要将MRI图像输入处理模型,而是将待分类的MRI图像输入分类模型后,由分类模型根据已知处理结果的多个训练图像及其处理结果,确定MRI图像与每个类别的MRI训练图像的特征的概率信息,进而确定MRI图像的类别。
因此,使用本实施例提供的MRI图像分类方法,能够在MRI图像未经过处理模型处理的情况下,根据分类模型按照处理模型对MRI图像可能的处理结果,对实际经过处理模型处理之前的MRI图像进行分类。在这个过程中,避免了处理模型对MRI图像进行处理所消耗的时间成本和计算成本,且“相当于”通过分类模型,对处理模型对MRI图像的处理结果进行“预测”,从而能够更快、更有效率地完成对实际未经过处理模型进行处理的MRI图像进行分类。
作为对比,由图3中的分类模型的结构可以看出,MRI训练图像经过辅助信息处理模块、特征池化模块的处理后直接输入分类模块中,而避免了运算量较大的处理模型对MRI训练图像进行的处理。而经过处理模型对MRI训练图像进行学习、训练和处理时,都需要使用计算量较大的模块进行特征提取等操作,而不会直接输入分类模块中,极大地增加了计算量、减少了计算速度和效率。
可以理解的是,在一些情况下,当电子设备无法确定处理模型对MRI图像进行何种处理,而只能够确定处理模型对MRI训练图像进行的处理结果及其分类。此时,电子设备就可以使用本申请实施例的分类模型,对MRI图像进行分类。从而可以在处理模型不可知的情况下,电子设备依然可以实现根据MRI图像可能的处理结果,对MRI图像进行分类。可以理解的是,这种分类方法可能不如将MRI图像实际输入处理模型进行处理后的分类结果准确,但在一些对准确性要求不高的场景中,能够通过牺牲一定的准确性,获得更快的计算速度和更高的分类效率,并提高对MRI图像进行分类的智能化程度。
例如,在一些情况下,医院等功能机构会通过内部的方式对MRI图像进行处理,其内部处理方式所使用的处理模型通常无法对外公开。则对于医院看病的患者而言,在缺乏MRI图像的相关知识、也没有处理模型的情况下,当MRI图像的数量较多时,就可以在无需医院提供处理模型的情况下,根据已知处理模型对MRI训练图像的处理结果,通过相对于处理模型计算量较小、更为轻量化的分类模型,对MRI图像进行分类(例如对MRI图像具体是人体的脑部或者腹部的图像进行分类,或者对MRI图像所包括的内容是脑部的灰质、白质或者脑脊液进行分类等)。从而实现对MRI图像进行分类与自我管理,既能够提高对MRI图像分类的效率,还能够丰富本实施例中MRI图像分类方法的应用场景,更便于本实施例的使用与推广。
图4为本申请提供的分类模型另一种应用的示意图,如图4示出了电子设备使用多个类别的MRI训练图像,以及这些MRI训练图像经过处理模型处理后的处理结果,输入分类模型,并训练得到分类模型中存储的多个类别特征的过程。
如图4所示,为了对分类模型进行训练,首先电子设备获取的多个MRI训练图像,以及每个MRI训练图像的类别和处理结果。将多个MRI训练图像的处理结果输入分类模型中的辅助信息处理模块。随后,将每个MRI训练图像进行预处理,并将预处理后的MRI图像及该MRI图像标记的类别输入分类模型进行处理。最终,根据已知分类的类别的MRI训练图像,对分类模型进行迭代训练,最终使分类模型的损失函数满足预设的条件后停止训练。
其中,基于机器学习模型实现的分类模块可以通监督学习的函数逼近来描述,给定一个由输入和输出组成的数据集,我们假设存在一个未知的底层函数,该函数在将输入映射到目标域中的输出时是一致的,并生成了该数据集。使用监督学习算法来逼近该函数。神经网络是有监督机器学习算法的一个例子,在函数逼近的背景下可能最容易理解。
在一些实施例中,本申请实施例提供的分类模型可以选择不同的损失函数。例如,可以采用平均绝对误差(Mean Absolute Error,简称:MAE)函数来进行分类模型的训练。该模型具有针对复杂设计,特异性高,对数据敏感等特点。在一些实施例中,分类模型中还可以使用Adam优化器。其中Adam优化器,可以看作另两个流行的优化器AdaGrad和RMSProp的组合。此外,在分类模型训练过程中,根据实际情况来设定模型的训练迭代次数,在更新权重和偏置之后,下一个批量被采样,并重复此过程。直到所有的批量都被提交给网络。完成所有批量被称为完成一次epoch。epoch达到预设的停止标准以后,分类模型的训练就会停止。
则当分类模型完成训练后,分类模型中已经提取所有类别的MRI训练图像的特征并进行存储,使得分类模型可应用于图3中对第一MRI图像进行分类。特别地,在分类模型训练过程中,辅助信息处理模块将MRI图像的处理结果输出至特征池化模块,并由特征池化模块处理后输入分类模块,辅助信息处理模块提供的特征能够进一步提高分类模块的分类精度,使分类模型具有更高的置信度。
在一些实施例中,当电子设备根据前述方法得到第一MRI图像的类别后,电子设备还可以将第一MRI图像,与当前确定的类别的MRI训练图像进行相似度分析。例如通过余弦相似度计算或者欧式距离计算得到相似度。并在相似度大于预设值的情况下,确定第一MRI图像分类准确;而当相似度小于预设阈值时,确定第一MRI图像分类不准确,可以发出提示信息或者重新输入分类模型进行处理等。从而提高了电子设备对MRI图像进行分类时的准确性和有效性。
需要说明的是,本申请各实施例提供的分类模型中,对分类模型中包括的卷积神经网络模块和注意力机制模块的数量不做限定,可以由分类模型在训练过程中实时调整,并且该数量可以给定一个预设数量区间[a,b],a和b为正整数a<b。则分类模型在迭代训练过程中,可以自行在预设数量区间内调整分类模型中卷积神经网络模块和注意力机制模块的数量,只需保持依次间隔连接的关系即可。最终将能够满足损失函数满足条件的,数量最少的卷积神经网络模块和注意力机制模块作为分类模型中的多个卷积神经网络模块和多个注意力机制模块。从而能够更加灵活地对分类模型进行迭代训练,能够在保证分类模型满足损失函数的情况下,尽可能减少分类模型的计算量。
在一些实施例中,电子设备可能连续接收到同一个类别的MRI图像,如果将每个MRI图像都送入分类模型,也会带来较大的计算量。因此,当电子设备完成对第一MRI图像的分类后,如果在此之后再收到第二MRI图像,则电子设备判断第二MRI图像满足预设条件时,可以不将第二MRI图像输入分类模型,而是直接将第二MRI图像的类别确定为第一MRI图像的类别,即确定第二MRI图像的类别与第一MRI图像的类别相同。从而能够减少电子设备在连续对MRI图像进行分类时的计算量,进一步提高电子设备对MRI图像进行分类的效率。
例如,当第一MRI图像和第二MRI图像的生成时间小于预设值(例如1分钟),说明这两个MRI图像可能是连续拍摄得到的,针对同一个对象的多次拍摄,电子设备在接收到第二MRI图像后,就可以确定第二MRI图像和的类别为第一MRI图像的类别。或者,当第一MRI图像和第二MRI图像是同一个设备拍摄的,说明这两个设备可能都是用于采集某一类对象的MRI图像,则电子设备在接收到第二MRI图像后,就可以确定第二MRI图像和的类别为第一MRI图像的类别。又或者,当第一MRI图像和第二MRI图像的标识信息(对象编号、拍摄位置、操作人员等)相同时,电子设备在接收到第二MRI图像后,就可以确定第二MRI图像和的类别为第一MRI图像的类别。
在一些实施例中,当连续获取的MRI图像都通过上述判断预设条件的方式,确定获取的MRI图像的类别为第一MRI图像的类别后,还可以将任一个MRI图像再输入分类模型进行验证,当根据分类模型确定的该MRI图像的类别与第一MRI图像的类别相同后,可以继续使用上述预设条件判断。当根据分类模型确定的该MRI图像的类别与第一MRI图像的类别不同时,说明预设条件可能有误,则电子设备在后续一段时间内的分类就不再使用预设条件进行判断,而继续讲后续MRI图像输入分类模型进行分类。
在前述实施例中,对本申请实施例提供的MRI图像分类方法进行了介绍,而为了实现上述本申请实施例提供的方法中的各功能,作为执行主体的电子设备可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
例如,图5为本申请提供的一种MRI图像分类的结构示意图,如图5所示的装置1000包括:获取模块1001和处理模块1002。则获取模块可用于获取第一MRI图像。处理模块可用于对所述第一MRI图像进行预处理;将预处理后的所述第一MRI图像输入机器学习模型,并根据所述机器学习模型输出的概率信息,确定所述第一MRI图像的类别等。有关该装置1000执行的步骤具体的实现方式及原理可以参照本申请前述实施例,不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,处理模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上***(system-on-a-chip,SOC)的形式实现。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘solid state disk (SSD))等。
例如,图6为本申请提供的电子设备一实施例的结构示意图,本申还提供一种电子设备2000,包括:处理器2001以及存储器2002;其中,存储器2002中存储有计算机程序,处理器2001可以执行计算机程序。例如,当电子设备2000作为直放站时,处理器2001执行计算机程序后可执行如本申请前述实施例中任一MRI图像分类方法。处理器2001还可以通过通信接口2003获取第一MRI图像等。
本申请还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被执行时可用于执行如本申请前述实施例中任一MRI图像分类方法中的步骤。
本申请实施例还提供一种运行指令的芯片,所述芯片用于执行如本申请前述任一MRI图像分类方法中的步骤。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (7)
1.一种MRI图像分类方法,其特征在于,包括:
获取第一MRI图像;对所述第一MRI图像进行预处理;将预处理后的所述第一MRI图像输入分类模型;根据所述分类模型输出的概率信息,确定所述第一MRI图像的类别;
所述分类模型用于提取所述第一MRI图像的特征,并将所述第一MRI图像的特征与存储的多个类别特征进行比较后,输出所述第一MRI图像的特征与每个类别特征之间的概率信息;所述分类模型是根据所述多个类别的MRI训练图像和所述多个类别的辅助分类信息训练得到的,所述辅助分类信息包括所述MRI训练图像经过处理模型处理后的处理结果,所述多个类别对应于所述处理模型对MRI训练图像的多个处理结果;
所述确定所述第一MRI图像的类别之后,还包括:
当接收到第二MRI图像,且所述第二MRI图像满足预设条件时,确定所述第二MRI图像的类别为所述第一MRI图像的类别;
所述预设条件包括:所述第一MRI图像和所述第二MRI图像的生成时间之差小于预设值、所述第一MRI图像和所述第二MRI图像是同一个设备生成的,或者所述第一MRI图像和所述第二MRI图像的标识信息相同;
所述获取第一MRI图像之前,还包括:
获取多个MRI训练图像,以及每个MRI训练图像的类别和处理结果;
将所述多个MRI训练图像的处理结果输入所述分类模型中的辅助分类信息处理模块;
依次将每个所述MRI训练图像进行预处理后,与所述MRI训练图像的类别输入所述分类模型;
对所述分类模型进行迭代训练,使所述分类模型的损失函数满足条件;
对所述分类模型进行迭代训练,使所述分类模型的损失函数满足条件,包括:
在预设数量区间内,调整多个卷积神经网络模块和多个注意力机制模块的数量,使所述分类模型的损失函数满足条件。
2.根据权利要求1所述的方法,其特征在于,
所述分类模型包括:多个卷积神经网络模块、多个注意力机制模块、辅助分类信息处理模块、特征池化模块以及分类模块;
其中,所述多个卷积神经网络模块和所述多个注意力机制模块依次间隔连接,所述多个卷积神经网络模块中的第一个卷积神经网络模块用于接收输入的MRI图像,所述多个注意力机制模块中的最后一个注意力机制模块连接所述分类模块,所述辅助分类信息处理模块通过所述特征池化模块连接所述分类模块;
所述卷积神经网络模块用于提取特征;所述注意力机制模块用于对所述卷积神经网络模块提取的特征进行加权融合处理;所述辅助分类信息处理模块用于提供所述处理模型对所述多个类别的MRI训练图像进行处理后的处理结果;所述特征池化模块用于对所述辅助分类信息处理模块提供的数据进行降维处理;所述分类模块用于确定接收到的特征与每个类别特征之间的概率信息。
3.根据权利要求1-2任一项所述的方法,其特征在于,对MRI图像进行的预处理,包括以下的一项或多项:
使用SPM12方法对所述MRI图像进行处理;
使用水平集分割算法将所述MRI图像划分为不同的区域;
根据预设的模板,对所述MRI图像进行配准。
4.根据权利要求3所述的方法,其特征在于,所述确定所述第一MRI图像的类别之后,还包括:
将所述第一MRI图像,与所述类别对应的MRI训练图像进行相似度分析,当得到的相似度大于预设值,确定所述第一MRI图像分类准确。
5.一种MRI图像分类装置,其特征在于,用于执行如权利要求1-4任一项所述的方法。
6.一种电子设备,其特征在于,包括:处理器及存储器;其中,存储器中存储有计算机程序,当处理器执行计算机程序时,处理器可用于执行如权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被执行时可用于执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210392384.0A CN114581438B (zh) | 2022-04-15 | 2022-04-15 | Mri图像分类方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210392384.0A CN114581438B (zh) | 2022-04-15 | 2022-04-15 | Mri图像分类方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114581438A CN114581438A (zh) | 2022-06-03 |
CN114581438B true CN114581438B (zh) | 2023-01-17 |
Family
ID=81784140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210392384.0A Active CN114581438B (zh) | 2022-04-15 | 2022-04-15 | Mri图像分类方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114581438B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184794A (zh) * | 2015-09-07 | 2015-12-23 | 中国科学院深圳先进技术研究院 | 一种基于张量图像的csm辅助分析***及方法 |
CN107563434A (zh) * | 2017-08-30 | 2018-01-09 | 山东大学 | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 |
CN114168788A (zh) * | 2020-08-20 | 2022-03-11 | 京东科技控股股份有限公司 | 音频审核的处理方法、装置、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220277558A1 (en) * | 2019-07-30 | 2022-09-01 | Allwinner Technology Co., Ltd. | Cascaded Neural Network-Based Attention Detection Method, Computer Device, And Computer-Readable Storage Medium |
-
2022
- 2022-04-15 CN CN202210392384.0A patent/CN114581438B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184794A (zh) * | 2015-09-07 | 2015-12-23 | 中国科学院深圳先进技术研究院 | 一种基于张量图像的csm辅助分析***及方法 |
CN107563434A (zh) * | 2017-08-30 | 2018-01-09 | 山东大学 | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 |
CN114168788A (zh) * | 2020-08-20 | 2022-03-11 | 京东科技控股股份有限公司 | 音频审核的处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114581438A (zh) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230342918A1 (en) | Image-driven brain atlas construction method, apparatus, device and storage medium | |
Shanmuganathan et al. | Review of advanced computational approaches on multiple sclerosis segmentation and classification | |
CN108197592B (zh) | 信息获取方法和装置 | |
CN110993094A (zh) | 一种基于医学图像的智能辅助诊断方法及终端 | |
Ghosh et al. | Chaotic firefly algorithm-based fuzzy C-means algorithm for segmentation of brain tissues in magnetic resonance images | |
CN112767504A (zh) | 用于图像重建的***和方法 | |
Agnello et al. | Unsupervised tissue classification of brain MR images for voxel‐based morphometry analysis | |
Upadhyay et al. | Uncertainty-aware gan with adaptive loss for robust mri image enhancement | |
Yang et al. | DBAN: Adversarial network with multi-scale features for cardiac MRI segmentation | |
Kalaiselvi et al. | Rapid brain tissue segmentation process by modified FCM algorithm with CUDA enabled GPU machine | |
Nagarathinam et al. | Image registration‐based brain tumor detection and segmentation using ANFIS classification approach | |
Standvoss et al. | Cerebral microbleed detection in traumatic brain injury patients using 3D convolutional neural networks | |
Cazañas-Gordón et al. | Multiscale attention gated network (MAGNet) for retinal layer and macular cystoid edema segmentation | |
Elhanashi et al. | Classification and localization of multi-type abnormalities on chest X-Rays images | |
Valverde et al. | Assessing the accuracy and reproducibility of PARIETAL: a deep learning brain extraction algorithm | |
Lim et al. | CardiSort: a convolutional neural network for cross vendor automated sorting of cardiac MR images | |
KR20230070085A (ko) | 뇌 네트워크를 이용한 알츠하이머병에 대한 진단정보 제공방법 | |
Perumal et al. | Detection of brain tumor with magnetic resonance imaging using deep learning techniques | |
Xu et al. | Brain cancer survival prediction on treatment-naïve MRI using deep anchor attention learning with vision transformer | |
CN114581438B (zh) | Mri图像分类方法、装置、电子设备及存储介质 | |
Soni et al. | MRI segmentation for computer-aided diagnosis of brain tumor: a review | |
Mihaylova et al. | Multistage approach for automatic spleen segmentation in MRI sequences | |
KR102472550B1 (ko) | 병변 탐지 방법, 프로그램 및 장치 | |
WO2023108418A1 (zh) | 脑图谱构建及神经环路检测的方法和相关产品 | |
CN115035133A (zh) | 一种模型训练方法、图像分割方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 518100 Guangdong Shenzhen Baoan District Xixiang, Baoan District, 3 tower, Wutong Island, Taihua Patentee after: Shenzhen Haiqing Zhiyuan Technology Co.,Ltd. Address before: 518100 Guangdong Shenzhen Baoan District Xixiang, Baoan District, 3 tower, Wutong Island, Taihua Patentee before: SHENZHEN HIVT TECHNOLOGY Co.,Ltd. |