CN107423756A - 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法 - Google Patents

基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法 Download PDF

Info

Publication number
CN107423756A
CN107423756A CN201710541367.8A CN201710541367A CN107423756A CN 107423756 A CN107423756 A CN 107423756A CN 201710541367 A CN201710541367 A CN 201710541367A CN 107423756 A CN107423756 A CN 107423756A
Authority
CN
China
Prior art keywords
magnetic resonance
nuclear magnetic
sample
resonance image
dcnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710541367.8A
Other languages
English (en)
Inventor
王兴刚
刘涛
汪成
欧阳杰
王良
罗博
杨巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kearns Medical Science & Technology Co Ltd
Original Assignee
Wuhan Kearns Medical Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Kearns Medical Science & Technology Co Ltd filed Critical Wuhan Kearns Medical Science & Technology Co Ltd
Priority to CN201710541367.8A priority Critical patent/CN107423756A/zh
Publication of CN107423756A publication Critical patent/CN107423756A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法，包括以下步骤：S1、搜集标本核磁共振图像数据，并对标本的核磁共振图像进行标注；S2、对核磁共振图像进行预处理，在不影响图片特征的情况下，对训练集X中的每张核磁共振图像进行缩小；S3、对训练集中的数据进行扩充；S4、构建并训练DCNN+LSTM分类模型；S5、输入新数据与处理预测结果。本发明能够快速区分核磁共振图像的种类，从而大幅提高图像识别效率。

Description

基于深度卷积神经网络结合长短期记忆模型的核磁共振图像 序列分类方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法及***。
背景技术
核磁共振图像包括很多种，如MRI(Magnetic Resonance Imaging)磁共振成像，是断层成像的一种，它利用核磁共振原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。当应用到人体时，可以重建出人体信息。
深度学习是机器学习拉出的分支，它试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
传统的神经网络只能够处理当前时间的信息，不能对过去时间段的信息加以利用，简而言之就是没有“记忆性”。而循环神经网络RNN的出现则解决了这一问题。顾名思义，循环神经网络是包含循环的神经网络，从而允许利用先前的信息，从而具有“记忆性”。但是RNN也有一个不足，那就是如果记忆窗口很长，就会导致梯度消失/梯度***问题，从而无法利用久远的信息。也就是只能进行短期记忆，不能进行长期记忆。
发明内容
本发明要解决的技术问题在于针对现有技术中无法有效对核磁共振图像进行分类的缺陷，提供一种基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法。
本发明解决其技术问题所采用的技术方案是：
提供一种基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法，包括以下步骤：
S1、搜集标本核磁共振图像数据，并对标本的核磁共振图像进行标注
设标本为Xi，i∈[1,……,N]，其中N为标本的总数量，每个标本有一个标注Yi，表示标本种类，并用下式表示标本：其中Mi为标本Xi的核磁共振图像数量；对每个Xi都进行标注后，形成训练集X；
S2、对核磁共振图像进行预处理
在不影响图片特征的情况下，对训练集X中的每张核磁共振图像进行缩小；
S3、对训练集中的数据进行扩充
对缩小后的图像，按照更小的预设尺寸，以1个像素为步幅，抠取出多张图片，以扩充训练集中的数据；
S4、构建并训练DCNN+LSTM分类模型
构建DCNN+LSTM分类模型，并通过预设算法调整DCNN+LSTM分类模型中的可训练参数，该DCNN+LSTM分类模型包括多层，其倒数三、四层为全连接层，倒数第二层为LSTM层，最后一层为输出层；且该DCNN+LSTM分类模型包括一个输入节点和多个输出节点，其输入节点的输入为经S2、S3步骤后的训练集中的每张核磁共振图像，每个输出节点的输出为核磁共振图像标本属于某一标本种类的概率；
S5、输入新数据与处理预测结果
将待分类标本的多张核磁共振图像按顺序输入到DCNN+LSTM分类模型的输入节点，计算每个输出节点的输出值，比较各个输出值，选择最大值作为最终输出。
接上述技术方案，所述核磁共振图像为CT影像或者MRI断层影像，Mi取值为9～30。
接上述技术方案，该方法还包括步骤：构建DCNN+LSTM分类模型后，采用计算机视觉***识别项目ImageNet中经过预训练的模型初始化DCNN+LSTM分类模型。
接上述技术方案，训练集中标本的核磁共振图像为1536×1536的二维图像，步骤S2中将图片缩小为260×260的二维图像。
接上述技术方案，步骤S3中对缩小后的图像，按照224×224的预设尺寸，以1个像素为步幅，抠取出36×36＝1296张图片。
本发明还提供了一种基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类的***，包括：
标注模块，用于对训练集中标本的核磁共振图像进行标注，设标本为Xi，i∈[1,……,N]，其中N为标本的总数量，每个标本有一个标注Yi，表示标本种类，并用下式表示标本：其中Mi为标本Xi的核磁共振图像数量；
预处理模块，用于对核磁共振图像进行预处理，在不影响图片特征的情况下，对图片进行缩小；
训练集扩充模块，用于对训练集中的数据进行扩充，对缩小后的图像，按照更小的预设尺寸，以1个像素为步幅，抠取出多张图片，以扩充训练集中的数据；
分类模型构建模块，用于构建并训练DCNN+LSTM分类模型，通过预设算法调整DCNN+LSTM分类模型中的可训练参数，该DCNN+LSTM分类模型包括多层，其倒数三、四层为全连接层，倒数第二层为LSTM层，最后一层为输出层；且该DCNN+LSTM分类模型包括一个输入节点和多个输出节点，其输入节点的输入为经扩充后的训练集，每个输出节点的输出为标本属于某一标本种类的概率；
输入新数据与处理预测结果模块，用于将待分类标本的多张核磁共振图像按顺序输入到DCNN+LSTM分类模型的输入节点，计算每个输出节点的输出值，比较各个输出值，选择最大值作为最终输出。
接上述技术方案，所述核磁共振图像为CT影像或者MRI断层影像，Mi取值为9～30。
接上述技术方案，该***还包括初始化模块，用于在构建DCNN+LSTM分类模型后，采用计算机视觉***识别项目ImageNet中经过预训练的模型初始化DCNN+LSTM分类模型。
接上述技术方案，训练集中标本的核磁共振图像为1536×1536的二维图像，预处理模块将图片缩小为260×260的二维图像。
接上述技术方案，训练集扩充模块具体用于对缩小后的图像，按照224×224的预设尺寸，以1个像素为步幅，抠取出36×36＝1296张图片。
本发明产生的有益效果是：本发明利用前沿的深度学习技术，建立DCNN+LSTM分类模型，并且在少量训练数据的情况下，通过扩充训练集中的数据来训练DCNN+LSTM分类模型，通过该分类模型对核磁共振图像进行分类，准确率可达到80％以上。本发明能够帮助放射科医生快速区分病灶种类，从而大幅提高医生的工作效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法的流程图；
图2是本发明实施例BPH和PCA的DCNN+LSTM分类模型；
图3是本发明所用的LSTM结构模型。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例的基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法，以MRI断层影像为例，主要包括以下步骤：
S1标本数据标注
设标本为Xi，i∈[1,……,N]，其中N为标本的总数量，每个标本有一个标注Yi，表示它是PCA还是BPH，比如说，如果Xi是PCA，则Yi＝1；如果Xi是BPH，则Yi＝0；在MRI照射情况下，每个标本都有多层影像数据，于是可用下式表示标本：
其中Mi为标本Xi的MRI断层影像数量，通常Mi取值为9～30。
S2核磁共振图像数据预处理
本发明的一个实施例中，是一张张1536×1536的二维图像，为了提高模型计算效率，且不影响图片特征的，需要对图片大小进行缩小，在本发明中，将其缩小成260×260的二维图像。
S3训练集数据扩充
在S2中，把每张影像数据从1536×1536压缩到260×260，再从每张被缩小的图片中按224×224的尺寸，以1个像素为步幅，抠取出36×36＝1296张图片。这样我们的标本影像数据就可以扩大1296倍，可以满足之前建立的深度学习神经网络模型的训练数据集要求了，而且数据准确性也得到了保证。
S4构建和训练DCNN+LSTM分类模型
通常我们会通过建立逻辑回归模型来处理二值分类问题。本专利通过构建DCNN+LSTM模型，并在输出处添加转移函数(sigmoid function)，从而形成逻辑回归分类模型，并通过预设算法调整DCNN+LSTM分类模型中的可训练参数，该DCNN+LSTM分类模型包括一个输入节点和多个输出节点，其输入节点的输入为经扩充后的训练集，每个输出节点的输出为标本属于某一类的概率的矢量。
本发明的一个实施例中，构建的DCNN+LSTM分类模型结构如图2所示(以二分类为例)：
图2中输入为经过处理的MRI影像数据，整个DCNN+LSTM一共具有17层，采用的是一种广泛使用的神经网络模型VGG16，并对其加以改造，在输出层之前加一层LSTM层。由于VGG16在分类问题中的出色效果，本专利使用VGG16网络的前15层，作为图片特征提取器，并将其输入进LSTM层进行处理，LSTM输出的结果在经过一个有两个结点的全连接层输出。可以理解的是，vgg16+LSTM分类模型的层数设置，以及卷积核的数量和尺寸，都可以根据经验设定。本发明的实施例中，图2中如第一层卷积层所示，原始输入图像经过64个卷积核卷积操作后将变成64张224×224的二维图像，后续卷积层分别在上一卷积层上进行卷积操作；倒数三四层为全连接层，他们所输出的是样本图片的高层特征，倒数第二层为LSTM层，通过实验得知，使用LSTM处理样本图片的高层特征(即放置在倒数第二层)，可以更为有效的进行分类，从而可以得到更高的准确率。最后一层为输出层，输出层共两个节点。LSTM独特的结构能够让它很好的处理带有时间信息的数据。传统的神经网络通常都是对单张图片进行分类，LSTM则可以对一连时间序列上的图片数据进行分类。例如，若将上述方法应用到医学领域，医学影像病灶分类如***癌(PCA)与***增生(BPH)疾病，就可以获得每个病人在不同时期的影像图片。但是传统的神经网络无法利用单个病人在多个时期的影像图片内的时间信息。若将这些图片按时间顺序输入带有LSTM的神经网络，则可以提取出这个病人这个病情发展的过程特征。就像医生通过观看病人不同时期的影像图片可以知道病人的病情是如何发展的道理类似，LSTM可以提取出该疾病的发展特征。从而可以进行更为有效的分类。
在LSTM中，每个神经元就是一个“记忆细胞”。它的关键在于细胞状态，细胞状态包含了过去的所有的经过筛选的信息。每个记忆细胞的内部主要由三部分构成：遗忘门，输入门和输出门。其中，遗忘门是对上一时刻的信息进行筛选，输入门是对当前时刻的新输入进行筛选，输出门则是对综合后的遗忘门输出和输入门输出进行筛选。LSTM的在时间上展开后的结构如图3所示。
上述模型可以被认为是一个非线性函数f(Xi)，函数的输出为一个矢量，表示Xi属于某一类(BPH或PCA)的概率。特别地，假设这个矢量为Pi∈RK×1，其中K表示疾病的类别数量，R表示实数集，本发明中K＝2，Pi(1)表示Xi属于BPH的概率，Pi(2)表示Xi属于PCA的概率。于是，对于Pi有下面的式子成立：
训练该BPH和PCA分类模型就相当于求解如下优化问题：
即，找到使得模型输出的两类概率与标注值之间距离最短的函数f，求解上述优化问题有许多方法，通常采用反向传播算法(Backpropagation algorithm，简称：BP算法)。每个标本的每次输入8张图像代表Xi被DCNN+LSTM模型f(Xi)进行分类，从而得到一个该标本的分类概率Pi。
那么标本Xi的预测分类可以用如下公式获得：
即：所有输出中概率最大的节点所代表的疾病种类，特别地，对于PCA与BPH分类，输出节点1代表PCA，输出节点2代表BPH，若输入一个标本影像数据后，节点1的输出平均值为0.1，节点2的输出平均值为0.9，则判定该标本影像代表的标本属于BPH。
本发明的一个实施例中，建立分类模型后，可对该模块进行初始化，初始化后再依次使用训练集中的数据对模型进行训练。
一个深度学习网络通常需要万级以上的训练数据，才能将模型中的参数调至合适，模型才具有较好的预测能力。同时由于用于训练模型的影像数据的标注需要非常准确，每个标本影像数据都要根据标本证实的结果进行标注，因为BPH和PCA的标本样本很难达到万级上，因此，采用ImageNet(ImageNet是一个计算机视觉***识别项目，是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家，模拟人类的识别***建立的，是一个公开的深度学习竞赛项目)项目中经过预训练的模型初始化本方法的模型，虽然ImageNet上的图片对象与MRI影像毫无关联，但是由于深度学习神经网络前几层都是卷积特征，这些被训练的卷积特征的参数是可以被利用的。
S5、输入数据与处理预测结果
将待分类标本的核磁共振图像输入到DCNN+LSTM分类模型的输入节点，计算每个输出节点的输出值，比较各个输出值，选择最大值作为最终输出。
为了实现上述实施例的方法，本发明还提供了一种使基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类的***，包括：
标注模块，用于对训练集中标本的核磁共振图像进行标注，设标本为Xi，i∈[1,……,N]，其中N为标本的总数量，每个标本有一个标注Yi，表示标本种类，并用下式表示标本：其中Mi为标本Xi的核磁共振图像数量；
预处理模块，用于对核磁共振图像进行预处理，在不影响图片特征的情况下，对图片进行缩小；
训练集扩充模块，用于对训练集中的数据进行扩充，对缩小后的图像，按照更小的预设尺寸，以1个像素为步幅，抠取出多张图片，同时按照步骤S1中的步骤对每张新成的影像数据进行标注，以扩充训练集中的数据；
分类模型构建模块，用于构建并训练DCNN+LSTM分类模型，通过预设算法调整DCNN+LSTM分类模型中的可训练参数，该DCNN+LSTM分类模型包括一个输入节点和多个输出节点，其输入节点的输入为经扩充后的训练集，每个输出节点的输出为标本属于某一类的概率的矢量；
输入数据与处理预测结果模块，用于将待分类标本的核磁共振图像输入到DCNN+LSTM分类模型的输入节点，计算每个输出节点的输出值的平均值，比较各个平均值，选择最大值作为最终输出。
所述核磁共振图像为CT影像或者MRI影像，Mi一般取值为9～30。
本发明的一个实施例中，该***还包括初始化模块，用于在构建DCNN+LSTM分类模型后，采用计算机视觉***识别项目ImageNet中经过预训练的模型初始化DCNN+LSTM分类模型。
训练集中标本的核磁共振图像为1536×1536的二维图像，预处理模块将图片缩小为260×260的二维图像。训练集扩充模块具体对缩小后的图像，按照224×224的预设尺寸，以1个像素为步幅，抠取出36×36＝1296张图片。
医学影像病灶分类如***癌(PCA)与***增生(BPH)疾病变由于其特殊性，即使专业的放射科阅片医生也很难仅根据MRI影像将二者区分开来。目前，尚未有较好计算机自动分类方法。利用上述实施例的方法和***可以对这两种病灶进行很好的分类。即可将标本看做病例，标本分类即为病灶分类，两个输出节点用于表示病例属于BPH或是PCA的概率。如果是N分类，则输出节点为N个。
本发明的一个用于医学的实施例中，一共收集了172例经病理证实的MRI影像数据，其中79例PCA和93例BPH，采用10折交叉检验来验证本方法，即将所有病理数据随机分为10份，其中1份用来作为测试数据，另外9份用来作为训练数据，一共重复10次实验，最后的实验结果如下：
综上，本发明利用前沿的深度学习技术，建立DCNN+LSTM分类模型，并且在少量训练数据的情况下，通过扩充训练集中的数据来训练DCNN+LSTM分类模型，通过该分类模型对核磁共振图像进行分类，准确率可达到80％以上。本发明能够帮助放射科医生快速区分病灶种类，从而大幅提高医生的工作效率。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法，其特征在于，包括以下步骤：
S1、搜集标本核磁共振图像数据，并对标本的核磁共振图像进行标注
设标本为Xi，i∈[1,……,N]，其中N为标本的总数量，每个标本有一个标注Yi，表示标本种类，并用下式表示标本：其中Mi为标本Xi的核磁共振图像数量；对每个Xi都进行标注后，形成训练集X；
S2、对核磁共振图像进行预处理
在不影响图片特征的情况下，对训练集X中的每张核磁共振图像进行缩小；
S3、对训练集中的数据进行扩充
对缩小后的图像，按照更小的预设尺寸，以1个像素为步幅，抠取出多张图片，以扩充训练集中的数据；
S4、构建并训练DCNN+LSTM分类模型
构建DCNN+LSTM分类模型，并通过预设算法调整DCNN+LSTM分类模型中的可训练参数，该DCNN+LSTM分类模型包括多层，其倒数三、四层为全连接层，倒数第二层为LSTM层，最后一层为输出层；且该DCNN+LSTM分类模型包括一个输入节点和多个输出节点，其输入节点的输入为经S2、S3步骤后的训练集中的每张核磁共振图像，每个输出节点的输出为核磁共振图像标本属于某一标本种类的概率；
S5、输入新数据与处理预测结果
将待分类标本的多张核磁共振图像按顺序输入到DCNN+LSTM分类模型的输入节点，计算每个输出节点的输出值，比较各个输出值，选择最大值作为最终输出。
2.根据权利要求1所述的方法，其特征在于，所述核磁共振图像为CT影像或者MRI断层影像，Mi取值为9～30。
3.根据权利要求1所述的方法，其特征在于，该方法还包括步骤：构建DCNN+LSTM分类模型后，采用计算机视觉***识别项目ImageNet中经过预训练的模型初始化DCNN+LSTM分类模型。
4.根据权利要求1所述的方法，其特征在于，训练集中标本的核磁共振图像为1536×1536的二维图像，步骤S2中将图片缩小为260×260的二维图像。
5.根据权利要求4所述的方法，其特征在于，步骤S3中对缩小后的图像，按照224×224的预设尺寸，以1个像素为步幅，抠取出36×36＝1296张图片。
6.一种基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类的***，其特征在于，包括：
标注模块，用于对训练集中标本的核磁共振图像进行标注，设标本为Xi，i∈[1,……,N]，其中N为标本的总数量，每个标本有一个标注Yi，表示标本种类，并用下式表示标本：其中Mi为标本Xi的核磁共振图像数量；
预处理模块，用于对核磁共振图像进行预处理，在不影响图片特征的情况下，对图片进行缩小；
训练集扩充模块，用于对训练集中的数据进行扩充，对缩小后的图像，按照更小的预设尺寸，以1个像素为步幅，抠取出多张图片，以扩充训练集中的数据；
分类模型构建模块，用于构建并训练DCNN+LSTM分类模型，通过预设算法调整DCNN+LSTM分类模型中的可训练参数，该DCNN+LSTM分类模型包括多层，其倒数三、四层为全连接层，倒数第二层为LSTM层，最后一层为输出层；且该DCNN+LSTM分类模型包括一个输入节点和多个输出节点，其输入节点的输入为经扩充后的训练集，每个输出节点的输出为标本属于某一标本种类的概率；
输入新数据与处理预测结果模块，用于将待分类标本的多张核磁共振图像按顺序输入到DCNN+LSTM分类模型的输入节点，计算每个输出节点的输出值，比较各个输出值，选择最大值作为最终输出。
7.根据权利要求6所述的***，其特征在于，所述核磁共振图像为CT影像或者MRI断层影像，Mi取值为9～30。
8.根据权利要求6所述的***，其特征在于，该***还包括初始化模块，用于在构建DCNN+LSTM分类模型后，采用计算机视觉***识别项目ImageNet中经过预训练的模型初始化DCNN+LSTM分类模型。
9.根据权利要求6所述的***，其特征在于，训练集中标本的核磁共振图像为1536×1536的二维图像，预处理模块将图片缩小为260×260的二维图像。
10.根据权利要求9所述的***，其特征在于，训练集扩充模块具体用于对缩小后的图像，按照224×224的预设尺寸，以1个像素为步幅，抠取出36×36＝1296张图片。
CN201710541367.8A 2017-07-05 2017-07-05 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法 Pending CN107423756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710541367.8A CN107423756A (zh) 2017-07-05 2017-07-05 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710541367.8A CN107423756A (zh) 2017-07-05 2017-07-05 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法

Publications (1)

Publication Number Publication Date
CN107423756A true CN107423756A (zh) 2017-12-01

Family

ID=60427862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710541367.8A Pending CN107423756A (zh) 2017-07-05 2017-07-05 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法

Country Status (1)

Country Link
CN (1) CN107423756A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992971A (zh) * 2017-12-06 2018-05-04 中建材智慧工业科技有限公司 一种水泥厂设备备件寿命的预测方法及***
CN108062538A (zh) * 2017-12-29 2018-05-22 成都智宝大数据科技有限公司 人脸识别方法及装置
CN108596206A (zh) * 2018-03-21 2018-09-28 杭州电子科技大学 基于多尺度多方向空间相关性建模的纹理图像分类方法
CN108831519A (zh) * 2018-09-05 2018-11-16 上海麦色智能科技有限公司 一种基于形态学和临床实践的皮肤疾病分类装置
CN108898588A (zh) * 2018-06-22 2018-11-27 中山仰视科技有限公司 基于时间序列的治疗效果评估方法、电子设备
CN109035226A (zh) * 2018-07-12 2018-12-18 武汉精测电子集团股份有限公司 基于LSTM模型的Mura缺陷检测方法
CN109086864A (zh) * 2018-06-07 2018-12-25 中国科学技术大学 一种独立化长短期记忆网络模型的构建方法
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院（湖北省人民医院） 一种胃镜图像自动采集***及方法
CN109410194A (zh) * 2018-10-19 2019-03-01 山东省计算中心（国家超级计算济南中心） 一种基于深度学习的食管癌病理图像处理方法
CN109726753A (zh) * 2018-12-25 2019-05-07 脑玺(上海)智能科技有限公司 基于时间信号曲线的灌注动态影像的分割方法及***
CN109740657A (zh) * 2018-12-27 2019-05-10 郑州云海信息技术有限公司 一种用于图像数据分类的神经网络模型的训练方法与设备
CN109946538A (zh) * 2019-03-14 2019-06-28 上海交通大学 一种基于磁感应信号的移动设备监控方法及***
CN110687584A (zh) * 2018-07-06 2020-01-14 中国人民解放军陆军防化学院 一种基于lstm的快速核素识别方法
CN111462079A (zh) * 2020-03-31 2020-07-28 上海全景医学影像诊断中心有限公司 一种自动化可迁移人工智能医学影像识别***及识别方法
CN111612027A (zh) * 2019-02-26 2020-09-01 沛智生医科技股份有限公司 细胞分类方法、***与医疗分析平台
CN112069338A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图片处理方法、装置、电子设备及存储介质
CN112259227A (zh) * 2020-10-29 2021-01-22 中国医学科学院北京协和医院 一种评估sle病人心肌受累的量化指标的计算方法和***
CN112434643A (zh) * 2020-12-06 2021-03-02 零八一电子集团有限公司 低慢小目标的分类识别方法
CN114821205A (zh) * 2022-06-30 2022-07-29 澄影科技(北京)有限公司 一种基于多维特征的图像处理方法、装置及设备
CN114925802A (zh) * 2021-12-27 2022-08-19 天翼数字生活科技有限公司 一种基于深度特征映射的集成迁移学习方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718952A (zh) * 2016-01-22 2016-06-29 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的方法
CN106570497A (zh) * 2016-10-08 2017-04-19 中国科学院深圳先进技术研究院 一种场景图像的文本检测方法和装置
CN106844788A (zh) * 2017-03-17 2017-06-13 重庆文理学院 一种图书馆智能搜索排序方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718952A (zh) * 2016-01-22 2016-06-29 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的方法
CN106570497A (zh) * 2016-10-08 2017-04-19 中国科学院深圳先进技术研究院 一种场景图像的文本检测方法和装置
CN106844788A (zh) * 2017-03-17 2017-06-13 重庆文理学院 一种图书馆智能搜索排序方法及***

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992971A (zh) * 2017-12-06 2018-05-04 中建材智慧工业科技有限公司 一种水泥厂设备备件寿命的预测方法及***
CN108062538A (zh) * 2017-12-29 2018-05-22 成都智宝大数据科技有限公司 人脸识别方法及装置
CN108596206A (zh) * 2018-03-21 2018-09-28 杭州电子科技大学 基于多尺度多方向空间相关性建模的纹理图像分类方法
CN109086864A (zh) * 2018-06-07 2018-12-25 中国科学技术大学 一种独立化长短期记忆网络模型的构建方法
CN108898588A (zh) * 2018-06-22 2018-11-27 中山仰视科技有限公司 基于时间序列的治疗效果评估方法、电子设备
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院（湖北省人民医院） 一种胃镜图像自动采集***及方法
CN109102491B (zh) * 2018-06-28 2021-12-28 武汉楚精灵医疗科技有限公司 一种胃镜图像自动采集***及方法
CN110687584A (zh) * 2018-07-06 2020-01-14 中国人民解放军陆军防化学院 一种基于lstm的快速核素识别方法
CN110687584B (zh) * 2018-07-06 2024-01-26 中国人民解放军陆军防化学院 一种基于lstm的快速核素识别方法
CN109035226B (zh) * 2018-07-12 2021-11-23 武汉精测电子集团股份有限公司 基于LSTM模型的Mura缺陷检测方法
CN109035226A (zh) * 2018-07-12 2018-12-18 武汉精测电子集团股份有限公司 基于LSTM模型的Mura缺陷检测方法
CN108831519A (zh) * 2018-09-05 2018-11-16 上海麦色智能科技有限公司 一种基于形态学和临床实践的皮肤疾病分类装置
CN109410194B (zh) * 2018-10-19 2022-03-29 山东省计算中心（国家超级计算济南中心） 一种基于深度学习的食管癌病理图像处理方法
CN109410194A (zh) * 2018-10-19 2019-03-01 山东省计算中心（国家超级计算济南中心） 一种基于深度学习的食管癌病理图像处理方法
CN109726753A (zh) * 2018-12-25 2019-05-07 脑玺(上海)智能科技有限公司 基于时间信号曲线的灌注动态影像的分割方法及***
CN109740657B (zh) * 2018-12-27 2021-10-29 郑州云海信息技术有限公司 一种用于图像数据分类的神经网络模型的训练方法与设备
CN109740657A (zh) * 2018-12-27 2019-05-10 郑州云海信息技术有限公司 一种用于图像数据分类的神经网络模型的训练方法与设备
CN111612027A (zh) * 2019-02-26 2020-09-01 沛智生医科技股份有限公司 细胞分类方法、***与医疗分析平台
CN109946538A (zh) * 2019-03-14 2019-06-28 上海交通大学 一种基于磁感应信号的移动设备监控方法及***
CN111462079B (zh) * 2020-03-31 2021-01-08 上海全景医学影像诊断中心有限公司 一种自动化可迁移人工智能医学影像识别***及识别方法
CN111462079A (zh) * 2020-03-31 2020-07-28 上海全景医学影像诊断中心有限公司 一种自动化可迁移人工智能医学影像识别***及识别方法
CN112069338A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图片处理方法、装置、电子设备及存储介质
LU500799A1 (en) * 2020-10-29 2022-04-25 Peking Union Medical College Hospital Method and System for Calculating Quantitative Indicators for Evaluating Myocardial Involvement in Patients with SLE
CN112259227A (zh) * 2020-10-29 2021-01-22 中国医学科学院北京协和医院 一种评估sle病人心肌受累的量化指标的计算方法和***
CN112434643A (zh) * 2020-12-06 2021-03-02 零八一电子集团有限公司 低慢小目标的分类识别方法
CN114925802A (zh) * 2021-12-27 2022-08-19 天翼数字生活科技有限公司 一种基于深度特征映射的集成迁移学习方法和***
CN114821205A (zh) * 2022-06-30 2022-07-29 澄影科技(北京)有限公司 一种基于多维特征的图像处理方法、装置及设备

Similar Documents

Publication Publication Date Title
CN107423756A (zh) 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法
He et al. Semi-supervised defect classification of steel surface based on multi-training and generative adversarial network
Mascarenhas et al. A comparison between VGG16, VGG19 and ResNet50 architecture frameworks for Image Classification
Do et al. Basics of deep learning: a radiologist's guide to understanding published radiology articles on deep learning
CN105718952B (zh) 使用深度学习网络对断层医学影像进行病灶分类的***
CN106650813B (zh) 一种基于深度残差网络和lstm的图像理解方法
CN105095833B (zh) 用于人脸识别的网络构建方法、识别方法及***
CN110083700A (zh) 一种基于卷积神经网络的企业舆情情感分类方法及***
CN109684912A (zh) 一种基于信息损失函数的视频描述方法和***
Liu et al. Self-supervised mean teacher for semi-supervised chest x-ray classification
CN106529605A (zh) 基于免疫理论的卷积神经网络模型的图像识别方法
CN109817276A (zh) 一种基于深度神经网络的蛋白质二级结构预测方法
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN109063719A (zh) 一种联合结构相似性和类信息的图像分类方法
CN106485259A (zh) 一种基于高约束高分散主成分分析网络的图像分类方法
CN106909938A (zh) 基于深度学习网络的视角无关性行为识别方法
CN106919710A (zh) 一种基于卷积神经网络的方言分类方法
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN110414626A (zh) 一种猪只品种识别方法、装置和计算机可读存储介质
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
CN114549470A (zh) 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法
Jia et al. S 2-ver: Semi-supervised visual emotion recognition
Raja et al. A novel fuzzy-based modified GAN and faster RCNN for classification of banana leaf disease
Mobiny et al. Decaps: Detail-oriented capsule networks
Agarwal et al. A Novel Hybrid System of Detecting Brain Tumors in MRI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171201