CN110008992A - 一种用于***癌辅助诊断的深度学习方法 - Google Patents
一种用于***癌辅助诊断的深度学习方法 Download PDFInfo
- Publication number
- CN110008992A CN110008992A CN201910149458.6A CN201910149458A CN110008992A CN 110008992 A CN110008992 A CN 110008992A CN 201910149458 A CN201910149458 A CN 201910149458A CN 110008992 A CN110008992 A CN 110008992A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- prostate
- model
- image
- pond
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种用于***癌辅助诊断的深度学习方法,构建一个含有预训练模型和链式残差池化模块的分割网络模型,对输入的不同尺度的***MR图像进行特征提取和融合,然后使用随机梯度下降算法对所构建的分割网络进行优化得到训练好的模型,再将待分割的***MR图像输入进已训练的模型中,最后将该模型输出的结果通过条件随机场来输出最后的分割结果。本发明方法的分割结果可以辅助医生对***癌进行临床诊断与治疗,有效提高医生的诊断准确率和工作效率。
Description
技术领域
本发明涉及深度学习方法领域,具体是一种用于***癌辅助诊断的深度学习方法。
背景技术
如今,***癌已经成为男性尤其是老年男性的健康问题的一大威胁,是近几十年来最常见的癌症之一。在临床诊断***癌时,需要医生对***MR图像中的***组织与周围的组织器官分离出来以便于诊断与治疗。这个分割的过程所提取的有意义的信息包括形状、器官的相对位置、体积和异常。尽管MR图像中软组织器官之间的对比比计算机断层扫描要好,由于在MR图像中属于***组织的区域很小,可用的有效信息较少,而且每位患者的***组织的大小,形状,位置都各不相同,对于人类观察者来说,对***边界的精确描绘仍然是比较困难的。因此***MR图像的自动分割成为一项具有挑战性的工作。
基于深度学习方法的***组织分割技术,是指用***MR图像训练一个分割网络模型,然后使用随机梯度下降算法对所构建的分割网络进行优化得到训练好的模型,用训练好的模型来对***MR图像进行自动分割,并用条件随机场来提升分割效果,得到最终的分割结果。这种自动分割技术应用到临床诊断中,相对于人工分割,精度高,耗时少,可以大大提高临床工作的效率。
发明内容
本发明的目的是提供一种用于***癌辅助诊断的深度学习方法,以解决现有技术对***组织分割精度低、耗时高的问题。
为了达到上述目的,本发明所采用的技术方案为:
一种用于***癌辅助诊断的深度学习方法,其特征在于:构建一个含有预训练模型和链式残差池化模块的分割网络模型,对输入的不同尺度的***MR图像进行特征提取和融合,然后使用随机梯度下降算法对所构建的分割网络进行优化得到训练好的模型,再将待分割的***MR图像输入进已训练的模型中,最后将该模型输出的结果通过条件随机场来输出最后的分割结果,其步骤如下:
(1)、选取多个病人的***MR图像作为训练数据集;
(2)、对训练数据集中的图片采用水平和垂直翻转以及调节亮度、对比度、饱和度的数据增强方式来进行扩展,将扩展后的训练图片分别按原图的{1,0.75,0.5}的大小调整为3个尺度;
(3)、将步骤(2)得到的多尺度图片输入到分割网络模型进行训练,此分割网络主要由ResNet预训练模型和链式残差池化模块构成。三个尺度的图片分别输入一个ResNet预训练模型,通过微调ResNet预训练模型的参数来提取输入图像的多尺度特征;将得到的三种不同尺度的特征图上采样到与原始图像相同大小并进行融合,然后把融合后的特征图输入链式残差池化模块,该模块是一个包含多个池化块的链,每个池化块由一个最大池化层和一个卷积层组成,一个池化块将前一个池化块的输出作为输入,使得当前池化块能再次利用前面池化块的结果,将所有池化块的输出特征图与输入特征图通过残差连接的方式融合在一起形成一个链式残差池化模块来从大图像区域捕获背景上下文信息;
(4)、对(3)所构建的分割网络使用随机梯度下降(SGD)的方法进行优化,该算法是通过不断的求偏导求解出当前位置下最优化的数据。分割网络所采用的损失函数为BCE(二进制交叉熵)损失,该损失是通过惩罚输出的分割结果与对应的人工分割图之间的距离来定义的,所以最小化该损失即使分割网络产生的分割结果更接近于人工分割图;BCE损失的定义式如下:
其中,m为每次抽取作为训练样本的数量,tj为***MR图像对应的人工分割图,pj为分割网络输出的分割结果,通过随机梯度下降算法来最小化(1)式。经过至少1000次的迭代更新,直至损失函数收敛,得到稳定的训练好的分割网络;
(5)、将待分割的病人的***MR图像输入进步骤(4)中得到的训练好的网络中,输出分割结果图;
(6)、对(5)输出的分割结果图,进一步用条件随机场来平滑噪声,细化边缘细节,得到最终的分割结果,将此结果与正常的影像学形态进行对比,给出辅助诊断信息,从而应用于***癌的诊断中。
本发明通过从已知人工分割图的***MR图像中进行训练的基础上,得到一个训练好的稳定的模型,来自动分割病人的***MR图像,根据分割结果辅助医生诊断病人的情况,这种自动分割方法不仅提高了医生的工作效率,而且使诊断的准确率也有所提高。该技术可用于对***癌的辅助诊断。
本发明中,将输入图片大小调整为三个不同尺寸,通过预训练模型来提取图像的多尺度特征,并将多尺度特征进行融合,经过链式残差池化模块可以从大图像区域捕获背景上下文信息,使分割结果更准确。对构建的分割网络进行训练,训练结束可以得到一个稳定的优化的模型来自动分割***MR图像,提高分割效率。
本发明使用条件随机场来进行后处理,该方法对由分割网络输出的分割结果进行进一步的提升,可以平滑图像的噪声,细化分割的边缘细节等,使最终得到的分割图更加精细,准确率更高。
本发明的有益效果是:
本发明用***MR图像训练一个分割网络模型,然后使用随机梯度下降算法对所构建的分割网络进行优化得到训练好的模型,用训练好的模型来对***MR图像进行自动分割,并用条件随机场来进一步提升分割效果,辅助***癌的临床诊断,可以有效提高分割精度,减轻医生的工作量,提高诊断准确率和诊断效率。
附图说明
图1是本发明的实现流程框架图。
图2中的(a)为原始待分割的***MR图像;(b)为(a)对应的人工分割图;(c)为用本发明的方法对(a)进行分割得到的结果图。
图3为六例不同病人的***分割的结果对比。图中灰色线表示人工分割结果,白色线表示本发明的分割结果。经过比较,本发明提出的分割方法十分接近人工分割结果,可以用来辅助医生进行诊断。
具体实施方式
如图1所示,一种用于***癌辅助诊断的深度学习方法,过程如下:
(1)、选取45个病人的686张***MR图像以及对应的***组织的人工分割图作为训练数据集;
(2)、对数据集进行预处理,采用水平和垂直翻转以及调节亮度、对比度、饱和度的数据增强方式来扩展数据集,将扩展后的训练图片分别按原图的{1,0.75,0.5}的大小调整为3个尺度;
(3)、将步骤(2)得到的多尺度图片输入到分割网络模型进行训练,此分割网络主要由ResNet预训练模型和链式残差池化模块构成。三个尺度的图片分别输入一个ResNet预训练模型,通过微调ResNet预训练模型的参数来提取输入图像的多尺度特征。将得到的三种不同尺度的特征图上采样到与原始图像相同大小并进行融合,然后把融合后的特征图输入链式残差池化模块,该模块是一个包含多个池化块的链,每个池化块由一个最大池化层和一个卷积层组成,一个池化块将前一个池化块的输出作为输入,使得当前池化块能再次利用前面池化块的结果,将所有池化块的输出特征图与输入特征图通过残差连接的方式融合在一起形成一个链式残差池化模块来从大图像区域捕获背景上下文信息;
(4)、对(3)所构建的分割网络使用随机梯度下降(SGD)的方法进行优化,该算法是通过不断的求偏导求解出当前位置下最优化的数据。分割网络所采用的损失函数为BCE(二进制交叉熵)损失,该损失是通过惩罚输出的分割结果与对应的人工分割图之间的距离来定义的,所以最小化该损失即使分割网络产生的分割结果更接近于人工分割图。BCE损失的定义式如下:
其中,m为每次抽取作为训练样本的数量,tj为***MR图像对应的人工分割图,pj为分割网络输出的分割结果,通过随机梯度下降算法来最小化(1)式。经过至少1000次的迭代更新,直至损失函数收敛,得到稳定的训练好的分割网络;
(5)、将待分割的病人的***MR图像输入进步骤(4)中得到的训练好的网络中,输出分割结果图;
(6)、对(5)输出的分割结果图,进一步用条件随机场来平滑噪声,细化边缘细节,得到最终的分割结果(见附图2(c)),将此结果与正常的影像学形态(见附图2(b))进行对比,给出辅助诊断信息,从而应用于***癌的诊断中。图2(a)为原始待分割的***MR图像,图3为六例不同病人的***分割的结果对比。图2与图3中的图片来自于MICCAI 2012数据集。
Claims (1)
1.一种用于***癌辅助诊断的深度学习方法,其特征在于:构建一个含有预训练模型和链式残差池化模块的分割网络模型,对输入的不同尺度的***MR图像进行特征提取和融合,然后使用随机梯度下降算法对所构建的分割网络进行优化得到训练好的模型,再将待分割的***MR图像输入进已训练的模型中,最后将该模型输出的结果通过条件随机场来输出最后的分割结果,其步骤如下:
(1)、选取多个病人的***MR图像作为训练数据集;
(2)、对训练数据集中的图片采用水平和垂直翻转以及调节亮度、对比度、饱和度的数据增强方式来进行扩展,将扩展后的训练图片分别按原图的{1,0.75,0.5}的大小调整为3个尺度;
(3)、将步骤(2)得到的多尺度图片输入到分割网络模型进行训练,此分割网络主要由ResNet预训练模型和链式残差池化模块构成;三个尺度的图片分别输入一个ResNet预训练模型,通过微调ResNet预训练模型的参数来提取输入图像的多尺度特征;将得到的三种不同尺度的特征图上采样到与原始图像相同大小并进行融合,然后把融合后的特征图输入链式残差池化模块;所述链式残差池化模块是一个包含多个池化块的链,每个池化块由一个最大池化层和一个卷积层组成,一个池化块将前一个池化块的输出作为输入,使得当前池化块能再次利用前面池化块的结果,将所有池化块的输出特征图与输入特征图通过残差连接的方式融合在一起形成一个链式残差池化模块来从大图像区域捕获背景上下文信息;
(4)、对(3)所构建的分割网络使用随机梯度下降的方法进行优化,该算法是通过不断的求偏导求解出当前位置下最优化的数据;分割网络所采用的损失函数为BCE损失,该损失是通过惩罚输出的分割结果与对应的人工分割图之间的距离来定义的,所以最小化该损失即使分割网络产生的分割结果更接近于人工分割图;BCE损失的定义式如下:
其中,m为每次抽取作为训练样本的数量,tj为***MR图像对应的人工分割图,pj为分割网络输出的分割结果,通过随机梯度下降算法来最小化(1)式;经过至少1000次的迭代更新,直至损失函数收敛,得到稳定的训练好的分割网络;
(5)、将待分割的病人的***MR图像输入进步骤(4)中得到的训练好的网络中,输出分割结果图;
(6)、对(5)输出的分割结果图,进一步用条件随机场来平滑噪声,细化边缘细节,得到最终的分割结果,将此结果与正常的影像学形态进行对比,给出辅助诊断信息,从而应用于***癌的诊断中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910149458.6A CN110008992B (zh) | 2019-02-28 | 2019-02-28 | 一种用于***癌辅助诊断的深度学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910149458.6A CN110008992B (zh) | 2019-02-28 | 2019-02-28 | 一种用于***癌辅助诊断的深度学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110008992A true CN110008992A (zh) | 2019-07-12 |
CN110008992B CN110008992B (zh) | 2023-04-11 |
Family
ID=67166113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910149458.6A Active CN110008992B (zh) | 2019-02-28 | 2019-02-28 | 一种用于***癌辅助诊断的深度学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110008992B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110706214A (zh) * | 2019-09-23 | 2020-01-17 | 东南大学 | 融合条件随机与残差的三维U-Net大脑肿瘤分割方法 |
CN112071421A (zh) * | 2020-09-01 | 2020-12-11 | 深圳高性能医疗器械国家研究院有限公司 | 一种深度学习预估方法及其应用 |
CN113298754A (zh) * | 2021-04-12 | 2021-08-24 | 西安理工大学 | 一种***组织轮廓线控制点的检测方法 |
CN114399501A (zh) * | 2022-01-27 | 2022-04-26 | 中国医学科学院北京协和医院 | 基于深度学习卷积神经网络的自动分割***全腺体方法 |
WO2022227108A1 (zh) * | 2021-04-25 | 2022-11-03 | 华中科技大学 | 基于中央凹残差网络的***多模mr图像分类方法和*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
CN108288506A (zh) * | 2018-01-23 | 2018-07-17 | 雨声智能科技(上海)有限公司 | 一种基于人工智能技术的癌症病理辅助诊断方法 |
CA3053487A1 (en) * | 2017-02-22 | 2018-08-30 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks |
-
2019
- 2019-02-28 CN CN201910149458.6A patent/CN110008992B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
CA3053487A1 (en) * | 2017-02-22 | 2018-08-30 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks |
CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
CN108288506A (zh) * | 2018-01-23 | 2018-07-17 | 雨声智能科技(上海)有限公司 | 一种基于人工智能技术的癌症病理辅助诊断方法 |
Non-Patent Citations (1)
Title |
---|
凌彤等: "利用多模态U形网络的CT图像***分割", 《智能***学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110706214A (zh) * | 2019-09-23 | 2020-01-17 | 东南大学 | 融合条件随机与残差的三维U-Net大脑肿瘤分割方法 |
CN110706214B (zh) * | 2019-09-23 | 2022-06-17 | 东南大学 | 融合条件随机与残差的三维U-Net大脑肿瘤分割方法 |
CN112071421A (zh) * | 2020-09-01 | 2020-12-11 | 深圳高性能医疗器械国家研究院有限公司 | 一种深度学习预估方法及其应用 |
CN113298754A (zh) * | 2021-04-12 | 2021-08-24 | 西安理工大学 | 一种***组织轮廓线控制点的检测方法 |
CN113298754B (zh) * | 2021-04-12 | 2024-02-06 | 西安理工大学 | 一种***组织轮廓线控制点的检测方法 |
WO2022227108A1 (zh) * | 2021-04-25 | 2022-11-03 | 华中科技大学 | 基于中央凹残差网络的***多模mr图像分类方法和*** |
CN114399501A (zh) * | 2022-01-27 | 2022-04-26 | 中国医学科学院北京协和医院 | 基于深度学习卷积神经网络的自动分割***全腺体方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110008992B (zh) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108198184B (zh) | 造影图像中血管分割的方法和*** | |
CN110008992A (zh) | 一种用于***癌辅助诊断的深度学习方法 | |
Liu et al. | An encoder-decoder neural network with 3D squeeze-and-excitation and deep supervision for brain tumor segmentation | |
CN112465827B (zh) | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 | |
CN109949309A (zh) | 一种基于深度学习的肝脏ct图像分割方法 | |
CN109063710A (zh) | 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法 | |
CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断*** | |
CN107808156A (zh) | 感兴趣区域提取方法 | |
CN107240102A (zh) | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 | |
CN107369160A (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
CN110415230B (zh) | 一种基于深度学习的ct切片图像语义分割***及方法 | |
CN109118495A (zh) | 一种视网膜血管分割方法和装置 | |
CN109447998A (zh) | 基于PCANet深度学习模型下的自动分割方法 | |
CN110288611A (zh) | 基于注意力机制和全卷积神经网络的冠状血管分割方法 | |
WO2022213654A1 (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
CN110555835A (zh) | 一种脑片图像区域划分方法及装置 | |
CN110163877A (zh) | 一种mri心室结构分割的方法与*** | |
CN111080592B (zh) | 一种基于深度学习的肋骨提取方法及装置 | |
CN114897780A (zh) | 一种基于mip序列的肠系膜上动脉血管重建方法 | |
CN107767362A (zh) | 一种基于深度学习的肺癌早筛装置 | |
CN114881968A (zh) | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 | |
CN109754388B (zh) | 一种颈动脉狭窄程度计算方法、装置及存储介质 | |
CN106651875B (zh) | 基于多模态mri纵向数据的脑瘤时空协同分割方法 | |
CN116503607B (zh) | 一种基于深度学习的ct图像分割方法和*** | |
CN110097557A (zh) | 基于3D-UNet的医学图像自动分割方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |