CN113706486A - 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 - Google Patents
基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 Download PDFInfo
- Publication number
- CN113706486A CN113706486A CN202110944394.6A CN202110944394A CN113706486A CN 113706486 A CN113706486 A CN 113706486A CN 202110944394 A CN202110944394 A CN 202110944394A CN 113706486 A CN113706486 A CN 113706486A
- Authority
- CN
- China
- Prior art keywords
- network
- segmentation
- image
- mri
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010061902 Pancreatic neoplasm Diseases 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013508 migration Methods 0.000 title claims abstract description 8
- 230000005012 migration Effects 0.000 title claims abstract description 8
- 238000003709 image segmentation Methods 0.000 title abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 79
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 66
- 201000002528 pancreatic cancer Diseases 0.000 claims abstract description 62
- 238000002600 positron emission tomography Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 36
- 238000005481 NMR spectroscopy Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 12
- 238000002591 computed tomography Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000011423 initialization method Methods 0.000 claims description 7
- 238000013526 transfer learning Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000007306 turnover Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 206010028980 Neoplasm Diseases 0.000 description 13
- 238000004088 simulation Methods 0.000 description 8
- 238000001959 radiotherapy Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000000496 pancreas Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000020084 Bone disease Diseases 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 208000029578 Muscle disease Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 238000012879 PET imaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Nuclear Medicine (AREA)
Abstract
本发明公开了一种基于密集连接网络迁移学习的胰腺肿瘤图像分割方法，其方案是：获取正电子发射计算机断层显像PET和核磁共振成像MRI，对其进行预处理后划分为训练集和测试集；构建分割网络，并使用PET训练数据集对其训练，得到一次训练好的网络参数W1；使用迁移策略将分割网络中特征提取模块的初始参数设置为W1中相应模块的值，其余模块参数随机初始化，并利用MRI图像训练集重新训练分割网络，得到二次训练好的网络参数W2；将MRI测试集输入到以W2为网络参数的分割网络中得到分割结果。本发明提高了MRI图像分割的性能，解决现有技术对小数据集难以训练网络的问题，可用于协助医生完成胰腺肿瘤治疗前的自动靶区勾画。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种胰腺肿瘤图像分割方法，可用于帮助医生完成胰腺肿瘤治疗前的自动靶区勾画。
背景技术
目前，胰腺肿瘤仍然是全球最致命的恶性肿瘤之一，并且发病率有逐年增高的趋势。根据国际癌症研究所发布的2020年全球最新癌症负担报告GLOBOCAN 2020显示，2020年全球预估胰腺肿瘤新增病例数近49.57万，死亡病例数约46.60万。由于胰腺肿瘤预后差，因而导致的死亡病例数与新发病例数几乎一样多，是男女恶性肿瘤死亡的第七大主要原因。根据一项对28个欧洲国家的研究，预计到2025年，胰腺肿瘤将超过乳腺癌成为导致恶性肿瘤死亡的第三大原因。胰腺肿瘤患者放射治疗中的剂量通常受到肿瘤附近器官的限制，在不减少剂量覆盖范围的前提下，应尽可能在胰腺中准确定位肿瘤的边缘，实现最优放疗计划。因此，在放射治疗中进行准确的胰腺肿瘤病灶分割是很有必要的。
在医学图像中，多模态数据因成像机理不同而能提供有关器官，肿瘤的多种层面信息，因而被广泛使用。诊断肿瘤时常用的医学图像有CT图像、MRI图像和PET图像。其中CT图像用于诊断肌肉和骨骼疾病；MRI图像用以提供良好的软组织对比度，其包括T2加权MRI图像，该图像适合诊断肿瘤周围水肿；PET图像虽然缺少组织解剖特征，但可以提供病变的定量代谢和功能信息，在PET成像中，肿瘤区域的图像强度高于正常组织和器官区域的图像强度，可以比较容易地定位胰腺肿瘤大致区域。近年来，多模态成像因其在肿瘤患者放射治疗计划中的潜在应用而受到越来越多的关注。充分利用和整合所有可用的成像数据进行目标分割可以大大提升准确率。
张国庆等人在中国专利网：CN113034461A上公开了一种胰腺肿瘤CT图像分割方法。该方法主要分为图像编码路径与图像解码路径。在图像编码路径中，每一层由可变卷积、BN以及ReLU函数组成，且通过2*2的最大池化层将特征映射图传输到下一层；所述编码路径的最后一层包括三个块的密集连接卷积网络。在解码路径中，每一层的特征映射图包括第一部分以及第二部分，通过BConvLSTM将所述第一部分与所述第二部分结合；所述第一部分通过上采样函数与上一层的特征映射图运算得到，所述第二部分为当前解码层的特征映射图；所述BConvLSTM包括输入门、输出门、遗忘门以及存储单元。
Liang等人于2019年在期刊International Journal of Radiation Oncology,Biology,Physics上发表的文章On the Development of MRI-Based Auto-Segmentationof Pancreatic Tumor Using Deep Neural Networks中介绍了一种MRI图像中的胰腺肿瘤分割方法。该方法使用滑动取正方形窗口的方式对原始图像进行裁剪以扩充数据量，并且用27个人的MRI图像训练了一个三维的卷积神经网络，通过此网络可以分割出MRI图像中的胰腺肿瘤。
Zhu等人于2018在arXiv上发表的文章Multi-Scale Coarse-to-FineSegmentation for Screening Pancreatic Ductal Adenocarcinoma中提出了一种胰腺肿瘤CT图像分割方法。该方法针对不同病人胰腺肿瘤大小不同的特点，使用643，323，163这三种尺寸的CT图像训练了三个相应的分割网络。在测试时，该方法首先将原始图像裁剪成尺寸为643的图像，并使用该尺寸对应的分割网络分割其中的胰腺肿瘤，在这步粗分割后再根据分割结果进一步将图像裁剪成323的尺寸，并使用该尺寸对应的分割网络分割其中的胰腺肿瘤。以此类推，使用这三种尺度的分割网络可以实现由粗到细的分割，最终可以获得胰腺肿瘤分割结果。
上述现有的胰腺肿瘤分割方法由于都没有关注医学图像分割中可用的带标记图像数量少的问题，且仅使用了一种模态的图像，即或是胰腺肿瘤CT图像或是胰腺肿瘤MRI图像，而没有充分结合多模态图像信息，因此导致胰腺肿瘤分割精度低，无法满足放射治疗前胰腺肿瘤区域自动勾画的需要。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于密集连接网络迁移学习的胰腺肿瘤图像分割方法，以在胰腺肿瘤图像数据少的情况下，提高对核磁共振图像MRI中的胰腺肿瘤的分割精度。
本发明的技术思路是：通过使用密集连接模块代替现有Mask-RCNN网络结构中特征提取部分的残差模块，得到基于密集连接模块的分割网络结构DM-net；通过使用迁移学习策略将从胰腺肿瘤PET图像分割中学到的知识用到胰腺肿瘤MRI图像的分割中，从而实现对使用少量胰腺肿瘤MRI图像的准确分割。
根据上述思路，本发明的实现包括如下：
(1)从医院获取正电子发射计算机断层显像PET数据和核磁共振成像MRI数据，对其进行预处理，并将预处理后的数据按照8:2的比例划分为训练集和测试集；
(2)构建由特征提取模块、区域候选网络、感兴趣区域对齐模块和三分支模块级联构成的分割网络DM-net；
(3)使用He初始化方法初始化该分割网络的初始参数，设置分割网络DM-net的损失函数为：loss＝losscls+lossbox+lossmask，
其中，losscls为分类分支的损失，lossbox为检测分支的损失，lossmask为分割分支的损失；
(4)使用Adam优化器并以上述损失函数为优化目标，利用正电子发射计算机断层显像PET训练数据集对分割网络DM-net的参数进行迭代学习，直到损失函数的值不再减小，得到一次训练好的网络参数W1；
(5)通过迁移学习策略并使用核磁共振MRI数据训练DM-net：
(5a)将DM-net的特征提取模块的参数值设置为训练好的网络参数W1中对应模块的值，使用He初始化方法对其区域候选网络、感兴趣区域对齐模块和三分支模块的参数重新初始化；
(5b)保持网络的损失函数不变，利用核磁共振MRI训练数据集对分割网络DM-net的参数进行迭代学习，直到损失函数的值不再减小，得到二次训练好的网络参数W2；
(6)将二次训练好的网络参数W2加载到分割网络DM-net中，并将核磁共振MRI测试数据集输入到DM-net中，得到输出概率图；
(7)设置概率阈值为0.5，将输出概率图的每个像素点值与其阈值进行比较，得到最终的分割结果：
将输出概率图中值小于0.5的像素点的值设置为0，表示背景区域，
将输出概率图中值大于0.5的像素点的值设置为1，表示胰腺肿瘤。
本发明与现有的技术相比，具有如下优点：
1.能够使用少量胰腺肿瘤核磁共振MRI图像训练一个分割网络。
本发明通过使用迁移学习策略将从胰腺肿瘤正电子发射计算机断层显像PET图像分割中学习到的知识迁移到了胰腺肿瘤核磁共振MRI图像分割中，即使用训练好的胰腺肿瘤正电子发射计算机断层显像PET图像分割模型作为预训练模型，使得胰腺肿瘤核磁共振MRI图像分割网络学习更加容易，因而能够使用少量胰腺肿瘤核磁共振MRI图像训练一个分割网络。
2.提升了胰腺肿瘤核磁共振MRI图像分割的性能。
本发明由于借鉴现有的Mask-RCNN的结构，即同时进行实例分割、目标检测与分类的多任务学习，这些任务之间可以特征共享相互促进；同时由于通过对Mask-RCNN网络结构的改进，将其中的特征提取模块改为由密集连接模块堆叠而成，使得前面所有的层与后面层都进行了密集连接，从而实现了特征重用；此外由于本发明通过使用迁移学习策略将胰腺肿瘤正电子发射计算机断层显像PET图像和胰腺肿瘤核磁共振MRI图像进行融合，可使两种模态的图像在实现胰腺肿瘤分割时信息互补；所述三点提升胰腺肿瘤核磁共振MRI图像分割的性能。
附图说明
图1是本发明的实现流程图；
图2是本发明中构建的基于密集连接模块的DM-net网络结构图；
图3是本发明中使用的胰腺肿瘤核磁共振MRI图像和正电子发射计算机断层显像PET图像的示例；
图4是用本发明和现有的三种目标分割方法对核磁共振MRI胰腺肿瘤的分割效果对比图；
具体实施方式
下面结合附图对本发明的实施和效果作进一步详细描述。
参照图1，本发明的实现步骤包括如下：
步骤1.构建正电子发射计算机断层显像PET和核磁共振成像MRI数据集，并划分训练集和测试集。
(1.1)从医院获取正电子发射计算机断层显像PET数据和核磁共振成像MRI数据；
(1.2)以核磁共振MRI图像位置为基准，使用3D slicer软件对同一病人的正电子发射计算机断层显像PET图像的空间位置进行调整，使其与核磁共振MRI图像重叠，并依次进行随机的旋转、水平翻转和垂直翻转，将其数据量分别扩充为原来的8倍；
(1.3)将扩充后的正电子发射计算机断层显像PET图像与核磁共振MRI图像的尺寸都由原始的512×512裁剪为320×320；
(1.4)通过下式分别对裁剪后的正电子发射计算机断层显像PET图像和核磁共振MRI图像进行归一化：
其中，Y是归一化后的图像，X为输入图像，Xmin为输入图像的像素点灰度最大值，Xmax为输入图像的像素点灰度的最小值；
(1.5)将归一化后的正电子发射计算机断层显像PET图像和核磁共振MRI图像按照8:2的比例划分为训练集和测试集。
步骤2.构建分割网络DM-net。
参照图2，本步骤的具体实现如下：
(2.1)构建特征提取模块：其由四个密集连接模块级联构成，且上一个密集连接模块的输出与下一个密集连接模块的输出进行了通道方向上的拼接，每个密集连接模块由一个线性整流Relu激活函数和一个3×3大小的二维卷积层构成；
(2.2)构建区域候选网络：其由一个提取候选锚框单元和一个二分类网络构成，在该候选锚框单元中通过使用滑动窗口的方法得到多个候选的锚框；该二分类网络由多个卷积层和多个全连接层级联构成，它可以判断候选的锚框中是否包含胰腺肿瘤区域，从而从所有候选的锚框中筛选出可能的候选区域；
(2.3)构建感兴趣区域对齐模块：其由一个网格划分单元、一个双线性插值单元和一个最大池化单元级联构成，其中：
该网格划分单元的网格大小为L/7×H/7，L为候选框的长度，H为候选框的高度；
该双线性插值单元的采样点为4，即在每个网格内随机取四个点使用双线性插值的方法得到这四个点的灰度值；
该最大池化单元的采样核的大小为2×2，步长为2；
(2.4)构建三分支模块：其由一个分类模块、一个检测模块和一个分割模块并连构成，其中：
该分类模块是一个全连接网络，由多个全连接层堆叠而成，且最后一个全连接层的神经元个数为2；
该检测模块是一个全连接网络，由数个全连接层堆叠而成，且最后一个全连接层的神经元个数为4；
该分割模块是一个全卷积网络，由多个上采样层和3×3的二维卷积层构成；
(2.5)将特征提取模块、区域候选模块、感兴趣区域对齐模块和三分支模块依次级联构成分割网络DM-net。
步骤3.使用He初始化方法初始化该分割网络的初始参数，并设置分割网络DM-net的损失函数。
(3.1)使用He初始化方法初始化该分割网络的初始参数，初始化后的网络初始参数W服从分布：
其中，nl为分割网络DM-net的第l层的神经元个数，
)表示数学期望为0，方差为
的正态分布。
(3.2)设置分割网络DM-net的损失函数为：loss＝losscls+lossbox+lossmask
其中，losscls为分类分支的损失，lossbox为检测分支的损失，lossmask为分割分支的损失，它们具体的公式如下：
其中，
步骤4.使用正电子发射计算机断层显像PET训练数据集训练DM-net，得到一次训练好的网络参数W1。
(4.1)在正电子发射计算机断层显像PET训练数据集中取4张正电子发射计算机断层显像PET图像，分别输入到分割网络DM-net中得到每张图像的分割结果、分类结果和检测结果，通过步骤3中的公式计算每张图像的损失函数值，再对4张图像的损失函数值取平均得到正电子发射计算机断层显像PET图像的平均损失函数值；
(4.2)对计算得到的平均损失函数值进行反向传播求得梯度值，并使用Adam优化器更新分割网络DM-net的网络参数；
(4.3)重复(4.1)-(4.2)过程，直到训练数据集中的数据都被学习，则完成一次迭代迭代学习。
(4.4)重复(4.3)过程，进行多次迭代学***均损失函数值不再减小，得到一次训练好的网络参数W1。
步骤5.通过迁移学习策略并使用核磁共振MRI数据集训练DM-net，得到二次训练好的网络参数W2。
(5.1)将DM-net的特征提取模块的参数值设置为训练好的网络参数W1中对应模块的值，使用He初始化方法对其区域候选网络、感兴趣区域对齐模块和三分支模块的参数重新初始化。
(5.2)在核磁共振MRI训练数据集中取4张核磁共振MRI图像，分别输入到分割网络DM-net中得到每张图像的分割结果、分类结果和检测结果，通过步骤3中的公式计算每张图像的损失函数值，再对4张图像的损失函数值取平均得到核磁共振MRI图像的平均损失函数值。
(5.3)对计算得到的平均损失函数值进行反向传播求得梯度值，并使用Adam优化器更新分割网络DM-net的网络参数。
(5.4)重复(5.2)-(5.3)过程，直到训练数据集中的数据都被学习，则完成一次迭代迭代学习。
(5.5)重复(5.4)过程，进行多次迭代学***均损失函数值不再减小，得到二次训练好的网络参数W2。
步骤6.使用训练好的DM-net对胰腺肿瘤核磁共振MRI测试图像进行测试。
将二次训练好的网络参数W2加载到分割网络DM-net中得到训练好的DM-net，并将核磁共振MRI测试数据集输入到DM-net中，得到输出概率图。
步骤7.根据输出概率图得到最终分割结果。
设置概率阈值为0.5，将输出概率图的每个像素点值与其阈值进行比较：
将输出概率图中值小于0.5的像素点的值设置为0；
将输出概率图中值大于0.5的像素点的值设置为1；
用0表示背景区域，用1表示胰腺肿瘤，完成对核磁共振MRI图像的分割。
本发明的效果可通过以下仿真进一步说明。
1.仿真条件
本实验仿真平台为Intel Core i9-9900K CPU 3.6GHz，内存32GB的台式电脑，使用Python3.6,keras2.1.5,tensorflow1.9.0构建与训练神经网络模型，使用Nvidia1080GPU,Cuda 9.0和Cudnn v7进行加速。
仿真所使用的图像是胰腺肿瘤核磁共振MRI图像以及正电子发射计算机断层显像PET图像，核磁共振MRI图像与正电子发射计算机断层显像PET图像都来自同一批病人，是可以进行配准的。如图3所示，其中第一列是病人的PET图像，第二列是对应的MRI图像，胰腺肿瘤区域用曲线轮廓标记出来。
仿真时所采用的分割性能评价指标包括DICE系数、敏感度SEN和特异度SPE，其具体计算公式如下：
其中，A表示真实标签，B表示预测结果，TP表示图像中真实为正样本点且实际被分为正样本点的个数，TN表示图像中真实为正样本点但实际被分为负样本的点的个数，FP表示图像中真实为负样本而实际被分为正样本的点的个数，FN表示图像中真实为负样本且实际被分为负样本的点的个数。
仿真使用的现有图像分割网络：包括U型网络Unet、残差网络ResNet、掩码分割检测网络Mask-RCNN、使用了迁移学习策略的掩码分割检测网络T-Mask-RCNN、基于密集连接模块的网络DM-net。
2.仿真内容
仿真一，使用核磁共振MRI图像训练集和正电子发射计算机断层显像PET图像训练集分别训练本发明网络和现有的Unet、ResNet、Mask-RCNN、T-Mask-RCNN、DM-net这六种图像分割网络，并使用核磁共振MRI测试集对每个训练好的网络进行测试，得到每种分割方法的测试集分割结果，如图4所示。
计算每种方法的测试集分割结果与测试集真实标签之间的Dice系数、敏感度SEN、特异度SPE。如表1所示：
表1
从图4可见，在胰腺肿瘤核磁共振MRI图像分割时本发明比其他现有图像分割网络分割准确率高，由于Unet与ResNet无法分割出胰腺肿瘤，因此其分割结果没有在图4中进行展示。
由表一可以得到如下分析结论：
将Mask-RCNN与DM-net进行对比，可发现在Mask-RCNN的基础上加入密集连接模块在Dice系数变化不大的情况下，大大提升了敏感度；
将T-Mask-RCNN与本发明进行对比，表明本发明通过密集连接模块的加入可以提升Dice系数即使分割更准确；
DM-net与本发明的比较，以及Mask-RCNN与T-Mask-RCNN的比较，均说明使用迁移学习可有效提升分割准确率；
由上述比较可知，本发明中使用的密集连接模块与迁移策略是可以提升分割性能。
由于Unet与ResNet无法分割出胰腺肿瘤，因此其评价指标不进行报告。
仿真二，将本发明与Liang等人提出的胰腺肿瘤分割方法以及Zhu等人提出的胰腺肿瘤分割方法中的测试集分割结果的评价指标进行对比，结果如表2所示。
表2
| 算法 | Dice(％) | SEN(％) | SPE(％) |
| Liang等人 | 72 | 79 | 94 |
| Zhu等人 | 74.23 | 77.04 | 99.31 |
| 本发明 | 76.33 | 77.08 | 99.61 |
从表二可得结论：本发明相较目前已有文献中的胰腺肿瘤分割方法在准确率、敏感度、特异度上都有所提升。
Claims (6)
1.一种基于密集连接网络迁移学习的胰腺肿瘤分割方法，其特征在于，包括：
(1)从医院获取正电子发射计算机断层显像PET数据和核磁共振成像MRI数据，对其进行预处理，并将预处理后的数据按照8:2的比例划分为训练集和测试集；
(2)构建由特征提取模块、区域候选网络、感兴趣区域对齐模块和三分支模块级联构成的分割网络DM-net；
(3)使用He初始化方法初始化该分割网络的初始参数，设置分割网络DM-net的损失函数为：loss＝losscls+lossbox+lossmask，
其中，losscls为分类分支的损失，lossbox为检测分支的损失，lossmask为分割分支的损失；
(4)使用Adam优化器并以上述损失函数为优化目标，利用正电子发射计算机断层显像PET训练数据集对分割网络DM-net的参数进行迭代学习，直到损失函数的值不再减小，得到一次训练好的网络参数W1；
(5)通过迁移学习策略并使用核磁共振MRI数据训练DM-net：
(5a)将DM-net的特征提取模块的参数值设置为训练好的网络参数W1中对应模块的值，使用He初始化方法对其区域候选网络、感兴趣区域对齐模块和三分支模块的参数重新初始化；
(5b)保持网络的损失函数不变，利用核磁共振MRI训练数据集对分割网络DM-net的参数进行迭代学习，直到损失函数的值不再减小，得到二次训练好的网络参数W2；
(6)将二次训练好的网络参数W2加载到分割网络DM-net中，并将核磁共振MRI测试数据集输入到DM-net中，得到输出概率图；
(7)设置概率阈值为0.5，将输出概率图的每个像素点值与其阈值进行比较，得到最终的分割结果：
将输出概率图中值小于0.5的像素点的值设置为0，表示背景区域，
将输出概率图中值大于0.5的像素点的值设置为1，表示胰腺肿瘤。
2.根据权利要求1所述方法，其中(1)中对正电子发射计算机断层显像PET数据和核磁共振成像MRI数据的预处理，实现如下：
(1a)以核磁共振MRI图像位置为基准，使用3D slicer软件对同一病人的正电子发射计算机断层显像PET图像的空间位置进行调整，使其与核磁共振MRI图像重叠，并依次进行随机的旋转、水平翻转和垂直翻转，将其数据量分别扩充为原来的8倍；
(1b)将扩充后的正电子发射计算机断层显像PET图像与核磁共振MRI图像的尺寸都由原始的512×512裁剪为320×320；
(1c)通过下式分别对裁剪后的正电子发射计算机断层显像PET图像和核磁共振MRI图像进行归一化：
其中，Y是归一化后的图像，X为输入图像，Xmin为输入图像的像素点灰度最大值，Xmax为输入图像的像素点灰度的最小值。
3.根据权利要求1所述方法，其中(2)中所构建分割网络DM-net的各模块结构如下：
所述特征提取模块，其由四个密集连接模块级联构成，且上一个密集连接模块的输出与下一个密集连接模块的输出进行了通道方向上的拼接，每个密集连接模块由一个线性整流Relu激活函数和一个3×3大小的二维卷积层构成；
所述区域候选网络，其由一个提取候选锚框单元和一个二分类网络构成，该二分类网络由多个卷积层和多个全连接层级联构成；
所述感兴趣区域对齐模块，其由一个网格划分单元、一个双线性插值单元和一个最大池化单元级联构成，其中：
该网格划分单元的网格大小为L/7×H/7，L为候选框的长度，H为候选框的高度；
该双线性插值单元的采样点为4，即在每个网格内随机取四个点使用双线性插值的方法得到这四个点的灰度值；
该最大池化单元的采样核的大小为2×2，步长为2；
所述三分支模块，其由一个分类模块、一个检测模块和一个分割模块并列构成，其中：
该分类模块由多个全连接层堆叠而成，且最后一个全连接层的神经元个数为2；
该检测模块由数个全连接层堆叠而成，且最后一个全连接层的神经元个数为4；
该分割模块由多个上采样层和3×3的二维卷积层构成。
4.根据权利要求1所述方法，其中(3)中的分类分支的损失losscls、检测分支的损失lossbox、分割分支的损失lossmask分别计算如下：
其中，
5.根据权利要求1所述方法，其中(4)中使用正电子发射计算机断层显像PET训练数据集对分割网络DM-net的参数进行迭代学习，实现如下：
(4a)在训练数据集中取4张正电子发射计算机断层显像PET图像，分别输入到分割网络DM-net中得到每张图像的分割结果、分类结果和检测结果，通过(3)中的公式计算每张图像的损失函数值，再对4张图像的损失函数值取平均得到正电子发射计算机断层显像PET图像的平均损失函数值；
(4b)对计算得到的平均损失函数值进行反向传播求得梯度值，并使用Adam优化器更新分割网络DM-net的网络参数；
(4c)重复(4a)-(4b)过程，直到训练数据集中的数据都被学习，则完成一次迭代迭代学习；
(4d)重复(4c)过程，进行多次迭代学***均损失函数值不再减小，，得到一次训练好的网络参数W1。
6.根据权利要求1所述方法，其中(5b)中使用核磁共振MRI训练数据集对分割网络DM-net的参数进行迭代学习,实现如下：
(5b1)在训练数据集中取4张核磁共振MRI图像，分别输入到分割网络DM-net中得到每张图像的分割结果、分类结果和检测结果，通过(3)中的公式计算每张图像的损失函数值，再对4张图像的损失函数值取平均得到核磁共振MRI图像的平均损失函数值；
(5b2)对计算得到的平均损失函数值进行反向传播求得梯度值，并使用Adam优化器更新分割网络DM-net的网络参数；
(5b3)重复(5b1)-(5b2)过程，直到训练数据集中的数据都被学习，则完成一次迭代迭代学习；
(5b4)重复(5b3)过程，进行多次迭代学***均损失函数值不再减小，得到二次训练好的网络参数W2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110944394.6A CN113706486A (zh) | 2021-08-17 | 2021-08-17 | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110944394.6A CN113706486A (zh) | 2021-08-17 | 2021-08-17 | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113706486A true CN113706486A (zh) | 2021-11-26 |
Family
ID=78653084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110944394.6A Pending CN113706486A (zh) | 2021-08-17 | 2021-08-17 | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706486A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937171A (zh) * | 2022-05-11 | 2022-08-23 | 复旦大学 | 基于深度学习的阿尔茨海默分类*** |
| CN115222007A (zh) * | 2022-05-31 | 2022-10-21 | 复旦大学 | 面向胶质瘤多任务一体化网络的改进粒子群参数优化方法 |
| CN115527036A (zh) * | 2022-11-25 | 2022-12-27 | 南方电网数字电网研究院有限公司 | 电网场景点云语义分割方法、装置、计算机设备和介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636806A (zh) * | 2018-11-22 | 2019-04-16 | 浙江大学山东工业技术研究院 | 一种基于多步学习的三维核磁共振胰腺图像分割方法 |
| US20190385021A1 (en) * | 2018-06-18 | 2019-12-19 | Drvision Technologies Llc | Optimal and efficient machine learning method for deep semantic segmentation |
| CN110751651A (zh) * | 2019-09-27 | 2020-02-04 | 西安电子科技大学 | 基于多尺度迁移学习的mri胰腺图像分割方法 |
| CN111476713A (zh) * | 2020-03-26 | 2020-07-31 | 中南大学 | 基于多深度卷积神经网络融合的天气图像智能识别方法及*** |
| US20200265579A1 (en) * | 2019-02-14 | 2020-08-20 | Koninklijke Philips N.V. | Computer-implemented method for medical image processing |
| CN111640120A (zh) * | 2020-04-09 | 2020-09-08 | 之江实验室 | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 |
| US20210034913A1 (en) * | 2018-05-23 | 2021-02-04 | Beijing Sensetime Technology Development Co., Ltd. | Method and device for image processing, and computer storage medium |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112381787A (zh) * | 2020-11-12 | 2021-02-19 | 福州大学 | 一种基于迁移学习的钢板表面缺陷的分类方法 |
| CN113011306A (zh) * | 2021-03-15 | 2021-06-22 | 中南大学 | 连续成熟阶段骨髓细胞图像自动识别方法、***及介质 |
| CN113034461A (zh) * | 2021-03-22 | 2021-06-25 | 中国科学院上海营养与健康研究所 | 胰腺肿瘤区域图像分割方法及装置、计算机可读存储介质 |
-
2021
- 2021-08-17 CN CN202110944394.6A patent/CN113706486A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210034913A1 (en) * | 2018-05-23 | 2021-02-04 | Beijing Sensetime Technology Development Co., Ltd. | Method and device for image processing, and computer storage medium |
| US20190385021A1 (en) * | 2018-06-18 | 2019-12-19 | Drvision Technologies Llc | Optimal and efficient machine learning method for deep semantic segmentation |
| CN109636806A (zh) * | 2018-11-22 | 2019-04-16 | 浙江大学山东工业技术研究院 | 一种基于多步学习的三维核磁共振胰腺图像分割方法 |
| US20200265579A1 (en) * | 2019-02-14 | 2020-08-20 | Koninklijke Philips N.V. | Computer-implemented method for medical image processing |
| CN110751651A (zh) * | 2019-09-27 | 2020-02-04 | 西安电子科技大学 | 基于多尺度迁移学习的mri胰腺图像分割方法 |
| CN111476713A (zh) * | 2020-03-26 | 2020-07-31 | 中南大学 | 基于多深度卷积神经网络融合的天气图像智能识别方法及*** |
| CN111640120A (zh) * | 2020-04-09 | 2020-09-08 | 之江实验室 | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 |
| CN112381787A (zh) * | 2020-11-12 | 2021-02-19 | 福州大学 | 一种基于迁移学习的钢板表面缺陷的分类方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN113011306A (zh) * | 2021-03-15 | 2021-06-22 | 中南大学 | 连续成熟阶段骨髓细胞图像自动识别方法、***及介质 |
| CN113034461A (zh) * | 2021-03-22 | 2021-06-25 | 中国科学院上海营养与健康研究所 | 胰腺肿瘤区域图像分割方法及装置、计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| LIANG, Y等: "On the Development of MRI-Based Auto-Segmentation of Pancreatic Tumor Using Deep Neural Networks", INTERNATIONAL JOURNAL OF RADIATION ONCOLOGY BIOLOGY PHYSICS, 30 September 2019 (2019-09-30) * |
| 凌彤 等: "利用多模态U形网络的CT图像***分割", 智能***学报, 5 July 2018 (2018-07-05) * |
| 李彦枝 等: "基于改进卷积神经网络的极光图像分类算法研究", 南京邮电大学学报(自然科学版), 31 December 2019 (2019-12-31) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937171A (zh) * | 2022-05-11 | 2022-08-23 | 复旦大学 | 基于深度学习的阿尔茨海默分类*** |
| CN114937171B (zh) * | 2022-05-11 | 2023-06-09 | 复旦大学 | 基于深度学习的阿尔茨海默分类*** |
| CN115222007A (zh) * | 2022-05-31 | 2022-10-21 | 复旦大学 | 面向胶质瘤多任务一体化网络的改进粒子群参数优化方法 |
| CN115527036A (zh) * | 2022-11-25 | 2022-12-27 | 南方电网数字电网研究院有限公司 | 电网场景点云语义分割方法、装置、计算机设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ahmad et al. | Deep belief network modeling for automatic liver segmentation | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN113706486A (zh) | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 | |
| Khan et al. | Recent automatic segmentation algorithms of MRI prostate regions: a review | |
| CN108629785B (zh) | 基于自步学习的三维磁共振胰腺图像分割方法 | |
| CN109300136B (zh) | 一种基于卷积神经网络的危及器官自动分割方法 | |
| Dogan et al. | A two-phase approach using mask R-CNN and 3D U-Net for high-accuracy automatic segmentation of pancreas in CT imaging | |
| Girum et al. | A deep learning method for real-time intraoperative US image segmentation in prostate brachytherapy | |
| Dutande et al. | Deep residual separable convolutional neural network for lung tumor segmentation | |
| Narayanan et al. | Multi-channeled MR brain image segmentation: A novel double optimization approach combined with clustering technique for tumor identification and tissue segmentation | |
| CN116097302A (zh) | 用于病灶检测的利用联合训练的连接式机器学习模型 | |
| CN111476793A (zh) | 动态增强磁共振成像处理方法、***、存储介质、终端 | |
| Wang et al. | A data augmentation method for fully automatic brain tumor segmentation | |
| Di et al. | Automatic liver tumor segmentation from CT images using hierarchical iterative superpixels and local statistical features | |
| CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与*** | |
| Tummala et al. | Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network | |
| CN112330645A (zh) | 基于注意力机制的胶质瘤分级方法以及装置 | |
| Feng et al. | MRI generated from CT for acute ischemic stroke combining radiomics and generative adversarial networks | |
| Chen et al. | MAU-Net: Multiple attention 3D U-Net for lung cancer segmentation on CT images | |
| Kumar et al. | Development of an enhanced U-Net model for brain tumor segmentation with optimized architecture | |
| Davamani et al. | Biomedical image segmentation by deep learning methods | |
| CN114693671A (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 | |
| Xu et al. | Bi-MGAN: bidirectional T1-to-T2 MRI images prediction using multi-generative multi-adversarial nets | |
| Verburg et al. | Knowledge‐based and deep learning‐based automated chest wall segmentation in magnetic resonance images of extremely dense breasts | |
| Dickson et al. | An integrated 3D-sparse deep belief network with enriched seagull optimization algorithm for liver segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |