CN113288193A - 基于深度学习的ct影像乳腺癌临床靶区的自动勾画方法 - Google Patents
基于深度学习的ct影像乳腺癌临床靶区的自动勾画方法 Download PDFInfo
- Publication number
- CN113288193A CN113288193A CN202110772940.2A CN202110772940A CN113288193A CN 113288193 A CN113288193 A CN 113288193A CN 202110772940 A CN202110772940 A CN 202110772940A CN 113288193 A CN113288193 A CN 113288193A
- Authority
- CN
- China
- Prior art keywords
- target area
- data
- mask
- area
- breast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 206010006187 Breast cancer Diseases 0.000 title claims abstract description 47
- 208000026310 Breast neoplasm Diseases 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 210000000481 breast Anatomy 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000001959 radiotherapy Methods 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 239000008267 milk Substances 0.000 claims description 11
- 210000004080 milk Anatomy 0.000 claims description 11
- 235000013336 milk Nutrition 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000013170 computed tomography imaging Methods 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 238000013434 data augmentation Methods 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000062 pectoralis major Anatomy 0.000 description 1
- 210000000989 pectoralis minor Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Pulmonology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，包括：数据采集：首先从医院采集乳腺癌患者接受放疗前的CT影像以及医生手动勾画的临床靶区的轮廓数据；数据预处理：对采集的临床靶区的轮廓数据进行预处理后，按照8:2的比例划分为训练集和测试集；模型训练：将预处理之后的训练集送入搭建的卷积神经网络中进行模型训练，当测试集的损失函数达到最小时，停止训练；以及预测结果融合：利用上述模型进行预测可得到颈部引流区的掩膜、***靶区的掩膜及内乳引流区的掩膜，将上述三个掩膜进行后处理融合成一个整体的乳腺癌临床靶区。本发明的自动勾画方法能够减少放疗时医生勾画乳腺癌靶区的时间，并可提高医生勾画结果的一致性。
Description
技术领域
本发明是关于医学图像处理技术领域，特别是关于一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法。
背景技术
据全球统计数据显示，乳腺癌已经成为全球女性多发的恶性肿瘤之一，且随着生活水平的提高，乳腺癌的发病率逐年提升且发病年龄日益年轻化。随着医疗手段的进步，放射治疗技术已经成为乳腺癌主要治疗手段之一，乳腺癌放疗可以大大提高病人的生活质量，同时提高患者的生存率。然而靶区勾画是放射治疗的关键点也是难点，靶区勾画耗费医生大量的时间和精力，且完全依赖医生的临床经验，主观性较强，因此靶区自动勾画应运而生。
目前乳腺癌临床靶区的勾画主要存在以下几种技术：第一种为医生手动勾画，这种技术关键点在于医生，临床医生根据经验进行靶区勾画，一致性较差，且耗费医生大量的时间和精力。第二种为模板匹配，这种技术需要医生挑选模板，在勾画时，先进行图像配准，然后将模板的靶区通过配准矩阵融合到病人图像上。第三种为利用深度学习进行***靶区自动勾画，这种技术需要收集大量数据，训练网络模型，利用训练较好的模型进行靶区自动勾画。
医生手动勾画靶区，一方面，CT影像的层数较多，导致医生手动勾画耗费较长时间，加重医生负担。另一方面，每个病人独特的解剖结构以及拍摄CT影像时不同摆位的差异，还有放疗医生的主观经验，这些因素都导致靶区勾画的结果过于主观，不同医生勾画的靶区存在较大差异，对放疗效果评估会产生非常不利的影响。
基于模板匹配的乳腺癌临床靶区勾画主要依赖医生选择的模板以及配准算法的精度。在进行靶区勾画时，需要首先进行图像配准，图像配准的精度直接影响靶区勾画的准确度，并且图像配准对图像的完整性要求较高，缺层以及不同层厚拼接的CT影像都会导致配准失败进而导致靶区勾画失败。
目前现有的基于深度学习的乳腺癌临床靶区勾画方法主要集中在勾画***区域的靶区，然而忽略了内乳引流区和颈部引流区，其次，现存的多种方法仅考虑到二维区域上***靶区的勾画，忽略了三维上靶区的连续性，导致靶区三维连续性较差，进而导致放疗时剂量的差异较大。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，其能够减少乳腺癌病人放疗时医生勾画靶区的时间，并可提高医生勾画的一致性。
为实现上述目的，本发明提供了一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，包括：数据采集：首先从医院采集乳腺癌患者接受放疗前的CT影像以及医生手动勾画的临床靶区的轮廓数据；数据预处理：对采集的临床靶区的轮廓数据进行预处理后，按照8:2的比例划分为训练集和测试集；其中，数据预处理的方法包括：利用合适的灰度阈值对CT图像的身体进行分割之后，保留身体掩膜的三维最大连通域；将CT图像的相邻三层定义为一个块，以一个块的身体掩膜的中心点为中心，截取像素区域，并通过线性插值归一化到相同尺寸的像素区域；提取临床靶区的轮廓点，并将其插值成为掩膜，以一个块的身体掩膜的中心点为中心，截取相同的像素区域，并通过线性插值归一化；及利用数据翻转、加入噪声的方法对上述步骤之后的数据进行增广；模型训练：将预处理之后的训练集送入搭建的卷积神经网络中进行模型训练，当测试集的损失函数达到最小时，停止训练；其中，使用的卷积神经网络在卷积模型块中加入了残差模块和通道注意力机制，并将第一个卷积模块设置为三维卷积模块，其余均为二维卷积模块；以及预测结果融合：利用上述模型进行预测可得到的颈部引流区的掩膜、***靶区的掩膜及内乳引流区的掩膜，将上述三个掩膜进行后处理融合成一个整体的乳腺癌临床靶区。
在一优选的实施方式中，乳腺癌的临床靶区包括颈部引流区、***靶区以及内乳引流区。
在一优选的实施方式中，数据预处理还包括CT影像身体分割步骤：首先根据CT影像的图像灰度选择合适的阈值，将CT影像中低于阈值的区域置为1，其余区域置为0，能够得到与CT影像相对应的二维掩膜；其次在二维掩膜中，保留二维层面上的最大连通域，最后保留二维掩膜中为0的区域的三维最大连通域即能够得到CT影像的身体掩膜。
在一优选的实施方式中，数据预处理还包括感兴趣区域的裁剪步骤：以CT影像的相连三层为一个块，以每个块为单位，选取每个块对应的身体掩膜的中心点为中心，截取固定像素大小的感兴趣区域，之后将固定像素大小的感兴趣区域通过线性插值归一化到像素为320×320区域。
在一优选的实施方式中，数据预处理还包括CTV(临床靶区)轮廓数据预处理步骤：根据CTV轮廓数据，将CTV轮廓数据的轮廓点数据提取出来，并生成掩膜，在掩膜上，同样以感兴趣区域的裁剪步骤截取得到像素为320×320的掩膜区域。
在一优选的实施方式中，数据翻转为将数据和掩膜数据同时进行上下翻转及左右翻转；加入噪声包括高斯噪声或椒盐噪声；旋转为将数据和掩膜进行相同角度的旋转，旋转角度介于0-180度之间。
在一优选的实施方式中，在原先卷积模块的基础上加入残差模块；在残差模块的基础上加入通道注意力机制，通道注意力机制能通过反向传播逐渐对不同通道分配不同的权重，从而利用相关位置的空间信息建模通道之间的相关性，使网络更快的收敛；将网络的第一个特征提取层设置为三维卷积层，其余均设置为二维残差层。
在一优选的实施方式中，对颈部引流区的输出通道、***靶区的输出通道以及内乳引流区的输出通道的dice相似系数设置不同的权重，权重分别为0.2、0.2、0.6；采用加权随机采样方式进行数据加载在训练过程中为保证数据的均衡性；将训练数据送入神经网络，经过前向计算得到预测结果，将预测结果与训练数据中的掩膜计算损失函数，并将该损失函数按照递进反向传入神经网络，并不断优化神经网络的参数以及不断重复上述训练过程；在此训练过程中，根据测试集的损失函数评估网络的学习能力，当测试集的损失函数最小且稳定时，即结束训练。
在一优选的实施方式中，预测结果融合步骤中采用的***靶区和内乳引流区后处理融合方式如下：首先计算内乳引流区的掩膜的中心点，然后计算内乳引流区的掩膜的中心点与***靶区的边界点的欧式距离，选择其中最短的欧氏距离做为核半径，然后对***靶区进行闭操作，最后即能将***靶区和内乳引流区融合。
在一优选的实施方式中，基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法还包括：当需要预测CT影像的乳腺癌临床靶区时，依照数据预处理步骤对CT影像进行预处理，然后将影像输入模型训练步骤中经过训练的卷积神经网络，能够得到颈部引流区、***靶区以及内乳引流区的预测结果，接着进行预测结果融合步骤的后处理融合即能够得到临床靶区，最后根据数据预处理步骤的逆步骤，将其恢复到原始CT图像矩阵的尺寸。
与现有技术相比，本发明的基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法具有以下有益效果：相对于医生手动勾画乳腺癌临床靶区，本发明的自动勾画方法可以明显缩短靶区勾画时间，减轻医生负担，提高靶区的一致性；医生手动勾画靶区通常需要1-2小时，而本自动勾画方法可将勾画时间缩短至3分钟以内，大大提高医生靶区勾画的效率。相对于模板匹配，本发明的自动勾画方法适应性更广，对缺层数据以及不同层厚拼接的数据依然可以进行靶区勾画；深度学习网络在训练过程中会进行大量的数据增广，因此本发明的自动勾画方法不依赖与图像配准的精度，对不同CT图像具有较强的适应性。相对于其他基于深度学习的靶区自动勾画技术，本发明的自动勾画方法的靶区勾画范围更广，更贴合临床需求，其靶区包括颈部引流区、***靶区以及内乳引流区；其次，本发明的自动勾画方法在训练数据预处理上，以相连三层为一个块输入网络，加强靶区三维上的连续性。最后，在后处理上，本自动勾画方法采用融合算法将内乳引流区与靶区引流区进行了合成，最终输出了完整的乳腺癌临床靶区；经过测试，本发明自动勾画方法预测的临床靶区与医生手动勾画的靶区其dice系数可达0.85，且预测时间更短。
附图说明
图1是根据本发明一实施方式的自动勾画方法的步骤流程图；
图2是根据本发明一实施方式的自动勾画方法的网络结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
如图1至图2所示，根据本发明优选实施方式的一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法。其技术步骤如图1所示，自动勾画方法的详细阐述如下：
(1)数据采集步骤：本发明的自动勾画方法中所指的临床靶区(简称CTV)包括颈部引流区、***靶区以及内乳引流区。基于以上说明，本发明的自动勾画方法首先需要从医院采集乳腺癌患者接受放疗前的CT影像以及医生手动勾画的临床靶区轮廓数据。
(2)数据预处理步骤：本步骤需要将采集得到的CT影像和医生勾画的临床靶区轮廓数据进行预处理后，按照8：2的比例划分为训练集和测试集，以便进行下一步的模型训练。其预处理步骤主要包括以下技术：
(2.1)在CT影像上进行身体(简称body)分割。首先需要根据图像灰度选择合适的阈值，将CT影像中低于阈值的区域置为1，其余区域置为0，可得到与CT影像相对应的二维掩膜(简称mask)。其次在上述mask中，保留二维层面上的最大连通域，最后保留上述mask中为0的区域的三维最大连通域即可得到CT影像的body掩膜。
(2.2)感兴趣区域裁剪。以CT影像的相连三层为一个块(block)，以每个block为单位，选取其对应body掩膜的中心点为中心，截取固定像素大小的感兴趣区域，本发明的自动勾画方法中选择的固定像素大小为480*480。之后将固定像素大小的感兴趣区域通过线性插值归一化到像素为320*320的区域。
(2.3)CTV轮廓数据预处理步骤：根据CTV轮廓数据(包括颈部引流区、***靶区、内乳引流区)，将其轮廓点数据提取出来，并生成掩膜。在其掩膜上，同样以2.2的步骤截取得到像素为320*320的掩膜区域。
(2.4)数据增广步骤：将2.2步骤和2.3步骤得到的对应的感兴趣区域进行数据增广，增广手段包括但不限于数据翻转(即将数据和掩膜数据同时进行上下翻转以及左右翻转)、加入噪声(该噪声可包括高斯噪声、椒盐噪声等)、旋转(即将数据和掩膜进行相同角度的旋转，角度可选0-180度)
(3)模型训练步骤：由步骤(2)得到一批可用于训练神经网络的数据，根据数据量，可将该批数据按照8：2分成训练集和测试集。本发明的自动勾画方法中采用的卷积神经网络为引入通道注意力机制的残差网络(简称Attention_ResUNet)，该网络结构图如图2，该网络的主要特点在于，第一，在原先卷积模块的基础上加入残差模块，加入残差模块可使反向传播过程中梯度更容易传播，网络更容易优化。第二，在残差模块基础上，本发明还加入了通道注意力机制，该注意力机制可通过反向传播逐渐对不同通道分配不同的权重，从而利用相关位置的空间信息建模通道之间的相关性，使网络更快的收敛。第三，由于本发明的数据是一个三层数据的block，为了使网络能够学习到三维上靶区的连续性特征，本发明将网络第一个特征提取层设置为三维卷积层，其余均为二维残差层。接着，本发明使用的损失函数主要为加权dice相似系数。Dice相似系数是分割网络常用的损失函数，其计算方式为：
p为网络输出的结果，G为金标准矩阵。由于本发明的自动勾画方法的输出通道为多通道(三个通道，颈部引流区、***靶区、内乳引流区)，因此需要对每个通道的dice相似系数设置不同的权重，本发明的自动勾画方法中设置的权重分别为0.2、0.2、0.6。在训练过程中为保证数据的均衡性，可采用加权随机采样方式进行数据加载。根据本发明的网络和损失函数以及训练方法，将训练数据送入神经网络，经过前向计算得到预测结果，将预测结果与训练数据中的掩膜计算损失函数，并将该损失按照递进反向传入神经网络，并不断优化神经网络的参数，不断重复上述训练过程。在此训练过程中，根据测试集的损失函数评估网络的学习能力，当测试集的损失函数最小且稳定时，可结束训练。
(4)预测结果融合步骤：根据步骤(3)可得到三个预测掩膜，分别是颈部引流区、***靶区以及内乳引流区，在临床治疗中，这三个区域需要进行后处理融合成一个整体乳腺癌临床靶区(CTV)。由于本发明的自动勾画方法中输入为一个block(相邻三层组成一个block)，保证靶区在三维上的连续性，因此颈部引流区和***靶区在三维上具有连续性，需要后处理融合的两个区域为***靶区和内乳引流区。本发明自动勾画方法所采用的后处理融合方式如下，首先计算内乳引流区掩膜的中心点，然后计算该中心点与***靶区边界点的欧式距离，选择其中最短的欧氏距离做为核半径，然后对***靶区进行闭操作，最后即可将***靶区和内乳引流区融合。
在一些实施方式中，本发明的自动勾画方法还包括：当需要预测CT影像的乳腺癌临床靶区时，依照步骤(2)对CT影像进行预处理，然后将影像输入步骤(3)中经过训练的卷积神经网络，可得到颈部引流区、***靶区以及内乳引流区的预测结果，接着进行步骤(4)的后处理融合即可得到临床靶区(CTV)，最后根据步骤(2)的逆步骤，将其恢复到原始CT图像矩阵的尺寸。
在一些实施方式中，本发明的自动勾画方法旨在利用卷积神经网络实现CT图像上乳腺癌临床靶区的自动勾画，其临床靶区包括颈部引流区、***靶区以及内乳引流区。根据国际乳腺癌引流区勾画标准(RTOG)，颈部引流区主要包括锁骨上引流区、颈后引流区以及腋窝引流区。根据乳腺癌的治疗手段，进行***根治术的病人其***靶区包括乳腺区域、胸大肌、胸小肌以及胸壁区域；进行保乳术的病人其乳腺靶区仅包括乳腺区域。现有的乳腺癌临床靶区自动勾画方法，其临床靶区仅包括上述***靶区。
综上所述，本发明的基基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法具有以下优点：其主要步骤包括数据采集、数据预处理、模型训练、预测结果融合。首先需要从医院采集合适的经过临床放射治疗的乳腺癌患者CT影像以及靶区轮廓数据，数据预处理则需要分割CT影像的身体，主要利用合适的阈值将其分成0和1的掩膜，然后利用保留最大连通域的方法得到身体的掩膜，其次将相连三层做为一个块，以其身体掩膜的中心点为中心，裁剪固定大小的感兴趣区域。这种预处理后的数据，输入网络，经过三维卷积模块，可以保证靶区在三维上的连通性。在模型训练阶段，本发明的自动勾画方法采用的是引入注意力机制的残差网络，该网络有利于反向传播过程中梯度的传播，加快网络优化，同时还能为不同通道分配不同的权重，使网络收敛的更优。在预测结果融合模块，则利用区域之间的最短欧氏距离做为形态学操作闭操作的核，进而得到融合之后的乳腺癌临床靶区。
本发明的自动勾画方法相对于医生手动勾画乳腺癌临床靶区，可以明显缩短靶区勾画时间，减轻医生负担，提高靶区的一致性；医生手动勾画靶区通常需要1-2小时，而本自动勾画方法可将勾画时间缩短至3分钟以内，大大提高医生靶区勾画的效率。相对于模板匹配，本发明的自动勾画方法适应性更广，对缺层数据以及不同层厚拼接的数据依然可以进行靶区勾画；深度学习网络在训练过程中会进行大量的数据增广，因此本发明的自动勾画方法不依赖与图像配准的精度，对不同CT图像具有较强的适应性。相对于其他基于深度学习的靶区自动勾画技术，本发明的自动勾画方法的靶区勾画范围更广，更贴合临床需求，其靶区包括颈部引流区、***靶区以及内乳引流区；其次，本发明的自动勾画方法在训练数据预处理上，以相连三层为一个块输入网络，加强靶区三维上的连续性。最后，在后处理上，本自动勾画方法采用融合算法将内乳引流区与靶区引流区进行了合成，最终输出了完整的乳腺癌临床靶区；经过测试，本发明自动勾画方法预测的临床靶区与医生手动勾画的靶区其dice系数可达0.85，且预测时间更短。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (10)
1.一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，其特征在于，包括以下步骤：
数据采集：首先从医院采集乳腺癌患者接受放疗前的CT影像以及医生手动勾画的临床靶区的轮廓数据；
数据预处理：对采集的所述临床靶区的轮廓数据进行预处理后，按照8:2的比例划分为训练集和测试集；
其中，所述数据预处理的方法包括：
利用合适的灰度阈值对所述CT图像的身体进行分割之后，保留身体掩膜的三维最大连通域；
将所述CT图像的相邻三层定义为一个块，以一个块的身体掩膜的中心点为中心，截取感兴趣区域，并通过线性插值归一化到相同尺寸的像素区域；
提取所述临床靶区的轮廓点，并将其插值成为掩膜，以所述一个块的身体掩膜的中心点为中心，截取相同的像素区域，并通过线性插值归一化；及
利用数据翻转、加入噪声的方法对上述步骤之后的数据进行增广；
模型训练：将预处理之后的训练集送入搭建的卷积神经网络中进行模型训练，当测试集的损失函数达到最小时，停止训练；其中，使用的卷积神经网络在卷积模型块中加入了残差模块和通道注意力机制，并将第一个卷积模块设置为三维卷积模块，其余均为二维残差卷积模块；以及
预测结果融合：利用上述模型进行预测可得到颈部引流区的掩膜、***靶区的掩膜及内乳引流区的掩膜，将上述三个掩膜进行后处理融合成一个整体的乳腺癌临床靶区。
2.如权利要求1所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，其特征在于，乳腺癌的所述临床靶区包括颈部引流区、***靶区以及内乳引流区。
3.如权利要求1所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，其特征在于，所述数据预处理还包括CT影像身体分割步骤：首先根据所述CT影像的图像灰度选择合适的阈值，将所述CT影像中低于阈值的像素值置为1，其余像素置为0，能够得到与所述CT影像相对应的二维掩膜；其次在所述二维掩膜中，保留二维层面上的最大连通域，最后保留所述二维掩膜中像素值为0的区域的三维最大连通域即能够得到所述CT影像的身体掩膜。
4.如权利要求1所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，其特征在于，所述数据预处理还包括感兴趣区域的裁剪步骤：以所述CT影像的相连三层为一个块，以每个所述块为单位，选取每个所述块对应的所述身体掩膜的中心点为中心，截取固定像素尺寸的感兴趣区域，之后将所述固定像素尺寸的感兴趣区域通过线性插值归一化到320像素。
5.如权利要求1所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，其特征在于，所述数据预处理还包括所述临床靶区的轮廓数据的预处理步骤：根据所述临床靶区的轮廓数据，将所述临床靶区的轮廓数据的轮廓点数据提取出来，并生成掩膜，在所述掩膜上，同样以所述感兴趣区域的裁剪步骤截取得到像素尺寸为320×320的掩膜区域。
6.如权利要求1所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，其特征在于，所述数据翻转为将数据和掩膜数据同时进行上下翻转及左右翻转；所述加入噪声包括高斯噪声或椒盐噪声；所述旋转为将数据和掩膜进行相同角度的旋转，旋转角度介于0-180度之间。
7.如权利要求1所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，其特征在于，在原先卷积模块的基础上加入残差模块；在所述残差模块的基础上加入通道注意力机制，所述通道注意力机制能通过反向传播逐渐对不同通道分配不同的权重，从而利用相关位置的空间信息建模通道之间的相关性，使网络更快的收敛；将网络的第一个特征提取层设置为三维卷积层，其余均设置为二维残差层。
8.如权利要求2所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，其特征在于，对所述颈部引流区的输出通道、所述***靶区的输出通道以及所述内乳引流区的输出通道的dice相似系数设置不同的权重，所述权重分别为0.2、0.2、0.6；采用加权随机采样方式进行数据加载在训练过程中为保证数据的均衡性；将训练数据送入神经网络，经过前向计算得到预测结果，将所述预测结果与所述训练数据中的掩膜计算损失函数，并将该损失函数按照递进反向传入神经网络，并不断优化神经网络的参数以及不断重复上述训练过程；在此训练过程中，根据测试集的损失函数评估网络的学习能力，当测试集的损失函数最小且稳定时，即结束训练。
9.如权利要求1所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，其特征在于，预测结果融合即所述***靶区和内乳引流区后处理融合方式如下：首先计算所述内乳引流区的掩膜的中心点，然后计算所述内乳引流区的掩膜的中心点与所述***靶区的边界点的欧式距离，选择其中最短的欧氏距离做为核半径，然后对所述***靶区进行闭操作，最后即能将所述***靶区和所述内乳引流区融合。
10.如权利要求2所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画方法，其特征在于，还包括：当需要预测所述CT影像的乳腺癌临床靶区时，依照所述数据预处理步骤对所述CT影像进行预处理，然后将影像输入所述模型训练步骤中经过训练的卷积神经网络，能够得到所述颈部引流区、所述***靶区以及所述内乳引流区的预测结果，接着进行所述预测结果融合步骤的后处理融合即能够得到临床靶区，最后根据所述数据预处理步骤的逆步骤，将其恢复到原始CT图像矩阵的尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110772940.2A CN113288193B (zh) | 2021-07-08 | 2021-07-08 | 基于深度学习的ct影像乳腺癌临床靶区的自动勾画*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110772940.2A CN113288193B (zh) | 2021-07-08 | 2021-07-08 | 基于深度学习的ct影像乳腺癌临床靶区的自动勾画*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113288193A true CN113288193A (zh) | 2021-08-24 |
| CN113288193B CN113288193B (zh) | 2022-04-01 |
Family
ID=77330654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110772940.2A Active CN113288193B (zh) | 2021-07-08 | 2021-07-08 | 基于深度学习的ct影像乳腺癌临床靶区的自动勾画*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113288193B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187577A (zh) * | 2022-08-05 | 2022-10-14 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于深度学习的乳腺癌临床靶区自动勾画方法和*** |
| CN117476219A (zh) * | 2023-12-27 | 2024-01-30 | 四川省肿瘤医院 | 基于大数据分析的定位ct断层图像的辅助方法和辅助*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517254A (zh) * | 2019-08-29 | 2019-11-29 | 清华大学 | 基于深度学习的临床靶区自动勾画方法、装置及相关设备 |
| CN112270660A (zh) * | 2020-09-30 | 2021-01-26 | 四川大学 | 基于深度神经网络的鼻咽癌放疗靶区自动分割方法 |
| CN112790782A (zh) * | 2021-02-02 | 2021-05-14 | 广州柏视医疗科技有限公司 | 基于深度学习的盆腔肿瘤ctv的自动勾画方法 |
| CN112950651A (zh) * | 2021-02-02 | 2021-06-11 | 广州柏视医疗科技有限公司 | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 |
-
2021
- 2021-07-08 CN CN202110772940.2A patent/CN113288193B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517254A (zh) * | 2019-08-29 | 2019-11-29 | 清华大学 | 基于深度学习的临床靶区自动勾画方法、装置及相关设备 |
| CN112270660A (zh) * | 2020-09-30 | 2021-01-26 | 四川大学 | 基于深度神经网络的鼻咽癌放疗靶区自动分割方法 |
| CN112790782A (zh) * | 2021-02-02 | 2021-05-14 | 广州柏视医疗科技有限公司 | 基于深度学习的盆腔肿瘤ctv的自动勾画方法 |
| CN112950651A (zh) * | 2021-02-02 | 2021-06-11 | 广州柏视医疗科技有限公司 | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187577A (zh) * | 2022-08-05 | 2022-10-14 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于深度学习的乳腺癌临床靶区自动勾画方法和*** |
| CN117476219A (zh) * | 2023-12-27 | 2024-01-30 | 四川省肿瘤医院 | 基于大数据分析的定位ct断层图像的辅助方法和辅助*** |
| CN117476219B (zh) * | 2023-12-27 | 2024-03-12 | 四川省肿瘤医院 | 基于大数据分析的定位ct断层图像的辅助方法和辅助*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113288193B (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021088747A1 (zh) | 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法 | |
| CN113288193B (zh) | 基于深度学习的ct影像乳腺癌临床靶区的自动勾画*** | |
| CN111127444B (zh) | 基于深度语义网络的ct影像中自动识别放疗危及器官的方法 | |
| CN107403201A (zh) | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 | |
| CN110648337A (zh) | 髋关节分割方法、装置、电子设备和存储介质 | |
| CN111105424A (zh) | ***自动勾画方法及装置 | |
| CN109636806B (zh) | 一种基于多步学习的三维核磁共振胰腺图像分割方法 | |
| CN108053417A (zh) | 一种基于混合粗分割特征的3DU-Net网络的肺分割装置 | |
| CN110310287A (zh) | 基于神经网络的危及器官自动勾画方法、设备和存储介质 | |
| CN109255354B (zh) | 面向医用ct的计算机图像处理方法和装置 | |
| CN111681210A (zh) | 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法 | |
| CN110008992B (zh) | 一种用于***癌辅助诊断的深度学习方法 | |
| CN112215844A (zh) | 基于ACU-Net的MRI多模态图像分割方法和*** | |
| CN111862022B (zh) | 全身多部位放射治疗危及器官自动勾画方法 | |
| CN109003280B (zh) | 一种双通道血管内超声影像的血管中内膜分割方法 | |
| CN114022491B (zh) | 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法 | |
| CN113706486A (zh) | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 | |
| CN114581474A (zh) | 一种基于***ct影像的临床靶区自动勾画方法 | |
| CN109919216B (zh) | 一种用于计算机辅助诊断***癌的对抗学习方法 | |
| CN109409413B (zh) | X射线乳腺肿块影像自动分类方法 | |
| CN111798463B (zh) | 一种头颈部ct图像中多器官自动分割方法 | |
| CN112950611A (zh) | 一种基于ct图像的肝脏血管分割方法 | |
| CN113487579B (zh) | 自动勾画模型的多模态迁移方法 | |
| CN114612478B (zh) | 一种基于深度学习的女性盆腔mri自动勾画*** | |
| CN115690423A (zh) | 一种基于深度学习的ct序列图像肝脏肿瘤分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |