CN114049358A - 肋骨实例分割、计数与定位的方法及*** - Google Patents
肋骨实例分割、计数与定位的方法及*** Download PDFInfo
- Publication number
- CN114049358A CN114049358A CN202111364466.6A CN202111364466A CN114049358A CN 114049358 A CN114049358 A CN 114049358A CN 202111364466 A CN202111364466 A CN 202111364466A CN 114049358 A CN114049358 A CN 114049358A
- Authority
- CN
- China
- Prior art keywords
- rib
- segmentation
- ribs
- mask
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 86
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000004519 manufacturing process Methods 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 210000002569 neuron Anatomy 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000013434 data augmentation Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims 1
- 210000004072 lung Anatomy 0.000 abstract description 11
- 238000013135 deep learning Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种肋骨实例分割、计数与定位的方法及***,包括如下步骤:对胸部CT中的肋骨进行语义分割,得到肋骨语义分割二值掩码;收集所述肋骨语义分割二值掩码对应的人工标注,获得肋骨实例分割掩码;对所述肋骨语义分割二值掩码和所述肋骨实例分割掩码进行处理,制作层序分割训练样本集;建立深度卷积神经网络模型;采用所述训练样本集训练所述深度卷积神经网络模型,得到能够预测最顶层肋骨的深度卷积神经网络;将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,自顶到底逐层序得到最顶层肋骨的预测掩码,进而得到预测的肋骨实例分割掩码。本发明对肋骨计数问题进行了显式建模,通过从肺顶到肺底对肋骨进行逐根分割,实现了对肋骨计数和定位。
Description
技术领域
本发明涉及计算机技术领域,具体地,涉及一种肋骨实例分割、计数与定位的方法及***,尤其是一种基于深度学习的肋骨实例分割、计数与定位的方法。
背景技术
对CT中出现的骨折(病)进行诊断、描述、报告是影像科医生阅片的重要内容之一。在发现骨折(病)时,需要根据其解剖位置对病灶进行描述,以进行随访分析或供其它科室参考。随着薄层CT的普及,医生可以发现细微的骨折(病),但由于层数的增多,对病灶位置的确认成为了一个难题,尤其是肋骨的描述。人通常有12对肋骨,而每个肋骨均有独立的编号,按从上到下可以分为第1肋,…,第12肋。由于没有可靠的参考点,医生需要从CT的开始层面到病灶层面翻阅一次方可确定一个病灶的位置,如果有多个病灶,则需要反复多次。这个过程极易出错,且严重影响了医生的阅片效率,因此发明自动化的肋骨计数方法对于医生效率,提高诊疗质量至关重要。
目前自动肋骨计数方法主要有两种。第一种为基于规则的方法,该方法通常采用阈值或深度学习方法对肋骨进行分割,提取肋骨区域,然后采用一定的形态学规则化方法处理,最后计算连通域,按位置从上到下为每个连通域分配类别标签。但这种方法未考虑肋骨的形态信息,当CT未扫到第1对肋骨时,将给出错误的计数;在严重骨折或分割失败的情况下,每个连通域不再对应一根肋骨,因此难以设计合理的规则为每个区域分配肋骨编号。第二种为基于体素分割的方法,此类方法通常将肋骨计数看作分割问题,采用基于深度学习的2D或3D分割模型,将每个肋骨作为独立的类别进行预测,该方法可以通过标注大量肋骨计数的数据,从数据中学习从而避免手动设计规则,但受显存和计算量的制约,模型仅能以部分CT数据作为输入,导致模型因为缺少足够上下文导致分割不准确;同时分割网络有大量参数,需大量CT和其对应的计数标注,考虑到骨折的类型和部位各种各样,且人的个体差异较大,在实际中难以收集多样性足够的训练数据,以保证模型的稳定性;最后由于分割网络对原始数据进行操作,具有极高的计算复杂度,在实际部署时有巨大的资源开销。
公开号为CN112529849A的专利文献公开了一种CT肋骨自动计数方法及装置,其中方法包括:对CT中肋骨进行分割,得到与CT对应的肋骨掩码;遍历掩码的每个层面,将每一层掩码作为二值图片,提取肋骨轮廓;将每个层面每个肋骨轮廓转换为点云;采用点云图神经网络对肋骨的编号进行预测,得到点云肋骨编号;将点云肋骨编号进行逆映射,映射回肋骨轮廓,得到每个层面每个肋骨轮廓所属的肋骨编号,完成肋骨计数。但是该专利文献无法保证肋骨计数的稳定性和可靠性。
公开号为CN111915620A的专利文献公开了一种CT肋骨分割方法及装置,方法包括:S1获取训练数据,根据训练数据生成两类标签;S2根据两类标签训练两任务的全卷积图像语义分割模型,得到肋骨分割模型;S3获取待分割CT数据,其中,待分割CT数据包括CT中所有层面;S4用训练好的肋骨分割模型推理出待分割CT数据中每一层上的二维分割结果以及相邻层关系,基于二维分割使用连通域检测算法得到每层的肋骨轮廓;S5根据相邻层关系合并所有层的肋骨轮廓得到三维分割结果;S6利用后处理算法,得到待分割CT数据的CT肋骨分割结果。但是该专利文献仅能得到肋骨语义分割结果,无法得到每根肋骨分离的实例分割掩码,且仍然存在分割不准确的缺陷。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种肋骨实例分割、计数与定位的方法及***。
根据本发明提供的一种肋骨实例分割、计数与定位的方法,包括如下步骤:
步骤1:对胸部CT中的肋骨进行语义分割,得到肋骨语义分割二值掩码;
步骤2:收集所述肋骨语义分割二值掩码对应的人工标注,获得肋骨实例分割掩码;
步骤3:对所述肋骨语义分割二值掩码和所述肋骨实例分割掩码进行处理,制作层序分割训练样本集;
步骤4:建立深度卷积神经网络模型;
步骤5:采用所述训练样本集训练所述深度卷积神经网络模型中的各级神经网络架构,得到能够预测最顶层肋骨的深度卷积神经网络;
步骤6:将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,自顶到底逐层序得到最顶层肋骨的预测掩码,从肋骨语义分割二值掩码中擦除所述最顶层肋骨,再重新将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,重复直至肋骨语义分割二值掩码为空或得到全部肋骨,得到预测的肋骨实例分割掩码。
优选的,所述步骤3具体为:依据肋骨实例分割掩码提供的信息,对肋骨语义分割二值掩码分别保留第1肋以及之后的肋骨、第2肋以及之后的肋骨、第3肋以及之后的肋骨、第4肋以及之后的肋骨、第5肋以及之后的肋骨、第6肋以及之后的肋骨、第7肋以及之后的肋骨、第8肋以及之后的肋骨、第9肋以及之后的肋骨、第10肋以及之后的肋骨、第11肋以及之后的肋骨、第12肋以及之后的肋骨;每个肋骨语义分割二值掩码得到12个训练输入图像,对每个训练输入图像最顶层的肋骨进行标注,得到训练目标图像。
优选的,所述步骤4中,所述深度神经网络模型以3D UNet作为骨干网络,包括多层3D神经元。
优选的,所述3D神经元为10层,分别是输入层、卷积层、降维卷积层、降维卷积层、降维卷积层、跳连反卷积层、跳连反卷积层、跳连反卷积层、卷积层、输出层。
优选的,所述步骤5中,在训练过程中,对训练输出图像进行在线数据增广。
优选的,所述在线数据增广包括随机平移、随机旋转以及随机缩放。
优选的,所述步骤5中,训练所述深度卷积神经网络时,使用交叉熵和Dice作为损失函数,使用Adam优化算法作为学习算法,各层神经元参数使用L2 Weight Decay进行正则化。
优选的,所述步骤5中,训练各级所述神经网络架构时,每轮迭代训练的学习率小于或等于前一轮迭代的学习率。
优选的,所述步骤1中,对得到的肋骨语义分割二值掩码进行去噪处理,删除语义分割掩码中体积小于预设值的小噪点。
本发明还提供一种肋骨实例分割、计数与定位的***,包括如下模块:
肋骨语义分割二值掩码模块:对胸部CT中的肋骨进行语义分割,得到肋骨语义分割二值掩码;
肋骨实例分割掩码模块:收集所述肋骨语义分割二值掩码对应的人工标注,获得肋骨实例分割掩码;
训练样本集模块:对所述肋骨语义分割二值掩码和所述肋骨实例分割掩码进行处理,制作层序分割训练样本集;
神经网络模型模块:建立深度卷积神经网络模型;
训练模块:采用所述训练样本集训练所述深度卷积神经网络模型中的各级神经网络架构,得到能够预测最顶层肋骨的深度卷积神经网络;
预测模块:将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,自顶到底逐层序得到最顶层肋骨的预测掩码,从肋骨语义分割二值掩码中擦除所述最顶层肋骨,再重新将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,重复直至肋骨语义分割二值掩码为空或得到全部肋骨,得到预测的肋骨实例分割掩码。
与现有技术相比,本发明具有如下的有益效果:
1、本发明的方法利用肋骨层序排列的事实,通过训练深度卷积神经网络逐层对肋骨进行实例分割,对肋骨计数问题进行显式建模,从而极大提升了肋骨计数与定位算法在现实应用场景中的适用性和可靠度;
2、本发明对肋骨计数问题进行了显式建模,通过从肺顶到肺底对肋骨进行逐根分割,实现了对肋骨计数和定位;
3、相比于直接对双肺12对肋骨进行实例分割,本发明可以鲁棒地处理肋骨对数不足12对的情况或多于12对的情况;
4、基于肋骨层序排列的医学事实,本发明通过构造层序肋骨分割训练数据,设计了一套深度卷积神经网络的训练流程,能够逐根对肋骨进行分割,实现了肋骨的实例分割算法。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明的肋骨实例分割、计数与定位的方法的局部流程图一;
图2为本发明的肋骨实例分割、计数与定位的方法的局部流程图二。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1:
本实施例提供一种肋骨实例分割、计数与定位的方法,包括如下步骤:
步骤1:对胸部CT中的肋骨进行语义分割,得到肋骨语义分割二值掩码。对得到的肋骨语义分割二值掩码进行去噪处理,删除语义分割掩码中体积小于预设值的小噪点。
步骤2:收集所述肋骨语义分割二值掩码对应的人工标注,获得肋骨实例分割掩码。
步骤3:对所述肋骨语义分割二值掩码和所述肋骨实例分割掩码进行处理,制作层序分割训练样本集。依据肋骨实例分割掩码提供的信息,对肋骨语义分割二值掩码分别保留第1肋以及之后的肋骨、第2肋以及之后的肋骨、第3肋以及之后的肋骨、第4肋以及之后的肋骨、第5肋以及之后的肋骨、第6肋以及之后的肋骨、第7肋以及之后的肋骨、第8肋以及之后的肋骨、第9肋以及之后的肋骨、第10肋以及之后的肋骨、第11肋以及之后的肋骨、第12肋以及之后的肋骨;每个肋骨语义分割二值掩码得到12个训练输入图像,对每个训练输入图像最顶层的肋骨进行标注,得到训练目标图像。
步骤4:建立深度卷积神经网络模型。深度神经网络模型以3D UNet作为骨干网络,包括多层3D神经元,3D神经元为10层,分别是输入层、卷积层、降维卷积层、降维卷积层、降维卷积层、跳连反卷积层、跳连反卷积层、跳连反卷积层、卷积层、输出层。
步骤5:采用所述训练样本集训练所述深度卷积神经网络模型中的各级神经网络架构,得到能够预测最顶层肋骨的深度卷积神经网络在训练过程中,对训练输出图像进行在线数据增广,包括随机平移、随机旋转以及随机缩放。训练所述深度卷积神经网络时,使用交叉熵和Dice作为损失函数,使用Adam优化算法作为学习算法,各层神经元参数使用L2Weight Decay进行正则化。训练各级所述神经网络架构时,每轮迭代训练的学习率小于或等于前一轮迭代的学习率。
步骤6:将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,自顶到底逐层序得到最顶层肋骨的预测掩码,从肋骨语义分割二值掩码中擦除所述最顶层肋骨,再重新将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,重复直至肋骨语义分割二值掩码为空或得到全部肋骨,得到预测的肋骨实例分割掩码。
实施例2:
本实施例提供一种肋骨实例分割、计数与定位的***,包括如下模块:
肋骨语义分割二值掩码模块:对胸部CT中的肋骨进行语义分割,得到肋骨语义分割二值掩码;
肋骨实例分割掩码模块:收集所述肋骨语义分割二值掩码对应的人工标注,获得肋骨实例分割掩码;
训练样本集模块:对所述肋骨语义分割二值掩码和所述肋骨实例分割掩码进行处理,制作层序分割训练样本集;
神经网络模型模块:建立深度卷积神经网络模型;
训练模块:采用所述训练样本集训练所述深度卷积神经网络模型中的各级神经网络架构,得到能够预测最顶层肋骨的深度卷积神经网络;
预测模块:将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,自顶到底逐层序得到最顶层肋骨的预测掩码,从肋骨语义分割二值掩码中擦除所述最顶层肋骨,再重新将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,重复直至肋骨语义分割二值掩码为空或得到全部肋骨,得到预测的肋骨实例分割掩码。
实施例3:
本领域技术人员可以将本实施例理解为实施例1、实施例2的更为具体的说明。
如图1和图2所示,本实施例提供一种有效的胸部CT肋骨实例分割、肋骨计数和肋骨定位的算法,为达到上述目的,本实施例采用的技术方案是:一种基于深度学习的肋骨实例分割、计数与定位方法,该方法包括以下步骤:
步骤1、对胸部CT中的肋骨进行语义分割,即胸部CT中的肋骨区域标记为1,其他区域标记为0,获得肋骨语义分割二值掩码。该步骤可以使用基于阈值的分割、基于深度学习的分割等方法实现,不是本发明主要内容,不再展开描述。
步骤2、收集步骤1中得到的肋骨语义分割二值掩码,对肋骨语义分割二值掩码进行人工标注。特别地,在人工标注过程中,对于双肺12对肋骨,从肺顶到肺底依次标注为1、2、3、4、5、6、7、8、9、10、11、12。该步骤获得肋骨实例分割掩码。
步骤3、对肋骨语义分割二值掩码和肋骨实例分割掩码进行处理,制作层序分割训练样本集。依据肋骨实例分割掩码提供的信息,对肋骨语义分割二值掩码分别保留第1肋以及之后的肋骨、第2肋以及之后的肋骨、第3肋以及之后的肋骨,……,以此类推直到第12肋,每个肋骨语义分割二值掩码得到12个训练输入图像;相对应地,每个训练输入图像最顶层的肋骨标注为1,之后的肋骨标注为2,得到训练目标图像。
步骤4、建立深度卷积神经网络模型,所述深度神经网络模型以3D UNet作为骨干网络,包括多层3D神经元。
步骤5、针对所述深度卷积神经网络,采用步骤3中得到的训练样本集多次训练所述深度卷积神经网络中的各级神经网络架构,训练时按照设定的学***移、随机旋转、随机缩放。训练所述深度卷积神经网络时,使用交叉熵和Dice作为损失函数,使用Adam优化算法作为学习算法,各层神经元参数使用L2 Weight Decay进行正则化。训练各级所述神经网络架构时,每轮迭代训练的学习率小于或等于前一轮迭代的学习率。
步骤6、预测时,将肋骨语义分割二值掩码输入步骤5得到的深度卷积神经网络,得到最顶层肋骨的预测掩码,随后从肋骨语义分割二值掩码中擦除上述最顶层肋骨,再重新将肋骨语义分割二值掩码输入所述深度卷积神经网络。重复上述步骤直至肋骨语义分割二值掩码为空或得到全部肋骨。依次将上述过程中得到的一系列最顶层肋骨预测掩码标记为1、2、3、……、12,从而得到预测的肋骨实例分割掩码。
实施例4:
本领域技术人员可以将本实施例理解为实施例1、实施例2的更为具体的说明。
本实施例提供一种基于深度学习的肋骨实例分割、计数与定位方法,该实例分割、计数与定位方法的核心在于:建立深度卷积神经网络,逐层对肋骨进行实例分割;对肋骨计数问题进行显式建模,可以鲁棒地处理肋骨数少于或多于12对的情况。
本实施例提供的一种基于深度学习的肋骨实例分割、计数与定位方法包括以下步骤:
步骤1、对胸部CT中的肋骨进行语义分割,得到肋骨语义分割二值掩码。该肋骨语义分割二值掩码中肋骨区域标记为1,其他区域标记为0。该步骤中,需要对得到的肋骨语义分割二值掩码进行去噪处理,删除语义分割掩码中体积小于600mm^3的小噪点。
步骤2、收集步骤1中得到的肋骨语义分割二值掩码,对肋骨语义分割二值掩码进行人工标注。特别地,在人工标注过程中,对于双肺12对肋骨,从肺顶到肺底依次标注为1、2、3、4、5、6、7、8、9、10、11、12。具体地,人工标注过程将肋骨语义分割二值掩码中第1肋对应的区域填充为1、第2肋对应的区域填充为2、……、第12肋对应的区域填充为12。
步骤3、对肋骨语义分割二值掩码和肋骨实例分割掩码进行处理,制作层序分割训练样本集。依据肋骨实例分割掩码提供的信息,对肋骨语义分割二值掩码分别保留第1肋以及之后的肋骨、第2肋以及之后的肋骨、第3肋以及之后的肋骨,……,以此类推直到第12肋,每个肋骨语义分割二值掩码得到12个训练输入图像;相对应地,每个训练输入图像最顶层的肋骨标注为1,之后的肋骨标注为2,得到训练目标图像。具体的处理流程如下:
步骤4、建立深度卷积神经网络模型,所述深度神经网络模型以3D UNet作为骨干网络,包括共10层3D神经元,依次分别是:输入层、卷积层、降维卷积层、降维卷积层、降维卷积层、跳连反卷积层、跳连反卷积层、跳连反卷积层、卷积层、输出层,除了输出层,其他神经元使用Leaky ReLU作为激活函数。其中,输入层用于输入已经预处理好的图像,即输入步骤3中得到的训练输入图像。降维卷积层是降低特征图的尺寸的卷积层,经过降维卷积层处理后,特征图各维度上的尺寸缩小一倍,但通道数增加一倍。跳连反卷积层包括一个反卷积层和一个跳连结构,反卷积层是用于增加特征图的尺寸的卷积层,经过反卷积层的处理后,特征图各维度上的尺寸增加一倍,但通道数减少一倍,随后跳连结构将之前相对应的降维卷积层输出的特征图和反卷积层输出的特征图拼接在一起。输出层为最后一层,使用softmax作为激活函数。
步骤5、针对所述深度卷积神经网络,采用步骤3中得到的训练样本集多次训练所述深度卷积神经网络中的各级神经网络架构,训练时按照设定的学习率调整所述神经网络架构的参数。针对所述深度卷积神经网络所进行的每次训练,需要遍历训练样本集中的每个训练输入图像和其对应的训练目标图像。对每个训练输入图像,首先对其进行缩放,使得缩放后每个体素的物理尺寸为2.5mm*1.5mm*1.5mm;随后进行中心裁剪,裁剪后图像尺寸为160*160*128。在训练所述深度卷积神经网络时采用以下方式:
a、在每次迭代中,对训练输入图像及其对应的训练目标图像进行随机平移、旋转、缩放变化,增加训练数据的多样性;
b、使用Cross Entropy和Dice作为损失函数;
c、使用Adam优化算法所谓学习算法;
d、对所述深度卷积神经网络训练300轮迭代,在各次训练过程中,按照设定的学习率调整所述深度卷积神经网络的参数,学习率随着训练轮数的增加而变得越来越小,每次训练的学习率小于或等于前一次训练的学习率。第0-150轮迭代中使用0.005的学习率,第150-250轮迭代中使用0.0005的学习率,在250-300个epoch中使用0.00005的学习率;
e、对所述深度卷积神经网络每层中的参数使用L2 Weight Decay正则化,避免过拟合。
步骤6、预测时,将肋骨语义分割二值掩码输入步骤5得到的深度卷积神经网络,依次顺序得到最顶层肋骨的预测掩码,得到预测的肋骨实例分割掩码。算法具体流程如下:
本发明通过构造层序肋骨分割训练数据,训练深度卷积神经网络能够逐根对肋骨进行分割,解决了肋骨的实例分割问题。本发明通过对肋骨计数问题进行显式建模,从肺顶到肺底对肋骨进行逐根分割,解决了肋骨对数不足或多余12对时,肋骨的计数和定位问题。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种肋骨实例分割、计数与定位的方法,其特征在于,包括如下步骤:
步骤1:对胸部CT中的肋骨进行语义分割,得到肋骨语义分割二值掩码;
步骤2:收集所述肋骨语义分割二值掩码对应的人工标注,获得肋骨实例分割掩码;
步骤3:对所述肋骨语义分割二值掩码和所述肋骨实例分割掩码进行处理,制作层序分割训练样本集;
步骤4:建立深度卷积神经网络模型;
步骤5:采用所述训练样本集训练所述深度卷积神经网络模型中的各级神经网络架构,得到能够预测最顶层肋骨的深度卷积神经网络;
步骤6:将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,自顶到底逐层序得到最顶层肋骨的预测掩码,从肋骨语义分割二值掩码中擦除所述最顶层肋骨,再重新将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,重复直至肋骨语义分割二值掩码为空或得到全部肋骨,得到预测的肋骨实例分割掩码。
2.根据权利要求1所述的肋骨实例分割、计数与定位的方法,其特征在于,所述步骤3具体为:依据肋骨实例分割掩码提供的信息,对肋骨语义分割二值掩码分别保留第1肋以及之后的肋骨、第2肋以及之后的肋骨、第3肋以及之后的肋骨、第4肋以及之后的肋骨、第5肋以及之后的肋骨、第6肋以及之后的肋骨、第7肋以及之后的肋骨、第8肋以及之后的肋骨、第9肋以及之后的肋骨、第10肋以及之后的肋骨、第11肋以及之后的肋骨、第12肋以及之后的肋骨;每个肋骨语义分割二值掩码得到12个训练输入图像,对每个训练输入图像最顶层的肋骨进行标注,得到训练目标图像。
3.根据权利要求1所述的肋骨实例分割、计数与定位的方法,其特征在于,所述步骤4中,所述深度神经网络模型以3D UNet作为骨干网络,包括多层3D神经元。
4.根据权利要求3所述的肋骨实例分割、计数与定位的方法,其特征在于,所述3D神经元为10层,分别是输入层、卷积层、降维卷积层、降维卷积层、降维卷积层、跳连反卷积层、跳连反卷积层、跳连反卷积层、卷积层、输出层。
5.根据权利要求1所述的肋骨实例分割、计数与定位的方法,其特征在于,所述步骤5中,在训练过程中,对训练输出图像进行在线数据增广。
6.根据权利要求5所述的肋骨实例分割、计数与定位的方法,其特征在于,所述在线数据增广包括随机平移、随机旋转以及随机缩放。
7.根据权利要求1所述的肋骨实例分割、计数与定位的方法,其特征在于,所述步骤5中,训练所述深度卷积神经网络时,使用交叉熵和Dice作为损失函数,使用Adam优化算法作为学习算法,各层神经元参数使用L2 Weight Decay进行正则化。
8.根据权利要求1所述的肋骨实例分割、计数与定位的方法,其特征在于,所述步骤5中,训练各级所述神经网络架构时,每轮迭代训练的学习率小于或等于前一轮迭代的学习率。
9.根据权利要求1所述的肋骨实例分割、计数与定位的方法,其特征在于,所述步骤1中,对得到的肋骨语义分割二值掩码进行去噪处理,删除语义分割掩码中体积小于预设值的小噪点。
10.一种肋骨实例分割、计数与定位的***,其特征在于,包括如下模块:
肋骨语义分割二值掩码模块:对胸部CT中的肋骨进行语义分割,得到肋骨语义分割二值掩码;
肋骨实例分割掩码模块:收集所述肋骨语义分割二值掩码对应的人工标注,获得肋骨实例分割掩码;
训练样本集模块:对所述肋骨语义分割二值掩码和所述肋骨实例分割掩码进行处理,制作层序分割训练样本集;
神经网络模型模块:建立深度卷积神经网络模型;
训练模块:采用所述训练样本集训练所述深度卷积神经网络模型中的各级神经网络架构,得到能够预测最顶层肋骨的深度卷积神经网络;
预测模块:将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,自顶到底逐层序得到最顶层肋骨的预测掩码,从肋骨语义分割二值掩码中擦除所述最顶层肋骨,再重新将肋骨语义分割二值掩码输入训练好的深度卷积神经网络,重复直至肋骨语义分割二值掩码为空或得到全部肋骨,得到预测的肋骨实例分割掩码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111364466.6A CN114049358A (zh) | 2021-11-17 | 2021-11-17 | 肋骨实例分割、计数与定位的方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111364466.6A CN114049358A (zh) | 2021-11-17 | 2021-11-17 | 肋骨实例分割、计数与定位的方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114049358A true CN114049358A (zh) | 2022-02-15 |
Family
ID=80209931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111364466.6A Pending CN114049358A (zh) | 2021-11-17 | 2021-11-17 | 肋骨实例分割、计数与定位的方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114049358A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115035145A (zh) * | 2022-05-05 | 2022-09-09 | 深圳市铱硙医疗科技有限公司 | 血管及骨骼的分割方法、装置、计算机设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190066294A1 (en) * | 2017-08-31 | 2019-02-28 | Shenzhen United Imaging Healthcare Co., Ltd. | System and method for image segmentation |
CN111080592A (zh) * | 2019-12-06 | 2020-04-28 | 广州柏视医疗科技有限公司 | 一种基于深度学习的肋骨提取方法及装置 |
KR20200110532A (ko) * | 2019-03-14 | 2020-09-24 | 고려대학교 산학협력단 | 기계학습을 이용한 ct/mri 영상의 흉추 탐지 및 갈비뼈 순번 지정 방법 |
CN111915620A (zh) * | 2020-06-19 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种ct肋骨分割方法及装置 |
CN112529849A (zh) * | 2020-11-27 | 2021-03-19 | 北京深睿博联科技有限责任公司 | 一种ct肋骨自动计数方法及装置 |
CN112950552A (zh) * | 2021-02-05 | 2021-06-11 | 慧影医疗科技(北京)有限公司 | 一种基于卷积神经网络的肋骨分割标记方法及*** |
US20210312629A1 (en) * | 2020-04-07 | 2021-10-07 | Shanghai United Imaging Intelligence Co., Ltd. | Methods, systems and apparatus for processing medical chest images |
-
2021
- 2021-11-17 CN CN202111364466.6A patent/CN114049358A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190066294A1 (en) * | 2017-08-31 | 2019-02-28 | Shenzhen United Imaging Healthcare Co., Ltd. | System and method for image segmentation |
KR20200110532A (ko) * | 2019-03-14 | 2020-09-24 | 고려대학교 산학협력단 | 기계학습을 이용한 ct/mri 영상의 흉추 탐지 및 갈비뼈 순번 지정 방법 |
CN111080592A (zh) * | 2019-12-06 | 2020-04-28 | 广州柏视医疗科技有限公司 | 一种基于深度学习的肋骨提取方法及装置 |
US20210312629A1 (en) * | 2020-04-07 | 2021-10-07 | Shanghai United Imaging Intelligence Co., Ltd. | Methods, systems and apparatus for processing medical chest images |
CN111915620A (zh) * | 2020-06-19 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种ct肋骨分割方法及装置 |
CN112529849A (zh) * | 2020-11-27 | 2021-03-19 | 北京深睿博联科技有限责任公司 | 一种ct肋骨自动计数方法及装置 |
CN112950552A (zh) * | 2021-02-05 | 2021-06-11 | 慧影医疗科技(北京)有限公司 | 一种基于卷积神经网络的肋骨分割标记方法及*** |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115035145A (zh) * | 2022-05-05 | 2022-09-09 | 深圳市铱硙医疗科技有限公司 | 血管及骨骼的分割方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
Aggarwal et al. | COVID-19 image classification using deep learning: Advances, challenges and opportunities | |
Gecer et al. | Detection and classification of cancer in whole slide breast histopathology images using deep convolutional networks | |
CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测*** | |
CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
CN113554665A (zh) | 一种血管分割方法及装置 | |
Zhang et al. | Interactive medical image segmentation via a point-based interaction | |
CN110310280A (zh) | 肝胆管及结石的图像识别方法、***、设备及存储介质 | |
Chen et al. | A lung dense deep convolution neural network for robust lung parenchyma segmentation | |
Shu et al. | LVC-Net: Medical image segmentation with noisy label based on local visual cues | |
CN115018809A (zh) | Ct图像的靶区分割识别方法及*** | |
Jakhar et al. | Pneumothorax segmentation: deep learning image segmentation to predict pneumothorax | |
CN112037212A (zh) | 一种基于深度学习的肺结核dr影像识别方法 | |
WO2022111383A1 (zh) | 一种ct肋骨自动计数方法及装置 | |
Shabani et al. | Self-supervised region-aware segmentation of COVID-19 CT images using 3D GAN and contrastive learning | |
Guo et al. | Bone age assessment based on deep convolutional features and fast extreme learning machine algorithm | |
CN114049358A (zh) | 肋骨实例分割、计数与定位的方法及*** | |
CN115115570A (zh) | 医学图像分析方法和装置、计算机设备及存储介质 | |
Liu et al. | RPLS-Net: pulmonary lobe segmentation based on 3D fully convolutional networks and multi-task learning | |
Zhao | Cross chest graph for disease diagnosis with structural relational reasoning | |
Liu et al. | Automatic ct segmentation from bounding box annotations using convolutional neural networks | |
Li et al. | A Novel Automatic Method Based on U-Net for Lung Fields Segmentation. | |
Arulappan et al. | Liver tumor segmentation using a new asymmetrical dilated convolutional semantic segmentation network in CT images | |
de Almeida et al. | A deep unsupervised saliency model for lung segmentation in chest X-ray images | |
CN116630628B (zh) | 一种主动脉瓣钙化分割方法、***、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |