CN117541797B - 用于胸部ct平扫的交互式三维支气管分割***及方法 - Google Patents
用于胸部ct平扫的交互式三维支气管分割***及方法 Download PDFInfo
- Publication number
- CN117541797B CN117541797B CN202311770364.3A CN202311770364A CN117541797B CN 117541797 B CN117541797 B CN 117541797B CN 202311770364 A CN202311770364 A CN 202311770364A CN 117541797 B CN117541797 B CN 117541797B
- Authority
- CN
- China
- Prior art keywords
- bronchus
- bronchial
- training
- region
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000621 bronchi Anatomy 0.000 title claims abstract description 173
- 230000011218 segmentation Effects 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 30
- 238000002591 computed tomography Methods 0.000 title description 48
- 238000012800 visualization Methods 0.000 claims abstract description 51
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 80
- 238000003062 neural network model Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004091 panning Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 238000005728 strengthening Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 210000000038 chest Anatomy 0.000 claims 16
- 238000013185 thoracic computed tomography Methods 0.000 claims 3
- 230000003213 activating effect Effects 0.000 claims 2
- 238000004458 analytical method Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 15
- 208000019693 Lung disease Diseases 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000002345 respiratory system Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于胸部CT平扫的交互式三维支气管分割***及方法,其利用深度学习和交互式技术,通过预处理、分割、重建和可视化等模块,实现了自动化的支气管分割和重建,并提供了交互式的界面,支持用户通过鼠标、键盘或手势等方式进行交互操作,如旋转、缩放、切片等,实现医生和用户对支气管结构的直观和详细的观察和分析。
Description
技术领域
本发明涉及智能化胸部CT技术领域,尤其涉及一种用于胸部CT平扫的交互式三维支气管分割***及方法。
背景技术
支气管是呼吸***的重要组成部分,其结构和功能与肺部疾病的发生和发展密切相关。支气管分割是指从胸部CT图像中提取出支气管的结构信息,是肺部图像分析的基础任务之一。支气管分割可以为肺部疾病的诊断、评估和治疗提供有价值的参考。然而,由于胸部CT图像中的支气管结构复杂多变,且与周围组织的对比度较低,导致支气管分割具有较高的难度。
目前,常用的支气管分割方法主要有基于阈值、基于区域生长、基于形态学和基于水平集等。然而,这些支气管分割方法存在一些不足之处,例如,基于阈值法对于背景噪声和肺部组织的低对比度区域可能产生较大误差;区域生长方法对于局部对比度较高的支气管分割效果较好,但对于支气管分支较多或存在病变的情况下容易受到噪声和其他结构的干扰;形态学方法可以有效地去除噪声和填充空洞,但对于支气管分支较细或存在病变的情况下可能导致分割不完整;水平集方法对于复杂的支气管形状和分支结构具有较好的适应性,但对于初始曲线的选择和参数的设置较为敏感。
因此,期望一种优化的支气管分割***。
发明内容
本发明实施例提供一种用于胸部CT平扫的交互式三维支气管分割***及方法,其利用深度学习和交互式技术,通过预处理、分割、重建和可视化等模块,实现了自动化的支气管分割和重建,并提供了交互式的界面,支持用户通过鼠标、键盘或手势等方式进行交互操作,如旋转、缩放、切片等,实现医生和用户对支气管结构的直观和详细的观察和分析。
本发明实施例还提供了一种用于胸部CT平扫的交互式三维支气管分割***,其包括:
预处理模块,用于对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像;
分割模块,用于对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜;
重建模块,用于基于所述二维的分割掩膜生成三维的支气管模型,并对所述三维的支气管模型进行平滑和简化处理以得到重建支气管模型;
可视化模块,用于将所述重建支气管模型在屏幕上进行可视化展示。
本发明实施例还提供了一种用于胸部CT平扫的交互式三维支气管分割方法,其包括:
对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像;
对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜;
基于所述二维的分割掩膜生成三维的支气管模型,并对所述三维的支气管模型进行平滑和简化处理以得到重建支气管模型;
将所述重建支气管模型在屏幕上进行可视化展示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割***的框图。
图2为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割方法的流程图。
图3为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割方法的***架构的示意图。
图4为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割***的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
除非另有说明,本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本申请的范围。
在本申请实施例记载中,需要说明的是,除非另有说明和限定,术语“连接”应做广义理解,例如,可以是电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
需要说明的是,本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
支气管分割是指从胸部CT图像中自动或半自动地提取出支气管的结构信息。支气管是呼吸***中的管道,将空气从气管输送到肺部,使气体交换得以进行。支气管的结构和功能与肺部疾病的发生和发展密切相关,因此支气管分割在肺部图像分析中具有重要的作用。
然而,由于胸部CT图像中的支气管结构复杂多变,且与周围组织的对比度较低,支气管分割任务具有一定的挑战性。支气管具有分支和曲折的结构,形状和大小因人而异,这使得支气管分割过程中需要处理不同形状和尺寸的支气管分支。支气管与周围组织的密度相似,缺乏明显的对比度,这会导致在图像中准确地区分支气管边界变得困难。胸部CT图像可能受到噪声和伪影的影响,这会干扰支气管的可视化和分割。
为了克服这些挑战,研究人员已经提出了各种支气管分割方法,常用的支气管分割方法主要包括以下几种:
基于阈值的方法:这是最简单和常见的支气管分割方法之一,该方法通过选择适当的阈值将图像中的支气管和背景分离。通常,根据图像的灰度值进行阈值分割,将灰度值高于或低于阈值的像素归类为支气管或背景。然而,由于胸部CT图像中的噪声和组织强度变化,仅使用阈值分割可能无法准确地提取出支气管的边界。
基于区域生长的方法:该方法从一个或多个种子点开始,通过迭代地将与种子点相邻且满足一定条件的像素合并到同一区域中。对于支气管分割,种子点可以手动选择或自动检测,区域生长方法对于边界模糊或对比度较低的支气管分割较为有效,但对于支气管分叉和噪声敏感。
基于形态学的方法:形态学操作是一种基于图像形状的图像处理技术,在支气管分割中,形态学方法常用于去除噪声、填充空洞和平滑边界。例如,通过应用膨胀和腐蚀操作可以填充支气管内部的空洞并平滑边界。
基于水平集的方法:水平集方法是一种基于曲线演化的分割技术,通过迭代地优化曲线的形状来分割图像。在支气管分割中,水平集方法可以根据图像的梯度信息自动找到支气管的边界,并逐步收缩曲线以得到准确的分割结果。水平集方法在处理复杂的支气管分叉和边界模糊时具有较好的性能。
然而,这些支气管分割方法存在一些不足之处,因此研究人员还提出了许多改进的支气管分割方法,如基于深度学习的方法。深度学习方法利用卷积神经网络(CNN)等深度学习模型,通过大量的训练数据自动学习特征和分割边界,能够在一定程度上克服传统方法的局限性。
在本发明的一个实施例中,图1为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割***的框图。如图1所示,根据本发明实施例的用于胸部CT平扫的交互式三维支气管分割***100,包括:预处理模块110,用于对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像;分割模块120,用于对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜;重建模块130,用于基于所述二维的分割掩膜生成三维的支气管模型,并对所述三维的支气管模型进行平滑和简化处理以得到重建支气管模型;可视化模块140,用于将所述重建支气管模型在屏幕上进行可视化展示。
该***利用深度学习和交互式技术,通过预处理、分割、重建和可视化等模块,实现了自动化的支气管分割和重建,并提供了交互式的界面,支持用户通过鼠标、键盘或手势等方式进行交互操作,如旋转、缩放、切片等,实现医生和用户对支气管结构的直观和详细的观察和分析。
特别地,在所述分割模块中,对预处理后的胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜是至关重要的,这是因为通过分割生成的二维分割掩膜可以准确地定位和标记出胸部CT图像中的支气管区域。这对于医生来说非常重要,通过准确地定位支气管区域,医生可以更好地进行肺部疾病的诊断、评估和治疗。此外,二维分割掩膜还可以提供支气管的形态信息,包括支气管的大小、形状和分支结构等。这对于医生来说是非常有价值的,因为支气管的形态特征与某些肺部疾病的诊断和分析密切相关。通过分析二维分割掩膜,可以帮助医生评估支气管的形态变化,判断是否存在异常情况,如狭窄、扩张或阻塞等。
基于此,本申请的技术构思为在进行胸部CT图像的预处理后,在后端引入图像处理和分析算法来进行预处理后胸部CT图像的图像分析,以此来提取和刻画出有关于胸部的支气管区域多尺度特征,以生成二维的分割掩膜。这样,实现了自动化的支气管识别和分割,以便于后续的三维支气管模型的重建和分析过程,从而为肺部疾病的诊断、评估和治疗提供有价值的参考。
在本申请的一个实施例中,所述分割模块,包括:支气管区域目标检测单元,用于将所述预处理后胸部CT图像通过支气管区域目标检测网络以得到支气管区域感兴趣图像;支气管区域浅层特征提取单元,用于通过基于第一深度神经网络模型的浅层特征提取器对所述支气管区域感兴趣图像进行特征提取以得到支气管区域浅层特征图;支气管区域浅层特征空间显化单元,用于将所述支气管区域浅层特征图进行空间自注意力强化以得到空间显化支气管区域浅层特征图;支气管区域语义特征提取单元,用于通过基于第二深度神经网络模型的语义特征提取器对所述空间显化支气管区域浅层特征图进行特征提取以得到支气管语义特征图;深浅特征信息损失补偿融合单元,用于对所述空间显化支气管区域浅层特征图和所述支气管语义特征图进行信息损失补偿融合以得到支气管多尺度特征图;全局均值池化处理单元,用于对所述支气管多尺度特征图进行沿通道维度的全局均值池化以得到支气管多尺度特征矩阵;二维分割掩膜生成单元,用于基于所述支气管多尺度特征矩阵,生成所述二维的分割掩膜。
其中,所述第一深度神经网络模型为第一卷积神经网络模型,所述第二深度神经网络模型为第二卷积神经网络模型。
具体地,在本申请的技术方案中,在对胸部CT图像进行预处理后,为了能够进一步提取和关注支气管区域的相关信息,而忽略与支气管特征无关的干扰特征,在本申请的技术方案中,需要将所述预处理后胸部CT图像通过支气管区域目标检测网络以得到支气管区域感兴趣图像。应可以理解,所述支气管区域目标检测网络可以帮助准确定位和标记出胸部CT图像中的支气管区域,减少人工操作的需求,并提高分割的效率和准确性。这样,还可以将注意力集中在支气管区域,减少其他无关区域的干扰,有助于后续的支气管分割和分析。
接着,使用在图像的隐含特征提取方面具有优异表现性能的卷积神经网络模型来进行所述支气管区域感兴趣图像的特征分析,特别地,考虑到在实际进行支气管区域的特征分析和分割时,有关于支气管的浅层特征,例如边缘、颜色和纹理等特征信息具有重要的作用。因此,在本申请的技术方案中,需要将所述支气管区域感兴趣图像通过基于第一深度神经网络模型的浅层特征提取器以得到支气管区域浅层特征图。
应可以理解,为了能够进一步增强特征图中与支气管区域相关的信息,并突出显示支气管的空间位置和形态,在本申请的技术方案中,将所述支气管区域浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化支气管区域浅层特征图。特别地,这里,所述空间自注意力层可以自适应地学习特征图中不同位置的重要性权重,因此,通过所述应用空间自注意力层,可以增强所述支气管区域浅层特征图中与支气管相关的空间特征信息,使其更加突出和显著,这有助于提高支气管分割的准确性和鲁棒性。
在本申请的一个具体实施例中,所述支气管区域浅层特征空间显化单元,用于:将所述支气管区域浅层特征图通过基于空间自注意力层的空间显化器以得到所述空间显化支气管区域浅层特征图。
然后,考虑到由于所述支气管的浅层特征信息容易受到外界环境因素和噪声的干扰,导致对于支气管的特征刻画和分割的精准度较低。因此,在本申请的技术方案中,进一步将所述空间显化支气管区域浅层特征图通过基于第二深度神经网络模型的语义特征提取器以得到支气管语义特征图。
进一步地,在进行支气管的特征刻画和分割过程中,由于所述空间显化支气管区域浅层特征图和所述支气管语义特征图分别代表了从所述预处理后胸部CT图像中提取的不同层次和抽象程度的特征信息,其中,浅层特征图主要捕捉到预处理后胸部CT图像中关于支气管区域的边缘、颜色和纹理等浅层特征信息,而语义特征图则捕捉到预处理后胸部CT图像中关于支气管区域的高级特征和语义信息。因此,为了将所述预处理后胸部CT图像中关于支气管区域的不同层次特征进行有效的融合,以获取更全面、更丰富的特征表示来提高对支气管分割的精准度,在本申请的技术方案中,进一步使用网络编码损失补偿模块来融合所述空间显化支气管区域浅层特征图和所述支气管语义特征图以得到支气管多尺度特征图。特别地,这里,所述网络编码损失补偿模块可以采用残差连接的方式来将支气管的浅层特征和深层特征进行融合形成多尺度的特征表示,从而实现不同层次特征之间的交互和信息传递,使得支气管的浅层特征和深层特征能够相互补充和增强,有利于提供更丰富、更全面的支气管特征表达能力,可以更好地进行后续的支气管分割和重建。
在本申请的一个具体实施例中,所述深浅特征信息损失补偿融合单元,用于:使用网络编码损失补偿模块以如下损失补偿公式来融合所述空间显化支气管区域浅层特征图和所述支气管语义特征图以得到所述支气管多尺度特征图;其中,所述损失补偿公式为:
,
其中,是所述空间显化支气管区域浅层特征图,/>是所述支气管语义特征图,/>是所述支气管多尺度特征图,/>表示/>激活函数,表示反卷积操作,/>表示对特征图进行逐点卷积操作,/>表示注意力机制。
继而,为了能够对于支气管进行图像分割,需要对所述支气管多尺度特征图进行沿通道维度的全局均值池化以得到支气管多尺度特征矩阵,以此来降低特征的维度,并提取代表性的特征。然后,再将所述支气管多尺度特征矩阵通过基于Softmax分类函数的分割网络以得到分割结果,所述分割结果为二维的分割掩膜。这个分割掩膜可以用于标记图像中的支气管区域,实现支气管的图像分割任务。这样,能够实现自动化的支气管识别和分割,以便于后续的三维支气管模型的重建和分析过程,从而为肺部疾病的诊断、评估和治疗提供有价值的参考。
在本申请的一个具体实施例中,所述二维分割掩膜生成单元,用于:将所述支气管多尺度特征矩阵通过基于Softmax分类函数的分割网络以得到分割结果,所述分割结果为二维的分割掩膜。
在本申请的一个实施例中,所述用于胸部CT平扫的交互式三维支气管分割***,还包括用于对所述基于第一深度神经网络模型的浅层特征提取器、所述基于空间自注意力层的空间显化器、所述基于第二深度神经网络模型的语义特征提取器、所述网络编码损失补偿模块和所述基于Softmax分类函数的分割网络进行训练的训练模块。所述训练模块,包括:训练预处理单元,用于对输入的胸部CT图像进行去噪、增强和标准化处理以得到训练预处理后胸部CT图像;训练支气管区域目标检测单元,用于将所述训练预处理后胸部CT图像通过所述支气管区域目标检测网络以得到训练支气管区域感兴趣图像;训练支气管区域浅层特征提取单元,用于通过所述基于第一深度神经网络模型的浅层特征提取器对所述训练支气管区域感兴趣图像进行特征提取以得到训练支气管区域浅层特征图;训练支气管区域浅层特征空间显化单元,用于将所述训练支气管区域浅层特征图进行空间自注意力强化以得到训练空间显化支气管区域浅层特征图;训练支气管区域语义特征提取单元,用于通过所述基于第二深度神经网络模型的语义特征提取器对所述训练空间显化支气管区域浅层特征图进行特征提取以得到训练支气管语义特征图;训练深浅特征信息损失补偿融合单元,用于对所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图进行信息损失补偿融合以得到训练支气管多尺度特征图;训练全局均值池化处理单元,用于对所述训练支气管多尺度特征图进行沿通道维度的全局均值池化以得到训练支气管多尺度特征矩阵;训练二维分割掩膜生成单元,用于基于所述训练支气管多尺度特征矩阵,生成二维的训练分割掩膜;训练损失函数计算单元,用于计算所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图之间的特定损失函数值;训练单元,用于基于所述特定损失函数值对所述基于第一深度神经网络模型的浅层特征提取器、所述基于空间自注意力层的空间显化器、所述基于第二深度神经网络模型的语义特征提取器、所述网络编码损失补偿模块和所述基于Softmax分类函数的分割网络进行训练。
特别地,在上述技术方案中,所述训练空间显化支气管区域浅层特征图表达所述训练支气管区域感兴趣图像的局部图像语义特征空间分布强化的浅层图像语义特征,由此,将所述训练空间显化支气管区域浅层特征图通过基于第二深度神经网络模型的语义特征提取器后,所述训练支气管语义特征图进一步在所述训练空间显化支气管区域浅层特征图的基础上对浅层图像语义特征进行局部特征关联,这样,得到的所述训练支气管语义特征图相对于所述训练空间显化支气管区域浅层特征图在整体特征图维度上的特征群密度表示上会具有差异。
因此,为了提升所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图在使用网络编码损失补偿模块进行融合时的融合效果,本申请的申请人进一步引入了针对所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图的不同特征群密度的特定损失函数,表示为:以如下优化公式计算所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图之间的特定损失函数值;其中,所述优化公式为:
,
其中, 和/>分别是所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图投影后得到的特征向量,/>是特征向量的长度,且/>表示向量的二范数的平方,/>表示按位置减法,/>表示计算以数值为幂的自然指数函数值,/>表示特定损失函数值。
Claims (7)
1.一种用于胸部CT平扫的交互式三维支气管分割***,其特征在于,包括:
预处理模块,用于对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像;
分割模块,用于对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜;
重建模块,用于基于所述二维的分割掩膜生成三维的支气管模型,并对所述三维的支气管模型进行平滑和简化处理以得到重建支气管模型;
可视化模块,用于将所述重建支气管模型在屏幕上进行可视化展示;
其中,所述分割模块,包括:
支气管区域目标检测单元,用于将所述预处理后胸部CT图像通过支气管区域目标检测网络以得到支气管区域感兴趣图像;
支气管区域浅层特征提取单元,用于通过基于第一深度神经网络模型的浅层特征提取器对所述支气管区域感兴趣图像进行特征提取以得到支气管区域浅层特征图;
支气管区域浅层特征空间显化单元,用于将所述支气管区域浅层特征图进行空间自注意力强化以得到空间显化支气管区域浅层特征图;
支气管区域语义特征提取单元,用于通过基于第二深度神经网络模型的语义特征提取器对所述空间显化支气管区域浅层特征图进行特征提取以得到支气管语义特征图;
深浅特征信息损失补偿融合单元,用于对所述空间显化支气管区域浅层特征图和所述支气管语义特征图进行信息损失补偿融合以得到支气管多尺度特征图;
全局均值池化处理单元,用于对所述支气管多尺度特征图进行沿通道维度的全局均值池化以得到支气管多尺度特征矩阵;
二维分割掩膜生成单元,用于基于所述支气管多尺度特征矩阵,生成所述二维的分割掩膜;
其中,所述深浅特征信息损失补偿融合单元,用于:使用网络编码损失补偿模块以如下损失补偿公式来融合所述空间显化支气管区域浅层特征图和所述支气管语义特征图以得到所述支气管多尺度特征图;
其中,所述损失补偿公式为:
,
其中,是所述空间显化支气管区域浅层特征图,/>是所述支气管语义特征图,是所述支气管多尺度特征图,/>表示/>激活函数,/>表示反卷积操作,/>表示对特征图进行逐点卷积操作,/>表示注意力机制。
2.根据权利要求1所述的用于胸部CT平扫的交互式三维支气管分割***,其特征在于,所述第一深度神经网络模型为第一卷积神经网络模型,所述第二深度神经网络模型为第二卷积神经网络模型。
3.根据权利要求2所述的用于胸部CT平扫的交互式三维支气管分割***,其特征在于,所述支气管区域浅层特征空间显化单元,用于:将所述支气管区域浅层特征图通过基于空间自注意力层的空间显化器以得到所述空间显化支气管区域浅层特征图。
4.根据权利要求3所述的用于胸部CT平扫的交互式三维支气管分割***,其特征在于,所述二维分割掩膜生成单元,用于:将所述支气管多尺度特征矩阵通过基于Softmax分类函数的分割网络以得到分割结果,所述分割结果为二维的分割掩膜。
5.根据权利要求4所述的用于胸部CT平扫的交互式三维支气管分割***,其特征在于,还包括用于对所述基于第一深度神经网络模型的浅层特征提取器、所述基于空间自注意力层的空间显化器、所述基于第二深度神经网络模型的语义特征提取器、所述网络编码损失补偿模块和所述基于Softmax分类函数的分割网络进行训练的训练模块。
6.根据权利要求5所述的用于胸部CT平扫的交互式三维支气管分割***,其特征在于,所述训练模块,包括:
训练预处理单元,用于对输入的胸部CT图像进行去噪、增强和标准化处理以得到训练预处理后胸部CT图像;
训练支气管区域目标检测单元,用于将所述训练预处理后胸部CT图像通过所述支气管区域目标检测网络以得到训练支气管区域感兴趣图像;
训练支气管区域浅层特征提取单元,用于通过所述基于第一深度神经网络模型的浅层特征提取器对所述训练支气管区域感兴趣图像进行特征提取以得到训练支气管区域浅层特征图;
训练支气管区域浅层特征空间显化单元,用于将所述训练支气管区域浅层特征图进行空间自注意力强化以得到训练空间显化支气管区域浅层特征图;
训练支气管区域语义特征提取单元,用于通过所述基于第二深度神经网络模型的语义特征提取器对所述训练空间显化支气管区域浅层特征图进行特征提取以得到训练支气管语义特征图;
训练深浅特征信息损失补偿融合单元,用于对所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图进行信息损失补偿融合以得到训练支气管多尺度特征图;
训练全局均值池化处理单元,用于对所述训练支气管多尺度特征图进行沿通道维度的全局均值池化以得到训练支气管多尺度特征矩阵;
训练二维分割掩膜生成单元,用于基于所述训练支气管多尺度特征矩阵,生成二维的训练分割掩膜;
训练损失函数计算单元,用于计算所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图之间的特定损失函数值;
训练单元,用于基于所述特定损失函数值对所述基于第一深度神经网络模型的浅层特征提取器、所述基于空间自注意力层的空间显化器、所述基于第二深度神经网络模型的语义特征提取器、所述网络编码损失补偿模块和所述基于Softmax分类函数的分割网络进行训练。
7.一种用于胸部CT平扫的交互式三维支气管分割方法,其特征在于,包括:
对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像;
对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜;
基于所述二维的分割掩膜生成三维的支气管模型,并对所述三维的支气管模型进行平滑和简化处理以得到重建支气管模型;
将所述重建支气管模型在屏幕上进行可视化展示;
其中,对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜,包括:
将所述预处理后胸部CT图像通过支气管区域目标检测网络以得到支气管区域感兴趣图像;
通过基于第一深度神经网络模型的浅层特征提取器对所述支气管区域感兴趣图像进行特征提取以得到支气管区域浅层特征图;
将所述支气管区域浅层特征图进行空间自注意力强化以得到空间显化支气管区域浅层特征图;
通过基于第二深度神经网络模型的语义特征提取器对所述空间显化支气管区域浅层特征图进行特征提取以得到支气管语义特征图;
对所述空间显化支气管区域浅层特征图和所述支气管语义特征图进行信息损失补偿融合以得到支气管多尺度特征图;
对所述支气管多尺度特征图进行沿通道维度的全局均值池化以得到支气管多尺度特征矩阵;
基于所述支气管多尺度特征矩阵,生成所述二维的分割掩膜;
其中,对所述空间显化支气管区域浅层特征图和所述支气管语义特征图进行信息损失补偿融合以得到支气管多尺度特征图,包括:使用网络编码损失补偿模块以如下损失补偿公式来融合所述空间显化支气管区域浅层特征图和所述支气管语义特征图以得到所述支气管多尺度特征图;
其中,所述损失补偿公式为:
,
其中,是所述空间显化支气管区域浅层特征图,/>是所述支气管语义特征图,是所述支气管多尺度特征图,/>表示/>激活函数,/>表示反卷积操作,/>表示对特征图进行逐点卷积操作,/>表示注意力机制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311770364.3A CN117541797B (zh) | 2023-12-21 | 2023-12-21 | 用于胸部ct平扫的交互式三维支气管分割***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311770364.3A CN117541797B (zh) | 2023-12-21 | 2023-12-21 | 用于胸部ct平扫的交互式三维支气管分割***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117541797A CN117541797A (zh) | 2024-02-09 |
CN117541797B true CN117541797B (zh) | 2024-05-31 |
Family
ID=89788209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311770364.3A Active CN117541797B (zh) | 2023-12-21 | 2023-12-21 | 用于胸部ct平扫的交互式三维支气管分割***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117541797B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110310281A (zh) * | 2019-07-10 | 2019-10-08 | 重庆邮电大学 | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 |
CN112581436A (zh) * | 2020-12-11 | 2021-03-30 | 佛山市普世医学科技有限责任公司 | 基于深度学习的肺结节识别与分割方法及*** |
CN112734741A (zh) * | 2021-01-19 | 2021-04-30 | 浙江飞图影像科技有限公司 | 一种肺炎ct影像的图像处理方法和*** |
CN115937423A (zh) * | 2022-12-13 | 2023-04-07 | 西安电子科技大学 | 肝脏肿瘤医疗影像的三维智能重建方法 |
CN116168052A (zh) * | 2023-02-10 | 2023-05-26 | 浙江大学 | 结合自适应注意力与特征金字塔的胃癌病理图像分割方法 |
CN116188452A (zh) * | 2023-03-17 | 2023-05-30 | 昆明理工大学 | 医学图像层间插值及三维重建方法 |
CN116681679A (zh) * | 2023-06-09 | 2023-09-01 | 成都信息工程大学 | 基于双分支特征融合注意的医学图像小目标分割方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10922816B2 (en) * | 2018-08-27 | 2021-02-16 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
WO2020190821A1 (en) * | 2019-03-15 | 2020-09-24 | Genentech, Inc. | Deep convolutional neural networks for tumor segmentation with positron emission tomography |
-
2023
- 2023-12-21 CN CN202311770364.3A patent/CN117541797B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110310281A (zh) * | 2019-07-10 | 2019-10-08 | 重庆邮电大学 | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 |
CN112581436A (zh) * | 2020-12-11 | 2021-03-30 | 佛山市普世医学科技有限责任公司 | 基于深度学习的肺结节识别与分割方法及*** |
CN112734741A (zh) * | 2021-01-19 | 2021-04-30 | 浙江飞图影像科技有限公司 | 一种肺炎ct影像的图像处理方法和*** |
CN115937423A (zh) * | 2022-12-13 | 2023-04-07 | 西安电子科技大学 | 肝脏肿瘤医疗影像的三维智能重建方法 |
CN116168052A (zh) * | 2023-02-10 | 2023-05-26 | 浙江大学 | 结合自适应注意力与特征金字塔的胃癌病理图像分割方法 |
CN116188452A (zh) * | 2023-03-17 | 2023-05-30 | 昆明理工大学 | 医学图像层间插值及三维重建方法 |
CN116681679A (zh) * | 2023-06-09 | 2023-09-01 | 成都信息工程大学 | 基于双分支特征融合注意的医学图像小目标分割方法 |
Non-Patent Citations (4)
Title |
---|
HyperUNet for Medical Hyperspectral Image Segmentation on a Choledochal Database;Gan Zhan 等;《2022 IEEE International Conference on Consumer Electronics (ICCE)》;20220315;第1-5页 * |
基于三维卷积神经网络的肺结节假阳性筛查;尤堃 等;《图学学报》;20190615;第40卷(第03期);第423-428页 * |
基于深度学习的肺结节检测算法研究;张昀玮;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20220115(第01期);第E072-499页 * |
脑胶质瘤分割与三维重建方法研究;张士强;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20230215(第02期);第E070-856页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117541797A (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Qin et al. | Airwaynet: a voxel-connectivity aware approach for accurate airway segmentation using convolutional neural networks | |
CN108416360B (zh) | 基于乳腺钼靶钙化特征的癌症诊断***及方法 | |
CN104504737B (zh) | 一种从肺部ct图像获得三维气管树的方法 | |
CN112150428A (zh) | 一种基于深度学习的医学图像分割方法 | |
Banerjee et al. | Single seed delineation of brain tumor using multi-thresholding | |
JP6570145B2 (ja) | 画像を処理する方法、プログラム、代替的な投影を構築する方法および装置 | |
Pulagam et al. | Automated lung segmentation from HRCT scans with diffuse parenchymal lung diseases | |
US20060023927A1 (en) | GGN segmentation in pulmonary images for accuracy and consistency | |
JP2014030623A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN110009656B (zh) | 目标对象的确定方法、装置、存储介质及电子装置 | |
US20210142470A1 (en) | System and method for identification of pulmonary arteries and veins depicted on chest ct scans | |
JP6458166B2 (ja) | 医用画像処理方法及び装置及びシステム及びプログラム | |
WO2013151749A1 (en) | System, method, and computer accessible medium for volumetric texture analysis for computer aided detection and diagnosis of polyps | |
Irving et al. | 3D segmentation of the airway tree using a morphology based method | |
CN117541797B (zh) | 用于胸部ct平扫的交互式三维支气管分割***及方法 | |
CN111986216A (zh) | 一种基于神经网络改进的rsg肝脏ct图像交互式分割算法 | |
Chen et al. | Research on computer-aided diagnosis of lung nodule | |
Jiang et al. | An automatic and fast centerline extraction algorithm for virtual colonoscopy | |
CN114419061A (zh) | 一种肺部动静脉血管分割方法及*** | |
Hong et al. | Segmentation of mammograms in topographic approach | |
You et al. | Extraction of samples from airway and vessel trees in 3D lung CT based on a multi-scale principal curve tracing algorithm | |
Dong et al. | Auto-segmentation of pathological lung parenchyma based on region growing method | |
JP6397453B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
Ren et al. | A 3D segmentation method of lung parenchyma based on CT image sequences | |
CN117079080B (zh) | 冠脉cta智能分割模型的训练优化方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |