CN113744272A - 一种基于深度神经网络的脑动脉自动勾画方法 - Google Patents
一种基于深度神经网络的脑动脉自动勾画方法 Download PDFInfo
- Publication number
- CN113744272A CN113744272A CN202111310166.XA CN202111310166A CN113744272A CN 113744272 A CN113744272 A CN 113744272A CN 202111310166 A CN202111310166 A CN 202111310166A CN 113744272 A CN113744272 A CN 113744272A
- Authority
- CN
- China
- Prior art keywords
- cerebral artery
- segmentation
- model
- network
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001627 cerebral artery Anatomy 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 69
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 210000004204 blood vessel Anatomy 0.000 claims description 18
- 210000001367 artery Anatomy 0.000 claims description 6
- 210000004556 brain Anatomy 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000012417 linear regression Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000005481 NMR spectroscopy Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 210000001841 basilar artery Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007917 intracranial administration Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 210000002551 anterior cerebral artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 210000004004 carotid artery internal Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000003657 middle cerebral artery Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000003388 posterior cerebral artery Anatomy 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Computing Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- High Energy & Nuclear Physics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于深度神经网络的脑动脉自动勾画方法,属于图像数据处理技术领域,具体涉及脑部动脉勾画技术领域,以解决现有的采用图卷积神经网络进行建模,存在网络模型消耗显存巨大,计算速度明显减慢的问题,包括如下步骤:步骤1、输入患者MRI扫描影像数据;步骤2、六类脑动脉分割模型的构建;步骤3、模型训练和测试。提出了一种3D级联的新型网络模型,并采用连续帧,血管中心线等特异性的人工特征约束网络训练,不仅节约了计算资源更能快速且精准的预测并勾画出脑动脉;整个模型在训练完成之后可以完全自动的进行预测,并输出一张与原始MRI输出尺寸一致的7类标签(背景占一类)的ROI图像。
Description
技术领域
一种基于深度神经网络的脑动脉自动勾画方法,本发明属于图像数据处理技术领域,具体涉及脑部动脉勾画技术领域。
背景技术
神经外科手术中的脑肿瘤切除往往受到邻近脑部颅内动脉血管的限制。目前术中病灶与重要脑组织结构导航***尚未成熟,医生只能通过核磁共振(MRI),核磁共振血管造影术(MRA)等技术手段,在术前阶段预先判断切除区域然后指定手术方案。核磁共振各扫描序列横、矢,冠三个视角的切片总和共计可达600张之多,脑部动脉与其他组织区域占比(信噪比)在1:500左右,且脑部动脉区域在核磁共振图像中的灰度级(HU值)接近一些其他组织,尤其是穿越颅内软骨的基底动脉基本无法通过肉眼将其与骨组织区分出来。在脑部动脉涉及影像切片数量多,占比区域极少,对比度极低的技术难点下,从核磁共振影响中自动勾画脑部动脉的需求十分迫切,脑部动脉自动勾画技术对术前方案指定,术中引导,术后评估都有十分重要的意义。
现有脑部动脉勾画技术的一般手段是:影像科医生在MRI图像中的横断位视角(Axial view)进行标注,用不同的颜色区分六类脑部动脉(锥动脉,基底动脉,大脑后动脉,大脑中动脉,大脑前动脉,颈内动脉),然后通过联合冠状位视角(Coronal view)、矢状位视角(Sagital view)进行最大密度投影(MIP)体绘制重建出3D视图。基于深度学习的自动勾画方法主要有:1.采用2DUnet在横断位视角预测后重建。2.采用图卷积神经网络(GraphConvolutional Network)在全序列构建节点和边,从而搭建用于整体预测的网络模型,最后进行重建。
人工勾画费时费力,且需要富有经验的影响科医生进行高精度的标注。基于深度学习的基础方法一般采用2D神经网络进行建模。由于2D模型缺乏3D的空间信息,导致最终训练的模型预测的效果不佳,具体表现为:1.三维重建视图中明显缺乏连续性。2.预测结果重切片显示在冠状位和横断位两个视角时效果不佳,假阳性与假阴性的预测体素点在这两个视角非常明显。另一种深度学习的方法采用图卷积神经网络进行建模,引自Kipf T N,Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016.。这种方式虽然在一定程度上提高了预测的精度,但是在构建网络时十分复杂,具体表现为:1.全图产生的特征数量总和十分庞大,难以挑选合适的特征作为图网络的节点,难以计算节点之间的边权将网络连接为一个整体,网络模型消耗显存巨大。2.图网络训练中损失的反向传播与推理速度在特征量级大大增加的情况下,计算速度明显减慢。
发明内容
本发明的目的在于:提供一种基于深度神经网络的脑动脉自动勾画方法,以解决现有的采用图卷积神经网络进行建模,存在网络模型消耗显存巨大,计算速度明显减慢的问题。
本发明采用的技术方案如下:
一种基于深度神经网络的脑动脉自动勾画方法,包括如下步骤:
步骤1、输入患者MRI扫描影像数据,每例MRI影像文件对应一例影像科专业医生标注的六类脑动脉像素级分割标签文件;
步骤2、六类脑动脉分割模型的构建,由于脑部血管与其他组织区域比例(信噪比)极低,仅有1:500,受类别不平衡影响,六类脑动脉分割模型包括定位模型resnet50和分割模型backbone,定位模型resnet50定位出脑动脉区域最小外接立方体,采用最小外接立方体在原始输入患者MRI扫描影像上裁剪出脑部动脉区域的图像,裁剪出的图像输入分割模型backbone得到脑部动脉勾画图;
所述分割模型backbone采用V-Net网络模型,在V-Net网络模型中添加约束血管连续性与形状的多个针对脑动脉分割的连续性与形状信息保持模块;
步骤3、模型训练和测试;
步骤4、将患者MRI扫描影像输入六类脑动脉分割模型,得到勾画结果。
本申请的技术方案中,采用患者经过脑部核磁共振检查后产生的影像文件作为原始数据,采用影像科专业医生勾画的脑动脉血管作为预测的真实基准,第一阶段粗略定位模块,在标签上计算出动脉区域最小外接立方体再构造计算回归任务所用到的八个顶点的坐标,作为第一阶段粗略定位的基准值,第二阶段精细分割模块,使用标签直接作为第二阶段精细分割的基准值,将粗略定位获得的定位分割图用在患者MRI扫描影像数据上裁剪得到112*112*80mm新的图像,将此图像作为第二阶段模型的输入,并经过精细设计的分割模型预测勾画出六类脑部动脉。本发明提出了一种3D级联的新型网络模型,并采用连续帧,血管中心线等特异性的人工特征约束网络训练,不仅节约了计算资源更能快速且精准的预测并勾画出脑动脉;整个模型在训练完成之后可以完全自动的进行预测,并输出一张与原始MRI输出尺寸一致的7类标签(背景占一类)的ROI图像。
进一步的,步骤1中患者MRI扫描影像数据来自400例脑部MRI影像文件(华西神经外科提供),数据在横、矢、冠三个维度的大小均为100-350mm,为了保持数据的各向同性,拉近不同患者之间的数据分布,并重采样到112*112*80mm的体素规格。
进一步的,分割模型backbone在V-Net网络模型中添加多个针对脑动脉分割的连续性与形状信息保持模块,用于约束血管的连续性与形状。
定位模型resnet50,在标签上计算出动脉区域最小外接立方体再构造计算回归任务所用到的八个顶点的坐标,作为基准值,二倍下采样原始图像,定位模型resnet50作为分割模型backbone,最后添加一层线性回归层,预测八个点,即对应脑动脉区域最小外接立方体的八个顶点;
采用最小外接立方体在原始输入患者MRI扫描影像上裁剪得到112*112*80mm新的图像;
分割模型backbone,将此图像作为输入,在前向传播后送入分类器,通过softmax输出脑部动脉勾画图。
进一步的,用于保持帧间连续性的跳连接,跳连接融合了convolution与involution两部分的信息,convolution保持横断面内特异信息即平面领域内空间信息,involution保持冠状面与矢状面的信息,即连续性信息,连续性与形状信息保持模块的跳连接的具体连接方式如下:
步骤1a、在平面内采用convolution取得空间领域信息,表示卷积核数量, 表示卷积核尺寸,表示卷积核内的坐标,表示特征图内的坐标,表示某体素点的值,表示某体素点上convolution得到的值,则
步骤1c、采用拼接并采用1*1卷积融合平面领域信息与空间连续信息,
新增的约束连续性的中心线,在网络损失项中增加中心线损失,避免预测断层的出现,使用skimage库中的形态学方法skeletonize3D提取标签文件血管的骨架线,网络的最后一层添加中心线提取模块,该模块每一层都采用最小最大池化模拟形态学先侵蚀后膨胀(开运算)的操作,然后通过激活函数提供非线性能力,提取图像中关键的连接节点,堆叠多层后将每一层的输出求并集获得网络预测的血管骨架线,将此骨架线与skimage从标签中提取的骨架线做一致性约束,连续性与形状信息保持模块的中心线的约束方式如下:
步骤1A、从分割标签中提取骨架线,
步骤1C、计算步骤1A的骨架线与步骤1B的骨架线的一致性损失,表示基准的分割图,表示预测的分割图,表示第一步中从基准分割图计算得到的骨架线,表示从第二部中预测分割图计算得到的骨架线,表示精确度, 表示敏感度:
步骤1D,一致性约束。
表面形状约束,脑部动脉的形状呈细长的管状结构,其形状结构特异与其他器官或者组织不同,为了避免假阳性预测导致血管呈球状或者面状,连续性与形状信息保持模块的表面形状约束方式为:加入表面损失函数约束预测值与真实值之间的对称表面距离和豪斯多夫距离,其中表面损失函数为:
其中,表示整张预测图像的所有体素集合,表示某一体素点在基准标签中是否属于该类,1表示属于该类,0表示不属于,表示网络预测属于某一类的概率值,,表示从基准标签计算出的DTM(distance transform map),该计算方式采用scipy中ndimage库的distance_transform_edt函数计算得到,在物体内部的体素值为负,距离边界越远越小,物体内部的体素值为正,距离边界越远越大;表示网络最后一层的激活函数替换为tanh后得到的值,该值可以模拟DTM;为超参数,设置为2,表示距离计算方法为欧式距离。
进一步的,步骤3中模型的训练方式为:分为两个阶段,第一阶段粗略定位,训练回归网络预测脑部动脉的最小外接立方体;第二阶段精细分割,用第一阶段预测值对患者MRI扫描影像进行裁剪后作为第二阶段模型的输入,先训练定位网络直至网络收敛,再训练分割网络直至收敛,分割网络的整体损失函数包括分割损失,连续性约束损失和形状约束损失,连续性约束损失和形状约束损失权重采用sigmoid warmup方式逐渐升高;
步骤3中模型的测试方式为:按照五折交叉验证,将一折上的训练模型再其余四折数据上进行验证,同时测定四个指标,Dice值,平均交并比,对称表面距离和豪斯多夫距离,最后通过算术平均的方式集成各折模型。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、现有技术并未针对脑部动脉的解剖结构进行特定优化,本发明提出了一种能够自动勾画脑部动脉的技术,并且实现获得了高精度的模型;
2、本发明实现的模型能够保证预测勾画出的脑部动脉保持完整的细长管状解剖结构,在提高了预测精度的优势下,更进一步的约束了预测血管的连续性和形态学外观,不会出现因损失函数缺少一致性约束而导致的血管预测断裂,血管呈球状或者片状,且不会出现误将类似血管的细长组织预测为血管的失误;
3、患有脑部肿瘤的病人在手术切除肿瘤前一般除了做核磁共振检测还需要做脑部血管造影检测,医生才能结合两个检测的结果判断肿瘤的供血血管,肿瘤与重要动脉的相对位置,本发明提供一种基于深度神经网络的脑动脉自动勾画方法,只需要核磁共振检测的图像就可以清楚的找到六类脑动脉,一定程度上代替了传统血管造影术检测,减少了患者的医疗开支,且自动勾画的方法帮助医生自动完成了大量重复性的工作,在临床术前、术中、术后的辅助诊疗中都存在实际应用价值;
4、本发明提出了一种3D级联的新型网络模型,并采用连续帧,血管中心线等特异性的人工特征约束网络训练,不仅节约了计算资源更能快速且精准的预测并勾画出脑动脉;整个模型在训练完成之后可以完全自动的进行预测,并输出一张与原始MRI输出尺寸一致的7类标签(背景占一类)的ROI图像;
5、脑部动脉的形状呈管状结构,仅用分割损失无法约束同一视角相邻切片间的连续性,预测出的标签与人工打的标签往往视觉差距在一些连接断开的部位,分割损失也无法约束管状结构的形状特点,导致血管区域预测呈现球状或者片状,考虑到连续性与形状特异性两个先验性息,本发明对这两部分进行精细设计且取得了良好的效果。
附图说明
图1为本发明一种基于深度神经网络的脑动脉自动勾画方法的流程图;
图2为本发明三位患者的V-Net预测效果、本申请的方法预测效果及医生勾画的基准分割标签图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例
如图1所示,一种基于深度神经网络的脑动脉自动勾画方法,包括如下步骤:
步骤1、输入患者MRI扫描影像数据,每例MRI影像文件对应一例影像科专业医生标注的六类脑动脉像素级分割标签文,其中,患者MRI扫描影像数据来自400例脑部MRI影像文件(华西神经外科提供),数据在横、矢、冠三个维度的大小均为100-350mm,为了保持数据的各向同性,拉近不同患者之间的数据分布,并重采样到112*112*80mm的体素规格;
步骤2、六类脑动脉分割模型的构建,由于脑部血管与其他组织区域比例(信噪比)极低,仅有1:500,受类别不平衡影响,六类脑动脉分割模型包括定位模型resnet50和分割模型backbone,定位模型resnet50定位出脑动脉区域最小外接立方体,采用最小外接立方体在原始输入患者MRI扫描影像上裁剪出脑部动脉区域的图像,裁剪出的图像输入分割模型backbone得到脑部动脉勾画图。
分割模型backbone采用V-Net网络模型,通过增加参数量提高像素级别的可区分性,同时在V-Net网络模型中添加多个针对脑动脉分割的连续性与形状信息保持模块,用于约束血管的连续性与形状;
定位模型resnet50,在标签上计算出动脉区域最小外接立方体再构造计算回归任务所用到的八个顶点的坐标,作为基准值,二倍下采样原始图像,定位模型resnet50作为分割模型backbone,最后添加一层线性回归层,预测八个点,即对应脑动脉区域最小外接立方体的八个顶点;
采用最小外接立方体在原始输入患者MRI扫描影像上裁剪得到112*112*80mm新的图像;
分割模型backbone,将此图像作为输入,在前向传播后送入分类器,通过softmax输出脑部动脉勾画图
具体的,V-Net网络模型还包括数据增广模块,数据增广模块,医学影像不同于自然图像,其存在单通道,易形变,灰度范围广的特异性,针对此问题,数据增广不采用颜色抖动,随机翻转,随机旋转等增广,而采用随机裁剪,高斯噪声,针对血管容易受压迫的特点,使用随机弹性形变;
定位模型resnet50,在标签上计算出动脉区域最小外接立方体再构造计算回归任务所用到的八个顶点的坐标,作为基准值,二倍下采样原始图像,定位模型resnet50作为分割模型backbone,最后添加一层线性回归层,预测八个点,即对应脑动脉区域最小外接立方体的八个顶点,以此作二类掩码,前景为1背景为0,二倍上采样得到该定位分割图;
使用像素级分割标签基准值,将上述定位分割图用在患者MRI扫描影像数据上裁剪得到112*112*80mm新的图像;
分割模型backbone,将此图像作为输入,在前向传播后送入分类器,通过softmax输出每个体素点在七类中属于每一类(背景占一类)的概率,通过加和泛化dice损失(此时背景区域loss以前景区域整体loss代替,避免类别不均衡导致难以训练)与交叉熵损失作为分割整体损失反向传播优化网络。
用于保持帧间连续性的跳连接,跳连接融合了convolution与involution两部分的信息,convolution保持横断面内特异信息即平面领域内空间信息,involution保持冠状面与矢状面的信息,即连续性信息,连续性与形状信息保持模块的跳连接的具体连接方式如下:
步骤1a、在平面内采用convolution取得空间领域信息,表示卷积核数量,表示卷积核尺寸,表示卷积核内区域,表示卷积核内的坐标,表示通道索引,表示特征图内的坐标,表示某体素点的值,表示某体素点上convolution得到的值,则
步骤1b、在空间上采用involution取得连续性信息,表示卷积核尺寸,表示卷积核内区域,表示卷积核内的坐标,k表示通道索引,表示特征维度,表示特征图内的坐标,表示某体素点的值,表示特征分组,此时表示某体素involution得到的值,则
步骤1c、采用拼接并采用1*1卷积融合平面领域信息与空间连续信息,
新增的约束连续性的中心线,在网络损失项中增加中心线损失,避免预测断层的出现,使用skimage库中的形态学方法skeletonize3D提取标签文件血管的骨架线,网络的最后一层添加中心线提取模块,该模块每一层都采用最小最大池化模拟形态学先侵蚀后膨胀(开运算)的操作,然后通过激活函数提供非线性能力,提取图像中关键的连接节点,堆叠多层后将每一层的输出求并集获得网络预测的血管骨架线,将此骨架线与skimage从标签中提取的骨架线做一致性约束,连续性与形状信息保持模块的中心线的约束方式如下:
步骤1A、从分割标签中提取骨架线,
步骤1C、计算步骤1A的骨架线与步骤1B的骨架线的一致性损失,表示基准的分割图,表示预测的分割图,表示第一步中从基准分割图计算得到的骨架线,表示从第二部中预测分割图计算得到的骨架线,表示精确度,表示敏感度:
步骤1D,一致性约束;
表面形状约束,脑部动脉的形状呈细长的管状结构,其形状结构特异与其他器官或者组织不同,为了避免假阳性预测导致血管呈球状或者面状,连续性与形状信息保持模块的表面形状约束方式为:加入表面损失函数约束预测值与真实值之间的对称表面距离和豪斯多夫距离,其中表面损失函数为:
其中,表示整张预测图像的所有体素集合,表示某一体素点在基准标签中是否属于该类,1表示属于该类,0表示不属于,表示网络预测属于某一类的概率值,,表示从基准标签计算出的DTM(distance transform map),该计算方式采用scipy中ndimage库的distance_transform_edt函数计算得到,在物体内部的体素值为负,距离边界越远越小,物体内部的体素值为正,距离边界越远越大;表示网络最后一层的激活函数替换为tanh后得到的值,该值可以模拟DTM;为超参数,一般设置为2,表示距离计算方法为欧式距离;
步骤3、模型的训练方式为:分为两个阶段,第一阶段粗略定位,训练回归网络预测脑部动脉的最小外接立方体;第二阶段精细分割,用第一阶段预测值对患者MRI扫描影像进行裁剪后作为第二阶段模型的输入,先训练定位网络直至网络收敛,再训练分割网络直至收敛,分割网络的整体损失函数包括分割损失,连续性约束损失和形状约束损失,连续性约束损失和形状约束损失权重采用sigmoid warmup方式逐渐升高;
模型的测试方式为:按照五折交叉验证,将一折上的训练模型再其余四折数据上进行验证,同时测定四个指标,Dice值,平均交并比,对称表面距离和豪斯多夫距离,最后通过算术平均的方式集成各折模型;
步骤4、将患者MRI扫描影像输入六类脑动脉分割模型,得到勾画结果。
试验例
如表1所示,本申请提出的一种基于深度神经网络的脑动脉自动勾画方法的预测效果明显好于现有最先进模型V-Net(V-net: Fully convolutional neural networksfor volumetric medical image segmentation)的预测的效果,采用性能指标Dice衡量六类血管预测的准确度,六类血管的Dice指标均高于V-Net。
如图2所示,选三位患者的MRI扫描影像,A1,A2及A3为同一位患者,B1,B2及B3为同一位患者,C1,C2及C3为同一位患者,A1,B1和C1为V-Net预测效果,A2,B2和C2本申请的方法预测效果,A3,B3和C3为医生勾画的基准分割标签,对比可以发现本申请的方法预测过程中产生的假阴性点较少,而且血管形态较为圆润平滑,连续性较好,更加接近医生勾画的像素级基准分割标签。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度神经网络的脑动脉自动勾画方法,其特征在于,包括如下步骤:
步骤1、输入患者MRI扫描影像数据,每例MRI影像文件对应一例影像科专业医生标注的六类脑动脉像素级分割标签文件;
步骤2、六类脑动脉分割模型的构建,六类脑动脉分割模型包括定位模型resnet50和分割模型backbone,定位模型resnet50定位出脑动脉区域最小外接立方体,采用最小外接立方体在原始输入患者MRI扫描影像上裁剪出脑部动脉区域的图像,裁剪出的图像输入分割模型backbone得到脑部动脉勾画图;
所述分割模型backbone采用V-Net网络模型,在V-Net网络模型中添加约束血管连续性与形状的多个针对脑动脉分割的连续性与形状信息保持模块;
步骤3、模型训练和测试;
步骤4、将患者MRI扫描影像输入六类脑动脉分割模型,得到勾画结果。
2.根据权利要求1所述的一种基于深度神经网络的脑动脉自动勾画方法,其特征在于,步骤1中患者MRI扫描影像数据来自脑部MRI影像文件,数据在横、矢、冠三个维度的大小均为100-350mm,并重采样到112*112*80mm的体素规格。
3.根据权利要求1所述的一种基于深度神经网络的脑动脉自动勾画方法,其特征在于,
分割模型backbone在V-Net网络模型中添加多个针对脑动脉分割的连续性与形状信息保持模块,用于约束血管的连续性与形状。
4.根据权利要求3所述的一种基于深度神经网络的脑动脉自动勾画方法,其特征在于,定位模型resnet50,在标签上计算出动脉区域最小外接立方体再构造计算回归任务所用到的八个顶点的坐标,作为第一阶段粗略定位的基准值,二倍下采样原始图像,定位模型resnet50作为分割模型backbone,最后添加一层线性回归层,预测八个点,即对应脑动脉区域最小外接立方体的八个顶点;
采用最小外接立方体在原始输入患者MRI扫描影像上裁剪得到112*112*80mm新的图像;
分割模型backbone,将此图像作为输入,在前向传播后送入分类器,通过softmax输出脑部动脉勾画图。
7.根据权利要求3所述的一种基于深度神经网络的脑动脉自动勾画方法,其特征在于,
连续性与形状信息保持模块的表面形状约束方式为:加入表面损失函数约束预测值与真实值之间的对称表面距离和豪斯多夫距离,其中表面损失函数为:
8.根据权利要求1所述的一种基于深度神经网络的脑动脉自动勾画方法,其特征在于,
步骤3中模型的训练方式为:分为两个阶段,第一阶段粗略定位,训练回归网络预测脑部动脉的最小外接立方体;第二阶段精细分割,用第一阶段预测值对患者MRI扫描影像进行裁剪后作为第二阶段模型的输入,先训练定位网络直至网络收敛,再训练分割网络直至收敛,分割网络的整体损失函数包括分割损失,连续性约束损失和形状约束损失,连续性约束损失和形状约束损失权重采用sigmoid warmup方式逐渐升高;
步骤3中模型的测试方式为:按照五折交叉验证,将一折上的训练模型再其余四折数据上进行验证,同时测定四个指标,Dice值,平均交并比,对称表面距离和豪斯多夫距离,最后通过算术平均的方式集成各折模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111310166.XA CN113744272B (zh) | 2021-11-08 | 2021-11-08 | 一种基于深度神经网络的脑动脉自动勾画方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111310166.XA CN113744272B (zh) | 2021-11-08 | 2021-11-08 | 一种基于深度神经网络的脑动脉自动勾画方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113744272A true CN113744272A (zh) | 2021-12-03 |
CN113744272B CN113744272B (zh) | 2022-01-28 |
Family
ID=78727554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111310166.XA Active CN113744272B (zh) | 2021-11-08 | 2021-11-08 | 一种基于深度神经网络的脑动脉自动勾画方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113744272B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114224289A (zh) * | 2021-12-16 | 2022-03-25 | 苏州体素信息科技有限公司 | 基于深度学习的银屑病甲图像处理方法及*** |
CN114419183A (zh) * | 2022-03-31 | 2022-04-29 | 南昌睿度医疗科技有限公司 | 一种mra加速图像的优化方法、***、设备及存储介质 |
CN114897780A (zh) * | 2022-04-12 | 2022-08-12 | 南通大学 | 一种基于mip序列的肠系膜上动脉血管重建方法 |
CN116485820A (zh) * | 2023-06-21 | 2023-07-25 | 杭州堃博生物科技有限公司 | 动静脉图像提取方法、装置及非易失性存储介质 |
CN117036640A (zh) * | 2023-10-10 | 2023-11-10 | 杭州脉流科技有限公司 | 冠状动脉血管模型重构方法、装置、设备和存储介质 |
CN117079080A (zh) * | 2023-10-11 | 2023-11-17 | 青岛美迪康数字工程有限公司 | 冠脉cta智能分割模型的训练优化方法、装置和设备 |
CN117557724A (zh) * | 2023-11-15 | 2024-02-13 | 广东工业大学 | 一种基于位姿估计的脑外科手术患者头部呈现方法及*** |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060235669A1 (en) * | 1998-02-03 | 2006-10-19 | Charbel Fady T | Method and system for 3D blood vessel localization |
CN107403201A (zh) * | 2017-08-11 | 2017-11-28 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 |
CN109003283A (zh) * | 2018-03-26 | 2018-12-14 | 天津工业大学 | 一种基于主动形状模型的主动脉轮廓分割算法 |
CN109727242A (zh) * | 2018-12-28 | 2019-05-07 | 上海联影医疗科技有限公司 | 血管中心线提取方法、装置、计算机设备和存储介质 |
CN110853051A (zh) * | 2019-10-24 | 2020-02-28 | 北京航空航天大学 | 基于多注意密集连接生成对抗网络的脑血管影像分割方法 |
CN112634273A (zh) * | 2021-03-10 | 2021-04-09 | 四川大学 | 一种基于深度神经网络的脑转移瘤分割***及其构建方法 |
CN112734755A (zh) * | 2021-03-15 | 2021-04-30 | 四川大学 | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 |
CN112837322A (zh) * | 2019-11-22 | 2021-05-25 | 北京深睿博联科技有限责任公司 | 图像分割方法及装置、设备、存储介质 |
CN113160189A (zh) * | 2021-04-27 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 血管中心线提取方法、装置、设备及存储介质 |
US20210236080A1 (en) * | 2020-01-30 | 2021-08-05 | GE Precision Healthcare LLC | Cta large vessel occlusion model |
CN113222964A (zh) * | 2021-05-27 | 2021-08-06 | 推想医疗科技股份有限公司 | 一种冠脉中心线提取模型的生成方法及装置 |
CN113538496A (zh) * | 2020-04-17 | 2021-10-22 | 成都连心医疗科技有限责任公司 | 一种mri头部影像的脑组织自动勾画方法、勾画***、计算设备和存储介质 |
CN113538493A (zh) * | 2020-04-17 | 2021-10-22 | 成都连心医疗科技有限责任公司 | 一种mri头部影像的脑功能区自动勾画方法、勾画***、计算设备和存储介质 |
-
2021
- 2021-11-08 CN CN202111310166.XA patent/CN113744272B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060235669A1 (en) * | 1998-02-03 | 2006-10-19 | Charbel Fady T | Method and system for 3D blood vessel localization |
CN107403201A (zh) * | 2017-08-11 | 2017-11-28 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 |
CN109003283A (zh) * | 2018-03-26 | 2018-12-14 | 天津工业大学 | 一种基于主动形状模型的主动脉轮廓分割算法 |
CN109727242A (zh) * | 2018-12-28 | 2019-05-07 | 上海联影医疗科技有限公司 | 血管中心线提取方法、装置、计算机设备和存储介质 |
CN110853051A (zh) * | 2019-10-24 | 2020-02-28 | 北京航空航天大学 | 基于多注意密集连接生成对抗网络的脑血管影像分割方法 |
CN112837322A (zh) * | 2019-11-22 | 2021-05-25 | 北京深睿博联科技有限责任公司 | 图像分割方法及装置、设备、存储介质 |
US20210236080A1 (en) * | 2020-01-30 | 2021-08-05 | GE Precision Healthcare LLC | Cta large vessel occlusion model |
CN113538496A (zh) * | 2020-04-17 | 2021-10-22 | 成都连心医疗科技有限责任公司 | 一种mri头部影像的脑组织自动勾画方法、勾画***、计算设备和存储介质 |
CN113538493A (zh) * | 2020-04-17 | 2021-10-22 | 成都连心医疗科技有限责任公司 | 一种mri头部影像的脑功能区自动勾画方法、勾画***、计算设备和存储介质 |
CN112634273A (zh) * | 2021-03-10 | 2021-04-09 | 四川大学 | 一种基于深度神经网络的脑转移瘤分割***及其构建方法 |
CN112734755A (zh) * | 2021-03-15 | 2021-04-30 | 四川大学 | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 |
CN113160189A (zh) * | 2021-04-27 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 血管中心线提取方法、装置、设备及存储介质 |
CN113222964A (zh) * | 2021-05-27 | 2021-08-06 | 推想医疗科技股份有限公司 | 一种冠脉中心线提取模型的生成方法及装置 |
Non-Patent Citations (4)
Title |
---|
XIAOQIAN JIA等: "《Cone-Beam Computed Tomography (CBCT) Segmentation by Adversarial Learning Domain Adaptation》", 《MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION – MICCAI 2019》 * |
刘国玮 等: "《基于深度学习的脑部CTA图像血管分割方法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
朱其奎 等: "《基于智能化理论的医学数据分割与诊断算法研究》", 《中国博士学位论文全文数据库 医药卫生科技辑》 * |
王成弟 等: "《利用深度学习技术辅助肺结节的人工智能检测》", 《中国呼吸与危重监护杂志》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114224289A (zh) * | 2021-12-16 | 2022-03-25 | 苏州体素信息科技有限公司 | 基于深度学习的银屑病甲图像处理方法及*** |
CN114224289B (zh) * | 2021-12-16 | 2023-08-22 | 苏州体素信息科技有限公司 | 基于深度学习的银屑病甲图像处理方法及*** |
CN114419183A (zh) * | 2022-03-31 | 2022-04-29 | 南昌睿度医疗科技有限公司 | 一种mra加速图像的优化方法、***、设备及存储介质 |
CN114897780A (zh) * | 2022-04-12 | 2022-08-12 | 南通大学 | 一种基于mip序列的肠系膜上动脉血管重建方法 |
CN116485820A (zh) * | 2023-06-21 | 2023-07-25 | 杭州堃博生物科技有限公司 | 动静脉图像提取方法、装置及非易失性存储介质 |
CN116485820B (zh) * | 2023-06-21 | 2023-09-22 | 杭州堃博生物科技有限公司 | 动静脉图像提取方法、装置及非易失性存储介质 |
CN117036640A (zh) * | 2023-10-10 | 2023-11-10 | 杭州脉流科技有限公司 | 冠状动脉血管模型重构方法、装置、设备和存储介质 |
CN117036640B (zh) * | 2023-10-10 | 2023-12-19 | 杭州脉流科技有限公司 | 冠状动脉血管模型重构方法、装置、设备和存储介质 |
CN117079080A (zh) * | 2023-10-11 | 2023-11-17 | 青岛美迪康数字工程有限公司 | 冠脉cta智能分割模型的训练优化方法、装置和设备 |
CN117079080B (zh) * | 2023-10-11 | 2024-01-30 | 青岛美迪康数字工程有限公司 | 冠脉cta智能分割模型的训练优化方法、装置和设备 |
CN117557724A (zh) * | 2023-11-15 | 2024-02-13 | 广东工业大学 | 一种基于位姿估计的脑外科手术患者头部呈现方法及*** |
CN117557724B (zh) * | 2023-11-15 | 2024-06-04 | 广东工业大学 | 一种基于位姿估计的脑外科手术患者头部呈现方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN113744272B (zh) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113744272B (zh) | 一种基于深度神经网络的脑动脉自动勾画方法 | |
CN109615636B (zh) | Ct影像的肺叶段分割中的血管树构造方法、装置 | |
EP2194505B1 (en) | Method and apparatus for segmenting spine and aorta in a medical image according to a skeletal atlas | |
CN109409503B (zh) | 神经网络的训练方法、图像转换方法、装置、设备及介质 | |
Bade et al. | Comparison of fundamental mesh smoothing algorithms for medical surface models. | |
WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
Antiga | Patient-specific modeling of geometry and blood flow in large arteries | |
CN105760874B (zh) | 面向尘肺的ct图像处理***及其ct图像处理方法 | |
CN113674281B (zh) | 一种基于深度形状学习的肝脏ct自动分割方法 | |
CN110895817A (zh) | 一种基于影像组学分析的mri影像肝纤维化自动分级方法 | |
US20080071160A1 (en) | Displaying A Tracheobronchial Tree | |
CN109685787A (zh) | Ct影像的肺叶段分割中的输出方法、装置 | |
Wei et al. | Learning-based 3D surface optimization from medical image reconstruction | |
CN115908297A (zh) | 基于拓扑知识的医学影像中血管分割建模方法 | |
Puig et al. | An interactive cerebral blood vessel exploration system | |
Radaelli et al. | On the segmentation of vascular geometries from medical images | |
Liu et al. | Tracking-based deep learning method for temporomandibular joint segmentation | |
Liu et al. | Prior-based 3D U-Net: A model for knee-cartilage segmentation in MRI images | |
CN114519722A (zh) | 一种基于卷积神经网络的颈动脉提取方法 | |
CN113205472A (zh) | 基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法 | |
Drechsler et al. | Semi‐Automatic Anatomical Tree Matching for Landmark‐Based Elastic Registration of Liver Volumes | |
Moench et al. | Generation of smooth and accurate surface models for surgical planning and simulation | |
Ju et al. | Computing a family of skeletons of volumetric models for shape description | |
Prohaska | Skeleton-based visualization of massive voxel objects with network-like architecture | |
Lv et al. | Centerline extraction based on Hessian matrix and scale space analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |