CN112561868B - 一种基于多视角级联深度学习网络的脑血管分割方法 - Google Patents

一种基于多视角级联深度学习网络的脑血管分割方法 Download PDF

Info

Publication number
CN112561868B
CN112561868B CN202011429279.7A CN202011429279A CN112561868B CN 112561868 B CN112561868 B CN 112561868B CN 202011429279 A CN202011429279 A CN 202011429279A CN 112561868 B CN112561868 B CN 112561868B
Authority
CN
China
Prior art keywords
image
segmentation
network model
mra
mrv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011429279.7A
Other languages
English (en)
Other versions
CN112561868A (zh
Inventor
黄炳升
吴松雄
张乃文
陶蔚
陈嘉
陈富勇
孟祥红
魏明怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011429279.7A priority Critical patent/CN112561868B/zh
Publication of CN112561868A publication Critical patent/CN112561868A/zh
Application granted granted Critical
Publication of CN112561868B publication Critical patent/CN112561868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于多视角级联深度学习网络的脑血管分割方法，所述方法包括获取目标部位对应的MRA图像以及MRV图像；基于所述MRA图像以及MRV图像确定若干切面图像；基于经过训练的第一分割网络模型，确定各切面图像各自对应的参考分割图；基于所述MRA图像、所述MRV图像、获取到的参考分割图以及经过训练的第二分割网络模型，确定所述MRA图像对应的分割图像。本申请将第一网络分割模型获取各切面图像对应的参考分割图像作为上下文信息与MRA图像和所述MRV图像共同作为第二分割网络模型的输入信息，这样可以从多角度学习MRA图像中的血管信息，从而可以提高第二分割网络模型确定分割图像的准确性，从而提高脑血管分割的准确性。

Description

一种基于多视角级联深度学习网络的脑血管分割方法
技术领域
本申请涉及医疗影像技术领域，特别涉及一种基于多视角级联深度学习网络的脑血管分割方法。
背景技术
在神经外科手术中，三维的脑血管图像可以辅助医生看到颅骨内的囊状动脉瘤和血管之间的关系，可以对于在癫痫立体定向脑电图技术中辅助临床医生术前进行避开重要血管的电极植入路径规划等有很大帮助。而血管造影技术(Magnetic resonanceangiography，MRA)作为基于计算机辅助的心脑血管疾病诊断与介入治疗、神经外科手术导航及术后观察的重要手段，可以用于提供三维的脑血管图像。但是由于血管造影成像原理和脑组织本身特性的差异，MRA脑血管造影图像在采集过程中会受到噪声、局部体效应、场偏移效应等影响，而导致血管的分割准确率低。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于多视角级联深度学习网络的脑血管分割方法。
为了解决上述技术问题，本申请实施例第一方面提供了一种基于多视角级联深度学习网络的脑血管分割方法，所述方法包括：
获取目标部位对应的MRA图像以及MRV图像；
基于所述MRA图像以及MRV图像确定若干切面图像；
基于经过训练的第一分割网络模型，确定各切面图像各自对应的参考分割图；
基于所述MRA图像、所述MRV图像、获取到的参考分割图以及经过训练的第二分割网络模型，确定所述MRA图像对应的分割图像，其中，所述分割图像包括所述MRA图像的血管位置信息。
所述基于多视角级联深度学习网络的脑血管分割方法，其中，所述若干切面图像包括横断面图、矢状面图及冠状面图中的一种或者多种。
所述基于多视角级联深度学习网络的脑血管分割方法，其中，所述基于所述MRA图像以及MRV图像确定若干切面图像具体包括：
获取所述MRA图像的若干第一切面图像，以及所述MRV图像的若干第二切面图像，其中，若干第一切面图像与若干第二切面图像一一对应；
分别将各第一切面图像与其对应的第二切面图像按照通道拼接，以得到若干切面图像。
所述基于多视角级联深度学习网络的脑血管分割方法，其中，所述基于所述MRA图像、MRV图像以及获取到的参考分割图，确定所述MRA图像对应的分割图像具体包括：
将所述MRA图像、所述MRV图像以及获取到的参考分割图按通道拼接，以得到目标图像；
将目标图像输入经过训练的第二分割网络模型，通过第二分割网络模型，确定所述MRA图像对应的分割图像。
所述基于多视角级联深度学习网络的脑血管分割方法，其中，所述第一分割网络模型包括的网络层与所述第二分割网络模型包括的网络层相同，所述第一分割网络模型中的网络层为二维网络层，所述第二分割网络模型中的网络层为三维网络层。
所述基于多视角级联深度学习网络的脑血管分割方法，其中，所述第一分割网络模型和第二分割网络模型均采用U-Net++结构，所述U-Net++结构中除位于第一层的U-Net外，其余各层U-Net中的位于第一位的采样模块均为残差模块。
所述基于多视角级联深度学习网络的脑血管分割方法，其中，所述残差模块包括第一卷积单元、第二卷积单元以及残差融合单元；所述第一卷积单元的输出项为第二卷积单元的输入项；所述残差融合单元的输入项包括第二卷积单元的输入项和第二卷积单元的输出项，所述第一卷积单元的模型结构和第二卷积单元的模型结构相同，所述第一卷积单元包括依次级联的归一化层、激活层以及卷积层。
本申请实施例第二方面提供了一种基于多视角级联深度学习网络的脑血管分割模型，其包括若干第一分割网络模型、融合模块以及第二分割网络模型，若干第一分割网络模型均与融合模块相连接，融合模块与第二分割网络模型相连接，其中，所述第一分割网络模型和第二分割网络模型均采用U-Net++结构，并且所述U-Net++结构中除位于第一层的U-Net外，其余各层U-Net中的位于第一位的采样模块均为残差模块。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于多视角级联深度学习网络的脑血管分割方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的基于多视角级联深度学习网络的脑血管分割方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种基于多视角级联深度学习网络的脑血管分割方法，所述方法包括获取目标部位对应的MRA图像以及MRV图像；基于所述MRA图像以及MRV图像确定若干切面图像；基于经过训练的第一分割网络模型，确定各切面图像各自对应的参考分割图；基于所述MRA图像、所述MRV图像、获取到的参考分割图以及经过训练的第二分割网络模型，确定所述MRA图像对应的分割图像。本申请将第一网络分割模型获取各切面图像对应的参考分割图像作为上下文信息与MRA图像和所述MRV图像共同作为第二分割网络模型的输入信息，这样可以从多角度学习MRA图像中的血管信息，从而可以提高第二分割网络模型确定分割图像的准确性，从而提高脑血管分割的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的基于多视角级联深度学习网络的脑血管分割方法的流程图。
图2为本申请提供的基于多视角级联深度学习网络的脑血管分割方法中的分割网络模型的训练过程的流程示例图。
图3为本申请提供的基于多视角级联深度学习网络的脑血管分割方法中的第一分割网络模型的结构原理图。
图4为本申请提供的基于多视角级联深度学习网络的脑血管分割方法的原理流程图。
图5为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种基于多视角级联深度学习网络的脑血管分割方法，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。此外，应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，现代神经外科规范化诊疗过程包括了手术前对病灶的精确定位、设计并优化手术路径，手术中对病灶区域精准切除，手术后对病灶切除效果及病情恢复的评估。在这整个过程中，为了保证手术治疗有效果，神经外科医师必须针对患者的影像学资料进行评估，判断病灶的具***置，最后设计有针对性的手术方案。近年来，随着神经外科精准诊疗理念的提出和影像科学的逐步发展，医学影像导航***逐渐能够在辅助医师判断病灶的位置以及展现出病灶周围重要解剖结构，有助于实现病灶精准切除及神经功能的保护，确保长期治疗效果。
神经外科手术的影像导航***是近年来发展非常迅速的一个领域。神经导航又称无框架立体定向外科，是把现代神经影像诊断技术、立体定向科技术以及显微外科通过高性能的计算机结合在一起的一门技术，能够准确展现出神经***的解剖结构及病灶的三维空间位置与毗邻的关系。自从由Roberts等引进第一台无框架立体定向导航设备，神经导航***已经成为神经外科手术流程中一项基本的工具，并通过实时定位目标减少手术过程中的创伤。通过近30年的发展，这项技术已经成功运用于越来越复杂的领域，包括恶性肿瘤的外科治疗、血管疾病、癫痫、深部脑刺激手术等。在神经外科手术中，如果能够提供三维的脑血管图像，可以辅助医生看到颅骨内的囊状动脉瘤和血管之间的关系或对囊状动脉瘤的血管内部的诊治有帮助，以及在癫痫立体定向脑电图技术中辅助临床医生术前进行避开重要血管的电极植入路径规划等。如何在术前或者术中通过影像和影像后处理流程得到脑血管是一个技术难点。
血管造影技术(Magnetic resonance angiography，MRA)是基于计算机辅助的心脑血管疾病诊断与介入治疗、神经外科手术导航及术后观察的重要手段之一。但是由于血管造影成像原理和脑组织本身特性的差异，MRA脑血管造影图像在采集过程中会受到噪声、局部体效应、场偏移效应等影响，同时也存在血管形态模糊、背景噪声和不均匀性等特点，而且脑血管分枝众多、形态各异且纤细、细小血管与背景对比度低等，这些都给脑血管的分割带来一定的困难。
机器学习是智能图像处理技术的核心，深度学习作为机器学习的一个分支，不同于传统方法，能够有监督地对数据进行特征提取和推理，充分发掘数据间的规律，进而利用这些规律对未知数据进行客观的预测，能够实现较稳定和较有效率的感兴趣区域(regionof interest,ROI)的分割。但是现有的深度学习用于脑血管分割是普遍存在准确率低的问题。这是由于现有技术大多数只考虑颅内血管，忽略颅外血管，但这一部分血管的分割也存在一定的临床意义。比如在癫痫手术中利用立体定向脑电图技术(Stereoelectroencephalography，SEEG)定位致痫灶的过程，需要避开颅骨或者一些重要的头皮血管。比如能避开保留颞浅动脉的话，对头皮的血运以及切口愈合有很大的帮助，同时也可避免远端皮瓣缺血及颞肌萎缩等。
为了解决上述问题，在本申请实施例中，获取目标部位对应的MRA图像以及MRV图像；基于所述MRA图像以及MRV图像确定若干切面图像；基于经过训练的第一分割网络模型，确定各切面图像各自对应的参考分割图；基于所述MRA图像、所述MRV图像、获取到的参考分割图以及经过训练的第二分割网络模型，确定所述MRA图像对应的分割图像。本申请将第一网络分割模型获取各切面图像对应的参考分割图像作为上下文信息与MRA图像和所述MRV图像共同作为第二分割网络模型的输入信息，这样可以从多角度学习MRA图像中的血管信息，从而可以提高第二分割网络模型确定分割图像的准确性，从而提高脑血管分割的准确性。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施提供了一种基于多视角级联深度学习网络的脑血管分割方法，如图1和图4所示，所述方法包括：
S10、获取目标部位对应的MRA图像以及MRV图像；
S20、基于所述MRA图像以及MRV图像确定若干切面图像；
基于经过训练的第一分割网络模型，确定各切面图像各自对应的参考分割图；
S30、基于所述MRA图像、所述MRV图像、获取到的参考分割图以及经过训练的第二分割网络模型，确定所述MRA图像对应的分割图像，其中，所述分割图像包括所述MRA图像的血管位置信息。
本实施例提供了一种基于多视角级联深度学习网络的脑血管分割方法，所述方法获取目标部位对应的MRA图像以及MRV图像；基于所述MRA图像以及MRV图像确定若干切面图像；基于经过训练的第一分割网络模型，确定各切面图像各自对应的参考分割图；基于所述MRA图像、所述MRV图像、获取到的参考分割图以及经过训练的第二分割网络模型，确定所述MRA图像对应的分割图像。本申请将第一网络分割模型获取各切面图像对应的参考分割图像作为上下文信息与MRA图像和所述MRV图像共同作为第二分割网络模型的输入信息，这样可以从多角度学习MRA图像中的血管信息，从而可以提高第二分割网络模型确定分割图像的准确性，从而提高脑血管分割的准确性。
下面对本实施例提供的基于多视角级联深度学习网络的脑血管分割方法中的各步骤进行具体说明。
在所述步骤S10中，所述目标部位为脑部，所述MRA图像为磁共振动脉图像，所述MRV图像为磁共振静脉图像，并所述MRA图像对应的患者和所述MRV图像与对应的患者相同。换句话说，所述MRA图像和所述MRV图像为通过血管造影技术对同一患者的脑部进行采集得到的图像。在本实施例中，所述MRA图像的图像尺度与MRV图像的图像尺度相同，例如，MRA图像的图像尺度为w*h*c，那么MRV图像的图像尺度为w*h*c。
在所述步骤S20中，所述若干切面图像中的各切面图像均为二维图像，所述若干切面图像可以包括横断面图、矢状面图及冠状面图中的一种或者多种。例如，所述若干切面图像包括横断面图，或者是，若干切面图像包括横断面图包括矢状面图，或者是，若干切面图像包括横断面图、矢状面图及冠状面图等。在本实施例中，所述若干切面图像包括横断面图、矢状面图及冠状面图。
在本实施例的一个实现方式中，所述基于所述MRA图像以及MRV图像确定若干切面图像具体包括：
获取所述MRA图像的若干第一切面图像，以及所述MRV图像的若干第二切面图像，其中，若干第一切面图像与若干第二切面图像一一对应；
分别将各第一切面图像与其对应的第二切面图像按照通道拼接，以得到若干切面图像。
具体地，所述第一切面图像的图像数量以第二切面图像的图像数量相同，并且均等于若干切面图像的图像数量。若干第一切面图像中的各切面图像的切面种类互不相同，若干第二切面图像中的各切面图像的切面种类互不相同，若干第一切面图像构成的切面种类集和若干第二切面图像构成的切面种类集均包括横断面图、矢状面图及冠状面图中的一种或者多种；并且若干第一切面图像构成的切面种类集和若干第二切面图像构成的切面种类集相同。在本实施例的一个实现方式中，所述若干第一切面图像构成的切面种类集和若干第二切面图像构成的切面种类集均包括横断面图、矢状面图及冠状面图，由此，若干第一切面图像和若干第二切面图像均为三张，并且三张第二切面图像与横断面图、矢状面图及冠状面图一一对应，三张第一切面图像与横断面图、矢状面图及冠状面图一一对应。
基于此，所述第一切面图像对应的第二切面图像为若干第二切面图像中切面种类与第一切面图像相对应的图像，例如，当第一切面图像为横断面图时，第二切面图像为横断面图。此外，由于MRA图像的图像尺度与MRV图像的图像尺度相同，从而第一切面图像的图像尺寸与第二切面图像的图像尺寸相同。由此，在获取到第一切面图像和第二切面图像后，可以将第一切面图像和第二切面图像按照通道拼接，以得到切面图像。例如，第一切面图像的图像尺度为w*h*1，第二切面图像的图像尺寸为w*h*1，那么切面图像的图像尺寸为w*h*2。
在所述步骤S30中，所述第一分割网络模型为经过训练的网络模型，所述第一分割网络模型的输入项为切面图像，输出项为该切面图像对应的参考分割图像，参考分割图像携带有切面图像中的血管位置信息。换句话说，基于经过训练的第一分割网络模型，确定各切面图像各自对应的参考分割图具体为：对于每张切面图像，将该切面图像输入第一分割网络模型，通过第一分割网络模型输出该切面图像对应的参考分割图像。参考分割图像的图像尺寸与其对应的切面图像的图像尺寸相同，由于各切面图像的图像尺寸相同，从而各参考分割图像的图像尺寸相同。
所述第一分割网络模型为二维网络模型，所述第一分割网络模型采用U-Net++结构，如图3所示，第一分割网络模型包括若干U-Net层，若干U-Net层均包括若干采样模块；并且相邻两个U-Net层中位于上层的U-Net层中的采样模块比位于下层的U-Net层中的采样模块多1；相邻两层U-Net层中，位于前一层的U-Net层的位于最前的采样模块与位于后一层的U-Net层的位于最前的采样模块通过最大池化层相连接；对于位于后一层的U-Net层中的每个采样模块，该采样模块通过反卷积层与位于前一层的U-Net层的排列序号比该采样模块其对应的U-Net层的排序序号大于1的下采用模块相连接。例如，如图3所示，位于1层的第一位的采样模块与位于0层的第二为的采样模块通过反卷积连接，又如，位于2层的第一位的采样模块与位于1层的第二为的采样模块通过反卷积连接。此外，对于每个U-Net层，该U-Net层中位于最前的采样模块的输出项为位于其后的各采样模块的输入项；位于最后的采样模块的输入项包括位于其前的各采样模块的输出项，相邻两个采样模块中位于前的采样模块的输出项为位于后的采样模块的输入项。
在本实施例的一个实现方式中，所述U-Net++结构中除位于第一层的U-Net外，其余各层U-Net中的位于第一位的采样模块均为残差模块。如图3所示，所述残差模块包括第一卷积单元、第二卷积单元以及残差融合单元；所述第一卷积单元的输出项为第二卷积单元的输入项；所述残差融合单元的输入项包括第二卷积单元的输入项和第二卷积单元的输出项，所述第一卷积单元的模型结构和第二卷积单元的模型结构相同，所述第一卷积单元包括依次级联的归一化层、激活层以及卷积层。本实施例通过在U-Net++结构中加入残差模块，通过残差结构可以加速网络的收敛，同时为了更有效的保留输入数据的原始特征。
在本实施例的一个实现方式中，所述归一化层为实例归一化层，所述激活函数层配置有Leaky ReLU，这样将网络输入批大小设置为1，不存在批量输入的问题，并且可以加速网络的收敛。Leaky ReLU函数对负值输入有很小的坡度。这样由于Leaky ReLU函数导数总是不为零，这样可以减少静默神经元的出现，允许基于梯度的学习，解决了Relu函数进入负区间后，导致神经元不学习的问题。在一个具体实现方式中，若干U-Net为四层，所述初始两次卷积的卷积核数为30，每下采样一次增加一倍。例如，如图3所示，图像块大小为64×160×192，即x(0,0)输入大小为1x64×160×192，采样模块x(1,0)的大小为30x32x80x96，x(2,0)的大小为60x16x40x48，x(3,0)的大小为90x8x20x24，x(4,0)的大小为120x4x10x12。采样模块x(3,1)大小为210x8x20x24，x(2,1)大小为150x16x40x48，x(2,2)大小为420x16x40x48。
在所述步骤S40中，所述第二分割网络模型为经过训练的网络模型，所述第二分割网络模型的输入项为基于所述MRA图像、所述MRV图像、获取到的参考分割图确定的图像；输出项为MRA图像对应的分割图像，分割图像携带有MRA图像中的血管位置信息。所述第二分割网络模型包括的网络层相同与所述第一分割网络模型包括的网络层，其与第一分割网络模型的区别在于第二分割网络模型中的网络层为三维的，例如，第二分割网络模型的卷积层为三维卷积层，第一分割网络模型的卷积层为二维卷积层。换句话说，第二分割网络模型为将第一分割网络模型的中的各二维网络层换为三维网络层，例如，将二维卷积换成三维卷积，二维最大池化更换成三维最大池化，以及二维转置卷积换成三维转置卷积等；而各网络层之间的位置关系以及连接关系不变。
在本实施例的一个实现方式中，所述基于所述MRA图像、MRV图像以及获取到的参考分割图，确定所述MRA图像对应的分割图像具体包括：
将所述MRA图像、所述MRV图像以及获取到的参考分割图按通道拼接，以得到目标图像；
将目标图像输入经过训练的第二分割网络模型，通过第二分割网络模型，确定所述MRA图像对应的分割图像。
具体地，目标图像为三维图像，并且目标图像为将MRA图像、所述MRV图像以及获取到的参考分割图按照通道方向拼接以得到目标图像。例如，若干切面图像包括横断面、冠状面以及矢状面图像，横断面、冠状面以及矢状面图像各自对应的参考分割图像分别是1x1x464x512(464x512为横断面2D图像大小)，1x1x384x464(144x464为冠状面2D图像大小)，1x1x384x512(144x512为矢状面2D图像大小)，输出项是各切面图像各自对应的参考分割图像；在获到参考分割图像后，将MRA图像、MRV图像和三张参考分割图像构成的5通道图像，输入项为1x5x384x464x512，输出是最终的脑血管分割结果1x1x384x464x512。
在本实施例的一个实现方式中，为了提高切面图像的确定速度，可以根据切面图像数量确定第一分割网络模型数量，并且各切面图像与确定的若干第一分割网络模型一一对应，每个切面图像为其对应的第一分割网络模型的输入项；各第一分割网络模型并行且均与所述第二分割模型相连接，以便于将各第一分割网络模型的输出项作为第二分割网络模型的输入项。此外，为了连接第一分割网络模型和第二分割网络模型，还可以设置一融合模块，若干分割网络模型均与融合模块相连接，融合模块与第二分割网络模型相连接，融合模块的输入项包括各第一分割网络模型的输出项以及MRA图像和MRV图像，融合模块的输出项为第二分割网络模型的输出项。基于此，若干第一分割网络模型、融合模块以及第二分割网络模型可以构成一个分割网络模型，所述分割网络模型的工作过程可以为：首先根据MRA图像和MRV图像若干切面图像，其次，通过各第一分割网络模型确定各切面图像各自对应的参考分割图像；然后，通过融合模块将若干参考分割图像、MRA图像以及MRV图像融合以得到输入图像，最后，将输入图像输入第二分割网络模型，得到该MRA图像对应的分割图像。
所述第一分割网络模型和第二分割网络模型形成上述分割网络模型后进行联合训练，也可以先单独训练第一分割网络模型，在第一分割网络模型训练完成后，再训练第二分割网络模型；最后在第二分割网络模型训练完成后，将第一分割网络模型和第二分割网络连接构成上述分割网络模型，在对该分割网络模型进行微调训练。
在本实施例的一个实现方式中，第一分割网络模型和第二分割网络模型形成如图4所示的分割网络模型后进行训练，在分割网络模型的训练过程中，如图2所示，训练样本可以为MRI影像，并且MRI影像标注有血管位置信息，其中，血管区域可以由经验丰富的医师在ITK-SNAP软件对血管进行勾画，以具有临床价值，其中，勾画过程中，医生需要患者的MRI横断面、矢状面和冠状面的图像相互参考和补充，交叉判断判断血管的位置，并在合适操作的截面上进行操作。此外，在显存为11G的Nvidia GTX 1080TI显卡上训练和测试分割网络模型，深度学***均loss在30个epoch内减少低于，则学***均loss在60个epoch内减少不够，或者学习率小于，则停止训练。优化器为Adam，惩罚因子为0.05，L2正则项为，训练的批大小设置为1。采用五折交叉验证，并采用实时数扩增的方式训练模型，以防止模型过拟合，扩增方法包括：随机图像旋转，范围-15°-15°；随机图像缩放，范围0.85-1.25；随机镜像，网络对输入进行了编码解码操作后，经过Softmax激活函数输出两通道的分割概率图。
实验涉及级联多视角网络数据时预处理方式：首先对每个患者数据单独执行z-score归一化，图像分辨率为0.39×0.39×0.90，这样将所有数据都重采样为相同的分辨率，有助于提高模型的泛化性，分辨率的大小定为0.39×0.39×0.39，这样能减少重采样的图像数目，重采样后的图像矩阵大小为464×512×331。在数据重采样阶段MRI图像采用三线性插值，金标准采用最近邻插值。对于横断面的第一分割网络模型的输入图像矩阵大小为464×512，而对于矢状面的第一分割网络模型的输入图像大小，考虑到下采样操作会导致图像矩阵大小变为原来的1/2，将图像居中、四周补零操作，把图像矩阵大小变成384×512；以同样的操作，将冠状面2D的第一分割网络模型的输入图像矩阵大小变成384×464。
综上所述，本实施例提供了一种基于多视角级联深度学习网络的脑血管分割方法，所述方法包括获取目标部位对应的MRA图像以及MRV图像；基于所述MRA图像以及MRV图像确定若干切面图像；基于经过训练的第一分割网络模型，确定各切面图像各自对应的参考分割图；基于所述MRA图像、所述MRV图像、获取到的参考分割图以及经过训练的第二分割网络模型，确定所述MRA图像对应的分割图像。本申请将第一网络分割模型获取各切面图像对应的参考分割图像作为上下文信息与MRA图像和所述MRV图像共同作为第二分割网络模型的输入信息，这样可以从多角度学习MRA图像中的血管信息，从而可以提高第二分割网络模型确定分割图像的准确性，从而提高脑血管分割的准确性。
基于上述基于多视角级联深度学习网络的脑血管分割方法，本实施例提供一种基于多视角级联深度学习网络的脑血管分割模型，其包括若干第一分割网络模型、融合模块以及第二分割网络模型，若干第一分割网络模型均与融合模块相连接，融合模块与第二分割网络模型，其中，所述第一分割网络模型和第二分割网络模型均采用U-Net++结构，并且所述U-Net++结构中除位于第一层的U-Net外，其余各层U-Net中的位于第一位的采样模块均为残差模块；所述残差模块包括第一卷积单元、第二卷积单元以及残差融合单元；所述第一卷积单元的输出项为第二卷积单元的输入项；所述残差融合单元的输入项包括第二卷积单元的输入项和第二卷积单元的输出项，所述第一卷积单元的模型结构和第二卷积单元的模型结。
此外，对于第一分割网络模型的模型结构和第二分割网络模型的模型结构的说明可以参照上述实施例的说明，这里就不在一一赘述。
基于上述基于多视角级联深度学习网络的脑血管分割方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于多视角级联深度学习网络的脑血管分割方法中的步骤。
基于上述基于多视角级联深度学习网络的脑血管分割方法，本申请还提供了一种终端设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种基于多视角级联深度学习网络的脑血管分割方法，其特征在于，所述方法包括：
获取目标部位对应的MRA图像以及MRV图像；
基于所述MRA图像以及MRV图像确定若干切面图像；
基于经过训练的第一分割网络模型，确定各切面图像各自对应的参考分割图,所述参考分割图包括横断面图、冠状面图和矢状面图；
基于所述MRA图像、所述MRV图像、获取到的参考分割图以及经过训练的第二分割网络模型，确定所述MRA图像对应的分割图像，其中，所述分割图像包括所述MRA图像的血管位置信息；
所述第一分割网络模型包括的网络层与所述第二分割网络模型包括的网络层相同，所述第一分割网络模型中的网络层为二维网络层，所述第二分割网络模型中的网络层为三维网络层；
所述第一分割网络模型和第二分割网络模型均采用U-Net++结构，所述U-Net++结构中除位于第一层的U-Net外，其余各层U-Net中的位于第一位的采样模块均为残差模块；
所述残差模块包括第一卷积单元、第二卷积单元以及残差融合单元；所述第一卷积单元的输出项为第二卷积单元的输入项；所述残差融合单元的输入项包括第二卷积单元的输入项和第二卷积单元的输出项，所述第一卷积单元的模型结构和第二卷积单元的模型结构相同，所述第一卷积单元包括依次级联的归一化层、激活层以及卷积层,所述激活层配置有Leaky ReLU函数。
2.根据权利要求1所述基于多视角级联深度学习网络的脑血管分割方法，其特征在于，所述若干切面图像包括横断面图、矢状面图及冠状面图中的一种或者多种。
3.根据权利要求1所述基于多视角级联深度学习网络的脑血管分割方法，其特征在于，所述基于所述MRA图像以及MRV图像确定若干切面图像具体包括：获取所述MRA图像的若干第一切面图像，以及所述MRV图像的若干第二切面图像，其中，若干第一切面图像与若干第二切面图像一一对应；
分别将各第一切面图像与其对应的第二切面图像按照通道拼接，以得到若干切面图像。
4.根据权利要求1所述基于多视角级联深度学习网络的脑血管分割方法，其特征在于，所述基于所述MRA图像、MRV图像以及获取到的参考分割图，确定所述MRA图像对应的分割图像具体包括：
将所述MRA图像、所述MRV图像以及获取到的参考分割图按通道拼接，以得到目标图像；
将目标图像输入经过训练的第二分割网络模型，通过第二分割网络模型，确定所述MRA图像对应的分割图像。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-4任意一项所述的基于多视角级联深度学习网络的脑血管分割方法中的步骤。
6.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-4任意一项所述的基于多视角级联深度学习网络的脑血管分割方法中的步骤。
CN202011429279.7A 2020-12-09 2020-12-09 一种基于多视角级联深度学习网络的脑血管分割方法 Active CN112561868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011429279.7A CN112561868B (zh) 2020-12-09 2020-12-09 一种基于多视角级联深度学习网络的脑血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011429279.7A CN112561868B (zh) 2020-12-09 2020-12-09 一种基于多视角级联深度学习网络的脑血管分割方法

Publications (2)

Publication Number Publication Date
CN112561868A CN112561868A (zh) 2021-03-26
CN112561868B true CN112561868B (zh) 2021-12-07

Family

ID=75061015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011429279.7A Active CN112561868B (zh) 2020-12-09 2020-12-09 一种基于多视角级联深度学习网络的脑血管分割方法

Country Status (1)

Country Link
CN (1) CN112561868B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160208A (zh) * 2021-05-07 2021-07-23 西安智诊智能科技有限公司 一种基于级联混合网络的肝脏病变图像分割方法
CN113989293A (zh) * 2021-10-29 2022-01-28 上海商汤智能科技有限公司 图像分割方法及相关模型的训练方法和装置、设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825509A (zh) * 2016-03-17 2016-08-03 电子科技大学 基于3d卷积神经网络的脑血管分割方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN108198184A (zh) * 2018-01-09 2018-06-22 北京理工大学 造影图像中血管分割的方法和***
CN108257134A (zh) * 2017-12-21 2018-07-06 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和***
CN110619635A (zh) * 2019-07-25 2019-12-27 深圳大学 基于深度学习的肝细胞癌磁共振图像分割***和方法
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110930417A (zh) * 2019-11-26 2020-03-27 腾讯科技（深圳）有限公司 图像分割模型的训练方法和装置、图像分割方法和装置
WO2020093042A1 (en) * 2018-11-02 2020-05-07 Deep Lens, Inc. Neural networks for biomedical image analysis
CN112037186A (zh) * 2020-08-24 2020-12-04 杭州深睿博联科技有限公司 一种基于多视图模型融合的冠脉血管提取方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762637B2 (en) * 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
CN108629784A (zh) * 2018-05-08 2018-10-09 上海嘉奥信息科技发展有限公司 一种基于深度学习的ct图像颅内血管分割方法及***
CN109118495B (zh) * 2018-08-01 2020-06-23 东软医疗***股份有限公司 一种视网膜血管分割方法和装置
CN109345538B (zh) * 2018-08-30 2021-08-10 华南理工大学 一种基于卷积神经网络的视网膜血管分割方法
CN111192245B (zh) * 2019-12-26 2023-04-07 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111667488B (zh) * 2020-04-20 2023-07-28 浙江工业大学 一种基于多角度U-Net的医学图像分割方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825509A (zh) * 2016-03-17 2016-08-03 电子科技大学 基于3d卷积神经网络的脑血管分割方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN108257134A (zh) * 2017-12-21 2018-07-06 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和***
CN108198184A (zh) * 2018-01-09 2018-06-22 北京理工大学 造影图像中血管分割的方法和***
WO2020093042A1 (en) * 2018-11-02 2020-05-07 Deep Lens, Inc. Neural networks for biomedical image analysis
CN110619635A (zh) * 2019-07-25 2019-12-27 深圳大学 基于深度学习的肝细胞癌磁共振图像分割***和方法
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110930417A (zh) * 2019-11-26 2020-03-27 腾讯科技（深圳）有限公司 图像分割模型的训练方法和装置、图像分割方法和装置
CN112037186A (zh) * 2020-08-24 2020-12-04 杭州深睿博联科技有限公司 一种基于多视图模型融合的冠脉血管提取方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Fully Automated Segmentation of Lower Extremity Deep Vein Thrombosis Using Convolutional Neural Network;Chen Huang 等;《BioMed Research International》;20190609;第2019卷;第1-8页 *
UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation;Zongwei Zhou 等;《https://arxiv.org/pdf/1912.05074.pdf》;20200128;第1页摘要、第7页右栏第1段 *
Vessel segmentation in MRI using a variational image subtraction approach;Ayse Nurdan SARAN 等;《Turkish Journal of Electrical Engineering and Computer Sciences》;20140117;第499-516页 *
传统解剖学特征与深度学习相结合的肺叶分割算法;高磊 等;《光学技术》;20200331;第46卷(第2期);第230-235页 *
基于深度学习的医学图像分割方法;游齐靖、万程;《中国临床新医学》;20200229;第13卷(第2期);第115-118页 *

Also Published As

Publication number Publication date
CN112561868A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112561868B (zh) 一种基于多视角级联深度学习网络的脑血管分割方法
US10481233B2 (en) Edema invariant tractography
CN113239755B (zh) 一种基于空谱融合深度学习的医学高光谱图像分类方法
US11734842B2 (en) Methods for optimizing the planning and placement of probes in the brain via multimodal 3D analyses of cerebral anatomy
Scorza et al. Retrospective evaluation and SEEG trajectory analysis for interactive multi-trajectory planner assistant
CN115311193A (zh) 一种基于双重注意力机制的异常脑图像分割方法及***
EP4143742A1 (en) Method and apparatus to classify structures in an image
CN116245951A (zh) 脑组织出血定位分类和出血量化方法、设备、介质和程序
CN111145901A (zh) 深静脉血栓溶栓疗效预测方法及***、存储介质与终端
Yang et al. Opencc–an open Benchmark data set for Corpus Callosum Segmentation and Evaluation
CN115760780A (zh) 一种基于神经网络与连续介质模型的mri影像诊断方法
CN113496493B (zh) 一种结合多模态信息的脑肿瘤图像分割方法
Xu et al. A Multi-scale Attention-based Convolutional Network for Identification of Alzheimer's Disease based on Hippocampal Subfields
Cai et al. Accurate preoperative path planning with coarse-to-refine segmentation for image guided deep brain stimulation
US11786309B2 (en) System and method for facilitating DBS electrode trajectory planning
Wasserthal et al. Direct white matter bundle segmentation using stacked u-nets
EP4143741A1 (en) Method and apparatus to classify structures in an image
Basher et al. One step measurements of hippocampal pure volumes from MRI data using an ensemble model of 3-D convolutional neural network
Dong et al. Primary brain tumors Image segmentation based on 3D-UNET with deep supervision and 3D brain modeling
CN115619810B (zh) 一种***分区分割方法、***及设备
CN115115628B (zh) 一种基于三维精细化残差网络的腔隙性脑梗死识别***
CN117831757B (zh) 基于病理ct多模态先验知识引导的肺癌诊断方法及***
CN115880425B (zh) 一种脑肿瘤的标签化三维多模态脑结构融合重建方法
Villanueva-Naquid et al. Novel risk assessment methodology for keyhole neurosurgery with genetic algorithm for trajectory planning
Bao et al. An effective approach for white matter, grey matter, and cerebrospinal fluid segmentation from 3D brain MRI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant