CN105190692B - 用于网格分割和网格配准的方法和*** - Google Patents
用于网格分割和网格配准的方法和*** Download PDFInfo
- Publication number
- CN105190692B CN105190692B CN201480026352.2A CN201480026352A CN105190692B CN 105190692 B CN105190692 B CN 105190692B CN 201480026352 A CN201480026352 A CN 201480026352A CN 105190692 B CN105190692 B CN 105190692B
- Authority
- CN
- China
- Prior art keywords
- preoperative
- art
- grid
- dissection
- topology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 title claims abstract description 19
- 238000002224 dissection Methods 0.000 claims abstract description 85
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims description 17
- 238000013480 data collection Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 230000000149 penetrating effect Effects 0.000 claims 1
- 239000007787 solid Substances 0.000 claims 1
- 210000004185 liver Anatomy 0.000 description 67
- 238000002604 ultrasonography Methods 0.000 description 17
- 238000010276 construction Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 15
- 238000002405 diagnostic procedure Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
一种用于网格分割和网格配准的方法,涉及:基于解剖网格模板(40)的基础拓扑来从术前解剖图像(50)中提取术前解剖网格(51);基于根据解剖网格模板(40)的所述基础拓扑导出的所述术前解剖网格(51)的术前拓扑来从术中解剖图像(60)中提取术中解剖网格(61);并且基于所述术前解剖网格(51)与所述术中解剖网格(61)之间的映射对应性来配准所述术前解剖图像(50)和所述术中解剖图像(60),所述映射对应性是由根据所述术前解剖网格(51)的所述术前拓扑导出的所述术中解剖网格(61)的术中拓扑来建立的。
Description
技术领域
本发明总体上涉及对术前解剖图像(例如,解剖结构的计算机断层摄影(“CT”)扫描或磁共振(“MR”)成像扫描)的图像分割和对术中解剖图像(例如,解剖结构的超声(“US”)图像帧)的图像分割,以便于术前解剖图像和术中解剖图像的可靠配准。本发明具体地涉及一种用于从术前解剖图像和术中解剖图像提取解剖网格的解剖网格模板,其中,所述解剖网格具有用于配准解剖图像的映射对应性。
背景技术
术前解剖图像与术中解剖图像的融合已经被用于便于图像引导的介入/外科手术/诊断流程。一种公知的情形是高分辨率的术前CT或MR扫描与术中超声图像帧的融合。例如,常规的二维(“2D”)超声***可以被配备有位置传感器(例如,电磁追踪传感器)以采集器官的追踪的2D扫频(sweep)。使用在图像采集期间获得的追踪信息,2D扫频US帧关于参考坐标***被对准,以重建器官的三维(“3D”)体积。超声对于器官的术中成像而言是理想的,但对于图像引导而言具有差的图像分辨率。超声成像与其他高分辨率成像模态(例如,CT或MR)的融合因此已经被用于改进用于介入/外科手术/诊断流程的基于超声的引导。在图像融合期间,靶器官在术中超声与术前模态之间被精确地配准。尽管已经提出了用于两种不同模态的融合的许多图像配准技术,但是术中超声与任何术前模态(例如,CT或MR)的融合已经被证明是具有挑战性的,这是由于缺乏术中超声与术前模态之间的函数相关性。
更具体地,用于肝脏的术前3D CT成像扫描与肝脏的术中US图像帧的融合的基于已知的膈面模型的解决方案涉及从术前3D CT成像扫描获得的肝脏的3D形状分割与从2D超声扫频采集或单个3D超声体积采集的肝脏的提取的3D肝脏膈面模型的配准。在术中超声图像中的膈的表面分割使用基于图像的特征来使群体平均网格模型适应于超声图像。这能够出现挑战,并且作为结果,图像配准准确性显著地依赖于超声分割的准确性。
发明内容
作为基于膈面模型的方法的备选,本发明提供了尤其是用于图像引导的介入/外科手术/诊断流程的术前解剖图像和术中解剖图像的网格分割和网格配准。
本发明的一种形式是一种用于网格分割和网格配准的***。所述***采用术前工作站(例如,CT工作站或MRI工作站)和术中工作站(例如,超声工作站)。在操作中,所述术前工作站基于解剖网格模板的基础拓扑来从术前解剖图像(例如,CT肝脏图像或MR肝脏图像)中提取术前解剖网格。基于根据所述解剖网格模板的所述基础拓扑导出的所提取的术前解剖网格的术前拓扑,所述术中工作站从术中解剖图像(例如,超声肝脏图像)中提取术中解剖网格,并且基于所述术前解剖网格与所述术中解剖网格之间的映射对应性来配准所述术前解剖图像和所述术中解剖图像,所述映射对应性是由根据所述术前解剖网格的所述术前拓扑导出的所述术中解剖网格的术中拓扑建立的。
本发明的第二形式是一种用于网格分割和网格配准的模块化网络。所述***采用术前网格提取器、术中网格提取器和网格空间变换器。在操作中,所述术前网格提取器基于解剖网格模板的基础拓扑来从术前解剖图像(例如,CT肝脏图像或MR肝脏图像)中提取术前解剖网格。所述术中网格提取器基于根据所述解剖网格模板的所述基础拓扑导出的所述术前解剖网格的术前拓扑来从术中解剖图像(例如,超声肝脏图像)中提取术中解剖网格。所述网格空间变换器基于所述术前解剖网格与所述术中解剖网格之间的映射对应性来配准所述术前解剖图像和所述术中解剖图像,所述映射对应性是由根据所述术前解剖网格的所述术前拓扑导出的所述术中解剖网格的术中拓扑建立的。
本发明的第三形式是一种用于网格分割和网格配准的方法。所述方法涉及:基于解剖网格模板的基础拓扑来从术前解剖图像(例如,CT肝脏图像或MR肝脏图像)中提取术前解剖网格;基于根据所述解剖网格模板的所述基础拓扑导出的所述术前解剖网格的术前拓扑来从术中解剖图像(例如,超声肝脏图像)中提取所述解剖区域的术中解剖网格;并且,基于所述术前解剖网格与所述术中解剖网格之间的映射对应性来配准所述术前解剖图像和所述术中解剖图像,所述映射对应性是由根据所述术前解剖网格的所述术前拓扑导出的所述术中解剖网格的术中拓扑建立的。
附图说明
本发明的上述形式及其他形式以及本发明的各种特征和优点将通过结合附图阅读本发明的各个实施例的以下详细描述变得更为显而易见。详细描述和附图仅仅是对本发明的说明而不是限制,本发明的范围由权利要求书及其等价方案来定义。
图1图示了表示根据本发明的用于网格分割和网格配准的方法的示范性实施例的流程图。
图2图示了图1中所图示的流程图的示范性实施方式。
图3图示了表示根据本发明的用于术前分割模型构造的方法的示范性实施例的流程图。
图4图示了图3中所图示的流程图的示范性实施方式。
图5图示了表示根据本发明的用于术中分割模型构造的方法的示范性实施例的流程图。
图6图示了图5中所图示的流程图的示范性实施方式。
图7图示了根据本发明的用于多模式分割和配准的***和模块化网络的示范性实施例。
具体实施方式
本发明利用解剖网格模板的基础拓扑来对术前解剖图像和术中解剖图像的网格分割和网格配准进行初始化。
出于本发明的目的,术语“解剖”、“网格”、“模型”、“提取”、“构造”、“分割”、“配准”和“转换”以及有关的术语应当被广义地解读,如本发明的技术领域中已知的。
同样是出于本发明的目的,无论成像***的成像活动或操作是否发生,如本文所使用的术语“术前”被广义地定义为描述特定成像模态的任何成像活动或结构,所述特定成像模态被指定为支持介入/外科手术/诊断流程的准备或者第二成像模态,并且如本文所使用的术语“术中”被广义地定义为描述特定成像模态的任何成像活动或结构,所述特定成像模态被指定为在介入/外科手术/诊断流程的运行期间的主要成像模态。成像模态的范例包括但不限于,CT、MRI、X射线和超声。
在实践中,本发明适用于任何解剖区域(例如,头部、胸部、骨盆等)和解剖结构(例如,骨骼、器官、循环***、消化***等)、任何类型的术前解剖图像和任何类型的术中解剖图像。同样在实践中,所述术前解剖图像和所述术中解剖图像可以是介入/外科手术/诊断流程的相同对象的或不同对象的解剖区域/结构的,并且所述术前解剖图像和所述术中解剖图像可以由相同的成像模态或不同的图像模态(例如,术前CT-术中US、术前CT-术中CT、术前MRI-术中US、术前MRI-术中MRI以及术前US-术中US)来生成。
为了便于对本发明的理解,将在本文中提供本发明的示范性实施例,所述示范性实施例针对对用于术前CT/MR肝脏图像和术中超声肝脏图像的网格分割和网格配准的初始化的肝脏网格模板的基础拓扑的使用。术语“CT/MR”在本文中被用于指代CT成像或MR成像的替代使用。
参考图1,流程图10表示用于本发明的网格分割和网格配准的方法。流程图10的阶段S11涵盖作为从对象的术前解剖图像中提取术前解剖网格的基础的解剖网格模板的基础拓扑。更具体地,解剖网格模板具有包括固定数量的节点和面的已知拓扑,所述固定数量的节点和面被用于与术前解剖图像中所图示的解剖特征结合,以利用与所述解剖网格模板相同的拓扑从术前解剖图像中提取术前解剖网格。
在实践中,在阶段S11期间,(一种或多种)任何技术可以被实施用于基于解剖网格模板的基础拓扑来从术前解剖图像中提取术前解剖网格。在如图2所示的阶段S11的一个实施例中,CT/MR分割模型11半自动地将已知基础拓扑的肝脏网格模板40拟合到CT/MR肝脏图像50的图像特征(例如,表面边界),以从CT/MR肝脏图像50中提取CT/MR肝脏网格51。
流程图10的阶段S12涵盖作为从与在阶段S11期间相同的对象或与阶段S11的不同的对象的术中解剖图像中提取术中解剖网格的基础的在阶段S11期间提取的术前解剖网格的术前拓扑。更具体地,在阶段S11期间提取的术前解剖网格将具有与解剖网格模板相同的已知拓扑,并且术前解剖网格的已知拓扑被用于与术中解剖图像的解剖特征结合,以利用与解剖网格模板和术前解剖网格相同的拓扑提取术中解剖网格。
在实践中,在阶段S12期间,(一种或多种)任何技术可以被实施用于基于术前解剖网格的术前拓扑,来从术中解剖图像提取术中解剖网格。在如图2所示的阶段S12的一个实施例中,超声分割模型12自适应地将已知拓扑的CT/MR肝脏网格51空间地变换到超声肝脏图像60。自适应空间变换可以具有有限的自由度(例如,刚性的、仿射的或弹性可变形变换)。在空间变换之后,超声分割模型12半自动地将CT/MR肝脏网格51拟合到超声肝脏图像60的图像特征(例如表面边界),以从超声肝脏图像60提取超声肝脏网格61。
流程图10的阶段S13涵盖对术前解剖图像和术中解剖图像的配准。更具体地,根据解剖网格模板的已知基础拓扑导出的术前解剖网格和术中解剖网格的相同拓扑建立了术前解剖网格与术中解剖网格之间的映射对应性,这便于术前解剖图像到术中解剖图像的空间变换,反之亦然。因此,出于介入/外科手术/诊断流程的图像引导目的,术前解剖图像和术中解剖图像被配准。
在实践中,(一种或多种)任何技术可以被实施用于术前解剖图像和术中解剖图像的配准。在如图2所示的阶段S13的一个实施例中,CT/MR肝脏网格51和超声肝脏网格61具有相同的节点和面,这便于CT/MR肝脏网格51和超声肝脏网格61的一对一的配准13(例如,刚性的、仿射的或弹性可变形变换)。在流程图10终止后,术前解剖图像(例如,图2的CT/MR图像50)和术中解剖图像(例如,图2的超声图像60)的得到的配准可以被用于图像引导的介入/外科手术/诊断流程。
参考图2,流程图10的示范性实施例采用术前分割模型(例如,CT/MR分割模型11)和术中分割模型(例如,US分割模型12)。本文现在将对图3-6进行描述,以描述用于术前分割模型和术中分割模型的构造方法。
参考图3,流程图20表示用于本发明的术前分割模型的构造方法。
流程图20的阶段S21涵盖在j数量的对象的一般群体上的解剖网格模板的构造,其中,j≥2,由此,解剖网格模板具有固定数量的顶点和面的已知基础拓扑。在实践中,(一种或多种)任何技术可以被实施用于对解剖网格模板的构造。在阶段S21的一个实施例中,如图4所示的肝脏网格模板40是根据肝脏的j数量的CT/MR分割的肝脏网格的一般对象群体的平均来构造的。肝脏网格模板40具有固定数量的顶点和面的已知基础拓扑,并被用于如图1所示的流程图10的网格分割的初始化。
流程图20的阶段S22涵盖从在j对象的一般群体上的k数量的术前解剖图像的数据集提取术前训练网格数据集,其中k≥2。在实践中,(一种或多种)任何技术可以被实施用于术前训练网格数据集的提取。在如图4所示的阶段S22的一个实施例中,通过半自动地将肝脏网格模板40拟合22到CT/MR肝脏图像数据集52的图像特征(例如,表面边界),来提取CT/MR训练网格数据集53。
在实践中,用于解剖网格模板的构造的所分割的解剖网格(在图4中未示出)和用于术前分割模型的构造的术前解剖图像数据集(例如,图4的CT/MR肝脏图像数据集52)可以根据相同的对象中的一个或多个来生成,或根据两个(2)不同的对象集合来生成。
流程图20的阶段S23涵盖根据术前训练网格数据集和术前解剖图像数据集构造术前分割模型。在实践中,(一种或多种)任何技术可以被实施用于术前分割模型的构造。在如图4所示的阶段S23的一个实施例中,根据被图示在CT/MR肝脏图像数据集52内的图像特征并且根据CT/MR训练网格数据集53的已知顶点和面,来构造CT/MR分割模型23。在流程图20终止后,CT/MR分割模型23可以充当如图2所示的CT/MR分割模型11。
参考图5,流程图30表示用于本发明的术中分割模型的构造方法。流程图30的阶段S31涵盖从在j对象的一般群体上的i数量的术前解剖图像的数据集提取术前基线网格数据集,其中,i≥2。在实践中,(一种或多种)任何技术可以被实施用于术前基线网格数据集的提取。在如图6所示的阶段S31的一个实施例中,CT/MR分割模型23(图4)半自动地将肝脏网格模板40拟合到CT/MR肝脏图像数据集54的图像特征(例如,表面边界),以提取CT/MR基线网格数据集55。
在实践中,用于对术前分割模型的构造的术前解剖图像数据集(例如,图4的CT/MR肝脏图像数据集52)和用于对术中分割模型的构造的术前解剖图像数据集(例如,图6的CT/MR肝脏图像数据集54)可以根据相同的对象中的一个或多个来生成,或者根据两个(2)不同的对象集合来生成。
流程图30的阶段S32涵盖从在j对象的一般群体上的l数量的术中解剖图像的数据集提取术中训练网格数据集,l≥2。在实践中,(一种或多种)任何技术可以被实施用于术中训练网格数据集的提取。在如图4所示的阶段S32的一个实施例中,术前基线网格数据集55通过任何已知的技术(例如,人工配准)被空间变换到超声肝脏图像数据集62,并且超声训练网格数据集63通过半自动地将术前基线网格数据集55拟合32到超声肝脏图像数据集62的图像特征(例如,表面边界)来提取。
在实践中,术前解剖图像数据集(例如,CT/MR肝脏图像数据集54)和术中解剖图像数据集(例如,超声肝脏图像数据集62)可以根据相同的对象中的一个或多个来生成,或者根据两个不同的对象集合来生成。
流程图30的阶段S33涵盖根据术中训练网格数据集构造术中分割模型。在实践中,(一种或多种)任何技术可以被实施用于术中分割模型的构造。在如图6所示的阶段S33的一个实施例中,根据被图示在超声肝脏图像数据集62内的图像特征(例如,表面边界)并且根据超声训练网格数据集63的已知顶点和面,来构造超声分割模型33。在流程图30终止后,超声分割模型33可以充当如图2所示的超声分割模型12。
参考图7,示出了用于实施流程图10(图1)、流程图20(图3)和流程图30(图5)的术前网格提取器91、术中网格提取器92、网格空间变换器93、术前模型构造器94和术中模型构造器95的网络。
首先,术前网格提取器91采用(一种或多种)技术来提取术前解剖网格,如由流程图10的阶段S11(图1)所涵盖的,以及利用对CT/MR肝脏网格51的提取(图2)示范性示出的。
第二,术中网格提取器92采用(一种或多种)技术来提取术中解剖网格,如由流程图10的阶段S12(图1)所涵盖的,以及利用对超声肝脏网格61的提取(图2)示范性示出的。
第三,网格空间变换器93采用(一种或多种)技术来将术前解剖网格空间变换到术中解剖网格,如由流程图10的阶段S13(图1)所涵盖的,以及利用CT/R肝脏网格51到超声肝脏网格61的空间变换(图2)示范性示出的。
第四,在对术前网格提取器91和术中网格提取器92的支持中,术前模型构造器94采用(一种或多种)技术来构造术前分割模型,如由流程图20(图3)所涵盖的,以及利用对CT/MR分割模型23的构造(图4)示范性示出的。
最后,在对术前网格提取器91和术中网格提取器92的支持中,术中模型构造器95采用(一种或多种)技术来构造术中分割模型,如由流程图30(图5)所涵盖的,以及利用对超声分割模型33的构造(图6)示范性示出的。
图7还图示了采用术前工作站90a和术中工作站90b的***。在实践中,术前工作站90a和术中工作站90b可以是物理上独立的工作站或物理上被集成在单个工作站内的逻辑子站。
术前工作站90a在结构上被配置有硬件/电路(例如,(一个或多个)处理器、存储器等),以运行被编程并安装为在术前工作站90a内的软件/固件的术前网格提取器91。
术中工作站90b在结构上被配置有硬件/电路(例如,(一个或多个)处理器、存储器等),以运行被编程并安装为在术中工作站90b内的软件/固件的术中网格提取器92和网格空间变换器93。
在实践中,术前模型构造器94和术中模型构造器95可以被编程并安装为在术前工作站90a内或在训练工作站(未示出)内的软件/固件,所述训练工作站是物理上独立的工作站或者是在物理上被集成在术前工作站90a内的逻辑子站。
在示范性***操作中,在图像引导的介入/外科手术/诊断流程的术前相100之前的训练相(未示出)期间,CT/MR分割模型11(图4)和超声分割模型12(图6)分别由术前模型构造器94和术中模型构造器95来构造。在实践中,CT/MR分割模型11和超声分割模型12的构造针对许多的图像引导的介入/外科手术/诊断流程可以出现一次。
在如图7所示的图像引导的介入/外科手术/诊断流程的术前相100期间,经由CT/MRI扫描器80来扫描对象70的肝脏71,由此,术前网格提取器91基于具有带固定数量的顶点和面的已知基础拓扑的肝脏网格模板40,来从CT/MR肝脏图像50提取CT/MR肝脏网格51。
在如图7所示的图像引导的介入/外科手术/诊断流程的术中相101期间,经由超声探头81来对对象70的肝脏71进行成像,由此,术中网格提取器92基于具有与肝脏网格模板40的基础拓扑相同的带固定数量的顶点和面的已知拓扑的CT/MR肝脏网格51,从超声肝脏图像60提取超声肝脏网格61。超声肝脏网格61具有与肝脏网格模板40的基础拓扑相同的带固定数量的顶点和面的已知拓扑,由此,出于配准CT/MR肝脏图像50与超声肝脏图像60的目的,网格空间变换器93将CT/MR肝脏网格51空间变换到超声肝脏网格61。
参考图1-7,本领域普通技术人员将意识到本发明的许多益处,包括但不限于,网格分割和网格配准,其通过节省流程的术前相中的宝贵时间,并且减小针对对准术前和术中解剖图像的人为因素和主观性,改进了用于图像引导的介入/外科手术/诊断流程的整体工作流程。
尽管已经图示并描述了本发明的各个实施例,但是本领域技术人员应当理解,如本文中所描述的本发明的实施例是说明性的,并且可以做出各种改变和修改,并且可以将本发明的元件替换为等价物,而不脱离本发明的真实范围。此外,可以做出许多修改来调整本发明的教导,而不脱离其中心范围。因此,本发明旨在不限于被公开为预期用于执行本发明的最佳模式的具体实施例,并且本发明包括落入权利要求书的范围内的所有实施例。
Claims (11)
1.一种用于网格分割和网格配准的***,所述***包括:
术前工作站(90a),其能够被配置为基于解剖网格模板(40)的基础拓扑来从术前解剖图像(50)中提取术前解剖网格(51),所述解剖网格模板(40)的所述基础拓扑具有固定数量的顶点和面,所述术前解剖网格(51)具有与所述解剖网格模板(40)的所述基础拓扑相同的固定数量的顶点和面的已知拓扑;以及
术中工作站(90b),
其中,所述术中工作站(90b)能够被配置为基于根据所述解剖网格模板(40)的所述基础拓扑导出的所述术前解剖网格(51)的术前拓扑来从术中解剖图像(60)中提取术中解剖网格(61),所述术中解剖网格(61)具有与所述解剖网格模板(40)的所述基础拓扑相同的固定数量的顶点和面的已知拓扑,
所述术前解剖图像(50)和所述术中解剖图像(60)是根据不同的图像模态而生成的,
术中工作站(90b)包括术中分割模型(12)以基于所述术前解剖网格(51)的所述术前拓扑来从所述术中解剖图像(60)中提取所述术中解剖网格(61),其中,根据基于术前基线网格数据集(55)的所述术前拓扑从术中解剖图像数据集(62)对术中训练网格数据集(63)的提取来构造所述术中分割模型(12),并且
其中,所述术中工作站(90b)还能够被配置为基于所述术前解剖网格(51)与所述术中解剖网格(61)之间的映射对应性来配准所述术前解剖图像(50)和所述术中解剖图像(60),所述映射对应性是由根据所述术前解剖网格(51)的所述术前拓扑导出的所述术中解剖网格(61)的术中拓扑来建立的。
2.根据权利要求1所述的***,还包括:
训练工作站,其能够被配置为根据基于所述解剖网格模板(40)的所述基础拓扑从术前解剖图像数据集(52)对术前训练网格数据集(53)的提取来构造术前分割模型(11),
其中,所述术前工作站(90a)包括所述术前分割模型(11),以基于所述解剖网格模板(40)的所述基础拓扑来从所述术前解剖图像(50)中提取所述术前解剖网格(51)。
3.根据权利要求1所述的***,还包括:
训练工作站,其能够被配置为构造所述术中分割模型(12)。
4.根据权利要求3所述的***,其中,所述训练工作站还能够基于所述解剖网格模板(40)的所述基础拓扑来从术前解剖图像数据集(54)中提取所述术前基线网格数据集(55)。
5.根据权利要求1所述的***,其中,由所述术中工作站(90b)对所述术前解剖图像(50)和所述术中解剖图像(60)的配准包括所述术前解剖网格(51)到所述术中解剖网格(61)的空间变换。
6.一种用于网格分割和网格配准的模块化网络装置,所述模块化网络装置包括:
术前网格提取器(91),其能够被配置为基于解剖网格模板(40)的基础拓扑来从术前解剖图像(50)中提取术前解剖网格(51),所述解剖网格模板(40)的所述基础拓扑具有固定数量的顶点和面,所述术前解剖网格(51)具有与所述解剖网格模板(40)的所述基础拓扑相同的固定数量的顶点和面的已知拓扑;
术中网格提取器(92),其能够被配置为基于根据所述解剖网格模板(40)的所述基础拓扑导出的所述术前解剖网格(51)的术前拓扑来从术中解剖图像(60)中提取术中解剖网格(61),所述术中解剖网格(61)具有与所述解剖网格模板(40)的所述基础拓扑相同的固定数量的顶点和面的已知拓扑,
所述术前解剖图像(50)和所述术中解剖图像(60)是根据不同的图像模态而生成的,
术中网格提取器(92)包括术中分割模型(12)以基于所述术前解剖网格(51)的所述术前拓扑来从所述术中解剖图像(60)中提取所述术中解剖网格(61),其中,根据基于术前基线网格数据集(55)的所述术前拓扑从术中解剖图像数据集(62)对术中训练网格数据集(63)的提取来构造所述术中分割模型(12);以及
网格空间变换器(93),其能够被配置为基于所述术前解剖网格(51)与所述术中解剖网格(61)之间的映射对应性来配准所述术前解剖图像(50)和所述术中解剖图像(60),所述映射对应性是由根据所述术前解剖网格(51)的所述术前拓扑导出的所述术中解剖网格(61)的术中拓扑来建立的。
7.根据权利要求6所述的模块化网络装置,还包括:
术前模型构造器(94),其能够被配置为根据基于所述解剖网格模板(40)的所述基础拓扑从术前解剖图像数据集(52)对术前训练网格数据集(53)的提取来构造术前分割模型(11),
其中,所述术前网格提取器(91)包括所述术前分割模型(11),以基于所述解剖网格模板(40)的所述基础拓扑来从所述术前解剖图像(50)中提取所述术前解剖网格(51)。
8.根据权利要求6所述的模块化网络装置,还包括:
术中模型构造器(95),其能够被配置为构造所述术中分割模型(12)。
9.根据权利要求8所述的模块化网络装置,其中,所述术中模型构造器(95)还能够基于所述解剖网格模板(40)的所述基础拓扑来从术前解剖图像数据集(54)中提取所述术前基线网格数据集(55)。
10.根据权利要求6所述的模块化网络装置,
其中,所述术前网格提取器(91)能够被安装在术前工作站(90a)上;并且
其中,所述术中网格提取器(92)和所述网格空间变换器(93)能够被安装在术中工作站(90b)上。
11.根据权利要求6所述的模块化网络装置,其中,由所述网格空间变换器(93)对所述术前解剖图像(50)和所述术中解剖图像(60)的配准包括所述术前解剖网格(51)到所述术中解剖网格(61)的空间变换。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361821279P | 2013-05-09 | 2013-05-09 | |
US61/821,279 | 2013-05-09 | ||
PCT/IB2014/061288 WO2014181278A1 (en) | 2013-05-09 | 2014-05-08 | Method and system for mesh segmentation and mesh registration |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105190692A CN105190692A (zh) | 2015-12-23 |
CN105190692B true CN105190692B (zh) | 2019-04-16 |
Family
ID=50884435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480026352.2A Active CN105190692B (zh) | 2013-05-09 | 2014-05-08 | 用于网格分割和网格配准的方法和*** |
Country Status (5)
Country | Link |
---|---|
US (1) | US9761005B2 (zh) |
EP (1) | EP2994881A1 (zh) |
JP (1) | JP6211682B2 (zh) |
CN (1) | CN105190692B (zh) |
WO (1) | WO2014181278A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160038252A1 (en) | 2011-02-17 | 2016-02-11 | The Trustees Of Dartmouth College | Systems And Methods for Guiding Tissue Resection |
US10667870B2 (en) * | 2011-02-17 | 2020-06-02 | The Trustees Of Dartmouth College | Systems and methods for guiding tissue resection |
EP2994881A1 (en) | 2013-05-09 | 2016-03-16 | Koninklijke Philips N.V. | Method and system for mesh segmentation and mesh registration |
WO2016110463A1 (en) * | 2015-01-06 | 2016-07-14 | Koninklijke Philips N.V. | Ultrasound imaging apparatus and method for segmenting anatomical objects |
FR3037785B1 (fr) * | 2015-06-26 | 2017-08-18 | Therenva | Procede et systeme d'aide au guidage d'un outil endovasculaire dans des structures vasculaires |
CN107835661B (zh) * | 2015-08-05 | 2021-03-23 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像处理***和方法及其装置、超声诊断装置 |
JP6392190B2 (ja) * | 2015-08-31 | 2018-09-19 | 富士フイルム株式会社 | 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム |
US9934570B2 (en) * | 2015-10-09 | 2018-04-03 | Insightec, Ltd. | Systems and methods for registering images obtained using various imaging modalities and verifying image registration |
CN106022269B (zh) * | 2016-05-23 | 2019-04-16 | 中国科学院长春光学精密机械与物理研究所 | 一种人脸配准方法及装置 |
US11288846B2 (en) | 2016-09-29 | 2022-03-29 | Koninklijke Philips N.V. | CBCT to MR registration via occluded shape reconstruction and robust point matching |
US10402969B2 (en) * | 2017-03-10 | 2019-09-03 | General Electric Company | Methods and systems for model driven multi-modal medical imaging |
EP3452955A4 (en) * | 2017-06-06 | 2019-07-03 | Midea Group Co., Ltd. | HARD DETECTION METHOD WITH HAND DETECTION USING DEEP NEURAL NETWORK |
CN109063712B (zh) * | 2018-06-22 | 2021-10-15 | 哈尔滨工业大学 | 一种基于超声图像的多模型肝脏弥漫性疾病智能诊断方法 |
US20200051257A1 (en) * | 2018-08-08 | 2020-02-13 | Siemens Medical Solutions Usa, Inc. | Scan alignment based on patient-based surface in medical diagnostic ultrasound imaging |
CN112822981A (zh) * | 2018-10-09 | 2021-05-18 | 皇家飞利浦有限公司 | 自动eeg传感器配准 |
WO2020129034A1 (en) * | 2018-12-19 | 2020-06-25 | INDIAN INSTITUTE OF TECHNOLOGY MADRAS (IIT Madras) | Robotic surgery systems and surgical guidance methods thereof |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1862596A (zh) * | 2005-04-19 | 2006-11-15 | 西门子共同研究公司 | 针对心脏展开的所融合的pet-ct可视化的***和方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1914683A3 (en) * | 2006-06-23 | 2009-12-02 | Julian Mattes | Quantification and visualization of the motion and deformation of one or several objects inside a living entity |
EP2081494B1 (en) * | 2006-11-16 | 2018-07-11 | Vanderbilt University | System and method of compensating for organ deformation |
US20090324041A1 (en) * | 2008-01-23 | 2009-12-31 | Eigen, Llc | Apparatus for real-time 3d biopsy |
US9165385B2 (en) * | 2009-06-18 | 2015-10-20 | Koninklijke Philips N.V. | Imaging procedure planning |
GB0913930D0 (en) * | 2009-08-07 | 2009-09-16 | Ucl Business Plc | Apparatus and method for registering two medical images |
US8942455B2 (en) * | 2011-08-30 | 2015-01-27 | Siemens Aktiengesellschaft | 2D/3D image registration method |
US10448901B2 (en) * | 2011-10-12 | 2019-10-22 | The Johns Hopkins University | Methods for evaluating regional cardiac function and dyssynchrony from a dynamic imaging modality using endocardial motion |
EP2994881A1 (en) | 2013-05-09 | 2016-03-16 | Koninklijke Philips N.V. | Method and system for mesh segmentation and mesh registration |
-
2014
- 2014-05-08 EP EP14727932.7A patent/EP2994881A1/en not_active Ceased
- 2014-05-08 JP JP2016512465A patent/JP6211682B2/ja active Active
- 2014-05-08 US US14/785,438 patent/US9761005B2/en active Active
- 2014-05-08 WO PCT/IB2014/061288 patent/WO2014181278A1/en active Application Filing
- 2014-05-08 CN CN201480026352.2A patent/CN105190692B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1862596A (zh) * | 2005-04-19 | 2006-11-15 | 西门子共同研究公司 | 针对心脏展开的所融合的pet-ct可视化的***和方法 |
Non-Patent Citations (3)
Title |
---|
A.D. Castellano-Smith 等.Constructing Patient Specific Models for Correcting Intraoperative Brain Deformation.《Medical Image Computing and Computer-Assisted Intervention》.2001,第1091-1098页. |
Model Updated Image Guided Liver Surgery Preliminary Results Using Surface Characterization;Prashanth Dumpuri 等;《Progress in Biophysics and Molecular Biology》;20101231;全文 |
MR Prior Based Automatic Segmentation of the Prostate in TRUS Images for MR/TRUS Data Fusion;Se bastien Martin 等;《IEEE International Conference on Biomedical Imaging》;20101231;摘要、第1,2,2.1,2.2,3节、图1-2 |
Also Published As
Publication number | Publication date |
---|---|
EP2994881A1 (en) | 2016-03-16 |
US20160078633A1 (en) | 2016-03-17 |
US9761005B2 (en) | 2017-09-12 |
JP6211682B2 (ja) | 2017-10-11 |
JP2016517759A (ja) | 2016-06-20 |
CN105190692A (zh) | 2015-12-23 |
WO2014181278A1 (en) | 2014-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105190692B (zh) | 用于网格分割和网格配准的方法和*** | |
CA2645385C (en) | Anatomical modeling from a 3-d image and surface mapping | |
CN107714082A (zh) | 一种基于光学定位的超声探头标定装置及方法 | |
CN103229210B (zh) | 图像配准装置 | |
WO2013157236A1 (ja) | 立体モデルデータ生成装置および方法並びにプログラム | |
CN106605257A (zh) | 医学成像中具有空间和时间约束的界标检测 | |
JP2016536035A (ja) | 変形可能レジストレーションのためのシステム及びモジュラーネットワーク | |
KR20140096919A (ko) | 의료 영상 정합 방법 및 장치 | |
KR20150045885A (ko) | 초음파 및 ct 영상의 정합에 관한 시스템 및 작동 방법 | |
CN107204045A (zh) | 基于ct图像的虚拟内窥镜*** | |
JP6623166B2 (ja) | 超音波ガイド処置に対するゾーン視覚化 | |
JP7019594B2 (ja) | 撮像システムおよび方法 | |
CN105339804B (zh) | 根据MR Dixon数据的皮质骨分割 | |
CN112089438B (zh) | 基于二维超声图像的四维重建方法及装置 | |
Lang et al. | Towards model-enhanced real-time ultrasound guided cardiac interventions | |
CN100588370C (zh) | 小儿漏斗胸三维建模方法 | |
CN108670302A (zh) | 一种基于2.5维超声宽景成像的脊柱三维结构再现方法 | |
Khmelinskii et al. | Atlas-based organ & bone approximation for ex-vivo μMRI mouse data: a pilot study | |
CN103767733B (zh) | 自由臂三维超声弹性成像中rf体数据的估计方法 | |
Dagon et al. | Real-time update of 3D deformable models for computer aided liver surgery | |
JP5987640B2 (ja) | 超音波を用いた被検体の3次元復元方法および装置 | |
Alfano et al. | Prone to supine surface based registration workflow for breast tumor localization in surgical planning | |
Gibbons | MRI-Derived Cardiac Adipose Tissue Modeling for Use in Ultrasound Tissue Labeling and Classification | |
Viola et al. | High-Quality 3D Visualization of In-Situ Ultrasonography. | |
Manikandan et al. | Lobar fissure extraction in isotropic CT lung images—an application to cancer identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |