CN101479763A - 基于可变分辨率模型的图像分割 - Google Patents
基于可变分辨率模型的图像分割 Download PDFInfo
- Publication number
- CN101479763A CN101479763A CNA2007800239595A CN200780023959A CN101479763A CN 101479763 A CN101479763 A CN 101479763A CN A2007800239595 A CNA2007800239595 A CN A2007800239595A CN 200780023959 A CN200780023959 A CN 200780023959A CN 101479763 A CN101479763 A CN 101479763A
- Authority
- CN
- China
- Prior art keywords
- coarse grid
- image data
- refined net
- force field
- external force
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000010276 construction Methods 0.000 claims abstract description 21
- 238000013480 data collection Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 abstract description 21
- 238000009499 grossing Methods 0.000 abstract 1
- 230000011218 segmentation Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000009206 nuclear medicine Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 108010028984 3-isopropylmalate dehydratase Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及一种利用粗网格和细网格基于可变形模型分割图像数据集的***(100)，所述可变形模型用于对所述图像数据集中的对象建模，所述粗网格用于与所述图像数据集适应，所述细网格用于从所述图像数据集中提取详细信息，所述***包括：初始化单元(110)，其用于在图像数据集空间中初始化所述粗网格；构建单元(120)，其用于基于初始化后的粗网格在所述图像数据集空间中构建所述细网格；计算单元(130)，其用于计算关于所述粗网格的内力场和关于所述粗网格的外力场，其中基于构建的细网格和强度标量场计算所述外力；和适应单元(140)，其用于使用计算的内力场和计算的外力场，使所述粗网格与所述图像数据集中的对象适应，从而分割所述图像数据集。由于只有粗网格与图像数据集适应，保持被建模对象表面的光滑性不需使大的邻近区域上的表面变得光滑，因此粗网格的适应比细网格的适应快得多。有利地，本技术可以轻松地与现有基于模型的图像分割构架结合在一起。
Description
发明领域
本发明涉及图像分割领域，更明确地涉及基于可变形模型的图像分割。
背景技术
H.Delingette在“International Journal on Computer Vision(国际计算机视觉)”卷32，no.2，111-146页，1999上发表的题为“General objectreconstruction based on simplex meshes(基于单纯形网格的普通物体重建)”的文章(以下简称Ref.1)论述了基于可变形模型的图像分割的具体实现方案，该论文提出了使单纯形网格适应三维(3D)对象的方法。单纯形网格具有简单的拓扑，其中单纯形网格的每个顶点与该单纯形网格的三个邻近顶点相连。单纯形网格的适应由外力驱使。每个单纯形网格的顶点被3D图像数据中朝向各自图像特征的外力所吸引。图像特征以图像强度场的局部梯度为基础来计算。单纯形网格中约束由外力驱动的变形的弹性性能被内力建模，例如，通过将局部网格曲率最小化的内力。单纯形网格在每个顶点的内外力互相抵消之前是迭代自适应的。Ref.1中还论述了在高度弯曲部分增强网格分辨率的改进过程。一个高分辨能力的网格包括更多顶点，因此可以利用图像数据中所包含的更多信息。然而，当使用细网格时，保持模型表面的光滑性在计算上要求更加苛刻。
发明内容
当有效控制由网格代表的计算模型表面光滑度而没有实质增加计算成本的同时，利用在上述图像数据中所包含的高分辨率信息分割图像数据是有利的。计算成本包括处理器带宽和计算时间。然而，如果使用非常精细的表面采样，即高分辨率网格，保持模型表面的光滑性会显著增加计算成本，这是因为模型表面需要在很大的邻近区域上变得平滑。
为更好地处理此顾虑，在本发明的一个方面，一种利用粗网格和细网格基于可变形模型分割图像数据集的***，所述可变形模型用于对图像数据集中的对象建模，所述粗网格用于与所述图像数据集适应，所述细网格用于从图像数据集中提取详细信息，所述***包括：
—初始化单元，其用于在图像数据集空间中初始化粗网格；
—构建单元，其用于基于初始化后的粗网格在图像数据集空间中构建细网格；
—计算单元，其用于计算关于粗网格的内力场和关于粗网格的外力场，其中基于构建的细网格和强度标量场计算外力；和
—适应单元，其用于使用计算的内力场和计算的外力场，使粗网格与图像数据集中的对象适应，从而分割图像数据集。
在图像数据集空间中构建细网格基于初始化后的粗网格，并且例如，可借助细分法利用粗网格中所包含的对照点来完成。细网格被计算单元用来在图像数据集中找出特征，并基于找到的特征计算关于粗网格的外力场。因此，即使当图形特征稀疏时，细网格的使用依然可以实现不漏掉上述特征。然后，通过适应单元使用计算单元所计算的内外力场使粗网格与图像数据集适应。由于只有粗网格与图像数据集适应，保持建模对象表面的光滑性不需要使该表面在大的邻近区域上光滑。因此，使粗网格与图像数据集中的一个对象适应的计算成本与使细网格与图像数据集中的一个对象适应的计算成本相比显著降低。该适应的计算成本的减少远远超过通过借助例如细分法构建细网格所增加的计算成本，所述细分法用于细分所述粗网格。有利地，本技术可以轻易地与现有的以模型为基础的图像分割构架结合在一起。
在该***的实施例中，细网格以对粗网格的细分法为基础来构建。有很多可用的细分法，例如Doo-Sabin法，Catmull-Clark法，以及Loop法，它们可以被此***有利地使用。大多数细分法都很快，因此进一步减少了分割任务的计算成本。
在该***的实施例中，该***还包括一个用于确定细网格分辨率的确定单元。该确定单元可以确定细网格的最佳分辨率。这个分辨率可以是图像数据分辨率和/或预期特征尺寸的函数。在该***的另一实施例中，一个附加的考虑因素用来考虑计算成本：分辨率越高，计算成本越高。或者，分辨率可以基于用户输入数据例如用户定义的细分级别来确定。
在本发明的另一方面，图像采集装置包括一种利用粗网格和细网格基于可变形模型分割图像数据集的***，所述可变形模型用于对图像数据集中的对象建模，所述粗网格用于与所述图像数据集适应，所述细网格用于从图像数据集中提取详细信息，所述***包括：
—初始化单元，其用于在图像数据集空间中初始化粗网格；
—构建单元，其用于基于初始化后的粗网格在图像数据集空间中构建细网格；
—计算单元，其用于计算关于粗网格的内力场和关于粗网格的外力场，其中基于构建的细网格和强度标量场计算外力；和
—适应单元，其用于使用计算的内力场和计算的外力场，使粗网格与图像数据集中的对象适应，从而分割图像数据集。
在本发明的另一方面，工作站包括一种利用粗网格和细网格基于可变形模型分割图像数据集的***，所述可变形模型用于对图像数据集中的对象建模，所述粗网格用于与所述图像数据集适应，所述细网格用于从图像数据集中提取详细信息，所述***包括：
—初始化单元，其用于在图像数据集空间中初始化粗网格；
—构建单元，其用于基于初始化后的粗网格在图像数据集空间中构建细网格；
—计算单元，其用于计算关于粗网格的内力场和关于粗网格的外力场，其中基于构建的细网格和强度标量场计算外力；
—适应单元，其用于使用计算的内力场和计算的外力场，使粗网格与图像数据集中的对象适应，从而分割图像数据集。
在本发明的另一方面，一种使用粗网格和细网格基于可变形模型分割图像数据集的方法，所述可变形模型用于对图像数据集中的对象建模，所述粗网格用于与所述图像数据集适应，所述细网格用于从图像数据集中提取详细信息，所述方法包括：
—初始化步骤，其用于在图像数据集空间中初始化粗网格；
—构建步骤，其用于基于初始化后的粗网格在图像数据集空间中构建细网格；
—计算步骤，其用于计算关于粗网格的内力场和关于粗网格的外力场，其中基于构建的细网格和强度标量场计算外力；和
—适应步骤，其用于使用计算的内力场和计算的外力场，使粗网格与图像数据集中的对象适应，由此分割图像数据集。
在本发明的另一方面，一种由计算机装置加载的计算机程序产品，其包括利用粗网格和细网格基于可变形模型分割图像数据集的指令，所述可变形模型用于对图像数据集中的对象建模，所述粗网格用于与所述图像数据集适应，所述细网格用于从图像数据集中提取详细信息。该计算机装置包括处理单元和存储器，所述计算机程序产品在被加载之后，为上述处理单元提供执行以下任务的能力：
—在图像数据集空间中初始化粗网格；
—基于初始化后的粗网格在图像数据集空间中构建细网格；
—计算关于粗网格的内力场和关于粗网格的外力场，其中基于构建的细网格和强度标量场计算外力；并且
—使用计算的内力场和计算的外力场，使粗网格与图像数据集中的对象适应，从而分割图像数据集。
对图像采集装置、工作站、方法，和(或)计算机程序产品的修改和改变，其与如上所述的可由本领域技术人员以本文的描述为基础来实现的***的修改及其改变相一致。
本领域的技术人员应了解把此方法应用到由多种多样的采集模态产生的三维(3D)和二维(2D)图像数据集中，例如(但不限于)：传统的X射线、计算机断层扫描(CT)、核磁共振成像(MRI)、超声(US)、正电子放射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)以及核医学(NM)。
附图说明
关于下文描述的实现方式和实施例并参照附图，本发明的这些以及其他方面变得显而易见并得以阐明，其中：
图1用示意性地示出了该***的典型实施例的框图；
图2示出了该方法典型实现方式的流程图；
图3示出了典型的单纯形网格；
图4例示了重到单纯形网格上的三角形网格；
图5例示了该双重网格的第一级细分；
图6例示了该双重网格的第二级细分；
图7示出了含有噪声的3D US图像中心脏分割的典型结果；
图8示意性地示出了图像采集装置的典型实施例；并且
图9示意性地示出了工作站的典型实施例。
所有附图都使用相同的参考数字表示相同的部分。
具体实施方式
图1示意性地示出了***100的典型实施例的框图，该***用于利用粗网格和细网格基于可变形模型分割图像数据集，所述可变形模型用于对图像数据集中的对象建模，所述粗网格用于与所述图像数据集适应，所述细网格用于从图像数据集中提取详细信息，所述***100包括：
—初始化单元110，其用于在图像数据集空间中初始化粗网格；
—构建单元120，其用于基于初始化后的粗网格在图像数据集空间中构建细网格；
—计算单元130，其用于计算关于粗网格的内力场和关于粗网格的外力场，其中基于构建的细网格和强度标量场计算外力；和
—适应单元140，其用于使用计算的内力场和计算的外力场，使粗网格与图像数据集中的对象适应，从而分割图像数据集。
***100的典型实施例还包含以下任选单元：
—确定单元150，用于确定细网格的分辨率；
—控制单元160，用于控制***100的工作流程；
—用户界面165，用于与***100的用户通信；并且
—存储单元170，用于存储数据。
在***100的典型实施例中，有三个输入连接器181、182和183，用于进入的数据。第一个输入连接器181被布置为接收从数据存储器进来的数据，数据存储器例如(但不限于)：硬盘、磁带、闪存或光盘。第二个输入连接器182被布置为接收从用户输入设备进来的数据，用户输入设备例如(但不限于)：鼠标或触摸屏。第三个输入连接器183被布置为接收来自用户输入设备例如键盘的数据。输入连接器181、182和183与输入控制单元180相连接。
在***100的典型实施例中，有两个输出连接器191和192，用于输出的数据。第一个输出连接器191被布置为把数据输出到数据存储器，数据存储器例如硬盘、磁带、闪存或光盘。第二个输出连接器192被布置为把数据输出到显示设备。输出连接器191和192通过输出控制单元190接收各自的数据。
本领域的技术人员应了解，有很多方法可以把输入设备连接到***100的输入连接器181、182和183，以及把输出设备连接到输出连接器191和192。这些方法包括(但不限于)：有线和无线连接、数字网络，例如(但不限于)：局域网(LAN)和广域网(WAN)，因特网、数字电话网以及模拟电话网。
在***100的典型实施例中，***100包含存储单元170。***100被布置为通过任一输入连接器181、182和183从外部设备接收输入数据，并将接收到的输入数据存储在存储单元170里。将输入数据载入存储器单元170可使***100的各单元快速访问相应的数据部分。例如，输入数据可包含图像数据集。存储单元170可由以下设备执行，例如(但不限于)：随机存取存储器(RAM)芯片、只读存储器(ROM)芯片，和/或硬盘驱动和硬盘。存储单元170可进一步被布置为存储输出数据。例如，输出数据可以包含适应的粗网格。存储单元170还被布置为从***100的单元接收数据和向其发送数据，所述单元包括：初始化单元110、构建单元120、计算单元130、适应单元140、确定单元150、控制单元160以及通过存储总线175的用户界面165。存储单元170进一步被布置为通过任一输出连接器191和192使外部设备可获得输出数据。将来自***100的各单元的数据存储到存储单元170里可以有利地提高***100的各单元的性能，以及将输出数据从***100的各单元传输到外部设备的传输率。
或者，***100可以不包含存储单元170和存储总线175。***100所使用的输入数据可由至少一个与***100的各单元相连的外部设备提供，例如外部存储器或处理器。相似地，由***100产生的输出数据可提供给至少一个与***100的各单元相连的外部设备，例如外部存储器或处理器。通过内部连接或数据总线，***100的各单元可被布置为从彼此接收数据。
在图1示出的***100的典型实施例中，***100包括控制单元160，其用于在***100中控制工作流程。该控制单元可被布置为检测终止状态。如果满足终止状态，***100可被布置为执行最终任务并终止图像数据集的分割。或者，可以在***100的其他单元中执行控制功能。
在图1示出的***100的典型实施例中，***100包含用户界面165，其用于与***100的用户通信。例如，该用户界面165可被布置为提示用户接受对图像数据集和细网格分辨率的用户选择。用户界面165可以进一步被布置为提供用于显示从图像数据集呈现的视图的装置，和/或用以显示初始化后的和适应的粗网格的装置。任选地，该用户界面可以接收对***100的多个操作模式之一的用户选择。在一个典型模式中，***100可被布置为使用特殊的粗网格，例如单纯形或三角形粗网格。这些模式可由***100实现。本领域的技术人员应了解，可在***100的用户界面165中有利地实现更多的功能。
任选地，在***100的另一个实施例中，***100可包括例如鼠标或键盘的输入设备，和/或例如显示器的输出设备。本领域的技术人员应了解，有很多输入和输出设备可有利地包含在***100中。
在图1描述的***100的实施例中，***100获得图像数据集和粗网格，并将其存储在存储单元170里。粗网格由初始化单元110在图像数据集空间中初始化。该图像数据集空间基于包含在图像数据集中的体素空间坐标的范围来确定。初始化后的粗网格包括上述图像数据集空间中的粗网格的顶点坐标。构建单元120被布置为使用初始化后的粗网格或由适应单元140适应的适应粗网格，以构建细网格。例如，将粗网格根据适当的细分法来细分。将粗网格的顶点用作此细分的对照点。任选地，***100还包括确定单元150，用以确定细网格的分辨率，例如最细的细分级别。计算单元130使用构建的细网格计算关于粗网格的外力场。此外力场基于包含在图像数据集里的强度标量场以及构建的细网格来确定。计算单元130可进一步被布置为计算关于粗网格的内力场。此内力场取决于粗网格的几何形状。适应单元140使用外力和内力场，根据粗网格顶点的新坐标计算粗网格的变形，由此使粗网格与图像数据集适应，从而对图像数据集中的对象建模。控制单元160被布置为控制***100的工作流程。控制单元160从***的各单元接收控制数据，并为***的各单元提供控制数据。所提供的控制数据决定了***100的各单元的操作。例如，控制单元160可被布置为检查适应的粗网格是否符合适应终止标准。如果适应的粗网格满足适应终止标准，控制单元可被布置为终止对图像数据集的分割。如果不是，可通过要求构建单元120基于适应的粗网格构建细网格，将控制单元布置为开始适应循环的下一个迭代。
图2示出了方法200的典型实现方式的流程图，该方法用于利用粗网格和细网格基于可变形模型分割图像数据集，所述可变形模型用于对图像数据集中的对象建模，所述粗网格用于与所述图像数据集适应，所述细网格用于从图像数据集中提取详细信息。在初始化步骤210中，基于强度标量场在图像数据集空间中初始化粗网格。在初始化步骤210之后，方法100继续构建步骤220，其用于基于初始化后的粗网格在图像数据集空间中构建细网格。在构建步骤220之后，方法100继续计算步骤230，其用于计算关于粗网格的内力场和关于粗网格的外力场，其中基于构建的细网格和强度标量场来计算外力。在计算步骤230之后，方法200继续适应步骤240，其用于使用计算的内力场和计算的外力场，使粗网格与图像数据集中的对象适应。在适应步骤240之后，方法200继续评估步骤250，其用于评估适应结果。如果适应结果是满足要求的，即如果适应结果满足评估条件，方法200就终止分割。任选地，方法200在终止之前基于评估步骤260中的适应的粗网格进一步构建细网格。如果适应结果不满足要求，方法200继续构建步骤220，以基于适应的粗网格在图像数据集空间中构建细网格。
初始化单元110被布置为在图像数据集空间中初始化粗网格。粗网格的拓扑可以是预先确定的，例如，包含网格拓扑定义的可变形模型可以包含在对***100的输入里。或者，粗网格的拓扑可以是半自动地，即有用户输入，或自动地，即没有用户输入，其基于图像数据集由初始化***确定。通常，该初始化包括粗网格的手动设置，并用全局转换使网格与模型对象相符。首先，用户手动使粗模型与在图像数据集中标识的和在连接到***100的显示器中显示的几个(例如解剖)界标对准。第二，使用对图像数据集空间的全局转换使定位的粗网格与图像数据集中的对象相符。用来将粗网格映射到图像数据集中的对象上的典型转换包括刚体转换、相似转换和仿射转换。O.Gerard等在IEEE Transactions on Medical Imaging，卷21，no.2，1059-1068，2002上发表的题为“Efficient model-based quantificationof left ventricular function in 3D echocardiography”(下文简称Ref.2)的公开的第II-B节中论述了将单纯形网格与3D图像数据集相符的方法。本领域技术人员应知道，多种多样的手动、半自动和自动初始化方法在文献中都有描述，并且这些方法取决于所用粗网格的拓扑。初始化方法的具体选择不限制权利要求的范围。
构建单元120被布置为基于初始化后的或适应的粗网格在图像数据集空间中构建细网格。创建细网格的一种可能方法是使用细分法，其将粗网格的顶点用作细分法的对照点。几种细分法在文献中有描述。例如，由D.Doo和M.Sabin在Computer Aided Design，10(6)，356-360，1978上发表的题为“Analysis of the behavior of recursive division surfaces near extraordinarypoints”中所述的Doo-Sabin法和/或由E.Catmull与J.Clark在Computer AidedDesign，10(6)，350-355，1978上发表的题为“Recursively generated B-splinesurfaces on arbitrary topological meshes”中所述的Catmull-Clark法都可使用。选择在构建单元120中实现的细分法是***设计决策。对细分法的选择可取决于图像数据集中代表被建模对象表面的粗网格拓扑。任选地，可在构建单元120中执行多种细分法。例如，所用的细分法可交互式地由用户选择。
在***100的实施例中，所述粗网格为三角形网格。三角形网格的表面是三角形。三角形网格的每个表面都可使用Loop法细分。Charles Loop在其题为“Smooth subdivision surfaces based on triangles”(犹他州立大学，数学系，1987)的硕士论文中论述了Loop法。或者，所述粗网格是包括四边形表面的四方形网格，并且每个粗网格的表面都使用Doo-Sabin法或Catmull-Clark法细分。
在***100的实施例中，所述细网格可以是任意网格。构建单元120还可包含用于基于初始化或适应的粗网格，将细网格映射到图像数据集空间中的手段，例如，通过优化关于细网格定义的内力场。
计算单元130被布置为基于网格几何形状计算关于粗网格的内力场。Ref.1第3.2节里描述了很多计算在图像数据集中代表对象的单纯形网格上的内力场的方法。例如，切向内力控制顶点相对于其邻近点的位置，所述邻近点通过网格边与上述顶点相连，并可将切向内力定义为与从由顶点的邻近点定义的平面起的顶点位移呈比例的力。这种内力将建模表面的曲率减到最小。
计算单元130还被布置为使用构建的细网格和强度标量场计算关于粗网格的外力场。首先，计算关于细网格的外力场。例如，对于细网格的每个顶点来说，计算该顶点的目标位置。顶点的目标位置可定义为强度变化最大的位置，即搜索线(search line)上强度标量场的梯度最大的位置。该搜索线可以是穿过上述粗网格顶点的线，并且该线基本上与由通过网格边与上述顶点相连的邻近顶点所定义的表面垂直。该搜索线上的强度值可以例如使用插值法由图像数据集中包含的强度标量场导出。由目标位置定义的力可以是与顶点从其目标位置起的位移成比例的谐力。在Ref.2第II-B节里论述了此方法。在Ref.1第3.2节中论述了更多用于计算关于单纯形网格的外力场以为图像数据集中的对象建模的方法。第二，在已经计算了关于细网格的外力场之后，计算单元130还被布置为计算关于粗网格的外力场。粗网格的每个顶点都与细网格的顶点相关联。可以例如基于粗网格顶点到细网格顶点的欧几里得距离定义此种关联。位于有一半径的球体之内的细网格的所有顶点都被定义为与这个球体中心的粗网格的顶点相关联。上述半径可以基于用户输入从用户输入设备获得，或者可以基于粗网格分辨率由计算单元130确定。在另一个实现方式中，此关联可以基于拓扑距离来定义。例如，识别了与粗网格顶点距离最近的细网格顶点，细网格的每个顶点被定义为与粗网格的顶点相关联，对于该细网格的每个顶点来说，从这个顶点到识别的顶点的拓扑距离小于某一数值。
作用于粗网格顶点的外力，可以基于关于与上述顶点相关联的细网格顶点所定义的外力，由以下方法之一计算：
—关于粗网格顶点定义的外力是关于与上述顶点相关联的细网格顶点所定义的力的平均值；
—关于粗网格顶点定义的外力是关于与上述顶点关联的细网格顶点定义的力的加权平均值，其加权因子基于特征置信度；
—关于粗网格顶点定义的外力是基于投票方案，关于与上述顶点关联的细网格的多数顶点的力。
适应单元140使用计算的内力和外力场使粗网格与图像数据集中的对象适应。在一个实施例中，适应单元140被布置为使用Ref.1第3.1节和Ref.2第II-B节论述的拉格朗日演化方程来实现此方法。
在***100的实施例中，所述粗网格为单纯形网格。单纯形网格的每个顶点与该单纯形网格的三个邻近顶点相连。对单纯形网格的细分可分几步完成。首先，构建给定单纯形网格的双重网格。双重网格的每个顶点都是单纯形网格多边形表面的重心，即质心。通常，单纯形网格的每个顶点的质量被设定为一个。双重网格为三角形网格，其中的边与下层单纯形网格的邻近多边形表面的重心相连。双重网格的每个三角形表面对应单纯形网格的一个顶点。第二，Loop法用来对双重网格进行细分。双重网格的每个三角形表面被迭代细分成多个三角形。在第一次迭代中，每个三角形表面被细分成四个三角形。在第二次迭代中，在第一次迭代中得到的每个三角形被进一步细分成四个三角形。此细分可进一步迭代以得到预期的细网格分辨率。细分的级别，即Loop算法的迭代次数，决定了细网格的分辨率。图3—6例示了所述的单纯形网格细分。图3示出了典型的单纯形网格。图4例示了重到图3示出的单纯形网格的三角形网格。图5例示了图4中示出的双重网格的第一级细分。图6例示了图4示出的双重网格的第二级细分。
计算单元130被布置为计算关于细网格的外力场。与单纯形网格的顶点相关联的细网格的顶点用来计算关于所述单纯形网格的顶点的外力。关于粗网格顶点的外力是关于与粗网格的上述顶点相关联的细网格顶点计算的力的平均值。单纯形粗网格的每个顶点与三角形双重网格的一个表面相关联，该表面由三个共用该单纯形网格的上述顶点的相邻多边形的重心定义。包含在上述三角形表面细分中的三角形细网格的顶点与单纯形粗网格的上述顶点相关联。适应单元140使用内力和外力通过拉格朗日演化方程计算粗网格顶点的位置，从而使粗网格与图像数据集中的对象适应。
图7示出了含有噪声的3D US图像中心脏分割的典型结果。粗网格用粗线示出，细网格用细线示出。
本领域的技术人员应了解，当缺少阻尼力场时，对拉格朗日演化方程求解可由优化内和外能量项的总和来代替。在实施例中，用寻找内和外能量项的上述总和的最小值代替对拉格朗日演化方程求解。例如，J.Weese et al.在Pro.IPMI，380-387页，Springer 2001上发表的题为“Shape constraineddeformable models for 3D medicalimage segmentation”(以下简称Ref.3)论述了基于能量的构架。Ref.3的第2节包括对构建的描述和对内和外能量项的上述总和的优化的描述。本领域的技术人员可以修改***100以在基于能量的构架中使用。因此，本领域的技术人员应认识到，对构架的选择不会限制权利要求的范围。
在***100的实施例中，该***还包括确定单元150，其用于确定细网格的分辨率。此确定单元使确定细网格的最佳分辨率成为可能。这个分辨率可以是图像数据分辨率和/或预期特征尺寸的函数。在***的另一个实施例中，一个附加的考虑因素是要考虑计算成本：分辨率越高，计算成本越高。或者，分辨率可以基于输入数据，例如用户定义的细化级别来确定。
在***100的实施例中，控制单元160被布置为控制***100的工作流程。该控制单元从***100的各单元获取控制数据。例如，在适应步骤240完成后，控制单元可被布置为比较由适应单元140计算的粗网格顶点的适应位置与由初始化单元110或在该方法的前一迭代中由适应单元140计算的粗网格顶点的位置。如果得到的位置和前述位置基本相等，例如，如果相互之间的差别小于5％，则控制单元可被布置为终止分割。控制单元可进一步被布置为要求用户界面165提示用户输入，和/或要求用户界面165显示适应的粗网格、构建的细网格、和/或从图像数据集呈现的视图。本领域的技术人员应知道，很多有用的函数都可在控制单元160中有利地实现。
尽管所述实施例涉及3D图像数据集，但本领域的技术人员应了解，本发明也可应用到2D图像数据集中。本领域的技术人员可以修改该***的各单元以及方法的各步骤，从而在更加简单的2D图像情况下实现本发明。本领域的技术人员也应了解，多种多样的分割方法可被***100有利地利用，该方法通过使可变形模型与上述对象相适应来分割图像数据集中的对象。并且所用的分割方法不会限制权利要求的范围。
本领域的技术人员应了解，***100的其他实施例也是可能的。除其他选项之外，重新定义***的各单元并重新分配它们的功能是可能的。例如，在***100的实施例中，控制单元160的各功能可分配给***100的其他单元。在***100的另一个实施例中，用多个构建单元取代***100的先前实施例的一个构建单元130，其中每个构建单元可被布置为应用不同的细分法。细分法的使用可基于用户的选择。
***100的各单元可通过处理器实现。通常，它们的功能是在软件程序产品的控制下执行的。在执行中，软件程序产品通常被载入例如RAM的存储器上，并从那里被执行。此程序可以从背景存储器载入，例如从ROM、硬盘，或磁和/光存储器，或者可通过例如因特网的网络载入。任选地，应用程序专用集成电路也可提供所述功能。
用于分割图像数据集中的对象的方法200中的步骤顺序不是强制的，本领域的技术人员可以改变一些步骤的顺序，或使用线程模型、多处理器***，或多进程同时执行一些步骤而不背离本发明所教示的概念。任选地，本发明中方法100的两个或更多步骤可合并成一个步骤。任选地，本发明中方法100的一个步骤可分成多个步骤。方法100的一些步骤是任选的，并可省略。
图8示意性地示出了使用***100的图像采集装置800的典型实施例，上述图像采集装置800包括：通过内部连接与***100相连的图像采集单元810，输入连接器801和输出连接器802。这种布置有利地增强了图像采集装置800的性能，为上述图像采集装置800提供***100的有利性能，以分割图像数据集中的对象。图像采集装置的实例包括(但不限于)：CT***、X射线***、MRI***、US***、PET***、SPECT***，以及NM***。
图9示意性地示出了工作站900的典型实施例。该工作站包括***总线901。处理器910、存储器920、盘片输入/输出(I/O)适配器930，以及用户界面(UI)940操作性地与***总线901连接。盘片存储设备931操作性地与盘片I/O适配器930连接。键盘941、鼠标942和显示器943操作性地与UI 940连接。作为计算机程序实现的本发明的***100被存储在盘片存储设备931中。工作站900被布置为将程序和输入数据载入到存储器920里，并在处理器910上执行此程序。用户可以使用键盘941和/或鼠标942把信息输入工作站900。该工作站被布置为将信息输出到显示设备943和/或盘片931。本领域技术人员应了解，本领域有很多已知的工作站900的其他实施例，并且本实施例为示例本发明的目的服务，不应该被解释为本发明限于此特定实施例。
应当注意，上文描述的实施例例示本发明而并非限制本发明，本领域的技术人员可以设计替代实施例而不背离所附权利要求的范围。在权利要求中，置于括号之间的任何参考标记都不应看作对权利要求的限制。“包含(包括)”一词不应把未在权利要求或描述中列出的元件或步骤排除在外。一个元件之前的“一”一词不应把存在多个这种元件排除在外。本发明可通过包括几个不同元件的硬件和通过编程的计算机实施。在列举了几个单元的***权利要求中，这些单元中的几个单元可由硬件或软件中的一个以及相同项实施。词语第一、第二、第三等的使用并不说明任何特殊顺序。可将其仅看作名字。
Claims (9)
1、一种利用粗网格和细网格基于可变形模型分割图像数据集的***(100)，所述可变形模型用于对所述图像数据集中的对象建模，所述粗网格用于与所述图像数据集适应，所述细网格用于从所述图像数据集中提取详细信息，所述***包括：
—初始化单元(110)，其用于在图像数据集空间中初始化所述粗网格；
—构建单元(120)，其用于基于初始化后的粗网格在所述图像数据集空间中构建所述细网格；
—计算单元(130)，其用于计算关于所述粗网格的内力场和关于所述粗网格的外力场，其中基于构建的所述细网格和强度标量场计算所述外力；和
—适应单元(140)，其用于使用计算的内力场和计算的外力场，使所述粗网格与所述图像数据集中的所述对象适应，从而分割所述图像数据集。
2、如权利要求1所述的***(100)，其中，所述细网格基于对所述粗网格进行细分法来构建。
3、如权利要求2所述的***(100)，其中，所述粗网格为单纯形网格。
4、如权利要求2所述的***(100)，其中，所述粗网格为三角形网格。
5、如权利要求1至4中任一权利要求所述的***(100)，还包括用于确定所述细网格的分辨率的确定单元，。
6、一种图像采集装置(800)，包括如权利要求1所述的***(100)。
7、一种工作站(900)，包括如权利要求1所述的***(100)。
8、一种利用粗网格和细网格基于可变形模型分割图像数据集的方法(200)，所述可变形模型用于对所述图像数据集中的对象建模，所述粗网格用于与所述图像数据集适应，所述细网格用于从所述图像数据集中提取详细信息，所述方法包括：
—初始化步骤(210)，其用于在图像数据集空间中初始化所述粗网格；
—构建步骤(220)，其用于基于初始化后的粗网格在所述图像数据空间中构建所述细网格；
—计算步骤(230)，其用于计算关于所述粗网格的内力场和关于所述粗网格的外力场，其中基于构建的所述细网格和强度标量场计算所述外力；以及
—适应步骤(240)，其用于使用计算的内力场和计算的外力场，使所述粗网格与所述图像数据集中的所述对象适应，从而分割所述图像数据集。
9、一种由计算机装置加载的计算机程序产品，其包括如下指令，即用于利用粗网格和细网格基于可变形模型分割图像数据集的指令，所述可变形模型用于对所述图像数据集中的对象建模，所述粗网格用于与所述图像数据集适应，所述细网格用于从所述图像数据集中提取详细信息，所述计算机装置包括处理单元和存储器，在所述计算机程序产品被加载之后，为所述处理单元提供执行以下任务的能力：
—在图像数据集空间中初始化所述粗网格；
—基于初始化后的粗网格在所述图像数据集空间中构建所述细网格；
—计算关于所述粗网格的内力场和关于所述粗网格的外力场，其中基于构建的所述细网格和强度标量场计算所述外力；并且
—使用计算的内力场和计算的外力场，使所述粗网格与所述图像数据集中的所述对象适应，从而分割所述图像数据集。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP06300730 | 2006-06-28 | ||
| EP06300730.6 | 2006-06-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101479763A true CN101479763A (zh) | 2009-07-08 |
Family
ID=38724513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2007800239595A Pending CN101479763A (zh) | 2006-06-28 | 2007-06-25 | 基于可变分辨率模型的图像分割 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20090202150A1 (zh) |
| EP (1) | EP2038839A2 (zh) |
| JP (1) | JP2009542288A (zh) |
| CN (1) | CN101479763A (zh) |
| RU (1) | RU2009102657A (zh) |
| WO (1) | WO2008001297A2 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103098092A (zh) * | 2010-09-17 | 2013-05-08 | 皇家飞利浦电子股份有限公司 | 选择用于图像分割的解剖变型模型 |
| CN103841894A (zh) * | 2011-04-18 | 2014-06-04 | 开创治疗股份有限公司 | 器官与解剖结构的图像分割 |
| CN105793893A (zh) * | 2013-12-04 | 2016-07-20 | 皇家飞利浦有限公司 | 解剖结构的基于模型的分割 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8437521B2 (en) * | 2009-09-10 | 2013-05-07 | Siemens Medical Solutions Usa, Inc. | Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging |
| BR112014008461A2 (pt) * | 2011-10-11 | 2017-04-11 | Koninklijke Philips Nv | aparelho para pós-processamento de imagens de corte de seção transversal 2d definindo um conjunto de dados de volume de imagem 3d; interface gráfica de usuário; método de pós-processamento de imagens de corte de seção transversal 2d; sistema médico para pós-processamento de imagens de corte de seção transversal 2d; elemento de programa de computador para controle de um aparelho; e mídia executável por computador |
| US10424044B2 (en) | 2012-12-21 | 2019-09-24 | Koninklijke Philips N.V. | Anatomically intelligent echocardiography for point-of-care |
| US10154861B2 (en) | 2013-03-15 | 2018-12-18 | Jcbd, Llc | Spinal stabilization system |
| US9510872B2 (en) | 2013-03-15 | 2016-12-06 | Jcbd, Llc | Spinal stabilization system |
| US9280819B2 (en) | 2013-08-26 | 2016-03-08 | International Business Machines Corporation | Image segmentation techniques |
| WO2015087191A1 (en) | 2013-12-09 | 2015-06-18 | Koninklijke Philips N.V. | Personalized scan sequencing for real-time volumetric ultrasound imaging |
| EP3080778B1 (en) | 2013-12-09 | 2019-03-27 | Koninklijke Philips N.V. | Imaging view steering using model-based segmentation |
| US9959672B2 (en) * | 2015-11-23 | 2018-05-01 | Adobe Systems Incorporated | Color-based dynamic sub-division to generate 3D mesh |
| JP6599569B2 (ja) | 2016-05-24 | 2019-10-30 | イー インク コーポレイション | ディスプレイ上に画像をレンダリングする方法、ディスプレイデバイスおよびコンピューティングデバイスを備える装置、ならびに、非一過性コンピュータ記憶媒体 |
| PL3793447T3 (pl) | 2018-05-15 | 2023-06-26 | New York University | System i sposób do orientowania wykonywania zdjęć ultrasonograficznych |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5802220A (en) * | 1995-12-15 | 1998-09-01 | Xerox Corporation | Apparatus and method for tracking facial motion through a sequence of images |
| US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
| US6763148B1 (en) * | 2000-11-13 | 2004-07-13 | Visual Key, Inc. | Image recognition methods |
| US7397934B2 (en) * | 2002-04-03 | 2008-07-08 | Segami S.A.R.L. | Registration of thoracic and abdominal imaging modalities |
| US7200243B2 (en) * | 2002-06-28 | 2007-04-03 | The United States Of America As Represented By The Secretary Of The Army | Spectral mixture process conditioned by spatially-smooth partitioning |
| US7519209B2 (en) * | 2004-06-23 | 2009-04-14 | Vanderbilt University | System and methods of organ segmentation and applications of same |
| US7542604B2 (en) * | 2004-08-26 | 2009-06-02 | Siemens Medical Solutions Usa, Inc. | System and method for image segmentation by solving an inhomogenous dirichlet problem |
| US7565010B2 (en) * | 2005-01-06 | 2009-07-21 | Siemens Medical Solutions Usa, Inc. | System and method for image segmentation by a weighted multigrid solver |
| US20070047790A1 (en) * | 2005-08-30 | 2007-03-01 | Agfa-Gevaert N.V. | Method of Segmenting Anatomic Entities in Digital Medical Images |
| WO2007057845A1 (en) * | 2005-11-18 | 2007-05-24 | Koninklijke Philips Electronics N.V. | Method for delineation of predetermined structures in 3d images |
-
2007
- 2007-06-25 JP JP2009517538A patent/JP2009542288A/ja active Pending
- 2007-06-25 RU RU2009102657/08A patent/RU2009102657A/ru not_active Application Discontinuation
- 2007-06-25 WO PCT/IB2007/052447 patent/WO2008001297A2/en active Application Filing
- 2007-06-25 EP EP07789795A patent/EP2038839A2/en not_active Withdrawn
- 2007-06-25 CN CNA2007800239595A patent/CN101479763A/zh active Pending
- 2007-06-25 US US12/305,433 patent/US20090202150A1/en not_active Abandoned
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103098092A (zh) * | 2010-09-17 | 2013-05-08 | 皇家飞利浦电子股份有限公司 | 选择用于图像分割的解剖变型模型 |
| CN103841894A (zh) * | 2011-04-18 | 2014-06-04 | 开创治疗股份有限公司 | 器官与解剖结构的图像分割 |
| CN105793893A (zh) * | 2013-12-04 | 2016-07-20 | 皇家飞利浦有限公司 | 解剖结构的基于模型的分割 |
| CN105793893B (zh) * | 2013-12-04 | 2020-01-31 | 皇家飞利浦有限公司 | 解剖结构的基于模型的分割 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008001297A3 (en) | 2008-03-13 |
| WO2008001297A2 (en) | 2008-01-03 |
| EP2038839A2 (en) | 2009-03-25 |
| US20090202150A1 (en) | 2009-08-13 |
| RU2009102657A (ru) | 2010-08-10 |
| JP2009542288A (ja) | 2009-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101479763A (zh) | 基于可变分辨率模型的图像分割 | |
| Shamir | A formulation of boundary mesh segmentation | |
| US9129390B2 (en) | Method of segmenting anatomic entities in 3D digital medical images | |
| CN110222642B (zh) | 一种基于全局图聚类的平面建筑构件点云轮廓提取方法 | |
| EP2074585B1 (en) | Model-based coronary centerline localization | |
| Shamir | Segmentation and Shape Extraction of 3D Boundary Meshes. | |
| US8090173B2 (en) | System and method for blood vessel bifurcation detection in thoracic CT scans | |
| US8260586B2 (en) | Method of and a system for adapting a geometric model using multiple partial transformations | |
| CN102804231A (zh) | 三维场景的分段平面重建 | |
| US20090030657A1 (en) | Surface tesselation of shape models | |
| Hu et al. | Detection and segmentation of lymphomas in 3D PET images via clustering with entropy-based optimization strategy | |
| Azernikov et al. | Surface reconstruction of freeform objects based on multiresolution volumetric method | |
| EP2006802A1 (en) | Method of constructing a grey value model and/or a geometric model of an anatomic entity in a 3D digital medical image | |
| Brandt et al. | Efficient binocular stereo correspondence matching with 1-D max-trees | |
| Li et al. | On surface reconstruction: A priority driven approach | |
| Ecabert et al. | Towards automatic full heart segmentation in computed-tomography images | |
| CN102099833A (zh) | 网格冲突避免 | |
| CN113763563A (zh) | 一种基于平面识别的三维点云几何网格结构生成方法 | |
| Duan et al. | A novel modeling algorithm for shape recovery of unknown topology | |
| Lin et al. | Mesh segmentation by local depth | |
| CN108197671A (zh) | 一种基于压缩特征表示的混凝土裂缝检测方法及装置 | |
| Biasotti et al. | Morphological representations of scalar fields | |
| Hisada et al. | Towards a singularity-based shape language: ridges, ravines, and skeletons for polygonal surfaces | |
| Wu et al. | E2ENet: Dynamic Sparse Feature Fusion for Accurate and Efficient 3D Medical Image Segmentation | |
| Song et al. | Integrated Quality Mesh Generation for Poisson Surface Reconstruction in HPC Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20090708 |