CN1639675B - 与三维图像中表示的三维表面互动的图像处理方法 - Google Patents

Abstract

本发明涉及利用二维显示装置显示处理过的三维物体的图像并与显示的三维物体的表面互动的图像处理方法，包括构成并显示三维物体表面的至少两个耦接的视图，两个视图包括一个球形三维视图和物体表面上进行互动的连接的局部二维视图。本方法还包括在两个视图的一个中的物体表面上互动导航，并处理所述视图中的数据，自动更新另一耦接视图中的对应数据。

Description

与三维图像中表示的三维表面互动的图像处理方法

本发明涉及一种图像处理方法，利用二维显示装置显示三维(3-D)物体处理过的图像，并与显示的三维物体的表面互动。本发明还涉及医用成像设备或***，并涉及用于处理由这些设备或***产生的医用三维图像并与肌体器官等三维物体的表面互动的程序产品。

本发明发现了在医学成像法和程序产品领域以及医用成像设备或***的具体应用。

人体中管状结构的二维及三维成像***通过美国专利US5,891,030(Johnson等)已为公众所知。该***例如利用医用成像装置、如电脑层析照相法(CT)扫描仪和计算机工作站对活体的消化道成像。CT扫描仪用于产生人体结肠的截面轴向图像，然后传递给计算机工作站。随着结肠官腔确定结肠中线。计算机工作站通过产生并显示重新格式化的横截面图像、对于容积的探查和内腔视野来支持结肠中线的明确性。还包括半自动中线确定工具。中线确定之后，显示一个用于诊断目的的图像剪辑。该图像包括轴向部分、半腔横截面和关于内腔容积的图像。

因此，立体图像数据用于产生二维改换格式的视图和三维再现以及对数据的导航。该专利只侧重于柱状和管状表面。根据确定的中线前产生改换格式的二维图像和再现图像再现，并再用于导航。导航限制在预定中线路径周围的区域。因为视场有限并且因而有些表面部位被禁止，所以与模型的直接三维互动很困难。对于用户的困难在于在三维表面上表示且直接绘制线条、轮廓、区域以及与三维图像数据一般地互动。

本发明涉及利用二维显示装置表示三维物体以及在显示的三维物体表面导航并与之互动的图像处理方法。更具体地说，本发明涉及一种利用二维显示装置表示三维物体并在显示的三维肌体器官表面导航和与之互动的图像处理方法，其中三维物体是不限于管状形状的三维肌体器官，可以有很多的盘旋(rotondities)及旋绕代替。

表示三维物体的三维图像通常显示在与计算装置和二维接口装置相关联的二维显示屏上，二维接口装置例如是一个连接到计算装置的鼠标，用于对显示屏上看到的三维图像动作。利用二维鼠标对显示在二维屏幕上的三维图像动作时出现的问题是操作者难以互动操纵三维数据以及同时在三维环境中循环或导航。例如，难以在用鼠标移动或转动三维物体或改变视点的同时选择一个区域、绘制一个轮廓等。甚至当利用网格模型对显示在三维图像中的三维物体分区时，也注意到网格模式难以操纵。附加的一个问题是在医学图像中，代表一个器官的三维物体可以表示使得其表面的可视化以及在其表面的导航都很困难的旋绕。注意，旋绕使得三维数据的处理以及三维表面的二维表像非常困难。

本发明的目的在于提出一种能够易于在三维图像表示的三维物体表面导航的方法。根据本发明，此方法包括三维物体表面的至少两个耦接视图的构成及显示，包括一个球形三维视图和在其上进行局部互动的物体表面连接的局部二维视图。

在权利要求1中保护了提出的一种图像处理方法。

本发明的优点在于在与原始图像数据保形之前提取并检验模型。在医学领域，相关的医学信息可以映射到模型表面。这些医学信息可以代表图像纹理、颜色编码或任何其它可视方式(如灌注、运动、张紧)。

本发明的另一目的在于提供这样一种方法，包括在两个用于处理视图中的数据的视图中的一个中的物体表面上互动导航，其中另一耦接视图中的对应的数据自动更新。

本发明的另一目的在于提供一种成像***，该***具有用于显视图像的显示装置，用于对图像数据起作用的接口装置，并具有执行本方法的处理装置。利用成像***显示耦接的球形三维视图和三维物体表面的局部二维视图。操作者可以例如通过用鼠标点击钮将光标定位到三维表面而选择一个三维视图中由焦点表示的开始导航点。焦点周围的一个区域被自动地投影到二维视图中。为了在三维环境中互动导航，用户只需要在二维视图中导航并在二维视图中处理数据，这比在三维视图中容易。利用二维与三维视图间的耦接，在三维视图中自动且同时更新数据处理。另外，因为两幅视图同时更新，所以焦点可以恒定地设置在两幅视图的中心。因此，操作者可以用二维视图作为还被称作“虚拟鼠标垫”的工具。操作者通过在虚拟鼠标垫上滑动而在二维视图中导航，这导致操作者可以在三维表面连续滑动。操作者还可以在三维视图中重新定位焦点以在二维视图中完成既定的任务。

本发明还涉及一种具有图像处理装置的X射线医用检查设备以及用于执行本方法的程序产品或程序包。

下面参考附图对本发明做详细的描述，其中：

图1A表示在二维屏幕上第一窗口中三维物体的球形三维视图，图1B表示第二窗口中的一个投影的二维局部视图，它们根据图像处理方法进行处理；

图2A和2B分别表示根据图1B的箭头移位之后更新的球形三维视图和投影的局部视图；

图3A和3B分别表示带有标记的图1A和1B的球形三维视图和投影的局部视图；

图4A和4B分别表示带有标记的图2A和2B的球形三维视图和投影的局部视图；

图5A和5B表示用于投影三维物体的一个区域并形成局部二维视图的投影技术；

图6表示一个具有执行图像处理方法的***的设备。

本发明涉及一种应用到例如由灰度水平表示的三维图像的图像处理方法。图像可以由一个医学检查设备提供，并可以代表称作物体的器官的三维表面，不限于管状器官。为了给用户提供更好的例如相对于背景的物体视图，可以对物体分区。

利用一个包括显示装置如二维屏幕的成像***显示代表三维物体的三维图像，其中显示装置与计算装置以及用于对图像导航和动作的二维接口装置如鼠标相关联。

图像处理方法包括关于三维物体表面的至少两个耦接视图的同步显示的构成，包括物体表面的球形三维视图和局部二维视图，其中在三维视图上进行局部互动和同时更新。

本方法包括静态和动态表示两个耦接视图的方法。操作者可以例如通过用用户接口装置如鼠标点击钮将光标定位到三维表面而选择一个三维视图中由焦点表示的开始导航点。界定焦点周围的一个区域并自动地将其投影到二维视图中。根据本发明的方法，可以自动地界定区域的大小以避免像元的畸变超过预定的阈值。作为畸变的函数，可以对区域的各个部分分配不同的颜色。一般地，区域中指定点的畸变是分开此点与焦点的距离的反函数。另外，根据本方法，视图还有用于形成相应标记的取向装置。叠加到三维视图上的取向轴线形成一个第一标记，叠加到二维视图上的对应取向轴线形成一个对应的第二标记。优选不同的轴线着不同的颜色，并且对应的轴线着相同的颜色，以便允许操作者能够在两个视图的每个视图中很容易地识别它们。

本方法还包括动态表示耦接视图的方法。此方法包括在用于处理数据的两个视图中的一个中的物体表面互动导航，其中所述的视图自动更新耦接视图中对应的数据。为了在三维环境中互动导航，用户只需在二维视图中导航并在二维视图中处理数据，这比在三维视图中容易很多。由于二维和三维视图的耦接，在三维视图中自动和同步地更新数据处理。另外，因为两幅视图同时更新，所以焦点和标记可以恒定地设置在两幅视图的中心。因此，操作者可以用二维视图作为被称作“虚拟鼠标垫”的工具。通过在二维视图中导航，操作者可以在三维表面连续滑动。操作者还可以在三维视图中重新定位焦点和标记以在二维视图中完成既定的任务。相反，通过指点二维视图，操作者可以更新三维视图。

本图像处理方法包括下列步骤：

1)获取意中物体的三维图像

获取三维图像的方法不是本发明的内容。本方法可以应用到器官的三维图像上，而三维图像通过超声***或X线设备或本领域技术人员公知的其它***获得。三维物体示于图1A中。在此例中，根据H.Delingette在题为“SimplexMeshes：aGeneralRepresentationfor3-DshapeReconstruction”的，公开于“ProcessingoftheInternationalConferenceonComputerVisionandPatternRecognition(CVPR’94)，20-24June1994，Seattle，UAS”的公开物中揭示的分区技术对三维物体分区。在此论文中给出了一种恢复三维物体的物理方法。该方法是基于“SimplexMeshes”的几何学。网格的弹性性能通过控制在每个顶点(网格的节点)处抽取的单纯角的平均曲率的局部稳定功能来塑造。这些功能是观查点不变的、本征的以及尺度敏感的。因此，单纯的网格是非常适应的结构。提高网格在高度弯曲或不精确部位的分辨率的改进方法包括连接单纯的网格以从具有简单形状的部分中恢复复杂的网格。一个单纯的网格具有恒定的顶点连接性，每个顶点连接到三个相邻的顶点。它可以表示所有类型的可取向表面。定义四种独立的变换以实现所有可能范围内的网格变换。它们在一个面中***或删除边缘。变形隐含着内力和外力。内力决定物理模型对外部限制的反应。内力表现为本征观察点不变的，并且是与尺度有关的。对于轮廓保持相似类型的限制。因此，引证的公开物提供了用于表示指定三维物体的简单模型。它定义了施加的力，以便将模型重新整形并调节成所关心的三维物体。“SimplexMeshtechnique(单纯网格技术)”是一种提供强制分区图像的互动方法。

2)静态表示两个耦接的视图

参见图1A和1B，在一个屏幕中构成并显示一组两个耦接的视窗。如图1A所示，此组耦接视窗包括用于显示意中物体的三维球形视图的第一视窗32A。对此三维球形视图分区，由此表示带有单纯网格模型的面和边的三维物体。在图1A中，作为一个例子，分区的物体是一个球形或圆形物体10。最好在第一视窗32A的子视窗31A中设置提示，表明视图表示三维球形物体。如图1B所示，此组耦接的视图还包括一个第二视窗32B，用于显示意中物体的局部区域的二维投影视图。第二视窗32B在子视窗31B中有提示，表明视图代表局部二维视图。

用户例如通过在网格模型表面10上定位鼠标光标并点击鼠标钮来选择三维球形视图32A中的开始导航点P0。用户点击的该点也被称为焦点。在本例中，焦点P0位于网格模型的面11A中。利用本领域技术人员公知的平化技术把焦点P0周围未折叠的区域12A投影到第二视窗32B的二维视图中，形成一个投影表面12B。限制投影表面12B的面积尺寸以避免投影畸变。

为了易于使焦点P0和投影区12A、12B可视化，可以对所关心的区域分配不同的颜色。例如，对耦接的第一和第二视窗中焦点位于的网格模型的面11A、11B分配第一种颜色，如图1A和1B中的第一灰度水平。焦点周围的环区可以分配与所述区中发现的畸变值有关的不同颜色。一般地，畸变随着距离焦点的距离增大。以平化畸变为函数地界定选取的投影区域12B。

表现在第二视窗32B中的二维局部视图与表现在第一视窗32A中的三维球形视图耦接。通过模型单元隐含地知道二维视图与三维视图之间一对一的直接映射，因此在两个视图之间有一种直接的对应。利用互动装置在二维局部投影视图32B上执行的任何动作都自动地在三维球形视图32A中更新。

参见图3A和3B，对耦接的视图设置对应的标记。如图3A所示，三维球形视图包括在屏幕平面中的第一轴线1A和第二正交轴线2A；以及与屏幕平面正交的第三轴线3A。如图3B所示，二维局部视图包括屏幕平面中的一个第一对应轴线和一个第二正交对应轴线2B；以及一个与屏幕平面正交的第三对应轴线3B。第一对应轴线1A、1B可以具有图中实线表示的第一种颜色。第二对应轴线2A、2B可以具有图中虚线表示的第二种颜色。第三对应轴线3A、3B可以具有图中的十字表示的第三种颜色。因此，用户可以很容易地识别耦接视图中的对应轴线。

因为从平化过程中传承了二维与三维视图之间直接的一对一的映射，因此，在两幅视图的每个像素之间有一种直接对应关系。由接口装置在二维局部投影视图32B的像素上执行的任何动作都自动地在三维球形视图32A的对应像素中更新。这种特性通过连接到用户界面的计算装置执行的耦合计算而获得。这种特性尤其对利用医学信息简单映射网格模型的三维表面有用。在二维表面视图中引入了这些信息。医学信息可以代表图像纹理、颜色编码或任何其它可视方式，如涉及到器官的灌注、运动、张紧。这种特性还对三维表面的设计尤其有用。对二维表面视图的设计非常容易。设计可以是在特定的器官部位画出标记的线条；用于界定或增亮器官部位的轮廓。

3)动态表示耦接图像中的互动导航

利用二维鼠标在表现在二维屏幕上的三维表面直接导航时出现的困难在于操作者难以在三维环境中循环或导航的同时互动操纵三维数据。例如，难以用鼠标移动或转动三维物体并同时选择一个区域来画出一个轮廓，该轮廓起始于物体前面的一个部位并在该物体或器官后面的一个部位继续。甚至当利用网格模型对表现在三维图像中的三维物体分区时，也注意到网格模型难以操纵。附带的问题在于在医学图像中表现一个器官的三维物体可以表示旋绕，该旋绕使得表面的可视化以及在表面的导航很困难。注意，旋绕使得三维数据以及三维表面的二维表像的处理非常困难。

为了在三维视图32A中互动导航，用户只需要在二维视图32B上放置并点击鼠标。如图1B所示，用户可以相对于起始点P0向上导航。然后，用户选择一个例如位于二维局部视图32B的面21B中的新焦点P1。该焦点自动地沿在点P1发现的箭头100移位。

参见图2A和2B，球形和局部视图都自动地同时更新。根据本发明，在更新的视窗32A和32B中心自动地同步设置新焦点。因此，新焦点恒定地位于更新的视窗中心。这种特性允许用户利用二维视图作为一个用于在二维视图上连续滑动的虚拟鼠标垫自动和同步地在三维视图上滑动。图2A表示在球形视窗32A的中心和在局部视窗32b的中心的新焦点P1。这个新焦点位于面21B中。新算出的投影区是局部视图32B中的22B。在三维视图32A中自动地同步发现对应的三维区域22A。可以重复上述程序直到完成导航。

参见图4A和4B，不仅通过在两个耦接图像中的一个上滑动来更新焦点和像点，而且还更新标记。因此，用户可以没有损失地在复杂表面上很容易地导航。用户可以与三维表面模型执行连续互动，如区域选择、绘制围绕表面模型的曲线，切割部分模型，在复杂表面上界定区域，测量曲线轮廓如短程区域面积等。当可以获得纹理并映射到模型上时，用户可以执行边缘探测、特征提取以及对映射的纹理的其它测量。例如跟踪移动导线、探测伸张都是易于在二维局部视图上执行的可能的操作。与模型的互动不限于引证的实例。本发明尤其适用于可以应用到心室模型的心脏病学领域、可以应用到脊椎骨模型的脊骨病理学研究领域以及动脉造影术和静脉学领域等。

4)投影技术

可以使用本领域技术人员公知的导致局部表面平坦化的任何投影技术。例如，可以使用参见图5A和5B所述的本领域公知的投影技术。这项技术包括与图5A中表示的平面P到三维物体S有关的操作。图5B表示三维物体与平面的截面图。截面轮廓的每个点沿箭头方向D投影到平面截面上。把物体的截面设计成与平面的每一列对应，并且物体截面对应轮廓的点投影到该平面上。由此获得物体轮廓的投影。例如在ANDREWS.GLASSNER编辑的，ACADEMICPRESS(XeroxPaloAltoResearchCenter，PaloAlto，Califonia)的题为“GRAPHICSGEMS”，p.307-317的文章中描述了用于进行投影的各种方法。

5)执行本方法的***

参见图6，医学诊断成像设备150包括用于获得三维数字图像数据的装置，用于根据上述处理方法处理这些数据的数字处理***120。医学检查设备包括把图像数据提供给至少有一个输出端106的处理***120、从而把图像数据提供给显示和/或存储装置130、140的装置。显示和存储装置可以分别是屏幕140和工作站110的存储器。所述的存储装置也可以是外存储装置。此图像处理***120可以是工作站130的一种适当的编程计算机，由程序产品给予指令，也可以是具有电路装置如LUT、存储器、滤波器、逻辑操作器的特殊用途处理器给予指令，分布这些电路装置以执行根据本发明的方法步骤的功能。工作站130还可以包括一个键盘131和一个鼠标132。

Claims (28)

1.一种图像处理方法，利用二维显示装置显示三维物体的处理图像并与显示的三维物体的表面互动，本方法包括：

构成并显示三维物体表面的至少两个耦接视图，这些视图包括(i)所述物体表面的全局三维视图和(ii)相关的所述物体表面的局部二维视图，其中构造并显示所述两个耦接视图包括：

使用平坦化过程来获得所述三维视图与所述二维视图之间直接的一对一的映射，

选择所述全局三维视图中的所述物体表面上的开始焦点，

将所述全局三维视图的所述开始焦点周围的未折叠区域投影到所述局部二维视图中以形成所述局部二维视图中的投影表面区域，所述未折叠区域是以平化畸变为函数而界定的，

其中所述投影表面区域包括避免投影畸变的有限的面积尺寸，且其中所述相关的局部二维视图包括在其上进行局部互动的表面视图。

2.如权利要求1所述的方法，其中选择所述开始焦点是用于所述两个耦接的视图的静态表示。

3.如权利要求2所述的方法，其特征在于，两个耦接的视图还有用于形成对应标记的取向装置。

4.如权利要求3所述的方法，其特征在于，取向轴线叠加到三维视图上以形成一个第一标记，对应取向轴线叠加到二维视图上以形成一个对应的第二标记，

并且其中，不同的轴线着不同的颜色，并且对应的轴线着相同的颜色，以便在两个视图的每一个中识别这些轴线。

5.如权利要求2至4中任一项所述的方法，其中针对所述耦接的视图的动态表示，所述方法进一步包括：

在物体表面上进行互动导航，具有把焦点滑到二维视图中的一个新位置的子步骤，其中自动更新在三维视图中的新焦点；界定所述三维视图中的新焦点周围的新的未折叠区域并将所述新的区域自动投影到二维视图中，所述新的区域是以平化畸变为函数而界定的；和处理二维视图的所述新区域中数据的子步骤，其中自动且同步地更新耦接的三维视图中对应的数据。

6.如权利要求2至4中任一项所述的方法，其特征在于，因为两个视图同时被更新，所以焦点和标记恒定地设置在两个视图的中心。

7.如权利要求2至4中任一项所述的方法，其特征在于，对三维视图的不同像元分配不同的颜色，包括对不同的轴线用不同的颜色，对不同的区域用不同的颜色，并且对二维视图中的对应像元分配对应的颜色，并且其中，在两幅视图中同步地和自动地更新不同的颜色。

8.如权利要求1至4中任一项所述的方法，其特征在于，利用网格模型技术对所关心的三维物体分区。

9.如权利要求8所述的方法，用于处理表示器官的三维医学图像中的数据，其特征在于，医学信息映射到三维网格模型上，其中该信息被引入到二维表面视图中，并且其中，在医学信息中有可视医学指示。

10.如权利要求9所述的方法，其中所述可视医学指示包括图像纹理、颜色编码或与器官有关的灌注、移动、张紧。

11.如权利要求9所述的方法，其进一步包括：

对二维表面视图进行设计，并在三维视图中自动和同步地更新，其中，所述设计包括(i)在所述二维表面视图上绘制的标记特殊的器官部位的线条、(ii)界定器官部位的轮廓和(iii)用于增强器官或器官部位的特殊设计。

12.如权利要求9所述的方法，其特征在于，在所述物体表面上进行互动导航期间，通过在称作虚拟鼠标垫的二维模型上滑动而进行与三维表面模型的连续互动，并且其中，在互动中有区域选择、在表面模型的任何部位上的曲线绘制、模型部位的切割、在复杂表面上的区域描绘、曲线轮廓的测量；并且当获得纹理并映射到模型上时，在互动中有边缘探测、特征抽取和/或在映射的纹理上的医学测量。

13.如权利要求12所述的方法，其中所述医学测量包括跟踪导线移动和/或探测伸张。

14.如权利要求9所述的方法，其特征在于，器官模型是心脏病学中的心室模型、脊骨病理学中的脊椎骨模型、动脉造影术和静脉学中的血管。

15.一种图像处理装置，用于利用二维显示装置显示三维物体的处理图像并与显示的三维物体的表面互动，所述图像处理装置包括：

用于构成并显示三维物体表面的至少两个耦接视图的装置，这些视图包括(i)所述物体表面的全局三维视图和(ii)相关的所述物体表面的局部二维视图，其中所述用于构造并显示所述两个耦接视图的装置包括：

用于使用平坦化过程来获得所述三维视图与所述二维视图之间直接的一对一的映射的装置，

用于选择所述全局三维视图中的所述物体表面上的开始焦点的装置，

用于将所述全局三维视图的所述开始焦点周围的未折叠区域投影到所述局部二维视图中以形成所述局部二维视图中的投影表面区域的装置，所述未折叠区域是以平化畸变为函数而界定的，

其中所述投影表面区域包括避免投影畸变的有限的面积尺寸，且其中所述相关的局部二维视图包括在其上进行局部互动的表面视图。

16.如权利要求15所述的图像处理装置，其中所述用于选择所述开始焦点的装置是用于所述两个耦接的视图的静态表示。

17.如权利要求16所述的图像处理装置，其特征在于，两个耦接的视图还有用于形成对应标记的取向装置。

18.如权利要求17所述的图像处理装置，其特征在于，取向轴线叠加到三维视图上以形成一个第一标记，对应取向轴线叠加到二维视图上以形成一个对应的第二标记，

并且其中，不同的轴线着不同的颜色，并且对应的轴线着相同的颜色，以便在两个视图的每一个中识别这些轴线。

19.如权利要求16至18中任一项所述的图像处理装置，其中针对所述耦接的视图的动态表示，所述图像处理装置进一步包括：

用于在物体表面上进行互动导航的装置，具有把焦点滑到二维视图中的一个新位置的子装置，其中自动更新在三维视图中的新焦点；用于界定所述三维视图中的新焦点周围的新的未折叠区域并将所述新的区域自动投影到二维视图中的装置，所述新的区域是以平化畸变为函数而界定的；和处理二维视图的所述新区域中数据的子装置，其中自动且同步地更新耦接的三维视图中对应的数据。

20.如权利要求16至18中任一项所述的图像处理装置，其特征在于，因为两个视图同时被更新，所以焦点和标记恒定地设置在两个视图的中心。

21.如权利要求16至18中任一项所述的图像处理装置，其特征在于，对三维视图的不同像元分配不同的颜色，包括对不同的轴线用不同的颜色，对不同的区域用不同的颜色，并且对二维视图中的对应像元分配对应的颜色，并且其中，在两幅视图中同步地和自动地更新不同的颜色。

22.如权利要求15至18中任一项所述的图像处理装置，其特征在于，利用网格模型技术对所关心的三维物体分区。

23.如权利要求22所述的图像处理装置，用于处理表示器官的三维医学图像中的数据，其特征在于，医学信息映射到三维网格模型上，其中该信息被引入到二维表面视图中，并且其中，在医学信息中有可视医学指示。

24.如权利要求23所述的图像处理装置，其中所述可视医学指示包括图像纹理、颜色编码或与器官有关的灌注、移动、张紧。

25.如权利要求23所述的图像处理装置，其进一步包括：

用于对二维表面视图进行设计并在三维视图中自动和同步地更新的装置，其中，所述设计包括(i)在所述二维表面视图上绘制的标记特殊的器官部位的线条、(ii)界定器官部位的轮廓和(iii)用于增强器官或器官部位的特殊设计。

26.如权利要求23所述的图像处理装置，其特征在于，在所述物体表面上进行互动导航期间，通过在称作虚拟鼠标垫的二维模型上滑动而进行与三维表面模型的连续互动，并且其中，在互动中有区域选择、在表面模型的任何部位上的曲线绘制、模型部位的切割、在复杂表面上的区域描绘、曲线轮廓的测量；并且当获得纹理并映射到模型上时，在互动中有边缘探测、特征抽取和/或在映射的纹理上的医学测量。

27.如权利要求26所述的图像处理装置，其中所述医学测量包括跟踪导线移动和/或探测伸张。

28.如权利要求23所述的图像处理装置，其特征在于，器官模型是心脏病学中的心室模型、脊骨病理学中的脊椎骨模型、动脉造影术和静脉学中的血管。

Images