CN104794758A

CN104794758A - 一种三维图像的裁剪方法

Info

Publication number: CN104794758A
Application number: CN201510185590.4A
Authority: CN
Inventors: 刘静静; 陈永健; 田广野; 王佳; 李凯一; 刘丽丽; 高聪; 金鑫
Original assignee: Qingdao Hisense Medical Equipment Co Ltd
Current assignee: Qingdao Hisense Medical Equipment Co Ltd
Priority date: 2015-04-17
Filing date: 2015-04-17
Publication date: 2015-07-22
Anticipated expiration: 2035-04-17
Also published as: CN104794758B; WO2016165209A1

Abstract

本发明公开了一种三维图像的裁剪方法。包括：根据对象的面素进行图像面绘制，得到所述对象在屏幕二维坐标系下的三维显示图像，获取所述对象的每个体素在所述屏幕二维坐标系下对应的二维坐标；或者，根据对象的体素进行图像体绘制，得到所述对象在屏幕二维坐标系下的三维显示图像和所述对象的每个所述体素在所述屏幕二维坐标系下对应的二维坐标；确定所述三维显示图像上的待裁剪区域；舍弃位于所述待裁剪区域内的三维显示图像像素点所在二维坐标对应的所述体素，及其对应的面素；根据保留下来的面素重新进行图像面绘制或根据保留下来的体素重新进行图像体绘制。

Description

一种三维图像的裁剪方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种三维图像的裁剪方法。

背景技术

无论是为了获得对象的完美三维(3D)图像，还是需要在对象的3D图像上模拟对该对象的操作，都需要对3D图像进行裁剪。

以医疗场景为例，复杂精准的外科手术越来越离不开3D医学影像分析及计算机辅助手术***。3D医学影像分析***中很难一次生成完美的3D影像，往往需要从3D影像上对其进行裁剪，以形成完美的3D影像。在计算机辅助手术***中，如果需要直接在3D影像上进行手术规划和手术模拟，同样需要对3D影像进行裁剪。

因此，如何实现对3D图像的裁剪，是目前需要解决的问题。

发明内容

本发明的目的是提供一种三维图像的裁剪方法，以实现对3D图像的裁剪。

本发明的目的是通过以下技术方案实现的：

一种三维图像的裁剪方法，包括：

根据对象的面素进行图像面绘制，得到所述对象在屏幕二维坐标系下的三维显示图像，获取所述对象的每个体素在所述屏幕二维坐标系下对应的二维坐标；或者，根据对象的体素进行图像体绘制，得到所述对象在屏幕二维坐标系下的三维显示图像和所述对象的每个所述体素在所述屏幕二维坐标系下对应的二维坐标；

确定所述三维显示图像上的待裁剪区域；

舍弃位于所述待裁剪区域内的三维显示图像像素点所在二维坐标对应的所述体素，及其对应的面素；

根据保留下来的面素重新进行图像面绘制或根据保留下来的体素重新进行图像体绘制。

本发明实施例提供的方法，实现了对三维图像进行裁剪。并且，由于获取了对象的每个体素在屏幕二维坐标系下对应的二维坐标，因此可以根据上述得到的体素与二维坐标的对应关系舍弃位于待裁剪区域内的三维显示图像像素点所在二维坐标对应的体素及其对应的面素。由于在二维坐标系下比较像素点位置关系，其运算量较小，从而提高了裁剪速度，实现实时快速的三维图像裁剪。

附图说明

图1为本发明实施例提供的一种方法流程图；

图2为本发明实施例提供的进行图像绘制的方法流程图；

图3为本发明实施例提供的对体素进行投影变换的方法流程图；

图4为本发明实施例提供的三维显示图像像素点是否在闭合曲线内的判断方法流程图；

图5为本发明实施例提供的另一种方法流程图。

具体实施方式

在对本发明实施例进行详细说明之前，首先对本发明实施例中涉及到的部分名词进行解释说明。

对象，是指三维图像所显示的三维物体。以医学领域为例，是指某个组织器官，例如肝脏，心脏等等。

世界坐标系，在三维物体所在空间定义的坐标系，是一个三维坐标系。假设针对某对象，有N张切片图像组成图像序列，本发明实施例中，定义第一张切片图像的左上角为世界坐标系的坐标原点，切片图像的行方向为世界坐标系的x轴正方向，切片图像的列方向为世界坐标系的y轴正方向，图像序列的方向为z轴正方向，长度单位为1个像素点。本发明实施例中，世界坐标系中的坐标与三维显示图像的坐标系中的坐标一一对应。

屏幕二维坐标系，定义屏幕显示区域的左上角为屏幕二维坐标系的原点，屏幕显示区域的行方向为屏幕二维坐标系的x轴正方向，屏幕显示区域的列方向为屏幕二维坐标系的y轴正方向，长度单位为1个像素点。

体素，一种三维图像数据，可以从对象的图像序列中获得。

面素，另一种三维图像数据，可以从对象的图像序列中获得，在世界坐标系下的相同坐标处的体素和面素之间具有对应关系。

三维显示图像，在屏幕上显示的三维效果的图像。

图1所示为本发明实施例提供的三维图像的裁剪方法，其具体实现方式包括如下操作：

步骤100、根据对象的面素进行图像面绘制，得到所述对象在屏幕二维坐标系下的三维显示图像，获取所述对象的每个体素在所述屏幕二维坐标系下对应的二维坐标；或者，根据对象的体素进行图像体绘制，得到所述对象在屏幕二维坐标系下的三维显示图像和所述对象的每个所述体素在所述屏幕二维坐标系下对应的二维坐标。

进行图像体绘制或面绘制即将对象以三维形式显示在屏幕上。

另外，本发明实施例也不限定绘制过程所采用的投影变换方式，既可以采用平行投影，也可以采用透视投影。

步骤110、确定上述三维显示图像上的待裁剪区域。

步骤120、舍弃位于该待裁剪区域内的三维显示图像像素点所在二维坐标对应的体素，以及这些体素对应的面素。

步骤130、根据保留下来的面素重新进行图像面绘制或根据保留下来的体素重新进行图像体绘制。

该步骤即在屏幕上显示三维图像裁剪后的对象。

本发明实施例提供的方法，实现了对三维图像进行裁剪。并且，由于获取了对象的每个体素在屏幕二维坐标系下对应的二维坐标，因此可以根据上述得到的体素与二维坐标的对应关系舍弃位于待裁剪区域内的三维显示图像像素点所在二维坐标对应的体素及其对应的面素。由于在二维坐标系下比较像素点位置关系，其运算量较小，从而提高了裁减速度，实现实时快速的三维图像裁剪。另外，由于在屏幕二维坐标系下比较位置关系，进而根据对象的每个体素在屏幕二维坐标系下对应的二维坐标舍弃相应的体素和面素，可见不需要构建待裁剪区域对应的三维区域，并在三维坐标系下直接对三维图像数据与三维区域进行位置判断。其中，上述三维区域需要沿着体绘制或面绘制的投影方向的反方向进行构建，受限于***运算能力，在进行体绘制或面绘制时只能采用平行投影。由于本发明实施例提供的方案不需要构建待裁剪区域对应的三维区域，也就不需要限定进行体绘制或面绘制的投影方式，既可以采用平行投影，也可以采用透视投影。因此可以根据实际需要选择合适的投影方式，另外，如果采用透视投影，还能够模拟人眼“近大远小”的视觉特征，带来更好的用户体验。

下面分别对本发明实施例的各个步骤进行详细说明。

步骤100的具体实现方式：

根据对象的面素进行图像面绘制或者根据对象的体素进行图像体绘制的具体实现方式有多种，本发明对此不作限定。仅以图2所示的流程为例进行举例说明，如图2所示，步骤100具体包括如下操作：

步骤200、构建世界坐标系；

步骤210、将三维图像数据(体素或面素)进行模型变换，并记录所使用的模型变换矩阵。

具体的，是进行旋转、平移和缩放，类似于三维物体放在场景中的适当位置。

步骤220、将经过模型变换后的三维图像数据进行投影变换，并记录所使用的投影变换矩阵。

该步骤中，既可以进行平行投影，也可以进行透视投影。

步骤230、将经过模型变换和投影变换后得到的数据显示于屏幕窗口的指定区域，并记录视口变换矩阵。

应当指出的是，上述处理过程既适用于体绘制，也适用于面绘制。

其中，如果是体绘制，则根据体素依次进行模型变换，投影变换和视口变换；如果是面绘制，则根据面素依次进行模型变换，投影变换和视口变换。

上述步骤200～步骤230可以但不仅限于在现有的图像绘制平台(例如OpenGl平台)上实现。

如果进行面绘制，相应的，获取体素在屏幕二维坐标系下对应的二维坐标的实现方式也有多种。

例如，对上述对象的体素进行投影变换，获取每个体素在屏幕二维坐标系下对应的二维坐标。也就是通过模拟投影变换的过程，建立世界坐标系与屏幕二维坐标系的映射关系。无论采用体绘制或面绘制，均可以采用这种实现方式。尤其是采用面绘制时，由于面绘制过程中无法得到体素在屏幕二维坐标系下对应的二维坐标，因此可以采用该实现方式。该实现方式如图3所示，具体包括如下操作：

步骤300、获取对象的每个体素在世界坐标系中的三维坐标。

步骤310、将每个上述三维坐标依次乘以模型变换矩阵、投影变换矩阵和视口变换矩阵，得到对象的每个体素在上述屏幕二维坐标系下对应的二维坐标。

其中，模型变换矩阵、投影变换矩阵和视口变换矩阵即投影参数。

应当指出的是，将模型变换矩阵、投影变换矩阵和视口变换矩阵作为投影参数只是举例而非限定。

本发明实施例对投影参数的获取方式并不限定。例如，可以利用步骤100图像面绘制或体绘制过程所使用的投影参数。现有的图像绘制技术，能够将对象完整、精确地显示为三维显示图像，这归功于其过程中所使用的投影参数。因此，利用图像绘制过程中所使用的投影参数进行模拟投影，可以将每个体素精确地映射到屏幕二维坐标系中，保证体素与视觉上的三维对象的坐标始终一一对应，保证了后续裁剪过程的准确性。

如果进行图像体绘制，利用体绘制过程中的投影变换，即可得到对象的每个体素在上述屏幕二维坐标系下对应的二维坐标。现有的图像绘制技术，能够将对象完整、精确地显示为三维显示图像，这归功于其过程中所使用的投影参数。因此，利用图像绘制过程中得到的每个体素精确在屏幕二维坐标系中的映射关系，保证了后续裁剪过程的准确性。

为了进一步提高处理速度，上述步骤100中，如果进行图像面绘制，可以利用CUDA加速方式获取获取所述对象的每个体素在所述屏幕二维坐标系下对应的二维坐标。例如，通过GPU加速实现。

步骤110的具体实现方式：

确定待裁剪区域的实现方式有多种。例如，根据鼠标移动轨迹获取用户在三维显示图像上选取的待裁剪区域的闭合曲线，相应的，待裁剪区域就是指闭合曲线内的区域。又例如，根据鼠标移动轨迹获取用户在三维显示图像上选取的闭合曲线，然后进行反选操作，相应的，待裁剪区域就是闭合曲线外的区域。等等。

由于鼠标移动轨迹会有不连续点的情况出现，也就是非闭合曲线，需要进行三次样条插值。即使手动选取的区域不是闭合的，也会自动进行插值形成闭合曲线，不会影响之后的判断。例如：

假定有n+1个数据节点(x₀,y₀),(x₁,y₁),(x₂,y₂)……(x_n,y_n)

计算步长h_i＝x_i+1-x_i(i＝0,1，……，n-1)；

将数据节点和指定的首位端点条件代入矩阵方程；

解矩阵方程，求得二次微分值m_i，该矩阵为三对角矩阵；

计算样条曲线的系数：

a_i＝y_i

b_{i} = \frac{y_{i + 1} - y_{i}}{h_{i}} - \frac{h_{i}}{2} m_{i} - \frac{h_{i}}{6} (m_{i + 1} - m_{i})

c_{i} = \frac{m_{i}}{2}

d_{i} = \frac{m_{i + 1} - m_{i}}{6 h_{i}}

在每个子区间x_i≤x≤x_i+1中创建方程：

g_i(x)＝a_i+b_i(x-x_i)+c_i(x-x_i)²+d_i(x-x_i)³

通过三次样条插值形成闭合曲线的具体实现方式可以参照现有实现方式，本发明不再赘述。

上述步骤120的具体实现方式：

在执行步骤120之前，本发明实施例提供的方法还包括判断的步骤。即判断每个上述二维坐标处的三维显示图像像素点是否在上述待裁剪区域内。

其中，如果步骤110具体是获取用户在三维显示图像上选取的待裁剪区域的闭合曲线，或对用户选取的闭合曲线进行反转后确定待裁剪区域。那么，判断的步骤中，具体是判断每个上述二维坐标处的三维显示图像像素点是否在该闭合曲线内。以图4所示为例，对判断步骤的具体实现方式进行说明。如图4所示，具体包括如下操作：

步骤400、在上述屏幕二维坐标系下构建与上述三维显示图像的显示区域同样大小的矩形图像。

其中，该矩形图像的全部矩形图像像素点的像素值为第一像素值。

举例说明，将该矩阵图象的全部矩阵图象像素点的像素值设置为0。

由于该矩阵图象建立在屏幕二维坐标系中，因此，该矩阵图象的矩阵图像像素点与三维显示图像像素点一一对应。

举例说明，三维显示图像的显示区域大小为100个像素点*100个像素点，那么，上述矩阵图象的大小也为100个像素点*100个像素点。

步骤410、将上述矩形图像中上述闭合曲线(即待裁剪区域)对应的二维坐标处的矩形图像像素点的像素值修改为第二像素值，得到轮廓曲线。

其中，第一像素值的取值与第二像素值的取值不同。

具体的，利用轮廓检测查找上述闭合曲线的外轮廓，并映射到矩形图像的对应区域，将该对应区域的像素值改为第二像素值，例如255，得到轮廓曲线。

步骤420、判断上述矩形图像中每个矩形图像像素点是否在该述轮廓曲线内。

具体的，利用射线法进行比较判断。如果一个矩形图像像素点引出的射线与轮廓曲线的交点数目为偶数，则表示该矩形图像像素点在轮廓曲线的外部，如果一个矩形图像像素点引出的射线与轮廓曲线的交点数目为奇数，则表示该矩形图像像素点在轮廓曲线的内部。

为了进一步提高处理速度，上述判断的步骤具体可以利用CUDA加速方式实现。例如，通过GPU加速实现。

步骤130的具体实现方式：

绘制过程中所使用的投影变换方式不做限定，既可以采用平行投影，也可以采用透视投影。

应当指出的是，上述各个步骤的具体实现方式之间可以相互配合。

基于上述任意方法实施例，在将对象的三维图像数据进行图像绘制之前，该方法还包括：

对包含所述对象的图像序列进行分割，获得所述对象的三维图像的体素和面素。

具体的，对包含对象的图像序列进行分割，得到对象图像序列，进而根据该对象图像序列得到对象的体素和面素。

通过进行分割，由于多个对象的三维坐标之间互不干扰，因此可以将图像序列中显示的多个对象分割为不同的对象图像序列，进而针对不同的分割目的和应用场景，同时对单个或多个对象并行进行图像裁剪处理，从而提高处理速度。类似于模拟手术过程，手术刀可以切除某一器官组织的病变位置，也同时切除掉相邻的器官组织病变位置。切割对象可以根据实际需要进行，这在模拟手术过程中是非常关键的一步，也是符合实际情况的。

下面以具体应用场景为例，对本发明实施例提供的方法进行详细说明。如图5所示，具体包括如下操作：

步骤500、将采用CT扫描得到的胸腔的图像序列进行分割，得到肝脏图像序列，进而根据肝脏图像序列得到肝脏的体素和面素。

其中，胸腔的图像序列可以但不仅限于是从DICOM中获取的。

应当指出的是，步骤500中，分割不仅可以得到肝脏图像序列，还可以得到其他器官的图像序列，不同器官的图像序列分别独立保存。本实施例仅以肝脏图像序列的裁剪进行举例说明。

如果分割得到多个器官的图像序列，且这些器官均需要进行三维图像裁剪，则可以同时实现对这些器官的三维图像裁剪。

步骤510、构建世界坐标系。

假设有N张肝脏图像序列，以第一张肝脏图像的左上角为坐标原点，行方向为X轴正方向，列方向为Y轴正方向，图像序列的方向为Z轴正方向构建世界坐标系。

步骤520、将肝脏的体素或面素进行模型变换，并记录所使用的模型变换矩阵。

所谓模型变换，即对三维物体模型(由体素或面素构建)进行旋转、平移和缩放，类似于三维物体放在场景中的适当位置。模型变换所使用的模型变换矩阵称为modeMatrix。

步骤530、将经过模型变换后的数据进行投影变换，并记录所使用的投影变换矩阵。

所谓投影变换，以平行投影为例，投影的视景体是一个矩形的平型管道，无论物体距离多远，投影后的物体大小、尺寸不变。投影变换所使用的投影变换矩阵称为projMatrix。

以上以平行投影举例，本实施例也可采用透视投影，其具体实现方式不再赘述。

步骤540、将经过模型变换和投影变换后得到的肝脏三维显示图像显示于屏幕窗口的指定区域，并记录视口变换矩阵(又称视口向量)。

具体的，经过模型变换和投影变换后，还需要经过裁剪变换，即取景。将取景后的肝脏三维显示图像显示在屏幕窗口的指定区域。假设每个体素或面素的坐标是objcoor[objx，objy，objz，1.0]，依次乘以模型视图矩阵modelMatrix、投影变换矩阵projMatrix，最后使用视口变换矩阵将齐次表示的三维显示图像像素点限定在当前的视口内。

应当指出的是，步骤510～步骤540是进行图像绘制的过程，在进行图像绘制之前，还需要进行数据格式的转化(转化成STL格式)。

步骤550、获取肝脏的每个体素在世界坐标系中的三维坐标。

步骤560、将肝脏的每个体素的三维坐标依次乘以模型变换矩阵、投影变换矩阵和视口变换矩阵，得到肝脏的每个体素在上述屏幕二维坐标系下对应的二维坐标。

步骤570、根据鼠标移动轨迹获取用户在肝脏三维显示图像上选取的待裁剪区域的闭合曲线。

步骤580、在上述屏幕二维坐标系下构建与上述肝脏三维显示图像的显示区域同样大小的矩形图像。

步骤590、将上述矩形图像中上述闭合曲线对应的二维坐标处的矩形图像像素点的像素值修改为第二像素值，得到轮廓曲线。

步骤5100、判断上述矩形图像中每个矩形图像像素点是否在该述轮廓曲线内。

步骤5110、舍弃位于该闭合曲线内的肝脏三维显示图像像素点所在二维坐标对应的体素，以及这些体素对应的面素。

步骤5120、根据保留下来的肝脏体素或面素重新进行图像绘制。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种三维图像的裁剪方法，其特征在于，包括：

确定所述三维显示图像上的待裁剪区域；

2.根据权利要求1所述的方法，其特征在于，如果根据对象的面素进行图像面绘制，得到所述对象在屏幕二维坐标系下的三维显示图像，所述获取每个所述体素在所述屏幕二维坐标系下对应的二维坐标，包括：

对所述对象的体素进行投影变换，获取所述对象的每个体素在所述屏幕二维坐标系下对应的二维坐标。

3.根据权利要求2所述的方法，其特征在于，所述对所述对象的体素进行投影变换，获取所述对象的每个体素在所述屏幕二维坐标系下对应的二维坐标，包括：

获取每个所述体素在世界坐标系中的三维坐标；

将每个所述三维坐标依次乘以模型变换矩阵、投影变换矩阵和视口变换矩阵，得到每个所述体素在所述屏幕二维坐标系下对应的二维坐标。

4.根据权利要求3所述的方法，其特征在于，所述对所述对象的体素进行投影变换，获取每个所述体素在所述屏幕二维坐标系下对应的二维坐标之前，该方法还包括：

获取根据所述对象的面素进行图像面绘制过程所使用的模型变换矩阵、投影变换矩阵和视口变换矩阵。

5.根据权利要求1～4任一项所述的方法，其特征在于，舍弃位于所述待裁剪区域内的三维显示图像像素点所在二维坐标对应的所述体素，及其对应的面素之前；该方法还包括：

判断每个所述二维坐标处的三维显示图像像素点是否在所述待裁剪区域内。

6.根据权利要求5所述的方法，其特征在于，所述判断每个所述二维坐标处的三维显示图像像素点是否在所述待裁剪区域内，包括：

在所述屏幕二维坐标系下构建与所述三维显示图像的显示区域同样大小的矩形图像，所述矩形图像的全部矩形图像像素点的像素值为第一像素值；

将所述矩形图像中所述待裁剪区域对应的二维坐标处的矩形图像像素点的像素值修改为第二像素值，得到轮廓曲线；

判断所述矩形图像中每个矩形图像像素点是否在所述轮廓曲线内。

7.根据权利要求2所述的方法，其特征在于，所述对所述对象的体素进行投影变换，获取所述对象的每个体素在所述屏幕二维坐标系下对应的二维坐标，包括：

利用CUDA加速方式对所述对象的体素进行投影变换，得到所述对象的每个体素在所述屏幕二维坐标系下对应的二维坐标。

8.根据权利要求5所述的方法，其特征在于，判断每个所述二维坐标处的三维显示图像像素点是否在所述待裁剪区域内，包括：

利用CUDA加速方式判断每个所述二维坐标处的三维显示图像像素点是否在所述待裁剪区域内。

9.根据权利要求1～4任一项所述的方法，其特征在于，根据对象的面素进行图像面绘制之前或者根据所述对象的体素进行图像体绘制之前，该方法还包括：

对包含所述对象的图像序列进行分割，获得所述对象的体素和面素。

10.根据权利要求1～4任一项所述的方法，其特征在于，所述确定所述三维显示图像上的待裁剪区域，包括：

确定用户在所述三维显示图像上选取的待裁剪区域的闭合曲线。