CN111145353B

CN111145353B - 通过图像分割和网格特征点提取算法生成3d点云的方法

Info

Publication number: CN111145353B
Application number: CN201911374257.2A
Authority: CN
Inventors: 陈家兴; 许洁斌
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2019-12-27
Filing date: 2019-12-27
Publication date: 2023-05-23
Anticipated expiration: 2039-12-27
Also published as: CN111145353A

Abstract

本发明公开的通过图像分割和网格特征点提取算法生成3D点云的方法，包括以下步骤：1)将CT图像序列组合成3D图像；2)对3D图像序列使用自动的区域生长方法进行自动分割；3)将分割后的各组织器官的数据保存成到不同的JPEG图像序列中；4)使用移动立方体方法对JPEG图像进行三维重建，生成PLY格式的网格模型；5)使用特征点提取算法从PLY模型中提取特征点构成3D点云模型；6)重复2‑5的步骤提取不同窗宽和窗位下的器官组织；7)对每个不同的器官组织进行着色，组合在一起显示在计算机屏幕上。本发明考虑图像分割和特征点的相关方法，具有简单易用以及速度快的特点，可广泛应用从图像中提取3D点云的场景。

Description

通过图像分割和网格特征点提取算法生成3D点云的方法

技术领域

本发明涉及医学图像和图形处理领域，特别涉及通过图像分割和网格特征点提取算法生成3D点云的方法。

背景技术

CT图像的三维重建广泛应用医学领域，包括手术前的规划、手术的模拟和培训以及医生和病人之间的信息交流。CT图像的三维重建中涉及到等值面的灰度值的选取以及各个组织器官之间的分割，以及最后使用移动立方体算法重建三角面片的过程。三维重建的等值面的灰度值往往靠医生手工选取，而且不少分割的算法都需要医生的参与来选取“种子点”或是标识边缘，这往往要耗费医生不少的精力。而且三维重建的网格模型有很大的局限性，不光渲染耗时，且由于三维空间的遮挡关系，在计算机的屏幕上很难看出各组织器官的远近关系和交叉情况，不利于医生的手术。

因此基于以往的经验提供一种自动的等值面灰度值的选取方法和自动的CT图像分割方法来减轻医生的工作量是很有必要的。此外，用少量的3D点云模型加以颜色区分不同的组织器官来代替传统的无色三角形面片的网格，可以从另外一个方面辅助医生诊断和手术。3D点云可以清晰描述器官的模型和它们之间的拓扑关系，少量稀疏的点云模型可以很方便地看出器官之间的遮挡关系，而且点云还可以为配准以及检索提供很大的帮助，借助表面重建的算法还可以将点云模型还原成三角形网格。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供通过图像分割和网格特征点提取算法生成3D点云的方法，本发明考虑图像分割和特征点的相关方法，具有简单易用以及速度快的特点，可广泛应用从图像中提取3D点云的场景。

本发明的目的通过以下的技术方案实现：

通过图像分割和网格特征点提取算法生成3D点云的方法，包括以下步骤：

1)将CT图像序列组合成3D图像；

2)对3D图像序列使用自动的区域生长方法进行自动分割；

3)将分割后的各组织器官的数据保存成到不同的JPEG图像序列中；

4)使用移动立方体方法对JPEG图像进行三维重建，生成PLY格式的网格模型；

5)使用特征点提取算法从PLY模型中提取特征点构成3D点云模型；

6)重复2-5的步骤提取不同窗宽和窗位下的器官组织；

7)对每个不同的器官组织进行着色，组合在一起显示在计算机屏幕上。

所述步骤1)具体为：通过DICOM文件中的信息，将CT图像按扫描序列组合在一块，并将坐标系从LPS和RAS坐标转化为IJK坐标系，使CT图像成为标准的3D图像。

步骤2)中，所述自动分割具体为：依据经验值设置3D图像的窗宽和窗位以方便提取某一个或几个组织器官，将图像的灰度值范围归一化到0～255的区间；对3D图像进行小波变化提取关键的数据点，对变化后的图像使用Roberts算法进行边缘检测；统计3D图像的灰度直方图，选取直方图的极小值点作为种子点；以种子点为中心结合边缘在3D空间中进行区域生长，区域生长所得的数据就是某个器官组织的3D图像数据。

所述步骤3)具体为：将每一个器官的3D图像数据输出成JPEG格式的图像，得到多个JPEG图像序列。

所述步骤4)，具体为：对每个JPEG图像序列使用移动立方体算法MarchingCubes进行三维重建，生成的三角网格模型，然后将网格模型存储成PLY格式的文件。

步骤5)中，所述特征点提取算法为Harris3D算法；Harris3D算法的Harrris算子有点在于具有仿射不变性，即在平移、旋转和缩放等变化的作用下，检测出的特征点不变。Harris3D算法的具体步骤如下：

5.1)选取网格的局部最大值点；

使用PLY网格模型的包围盒的对角线长度的4％作为顶点的领域半径radius，使用公式(1)计算自适应的K阶邻域；

然后使用公式(4)计算每个顶点的Harris值

如果某个顶点的Harris值大于其K阶领域内的顶点，则该顶点被选为局部最大值点；

5.2)选取网格的全局最大值点；

对所有的顶点按其Harris3D值的大小进行排序，选取前10％～20％的点作为全局最大值点，剔除已经被选为局部最大值的点；选取的范围依据应用的场合不同进行相应的调整，如果只是用于辅助观察则提取前10％即可，如果需要使用点云模型重建PLY模型，则选取前20％的点。

本发明与现有技术相比，具有如下优点和有益效果：

本发明能够自动地将CT图像重建为3D点云模型的方法，减少医生的工作量，并以点云的形态来观察各个器官的状态及其之间的拓扑关系。少量的点云既可以显示出器官的模型也可以很好的反应各个器官之间的拓扑关系，如远近和交叠等。

附图说明

图1为本发明所述通过图像分割和网格特征点提取算法生成3D点云的方法的流程图。

图2是分割3D图像的流程图。

图3是步骤5)中的顶点的k阶邻域的示意图，其中绿色顶点为1阶，蓝色的顶点为2阶。

图4是实施例的数据流图。

图5是三个分割后的器官的三维重建后的PLY格式的三角网格模型图。

图6是使用Harris3D算法计算出来的特征点组成的点云图。

图7是三个器官的点云组合与着色后的效果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1-7所示，通过图像分割和网格特征点提取算法生成3D点云的方法，步骤如下：

步骤1：将CT图像序列组合成3D图像。

传统的CT图像都是由一个扫描序列组成的，这些序列代表的是人体的某个部位的横截面，如胸部或是头部等。由于CT扫描设备使用的坐标系如LPS和RAS等和标准的3D坐标***IJK不同，并且不同的扫描序列中CT图像之间的间隔并不相同，这些信息都记录在DICOM图像的头文件中。所以我们需要使用DICOM图像的头文件的信息将CT图像序列组合成一个归一化的使用IJK坐标系的3D图像。

步骤2：对3D图像序列使用自动的区域生长方法进行自动分割。

依据经验值设置3D图像的窗宽和窗位以方便提取某一个或几个组织器官，将图像的灰度值范围归一化到0～255的区间。对3D图像进行小波变化提取关键的数据点，对变化后的图像使用Roberts算法进行边缘检测。统计3D图像的灰度直方图，选取直方图的极小值点作为种子点。以种子点为中心结合边缘在3D空间中进行区域生长，区域生长所得的数据就是某个器官组织的3D图像数据。

步骤3：将分割后的各组织器官的数据保存成到不同的JPEG图像序列中。

分割后的数据通常有几个不同的组织器官组成，将每一个器官的3D图像数据输出成JPEG等格式的图像，因此得到多个JPEG图像序列。

步骤4：使用移动立方体方法对JPEG图像进行三维重建，生成PLY格式的网格模型。

对每个JPEG图像序列使用移动立方体算法(MarchingCubes)进行三维重建，生成的三角网格模型可以存储成PLY格式的文件。

步骤5：使用特征点提取算法从PLY模型中提取特征点构成3D点云模型。

使用PLY网格特征点提取算法，提取网格的局部最大值点和全局最大值点一起组成3D点云模型，这些点都是来自于PLY模型中的顶点，占总顶点数的10％～20％。

步骤6：重复2-5的步骤提取不同窗宽和窗位下的器官组织。

CT图像的灰度值范围非常的大，不同器官组织所在的灰度值范围有很大的不同，所以通过调整窗宽和窗位来提取不同器官组织的点云模型是很有必要的。

步骤7：对每个不同的器官组织进行着色，组合在一起显示在计算机屏幕上。

多个器官组织的点云模型如果以同样的颜色同时显示的话，人眼是很难分辨出不同的器官组织的，所以依据现实的器官的颜色对每一个器官组织的点云模型着色上相应的颜色，可以很大程序地帮助人们分辨不同的器官组织以及识别它们之间的拓扑关系。

具体地：

通过图像分割和网格特征点提取算法生成3D点云的方法，实现步骤如下：

步骤1：将CT图像序列转为3D图像。一个病人的CT图像是由很多个不同的DICOM格式的图像序列组成的，这些DICOM图像格式的图像序列扫描方向是不同的。所以需要分辨出不同的序列，然后将这些图像序列的由原来代表扫描方向的LPS坐标系或是RAS坐标系转为IJK坐标系的3D图像数据，根据需求可以将这些转化后的3D图像进行组合。将组合后的3D图像的灰度值范围归一化到0～255的范围。

步骤2：对3D图像进行自动分割，图2为流程示意图。

2.1)设定分割的窗宽和窗位。

不同的组织器官之间的窗位和窗位差异较大，根据需要分割的组织设置相应的阈值。例如软组织的窗宽为300-500HU，窗位为40-60HU。根据设立的窗宽和窗位将3D图像的灰度值范围归一化到0～255的范围。

2.2)小波变化。

利用小波变化对3D图像进行多级分解。本例中进行2级分解，并且将分解结果的第0级作为后续的处理数据。

2.3)边缘检测。

对小波变换后的3D图像数据使用Roberts算子进行边缘检测，得到边缘检测的数据。

2.4)直方图的统计和种子点的选取。

对3D图像的每个数据点按灰度值统计，0～255每个灰度值作为一个统计单位。计算灰度直方图的极大值点和极小值点。如果某个极大值点，大于它左边的极小值点并且小于它右边的极小值点，则从灰度值等于该极大值点的灰度值的3D图像数据点中随机选择3个点作为种子点。

2.5)区域生长。

对每个选取的种子点在3D图像空间中进行区域生长，向周围相领的顶点拓展，前后上下左右一共6个方向。当生长到边缘的时候，则停止生长。

步骤3：将分割后的数据保存到JPEG图像中。

进行区域生长分割后可以得到几个器官的3D图像数据，将这些3D图像数据分别存储到不同的JPEG图像序列中，既可以方便观察分割后的器官在原始CT图像中的位置，也可以用于后续的三维重建。

步骤4：使用移动立方体算法进行三维重建。

分割后的每个JPEG图像序列都代表一个器官组织，每个JPEG图像的灰度值范围都在0～255之间。对每个JPEG图像进行二值化,每个灰度值非零的点都是某个器官组织的一部分，将非0的灰度值统一转化成1。二值化后的JPEG图像的灰度值只有0和1两个值。对二值化后的JPEG图像使用移动立方体算法进行三维重建，等值面的灰度值选1。

步骤5：使用特征点算法从PLY模型提取特征点作为3D点云。

从PLY模型中提取特征点的算法比较多，如MeshSaliency、SIFT3D和Harris3D等。本实施例使用Harris3D算法从PLY模型中提取适量的特征点构成3D点云，该3D点云既可以很好的表示原始器官的3D形状，也可以重建为三角形网格用于3D打印。下面具体介绍如何使用Harris3D算法提取适量的特征点。

顶点的Harris算子的计算流程如下：

5.1)如图3所示，先计算顶点v的k阶邻域的质心；

顶点v的领域半径radius以及适应的环数k有下面的公式定义：

其中δ是三角网格的长方形外框的对角线长度的系数，一般取0.01。

5.2)将质心平移到到3D坐标系的原点；

5.3)使用PCA算法计算顶点的法线，选择最小特征值所对应的特征向量作为点集的法线；

5.4)计算Harris算子；

将法线旋转至和Z轴重合，并将顶点v平移到XY平面的原点。使用二次抛物曲面拟合顶点集，使用连续高斯函数的导数的积分形式来计算曲面的导数并得到点集的特征值矩阵，从特征值矩阵中计算出Harris算子。所使用的公式如下：

其中公式2是拟合点集的二次曲面，为抛物面；公式3是将连续高斯函数的导数的积分形式应用于抛物面公式所得到；公式4用于计算最终的Harris算子，该公式由原来的2D图像的Harris算子拓展而来，其中k是常数，一般取0.04。

5.5)特征点的选取；

特征点的选取分为局部特征点和全局特征点。如果一个顶点的Harris值大于其1环邻域内的所有顶点则该点为局部特征点。对所有的顶点按其Harris3D值的大小进行排序，选取前10％～20％的点作为全局最大值点，剔除已经被选为局部最大值的点。选取的范围依据应用的场合不同进行相应的调整，如果只是用于辅助观察则提取前10％即可，如果需要使用点云模型重建PLY模型，则选取前20％的点。

最后将点云数据到PCD等点云格式的文件中。

步骤6：调整窗宽和窗位提取不同器官的3D点云数据；

不同的器官组织的窗宽和窗位区别很大，如肺、肌肉、骨骼之间的窗位差别就很大。根据需要调整窗宽和窗位，重复步骤2-5获得多个不同的器官组织的3D点云数据。

步骤7：将不同器官组织的点云数据组合与着色；

点云数据只有3D空间的坐标位置，多个器官组织的点云同时显示，难以分别出某个点是属于哪个器官组织的，所以需要对每个器官组织的点云进行相应的着色。例如，皮肤的点云数据附上黄色，血管的点云数据附上红色，骨骼的点云数据附上白色等。着色的颜色没有严格的要求，只要能够明显区别出不同的器官组织即可。效果如图7。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.通过图像分割和网格特征点提取算法生成3D点云的方法，其特征在于，包括以下步骤：

1)将CT图像序列组合成3D图像；

2)对3D图像序列使用自动的区域生长方法进行自动分割；

步骤5)中，所述特征点提取算法为Harris3D算法；Harris3D算法的具体步骤如下：

5.1)选取网格的局部最大值点；

然后使用公式(4)计算每个顶点的Harris值

其中，δ是三角网格的长方形外框的对角线长度的系数，v表示顶点；

5.2)选取网格的全局最大值点；

对所有的顶点按其Harris3D值的大小进行排序，选取前10％～20％的点作为全局最大值点，剔除已经被选为局部最大值的点；选取的范围依据应用的场合不同进行相应的调整，如果只是用于辅助观察则提取前10％即可，如果需要使用点云模型重建PLY模型，则选取前20％的点；

6)重复2-5的步骤提取不同窗宽和窗位下的器官组织；

2.根据权利要求1所述通过图像分割和网格特征点提取算法生成3D点云的方法，其特征在于，所述步骤1)具体为：通过DICOM文件中的信息，将CT图像按扫描序列组合在一块，并将坐标系从LPS和RAS坐标转化为IJK坐标系，使CT图像成为标准的3D图像。

3.根据权利要求1所述通过图像分割和网格特征点提取算法生成3D点云的方法，其特征在于，步骤2)中，所述自动分割具体为：依据经验值设置3D图像的窗宽和窗位，将图像的灰度值范围归一化到0～255的区间；对3D图像进行小波变化提取关键的数据点，对变化后的图像使用Roberts算法进行边缘检测；统计3D图像的灰度直方图，选取直方图的极小值点作为种子点；以种子点为中心结合边缘在3D空间中进行区域生长，区域生长所得的数据就是某个器官组织的3D图像数据。

4.根据权利要求1所述通过图像分割和网格特征点提取算法生成3D点云的方法，其特征在于，所述步骤3)具体为：将每一个器官的3D图像数据输出成JPEG格式的图像，得到多个JPEG图像序列。

5.根据权利要求1所述通过图像分割和网格特征点提取算法生成3D点云的方法，其特征在于，所述步骤4)，具体为：对每个JPEG图像序列使用移动立方体算法MarchingCubes进行三维重建，生成的三角网格模型，然后将网格模型存储成PLY格式的文件。