CN106373168A - 一种基于医疗图像的分割与三维重建方法、3d打印*** - Google Patents

一种基于医疗图像的分割与三维重建方法、3d打印*** Download PDF

Info

Publication number
CN106373168A
CN106373168A CN201611045004.7A CN201611045004A CN106373168A CN 106373168 A CN106373168 A CN 106373168A CN 201611045004 A CN201611045004 A CN 201611045004A CN 106373168 A CN106373168 A CN 106373168A
Authority
CN
China
Prior art keywords
image
dimensional
segmentation
model
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611045004.7A
Other languages
English (en)
Inventor
吴怀宇
吴挺
陈春阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Three High Technology Co Ltd
Original Assignee
Beijing Three High Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Three High Technology Co Ltd filed Critical Beijing Three High Technology Co Ltd
Priority to CN201611045004.7A priority Critical patent/CN106373168A/zh
Publication of CN106373168A publication Critical patent/CN106373168A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/416Exact reconstruction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于医疗图像的分割与三维重建方法、3D打印***,方法包括:医疗图像分割和三维重建。所述3D打印***,通过FDM熔融沉积制造法对所述重建模型进行3D打印。本发明在图像分割部分,提出了自己独特的基于医学文件(DICOM)预处理的分割算法,有效完成了分割任务。对于重建部分,对移动立方体(Marching Cubes,MC)算法进行了优化,从而最终使本发明中的模型得到极大的完善。对于交互式界面,可视化工具使用户与模型可以进行一定程度的交互。最后,通过3D打印机将得到的模型进行打印,最终得到了骨骼的仿真实体,从而可以让医生进行触摸交互。

Description

一种基于医疗图像的分割与三维重建方法、3D打印***
技术领域
本发明涉及医学影像处理及其三维重建技术以及3D打印领域,特别涉及一种基于医疗图像的分割与三维重建方法、3D打印***。
背景技术
目前,世界上有很多国家的研究机构正致力于这个领域的研发工作,并且已经研究出一些面向临床的、功能简单的医学影像三维可视化***。其主要特点如下:一是主要运行在大型机和工作站上(如SGI,SUN等图形工作站),或是作为某些专用设备(如CT,MRI等)的配套软件,价格昂贵,不适合我国国情,而且大多数只生成二维图像,极少使用三维软件;而是基本都是国外商用软件,针对病灶,、人体组织的三维体绘制技术,国内还没有完全掌握。同时也应注意到尽管这些***仅能提供有限的临床功能,但在临床研究中已经发挥了重要作用。正是由于医学影像处理及其三维重建技术对临床医学发挥着巨大的促进作用,因此受到世界许多国家的重视,使得医学图像处理及其可视化技术成为生物医学工程研究的热点之一,也称为科学计算可视化最引人注意和发展最快的领域之一。尽管国内外的研究者在这个领域已经取得了***的成果,但由于它的研究对象如此复杂神秘,研究所涉及的领域和学科如此的宽广,因此,还有许多地方值得进一步的探索和研究。除此之外,传统的3D模型只能投影于电脑屏幕上,这样就限制了人体三维视觉的直观感受,还会造成某些信息的缺失。而最近出现的一种新型技术:3D打印,则可以克服这些限制,产生可触摸的三维模型,从而更加准确的模拟出病人的身体状况以及病变程度。不仅有利于医生更加精准的诊断,同时可以在临床手术前进行仿真操作,从而尽可能多地减少真实手术中的操作失误。未来,基于图像处理,3D重建的3D打印将成为医学领域一个全新并且重要的热门方向。
图像分割是计算机视觉(Computer Vision)领域中重要的的组成部分,其目标是将图像中的物体与背景分割开,从而更好地为之后的检测识别打好基础。在过去的几十年中,本领域学者提出了许许多多的分割算法:其中Kass提出的snake算法通过动态轮廓线来不断逼近分割目标;Sethian和Osher提出的level set算法将低维闭合曲线演化的问题转化为高维空间中水平集函数全面演化的隐含方程来求解,许多人在基本的level set方法中融合其他信息,如中科院自动化所的汪老师添加了聚类信息,从而在MRI图像的分割中达到了较好的效果;Boykov在2000年和2001年分别在MICCAI和ICCV中提出的Graph Cuts也是分割算法中十分经典的一种,其将图像中的像素视为图的节点,像素间的关系代表图中边的权重,通过最小割求解来得到物体的边界。之后Boykov及其学生有在此基础上进一步研究了能量优化算法,彩色图像分割算法(Grab Cuts)等等。
而三维重建则是计算机图形学(Computer Graphics)的重要研究方向,其方法常被用作三维设计,CAD建模,并通常与计算机视觉中的一些内容联系紧密。重建算法主要分为面重建与体重建,由于本文仅专注于面重建,因此体重建的算法就不再详细介绍了。面重建是通过算法得到三维立体模型的表面结构,其中最常用的是MC(Marching Cube)算法。这是一种高效的面重建算法,通过体数据的分类得到三角面片,最终将相邻三角面片连接从而得到重建结果。在经典的MC算法之上,Ju Tao提出了交互式的拓扑结构修改来纠正模型的一些错误;Jiantao Pu通过puzzle game将MC得到的结果进一步匹配,从而成功得到了肺部气管的重建结构。除此之外,还有Kazhdan提出的泊松重建,可以将有向点集通过苏托克斯公式重建为水密结构的三维模型。
发明内容
本发明要解决的技术问题是,如何对医疗图像进行优化式的图像分割和三维重建,同时如何将模型进行3D打印后提高医学领域中广泛应用的程度。
解决上述技术问题,本发明提供了一种基于医疗图像的分割与三维重建方法,包括如下步骤:对原始医疗图像中冗余信息进行处理,剔除像素值的上、下阈值范围内的信息;通过增大图像的对比度,抽取上述图像中的骨骼与背景的交界信息,得到梯度图;高斯平滑化操作所述梯度图后采用canny算法检测图像的边缘后确定轮廓并添加轮廓限制;根据上述图像分割后得到的图像通过MC算法进行三维重建。
更进一步,方法还包括如下可视化及图形界面的操作步骤:
采用VTK实现上述三维重新后三维模型的可视化,通过Qt作为GUI;
以及,通过第一图形界面显示二维图像以及处理与用户的交互;
通过第二图形界面显示生成的三维模型以及处理与用户的交互。
更进一步,通过所述MC算法进行三维重建时,包括如下优化步骤:
采用三角带连接分散的三角面片,减少内存占用;
根据单个的三角面片需要存储三个顶点的坐标,则N个三角形需要存储3N个点,
若将这些三角面片连成三角带,则需要N+2个点。
更进一步,通过所述MC算法进行三维重建时,包括如下优化步骤:
采用削减三角面片的数量,减少时间与空间复杂度;
首先,确定每个三角面片属于哪种类型,然后根据每种类型的三角面片的属性,决定删除哪一个三角面片;
其次,再定位生成的洞,补全这些孔洞,直到达到用户设定的削减比例。
更进一步,通过所述MC算法进行三维重建时,包括如下优化步骤:
采用连接性检测过滤离散的噪声区域,去除杂质;
首先,将所有三角面片排成序列,然后以第一个三角面片作为树根;
其次,逐步找到所有连在一起的三角面片作为一个整体;
最终,将整个模型分为几个不相交的区域,并计算每个区域三角面片的数量,选取最大的两个区域。
更进一步,通过所述MC算法进行三维重建时,包括如下优化步骤:
检测出孔洞,并通过补洞对模型精细化处理;
首先,遍历所有的边,如果一条边没有同时被两个及以上的三角面片利用到,则存储该条条边后,得到该种单边的集合,从所述集合中找出能首尾相连的子集即为空洞的轮廓;
然后,将该区域三角化,形成新的三角面片后补齐孔洞;
最后,通过计算所有三角面片与相邻面片的夹角,找出其中的异常面片,构成异常面片集合,然后再搜索其中的闭合区域,即可自动定位这些凹陷区域,之后再通过在此区域增加三角面片的方法,最终完成模型的修补。
基于上述方法,本发明还提供了一种基于医疗图像的分割与三维重建的***,包括:
图像分割模块和三维重建模块,
所述图像分割模块,用以对原始医疗图像中冗余信息进行处理,剔除像素值的上、下阈值范围内的信息;通过增大图像的对比度,抽取上述图像中的骨骼与背景的交界信息,得到梯度图;高斯平滑化操作所述梯度图后采用canny算法检测图像的边缘后确定轮廓并添加轮廓限制;
所述三维重建模块,用以接收上述图像分割模块的处理结果,并通过第二图形界面显示生成的三维模型以及处理与用户的交互。
更进一步,方法还包括3D打印模块,用以接收所述三维重建模块的处理结果,并通过逐层打印的方式来构造所述三维重建模块中的重建模型。
基于上述,本发明提供了一种可视化及带有图形界面的***,包括所述的分割与三维重建***,还包括,显示器,
所述显示器被配置为:
采用VTK实现上述三维重新后三维模型的可视化,通过Qt作为GUI;
以及,通过第一图形界面显示二维图像以及处理与用户的交互;
通过第二图形界面显示生成的三维模型以及处理与用户的交互。
基于上述,本发明还提供了一种3D打印***,采用所述的分割与三维重建方法得到重建模型,其特征在于,通过FDM熔融沉积制造法对所述重建模型进行3D打印,其中,所述FDM法中采用:ABS丙烯腈-丁二烯-苯乙烯共聚物和/或PLA生物降解塑料聚乳酸中的一种材料
本发明的有益效果:
本发明在图像分割部分,提出了自己独特的基于医学文件(DICOM)预处理的分割算法,有效完成了分割任务。对于重建部分,对移动立方体(Marching Cubes,MC)算法进行了优化,从而最终使本发明中的模型得到极大的完善。对于交互式界面,可视化工具使用户与模型可以进行一定程度的交互。最后,通过3D打印机将得到的模型进行打印,最终得到了骨骼的仿真实体,从而可以让医生进行触摸交互。
附图说明
图1是本发明的基于医疗图像的分割与三维重建方法流程示意图;
图2(a)-图2(b)是过滤离散的噪声区域效果对比图;
图3(a)-图3(b)是补洞后效果对比图;
图4(a)-图4(d)是一种补洞后效果对比图;图4(c)-图4(d)是不同分割算法效果对比图;
图5(a)-图5(c)是Graph Cuts改进算法效果示意图;
图6(a)-图6(b)是采用auto-graph cuts的分割结果,对于相邻物体的分割效果示意图;
图7(a)-图7(b)分别是原图与剔除冗余信息后的效果图对比;
图8(a)-图8(b)分别为求取梯度后的显示效果以及拉伸梯度范围小时效果示意图;
图9 canny运算后的结果示意图;
图10(a)-图10(b)分别是最外层轮廓示意图以及将结果投射回原图后,的分割效果示意图;
图11分割方法的效果对比图;
图12是本发明的基于医疗图像的分割与三维重建***的结构示意图。
具体实施方式
现在将参考一些示例实施例描述本公开的原理。可以理解,这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述,而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。
如本文中所述,术语“包括”及其各种变体可以被理解为开放式术语,其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。
CT(computed tomography)是指计算机断层扫描技术,它通过计算机控制仪器发出X射线,然后根据人体不同组织对X射线的吸收与通过率,采用灵敏程度极高的仪器对人体进行测量。将测量数据输入电子计算机进行处理,即可显示出人体被***位的断面图像,从而使医生不需切开伤口,就可以知道病人病变症状及程度。
X射线的吸收和通过情况会由计算机反映在图像上从而供医生进行诊疗,其中最常用的就是DICOM(Digital Imaging and Communication in Medicine).DICOM文件是医学数字成像和通讯的国际标准,是目前唯一为光大医疗影像设备厂家所严格遵守的规范。主要有DICOM文件头和像素数据两大部分组成,其中像素数据部分存储12位的灰度图像信息,即-2048~2048。由于普通电脑只能显示28,即255个像素深度,因此需要一定的转换才能显示在我们的屏幕上,本文中我们采用一种全新算法处理CT图像,并显示于屏幕上。
现行的主要分割方法包括阈值分割,snake轮廓模型,Level Set模型,Chan-Vese分割,Graph Cut图割等方法。由于阈值分割最为简单,因此笔者主要介绍一下后面的几种分割方法。
2.2.1 Snake模型
Snake模型首先要在感兴区域附近给出一条初始曲线,接下来定义能量函数,然后不断收敛,从而使曲线在图像中发生形变并不断逼近目标轮廓。Kass等提出的Snake模型由一组控制点组成:
v(s)=[x(s),y(s)],s∈[0,1]
然后,在这些控制点上定义能量函数(反映能量与轮廓之间的关系):
E t o t a l = ∫ s { α | ∂ ∂ s v | 2 + β | ∂ 2 ∂ s 2 v | 2 + E e x t ( v ( s ) ) } d s
第一项称为弹性能量,第二项为弯曲能量,第三项是外部能量,至于控制点周边的图像局部信息则多采用梯度特征,也称为图像力。最终通过求解能量函数Etotal(v)的极小值,求得最终的分割轮廓。
E e x t ( v ( s ) ) = P ( v ( s ) ) = - | ▿ I ( v ) | 2
2.2.2 Level Set Function算法
Level Set方法把低维的一些计算上升到更高一维,把N维的描述看成是N+1维的一个水平。举例来说,一个二维平面的圆,如x2+y2=1可以看成是二元函数f(x,y)=x2+y2的1水平,因此,计算这个圆的变化时就可以先求f(x,y)的变化,再求其1水平集。
水平集方法将平面闭合曲线隐含的表达为连续函数曲面φ(x,y,t)的一个具有相同函数值的同值曲线。通常将目标曲线隐含表示在零水平集函数{φ(x,y,t)}中,即t时刻对应的零水平集:
C ( p , 0 ) = { ( x , y ) | φ ( x , y , 0 ) = 0 } C ( p , t ) = { ( x , y ) | φ ( x , y , 0 ) = 0 } ,
设用于演化的平面闭合曲线为C(p,t)=(x(p,t),y(p,t)),p为任意的参数化变量,t为时间。设曲线的内向法向量为N,曲率为k,则曲线沿其法向量方向的演化可以用下面的偏微分方程表示:
∂ C ∂ t = V ( k ) N
对t进行全微分,得到而内向法向量整理得到:
这就是用水平集进行曲线演化的方程。用水平集方法实现主动轮廓线模型有如下优点:演化曲线可以随φ的演化自然地改变拓扑结构,可以***、合并、形成尖角等;由于φ在演化过程中始终保持为一个完整的函数,因此容易实现近似数值计算;水平集方法可以扩展到高维曲面的演化,简化了三维分割理论和应用的复杂性。然而水平集函数同样也存在着许许多多的问题,如初始化的选择问题。由于水平集定义的能量函数并不一定是凸函数,因此得到的往往是局部极小值而非全局极小值。除非初始化选择位置很好,可以使函数收敛到全局极值才能得到较好的效果。与此同时,LSF的收敛过程往往伴随着大量的迭代,这一过程十分耗时,一张稍大的图片(512X 512)迭代1000次大约需要一分钟,这样的速度对于数以千计的医疗图像而言是不能让人满意的。
2.2.3 Chan–Vese轮廓模型
该方法利用轮廓曲线的几何特性,建立轮廓曲线运动(变形)的能量函数,通过最小化这个能量函数,使轮廓曲线逐渐逼近图像中目标边界,并利用水平集函数将轮廓曲线运动方程转化成求解数值偏微分方程问题。在这类方法中,Chan和Vese基于Mumford-Shah分割模型提出的Chan-Vese模型是研究的热点。这个模型将原始图像视为由不连续集和分片常数图像组成的简单形式,停止函数不再依赖于图像的局部梯度,而是同质区域的全局信息。
Mumford-Shah模型的数学表述如下:设u(x,y)为定义于区域Ω上的图像函数,C为图像的边界,将图像分割成若干个同质区域,得到分割图像μ0(x,y)。M-S模型就是寻找正确的光滑图像边界C0,使得到的分割图像μ0MS(x,y)和原图像u(x,y)之间的误差为最小,即最小化如下能量函数:、
( C 0 , u 0 M S ) = minF M S ( u 0 , C ) = μ L e n g t h ( C ) + λ ∫ ∫ Ω | u 0 - u | 2 d x d y + ∫ ∫ Ω / C | ▿ u 0 | 2 d x d y
其中,u为已知的含噪声图像,μ0是分割处理后的图像,μ,λ,ν是权系数,Length(C)表示边界曲线C的一维Hausdorff测度,图像μ0MS为此能量函数的最小解。
基于MS理论,Chan和Vese在2001年提出了Chan-Vese模型。该模型的数学描述为:设活动轮廓线C将定义在区域Ω上的图像I划分为两个部分,分别记为inside(C)和outside(C),c1,c2分别为曲线内部和外部的图像灰度平均值,设图像的能量泛函为:
E ( c 1 , c 2 , φ ) = μ ∫ Ω δ ( φ ) | ▿ φ | d x d y + ∫ Ω H ( φ ) d x d y + λ 1 ∫ ∫ | I ( x , y ) - c 1 | 2 H ( φ ) d x d y + λ 2 ∫ ∫ | I ( x , y ) - c 2 | 2 ( 1 - H ( φ ) ) d x d y
length(C)为边界曲线C的长度,Aera(C)为曲线C内部区域的面积,μ,v≥0,λ1,λ2>0为权重系数,前两项称为“光滑项”,控制曲线在演化过程中保持一定的光滑性;后两项称为“拟合项”,主要是使分割曲线往图像边缘移动,使拟合误差最小。最终的分割轮廓线C的位置及未知常量c1,c2,通过最小化上述能量泛函得到。为得到能量泛函在水平集下的表达式,设水平集函数φ可用公式定义如下:
E ( c 1 , c 2 , C ) = μ L e n g t h ( C ) + v . A r e a ( i n s i d e ( C ) ) + λ 1 ∫ ∫ i n s i d e ( C ) | I ( x , y ) - c 1 | 2 d x d y + λ 2 ∫ ∫ o u t s i d e ( C ) | I ( x , y ) - c 2 | 2 d x d y
根据前面叙述的水平集求解方法最终得到方程的数值解。
2.2.4 Graph Cuts算法
与之前的几种算法不同,Boykov提出的Graph Cuts采用了一种完全不同的理论,即图论中最大流,最小割的方法。图论是数学的一个重要分支,最早出现于欧拉1736年经典的哥尼斯堡七桥问题。自其出现以来,就被科学家们深入研究,并大规模应用到各个不同领域中。由于本文专注于视觉中的分割问题,因此主要关注图论在计算机视觉中的应用,尤其是图割用于图像分割方面。在一些文献中,图像被优化地分为K部分,从而最小化分割对象间的最大割。然而在这种构想中,分割更倾向于小物体。另一些文献则通过归一化割的代价函数来尝试解决分割这个问题。结果的优化后得到非确定性多项式困难问题(NP-hard)。在其它文献中图割被用于最小化能量函数,其被分别应用于图像修复,三维物体重建,立体重建等计算机视觉中许许多多其他问题。
下面介绍一下Graph Cuts的基本原理:一张无向图G=<V,E>被定义为节点的集合(顶点V)和连接这些顶点的无向边(E)。将一张图像的每个像素视为一个节点,而像素之间的联系则视为无向边集合,在图中每条边e∈E都被赋予一个非负权重we。有两个特殊的节点叫做终点。每一个割都是边的一个子集,从而使终点可以被分隔开。通常来说通过联合优化去定义割集的代价,即其所分割出的边的代价:
| C | = &Sigma; e &Element; C w e
Boykov采用的代价函数跟MAP-MRF中得出的结论十分相似,将任意的数据元素集合定义为P,一些邻近区域通过是由一些无序对{p,q},命名为点集N。举个例子集合P包含二维网格的像素或三维网格的体数据,同时,在标准8位,26位邻近***,N可以包含相邻像素的无序点对。A=(A1,……,Ap,……,A|p|)是二维向量,其内部成员Ap,被分配给点集P的每个像素p。每个Ap既能是“物体”也能是“背景”。向量A定义了一种分割结构。通过代价函数来描述基于边界和区域性质的软限制。函数E(A)如下:
E(A)=λ·R(A)+B(A)
其中,R(A)=∑pRP(AP)/B(A)=Σ{p,q}B{p,q}·σ(AP,Aq),
并且:σ(AP,Aq)=1(如果Ap,Aq不等),否则则为0。
其中,系数λ>=0,定义了区域项R(A)相对于边界项B(A)的重要性。区域项R(A)代表着对于将像素分配于“物体”“背景”的惩罚项,对应着RP(“物体”),RP(“背景”)。举个例子,RP(·)反映了像素P的强度适用于物体或者背景强度模型的程度。
B(A)包含分割A的边界项。系数B{p,q}>=0可以被理解为p,q不连接的惩罚项。正常来说,当像素p,q相近,B{p,q}很大;当强度相差较大的时候,B{p,q}接近于0.惩罚项B{p,q}可以是p,q距离的减函数。代价B{p,q}可以基于强度梯度,拉普拉斯零接,梯度方向和一些其他的条件。至于各边的的权重,本文中我们采用Boykov的方法,即:
k = 1 + max p &Element; P &Sigma; q : { p , q } &Element; N B { p , q }
这样本申请构建了一个完整的图,并得到了其能量函数。接下来的工作就是在图中快速计算出最小割(最大流),从而得到分割结果。Graph Cuts的另外一个特点就是当用户发现分割结果不够精确后,可以通过手动修改种子点来改善精度。而且算法不需要从头开始重新计算整张图的最大流、最小割,而是在原始计算过程中添加一定的常数到区域项上,从而极大地提高了计算效率,达到几乎实时的交互处理。
2.3经典算法改进及新算法
2.3.1 Graph Cuts改进
Graph Cuts如2.2.4所述是一种交互式分割方法,对于多目标分割,我们需要手动指定想要的分割目标,这点无可厚非,而且牺牲一定的时间效率来换取更高的分割精度在多数情况下也是必要的。然而医学图像,尤其是CT图像动辄数以千计,对于如此大量的图片一一进行手工标定,其工作量之大是难以想象的。因此我们不能再停留于简单的交互式半自动分割方法中,而是需要探索一种新的全自动Graph Cuts算法。
这里我们首先观察医学图像,由于大部分骨骼的密度远大于人体的其他部位,因此能保证在某个值之上的像素绝大部分都会是我们想要分割的目标---骨头,这样我们可以通过相应阈值来找出分割目标的种子点,作为Graph Cuts的硬限制。与之类似,经过大量实验观察,我们发现小于某个值的所有像素基本上都不是我们所想分割出来的区域。因此我们可以设定另外一个阈值,所有小于此值的像素均被视为背景的种子点,也是Graph Cut的硬限制部分。然后再通过传统的Graph Cut算法得出最终的分割结果。图5(a)为原图。图5(b)中亮点为物体区域的种子点,而灰点为背景区域的种子点,可见所有的种子点基本都标注正确。图5(c)是分割后得到的结果,其分割效果还不错。
2.3.2基于图像预处理与Canny算子的新方法
尽管本申请设计的Graph Cuts方法可以较好地分割出骨骼,然而在一些边缘模糊,待检测目标过多,彼此距离过近的情况下,其效果往往不尽如人意。很有可能无法检测出完整边缘或者将相邻物体归并为一个,效果如图6(b)所示。因此,本申请在这里提出了一种新的方法来更加精准地分割出骨骼。
由于原始医疗图像是12位的灰度图,中间包含许多无用的冗余信息,而且无法显示于我们正常的显示屏幕上。因此这里我们采取一系列的操作来剔除冗余信息,突出物体与背景的对比度,从而最终得到较好的分割结果。
1.冗余信息的剔除
首先骨骼的密度远大于身体的其他的组织部位。我们通过大量的实验与细致的观察,发现大多数骨骼与其他组织的弱边界分布在一定的像素范围内,即过大或过小的像素可被认定为“骨骼”与“背景”。因此我们采用分段函数来保留弱边界信息,而剔除一些不再需要的信息:
f ( x ) = 0 x &le; 50 x - 50 50 < x &le; 305 255 x > 305
小于50的部分自动归零,即忽略像素值较小的信息,因为这些像素不属于骨骼,是冗余信息;而弱边缘(weak edge)大多分布在50~305之间的像素,因此我们保留这一部分信息;而大于305的像素基本可以被认定为骨骼,因此将其全部置为最大值即可。分段函数的处理效果与整体拟合效果如图7(b),可见其增加了物体与背景之间的对比度。
2.求取梯度
刚刚的图像可以凸显物体与背景的对比度,然而我们需要的是骨骼的边缘信息,因此在这里可以对图像最进一步处理,只抽取骨骼与背景的交界信息即可。所以我们采用求取图像梯度的方法,得出了边缘信息。然而梯度的大小只占据8位图像的一小部分,因此这里我们拉伸图像的取值范围,从而进一步增大图像的对比度。效果如图8(b)所示。
3.高斯平滑化及canny检测边缘
在上面得到的梯度图的基础上,我们首先进行高斯平滑。由于最后我们希望得到完整的物体轮廓,即闭合的点集。我们需要对图像进行平滑,因为平滑的越流畅则生成的边缘越圆滑。图9canny运算后的结果。
然后采用canny算法检测图像的边缘。Canny主要流程是首先采用sobel差分算子求出灰度图像的x和y方向导数,求出图像各点梯度大小及其方向。然后设置高低两个阈值,梯度大于高阈值为强边像素点,大于低阈值为潜在可能是较弱的边缘点。在经过一次筛选剩下的强边缘点中沿着梯度方向进行非极大值抑制,顺着二次筛选后的强边点寻找邻近的弱边点得到最终的边缘。
4.查找轮廓并添加限制
在上面的canny边缘的基础上,我们需要找出其中闭合的轮廓。如果有同心轮廓,则应该选择最***的轮廓作为分割边缘而非内部轮廓。最后我们要对轮廓添加一些限制,如轮廓的面积应该大于某一个固定值,从而起到过滤一些主要轮廓外面的噪声轮廓,使得到的结果更加准确。而图10(b)是将边缘显示在原图后的效果。
2.4实验对比
在上文所述的方法中,我们选择Chan-Vese算法,改进Graph Cuts算法(auto-Graph Cuts),以及我们自己提出的图像预处理与Canny算子相结合的算法(IP+Canny)进行对照试验。这里选取不同部位的人体骨骼(脚趾,脚掌,腿骨和盆骨)。其中有一点需要注意的是:auto-Graph Cuts中我们采用Yuri等人后来改进的求取最大流的方法,从而有效提高了程序的时间与空间效率。具体比较结果如图11所示。
由上可以得出以下结论:
●Chan-Vese算法并不适用于明显的边界分割,其往往收敛于弱边界(医疗图像中肉与空气的交界),而非我们想要得到结果。因此前三张图片的分割结果很差,而最后一张因为存在骨骼与肌肉之间为弱边界,反而分割效果在所有算法中居于前列.但是其算法因为需要多次迭代,因此最为费时;
●Auto-Graph Cut在大多数情况下表现良好,并且其时间复杂度最低。当然这并未计算提供模板的时间,而且这里采用的是经过优化的最大流计算方法,此算法已被应用于实际产品。然而对于弱边界,其分辨能力依旧较弱,而且对于相距较近的物体,其往往会将这些物体归为一类,从而自动忽略了中间的弱边界;
●IP+Canny算法,也就是我们自己提出的新算法。其分割效果在分割弱边界的时候,强于auto-Graph Cuts,而分割强边界的时候,比Chan-Vese的效果要好的多。而且运行时间也较少,符合我们快速分割的要求。且更适用于全身整体骨骼的分割。
3.关于三维模型重建
医学图像设备产生的二维图像序列中已经蕴含了人体组织器官的三维信息,对二维断层图像进行分析和处理,可实现对人体器官和病灶的分割提取,重建出组织器官和病灶的三维模型,实现对模型的剖切、开窗和三维显示,将会给医生提供一种直观的技术手段,帮助他们准确地确定病灶的位置、形态以及其与周围组织器官的空间关系,从而设计出精确的治疗方案,提高诊断治疗的有效性和准确性。
3.1三维空间数据场可视化
1.数据类型
三维空间可视化的算法和数据有着紧密的关系。数据类型包括两个层次的涵义:一是数据本身的类型,在科学计算可视化中,有标量、矢量和张量三种类型的数据;而是数据分布及连接关系的类型。三维空间数据可视化的对象既包括计算机科学计算的结果,也包括测量仪器的测量数据。在科学计算方面,所研究对象的特征往往用一组方程式来描述,一般情况下只能求出这些方程组的数值解。为此,需要将它们所定义的空间离散化,离散成体单元、面单元、线段或者网格点,再用数值求解方法求出这些离散单元处的函数值。因此,科学计算的结果数据往往是离散的,而不是连续的。至于空间上的测量数据,如气象监测数据、人体的CT或MRI扫描数据等,通常也是离散的。其原因是,人们很难在空间上获得连续的测量数据。因此,可视化的对象一般是空间上离散的三维数据。
三维空间上的离散数据之间的连接关系,可以分为三种类型:结构化数据、非结构化数据和非结构化混合型数据。结构化数据是指在逻辑上组织成三维数组的离散空间数据,各个元素都有自己的层号、行号和列号。结构化数据又可分为规则网格结构化数据和非规则网格结构化数据。规则网格结构化数据分布在由正方体或长方体组成的三维网格点上。我们所说的规则化体数据,一般指规则网格结构化体数据(structured regularvolume data)。规则体数据是定义在三维网格上的标量数据或向量数据。
2.医学体数据的定义与特点
医学体数据一般是指定义在三维空间网格上的标量或向量结构化数据,这些网格通常是正交网格,数据一般定义在网格结点上,相邻的八个网格节点构成一个立方体。每一个小格子都是体数据的基本单位。设想将CT得到的医学图像序列经图像配准、图像插值后放入三维坐标系中,每幅图像均置于平行于XY平面的某平面上,设平面Z方向坐标由CT生成该图像时的相关参数决定,当两幅图像的间距大于单幅图像的分辨率时,在两幅图像之间插值,这样就构成了一个上述的体数据集,其中的体数据值为图像的原始数据值。
医学体数据是离散的优结构规则的体数据,有以下特点:CT产生的图像所对应的数据场是均匀和规则的,原始数据的值代表了在确定点上的人体组织的性质(如衰减系数、质子密度等)。数据场的纵向分辨率一般低于水平分辨率。对于现有的设备,一般可以得到512X512的二维分辨率,而单位长度上的断层图像的数目却受到限制。体数据体积庞大。一组1000个512X512的断层图像序列,如果以12灰度级存储,大约需要500MB。图像中含有噪声。影像设备的性能及使用者的操作水平都会影响图像质量,不可避免的带来噪声.在可视化过程中,必须考虑医学图像的这些具体特征,在处理过程及具体算法中采取相应的措施以得到最佳效果。
医疗图像的重建算法主要分为两大类:体重建和面重建。
体重建,是直接将体素直接将体素投影到显示平面的方法,称为基于体数据的体绘制方法,又称为直接绘制方法。体绘制技术的中心思想是为每一个体素指定一个不透明度(Opacity),并考虑每一个体素对光线的透射、发射和反射作用。光线的透射取决于体素的不透明度;光线的发射则取决于体素的物质度(Objeemess),物质度愈太,其发射光愈强:光线的反射则取决于体素所在的面与人射光的夹角关系。其中最常见的方法是光线投射法,其主要原理是从屏幕上的每一个像素点出发,沿设定的视点方向,发出一条射线,这条射线穿过三维数据场。沿这条射线选择若干个等距采样点,由距离某一采样点最近的八个体素的颜色值及不透明度值做三线性插值,求出该采样点的不透明度值及颜色值。在求出该条射线上所有采样点的颜色值和不透明度值,从而计算出屏幕上该像素点处的颜色值。在我们的实验中也进行了Ray casting的实验。
可见其不单能看到人的骨骼结构,同时还能看到骨骼外面包裹的肌肉组织。虽然体重建具有重现物体内部结构的能力,然而其并不适用于我们的目标。首先我们只需重建出人体骨骼从而为3D打印做准备,因此我们不需要看到人体内部其他组织器官的具体结构;其次体重建对于硬件要求极高,其占用内存大,处理速度慢,普通家用电脑无法满足其运行要求,因此不适用于与用户的实时交互。所以最终我们采用了面重建的方法。
面重建,相对于体重建,占用内存少,绘制效率高,并且基本可以满足我们重建出人体骨骼的基本要求。而归属于面重建的几种方法中,我们选择最经典的MC(MarchingCubes)算法作为基础算法,然后再在其基础上做出一定的改进,从而实现更好的效果。
在面重建算法中以重建等值面这一类算法最为经典。我们进行表面重建的目的就是用分割提取出的区域构建出对应组织或器官的三维几何模型。等值面的构造就是从体数据中恢复物体三维几何模型的常用方法之一。如果我们把体数据看成是某个空间区域内关于某种物理属性的采样集合,非采样点上的值用邻近采样点插值来估计,则该空间区域内所有具有某一个相同值的点的集合将定义一个或多个曲面,称之为等值面。因为不同的物质具有不同的物理属性,因此可以选定适当的值来定义等值面,该等值面表示不同物质的交界。也就是说,一个用适当值定义的等值面可以代表某种物质的表面。等值面是空间中所有具有某个相同值的点的集合,它可以表示成{(x,y,z),f(x,y,z)=c}其中C为常数。然而并不是每个体素内都有等值面,当体素内角点都大于C或者都小于C时其内部不存在等值面只有那些即大于C又小于C的角点的体素才含有等值面,我们称这样的体素为边界体素。等值面在一个边界体素内的部分称为该体素的等值面片,等值面是一个三次曲面,它与边界体素面的交线是一条双曲线且这条双曲线仅由该面上四个角点决定。这些等值面片之间具有等值拓扑一致性,即它们可以构成连续的无孔的无悬浮面的曲面(除非在体数据的边界处)。因为对于任何两个边界共面的体素,如果等值面与他们的公共面有交线,则该交线就是两个边界体素中等值面片与公共面的交线,也就是说这两个等值面片完全吻合,所以可以认为等值面是由许多个等值面片组成的连续曲面。
MC算法的基本假设是沿着立方体的边的数据场是呈连续线形变化的,也就是说如果一条边的两个顶点分别大于小于等值面的值,在该边上庇佑且仅有一点是这条边与等值面的交点。确定立方体体素等值面的分布是该算法的基础。
首先我们将经过处理后的图片切片数据可以看做是一些网格点组成的,这些点代表了密度值。每次读出两张切片,形成一层(Layer)两张切片上下相对应的八个点构成一个Cube,也叫Cell,Voxel等。由相邻层上的各4个像素组成立方体的8个顶点,这8个像素构成一个立方体。我们把这个立方体叫做体素。为了确定体元中等值面的剖分方式,因此所求等值面要的一个门限值,然后对体元的八个顶点进行分类,以判定顶点是位于等值面之内还是位于等值面之外;再根据顶点分类结果确定等值面的剖分模式。顶点分类规则为:
如果顶点的数据值大于等值面的值,则定义该顶点位于等值面之内,记为“1”;顶点密度值<域值,设为Outside(1)。
如果顶点的数据值小于等值面的值,则定义该顶点位于等值面之外,记为“0”。顶点密度值≥域值,Inside(0)。
首先要确定等值面通过那些体素,然后在确定等值面如何与体素相交。当一个体素中一些像素的值大于阈值,而另一些像素小于阈值,那么等值面必然通过这个体素,一个体素的8个像素的值全都小于阈值或者全都大于阈值的话,那么该体素不与等值面相交,等值面不通过该体素。当一个体素与等值面相交的话,必然有一些像素值大于阈值,一些小于阈值。每个像素有两种状态,要么大于阈值,要么小于阈值确定包含等值面的体元。对于8个角点都为1或者都为0的体素,它属于“0”号结构没有等值面穿过该体素。当有1个角点标记为1时为1号结构我们用1个三角面片代表等值面它将该角点与其它七角点分成两部分。对于其余几种构型将产生多个三角面片。flag(i,j,k)=0(1)256种情况。因此共有256种组合状态。每一种组合都对应一种等值面与体素相交的情况。因为8个点有对称关系,256种组合经可简化的15种情况。每一种关系对应等值面如何与体素相交,知道了等值面如何与体素相交后就可以求得等值面与立方体边的交点,这些交点形成的面片就是等值面的一部分。当把所有与等值面相交的体素都找到,并求出相应的相交面后,等值面也就求出来了。最终将这些等值面连接在一起也就构成了面重建后的物体。
简单回顾其算法过程,主要步骤如下:
(1)根据对称关系构建一个256种相交关系的索引表。该表指明等值面与体素的那条边相交;
(2)提取相邻两层图片中相邻的8个,构成一个体素并把这8个像素编号;
(3)根据每个像素与阈值的比较确定该像素是1还是0;
(4)把这8个像素构成的01串组成一个8位的索引值;
(5)用索引值在上边的索引表里像素查找对应关系,并求出与立方体每条边的点;
(6)用交点构成三角形面片或者是多边形面片;
遍历三维图像的所有体素,重复执行(2)到(6)。
MC算法的改进
经过MC重建后,我们已经可以得到一个还算不错的重建效果然而重建后的三维模型还存在着许许多多的瑕疵,因此我们需要对其进行一系列的优化,从而得到更好的效果。
1.用三角带连接分散的三角面片
三维模型是由许许多多的三角面片构成的,然而过多的三角面片会大量占用内存,这对于我们平时所使用的PC机是一个巨大的挑战。因此这里我们采用将三角面片连成三角带的方法来减少内存占用。如上图所示,单个的三角面片需要存储三个顶点的坐标,那么N个三角形需要存储3N个点。而如果将这些三角面片连成三角带,则只需要N+2个点。节省了2/3的内存。这对于我们常常多达几十万,甚至几百万个个三角面片的骨骼模型来说是一个巨大的改进。
2.削减三角面片的数量
虽然我们通过连接三角面片生成三角面带的方法,大量较少了内存使用量。然而还有值得注意的一点是,我们希望最终的三维模型能够被成功地被3D打印成实体,可是3D打印机精度有限(一般0.1mm),也就意味着虽然我们有着十分精细的三维模型,但是3D打印机无法识别这么精细的结构。所以秉承着“不求最好,只求最合适”的思想,我们在这里大幅削减三角面片,这样做的好处也包括减少时间与空间复杂度,有利于后续的操作。
这里我们采用William(Schroeder W J,Zarge J A,Lorensen W E.Decimationof triangle meshes[C]//ACM Siggraph Computer Graphics.ACM,1992,26(2):65-70.)的方法首先确定每个三角面片属于哪种类型,然后根据每种类型的三角面片的属性,如简单型平面与地面距离,边界型与边的距离等属性决定删除哪一个三角面片,之后再定位生成的洞,补全这些孔洞,直到达到用户设定的削减比例。是不同削减比例所达到的效果图。然而这种方法当设定值过高时,容易改变模型的拓扑结构,甚至会产生孔洞。解决的办法是尽量避免设定过高的削减比例,同时在下一节进行补洞操作。
3.过滤离散的噪声区域
我们可以发现图中除了我们想要的骨骼部分,还有一些其他杂质,如:CT检测床,一些分割阶段遗留的噪声。这些部分都是我们不需要的部分,因此我们需要通过算法将其过滤掉。这里我们主要采用连接性检测,首先将所有三角面片排成序列,然后以第一个三角面片作为树根,然后逐步找到所有连在一起的三角面片作为一个整体。最终将整个模型分为几个不相交的区域。然后计算每个区域三角面片的数量,选取最大的两个区域即得到了我们想要的骨骼模型,具体如图2(a)-图2(b)所示,模型中各个连接部分,图2(a)为标记出不同部分,图2(b)为过滤后的结果。
4.补洞
在得到我们想要的区域之后,我们就要开始精细化我们的模型,减少其中的孔洞。我们首先需要检测出孔洞,这里我们采用这样的算法:首先遍历所有的边,如果一条边没有同时被两个及以上的三角面片利用到,那么存储这条边。之后我们得到了这种单边的集合,从中找出能首尾相连的子集即为空洞的轮廓。然后将此区域三角化,形成新的三角面片,从而补齐孔洞。具体如图3(a)-图3(b)所示,为补洞前后的对比图然而我们发现模型中还是有一些疑似空洞的地方,可是并未被检测到或者补齐。通过将三角面片网格化,我们发现这些区域并非孔洞,而是一些凹进去的结构,这可能与我们分割时分割结果不够精细有关。经过大量的实验我们发现,这些凹进去的区域边缘三角面片间的角度相差极大。因此我们通过计算所有三角面片与相邻面片的夹角,找出其中的异常面片,构成异常面片集合,然后再搜索其中的闭合区域,即可自动定位这些凹陷区域。之后再通过在此区域增加三角面片的方法,最终完成模型的修补。具体如图4(a)-图4(b)所示。图4(a)为检测到的凹陷区域,图4(b)区分出不同的凹陷区域。
不同分割算法对于重建效果的影响
在完成了重建算法的提出与改进之后,我们开始结合之前的分割结果进行最终的3D重建。我们将之前的图像分割做进一步处理,所有分割出的目标区域像素设为“1”,而所有的背景区域像素值设为“0”,提取目标区域后得到点云数据。
由于Chan-Vese对于骨骼数据分割效果不佳,因此我们这里主要对比auto-GraphCuts和我们自己的IP+Canny分割结果进行重建,经过重建后,其结果可见图4(c)-图4(d)所示,图4(c)为auto-Graph Cuts重建结果,图4(d)为IP+Canny分割后的重建结果。我们可以发现auto-Graph Cuts的重建结果十分恶劣,中间断层严重,而IP+Canny的重建结果整体效果是不错的。我们将二者部分区域放大,从而细致观察其内部结构。
可视化及图形界面(GUI)
在完成了分割及重建过程后,我们需要整合两部分内容,并且能过显示在屏幕上,与用户完成一定的交互。这里我们主要采用VTK实现三维模型的可视化,Qt作为整个软件的GUI,然后我们将界面分为两部分,左侧用于二维图像显示,处理与交互,而右侧则用来显示生成的三维模型并且实现简单的交互。左侧二维图像显示处理部分的主要功能有:
1.读取并显示二维医学图像,同时可显示任意点的坐标及灰度值;
2.得到医学图像的梯度,并显示出来;
3.显示图像的灰度直方图,并用曲线拟合出来;
4.实现简单的图像编辑。
右侧的主要功能是允许用户选择要处理的医学文件,然后显示重建出的三维模型,并可以进行平移,缩放等交互操作。
3D打印原理
3D打印,即快速成型技术的一种,它是一种以数字模型文件为基础,运用粉末状金属或塑料等可粘合材料,通过逐层打印的方式来构造物体的技术。
3D打印技术出现在20世纪90年代中期,实际上是利用光固化和纸层叠等技术的最新快速成型装置。它与普通打印工作原理基本相同,打印机内装有液体或粉末等“打印材料”,与电脑连接后,通过电脑控制把“打印材料”一层层叠加起来,最终把计算机上的蓝图变成实物。这种打印技术叫做3D打印技术。
现如今,3D打印机主要采用以下几种技术进行快速成型:分层实体制造(LOM):根据零件分层几何信息切割箔材和纸等,将所获得的层片粘接成三维实体。立体光固化成型法(SLA):用特定波长与强度的激光聚焦到光固化材料表面,使之由点到线,由线到面顺序凝固,完成一个层面的绘图作业,然后升降台在垂直方向移动一个层片的高度,再固化另一个层面。这样层层叠加构成一个三维实体。选择性激光烧结法(SLS):利用粉末状材料成形的。将材料粉末铺洒在已成形零件的上表面,并刮平。用高强度的CO2激光器在刚铺的新层上扫描出零件截面;材料粉末在高强度的激光照射下被烧结在一起,得到零件的截面,并与下面已成形的部分连接,当一层截面烧结完后,铺上新的一层粉末材料,选择地烧结下层截面,直至整体打印完毕。熔融沉积制造法(FDM):加热头把热熔性材料(ABS树脂、尼龙、蜡等)加热到临界状态,呈现半流体性质,在计算机控制下,沿CAD确定的二维几何信息运动轨迹,喷头将半流动状态的材料挤压出来,凝固形成轮廓形状的薄层。当一层完毕后,通过垂直升降***降下新形成层,进行固化。这样层层堆积粘结,自下而上形成一个零件的三维实体。
打印流程包括三部分:首先设计模型,通过大量的诸如Ug,auto-cad等三维建模软件来设计我们需要的模型,得到相应文件。然后将模型文件逐层切片,确定每次层的着料点,并规划走线方式,最终生成Gcode文件,即打印机可以识别的机器代码。最后3D打印机接受指令,喷头开始慢慢移动,平台开始逐层下降,最终完成整个模型的打印。
重建模型的验证
在介绍完3D打印的基本原理后,我们开始通过3D打印技术打印我们重建的模型,从而通过观察以及触摸来验证我们模型构造的有效性。
由于FDM使用、维护简单,操作环境干净,材料成本较低,打印出的模型硬度相对较大,因此这里我们主要采用FDM法进行3D打印。FDM主要是用两种材料:ABS(丙烯腈-丁二烯-苯乙烯共聚物)和PLA(生物降解塑料聚乳酸),我们均作了尝试,并通过大量的实验来对比各种材料在不同参数下的表现,并记录下其分别适合的情况。通过大量的实验我们发现PLA材料更好一些,PLA无ABS的刺鼻气味,一般情况下不会翘角。另外PLA具有较低的收缩率,即使模型尺寸较大依然表现良好,同时熔体强度较低,打印模型更易塑形,表面光泽性优异,色彩艳丽。因此在最终的骨骼打印中,我们也采用了PLA材料进行实验。
实验中我们分别将胸骨以及腿骨进行分割重建,然后利用3D打印机打印出了这两个部分的模型实体,我们的打印效果与模型相比,无论是大小,形状还是微小细节均较为相似,这也就验证了我们想法的可行性。虽然打印出模型的表面比较粗糙,但根据之前打印其它样品的经验来看,这种粗糙是由打印机的精度以及稳定度造成的,因此我们的重建模型基本可以达到一定的精度要求。当然3D打印不仅仅能验证我们重建的效果,其在医学领域还有许多广泛的应用,其未来可能应用:
通过仿真人体内部真实环境,制定手术计划;设计人体器官,通过特殊材料打印出仿生耳,仿生眼以及假肢等个性化器具,从而更好的帮助残障人士;
由于三维模型的可触摸性,细节表现性,可以用于医学研究,帮助研究者更有效地开展实验;通过三维模型可以更直观的展现给医科学生,从而提高教学及训练水平。

Claims (10)

1.一种基于医疗图像的分割与三维重建方法,其特征在于,包括如下步骤:
对原始医疗图像中冗余信息进行处理,剔除像素值的上、下阈值范围内的信息;
通过增大图像的对比度,抽取上述图像中的骨骼与背景的交界信息,得到梯度图;
高斯平滑化操作所述梯度图后采用canny算法检测图像的边缘后确定轮廓并添加轮廓限制;
根据上述图像分割后得到的图像通过MC算法进行三维重建。
2.根据权利要求1所述的分割与三维重建方法,其特征在于,还包括如下可视化及图形界面的操作步骤:
采用VTK实现上述三维重新后三维模型的可视化,通过Qt作为GUI;
以及,通过第一图形界面显示二维图像以及处理与用户的交互;
通过第二图形界面显示生成的三维模型以及处理与用户的交互。
3.根据权利要求1所述的分割与三维重建方法,其特征在于,通过所述MC算法进行三维重建时,包括如下优化步骤:
采用三角带连接分散的三角面片,减少内存占用;
根据单个的三角面片需要存储三个顶点的坐标,则N个三角形需要存储3N个点,
若将这些三角面片连成三角带,则需要N+2个点。
4.根据权利要求1或3所述的分割与三维重建方法,其特征在于,通过所述MC算法进行三维重建时,包括如下优化步骤:
采用削减三角面片的数量,减少时间与空间复杂度;
首先,确定每个三角面片属于哪种类型,然后根据每种类型的三角面片的属性,决定删除哪一个三角面片;
其次,再定位生成的洞,补全这些孔洞,直到达到用户设定的削减比例。
5.根据权利要求1或2所述的分割与三维重建方法,其特征在于,通过所述MC算法进行三维重建时,包括如下优化步骤:
采用连接性检测过滤离散的噪声区域,去除杂质;
首先,将所有三角面片排成序列,然后以第一个三角面片作为树根;
其次,逐步找到所有连在一起的三角面片作为一个整体;
最终,将整个模型分为几个不相交的区域,并计算每个区域三角面片的数量,选取最大的两个区域。
6.根据权利要求1、2或3所述的分割与三维重建方法,其特征在于,通过所述MC算法进行三维重建时,包括如下优化步骤:
检测出孔洞,并通过补洞对模型精细化处理;
首先,遍历所有的边,如果一条边没有同时被两个及以上的三角面片利用到,则存储该条条边后,得到该种单边的集合,从所述集合中找出能首尾相连的子集即为空洞的轮廓;
然后,将该区域三角化,形成新的三角面片后补齐孔洞;
最后,通过计算所有三角面片与相邻面片的夹角,找出其中的异常面片,构成异常面片集合,然后再搜索其中的闭合区域,即可自动定位这些凹陷区域,之后再通过在此区域增加三角面片的方法,最终完成模型的修补。
7.一种基于医疗图像的分割与三维重建的***,其特征在于,包括:图像分割模块和三维重建模块,所述图像分割模块,用以对原始医疗图像中冗余信息进行处理,剔除像素值的上、下阈值范围内的信息;通过增大图像的对比度,抽取上述图像中的骨骼与背景的交界信息,得到梯度图;高斯平滑化操作所述梯度图后采用canny算法检测图像的边缘后确定轮廓并添加轮廓限制;所述三维重建模块,用以接收上述图像分割模块的处理结果,并通过第二图形界面显示生成的三维模型以及处理与用户的交互。
8.根据权利要求7所述的分割与三维重建***,其特征在于,还包括3D打印模块,用以接收所述三维重建模块的处理结果,并通过逐层打印的方式来构造所述三维重建模块中的重建模型。
9.一种可视化及带有图形界面的***,其特征在于,包括如权利要求7或8所述的分割与三维重建***,还包括,显示器,
所述显示器被配置为:采用VTK实现上述三维重新后三维模型的可视化,通过Qt作为GUI;以及,通过第一图形界面显示二维图像以及处理与用户的交互;通过第二图形界面显示生成的三维模型以及处理与用户的交互。
10.一种3D打印***,采用如权利要求1所述的分割与三维重建方法得到重建模型,其特征在于,通过FDM熔融沉积制造法对所述重建模型进行3D打印,其中,所述FDM法中采用:ABS丙烯腈-丁二烯-苯乙烯共聚物和/或PLA生物降解塑料聚乳酸中的一种材料。
CN201611045004.7A 2016-11-24 2016-11-24 一种基于医疗图像的分割与三维重建方法、3d打印*** Pending CN106373168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611045004.7A CN106373168A (zh) 2016-11-24 2016-11-24 一种基于医疗图像的分割与三维重建方法、3d打印***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611045004.7A CN106373168A (zh) 2016-11-24 2016-11-24 一种基于医疗图像的分割与三维重建方法、3d打印***

Publications (1)

Publication Number Publication Date
CN106373168A true CN106373168A (zh) 2017-02-01

Family

ID=57891334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611045004.7A Pending CN106373168A (zh) 2016-11-24 2016-11-24 一种基于医疗图像的分割与三维重建方法、3d打印***

Country Status (1)

Country Link
CN (1) CN106373168A (zh)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971400A (zh) * 2017-03-10 2017-07-21 中国航空工业集团公司洛阳电光设备研究所 一种图像分割线的修补方法及其装置
CN107424583A (zh) * 2017-07-03 2017-12-01 威创集团股份有限公司 异形图像的显示数据处理方法和***
CN107657605A (zh) * 2017-09-11 2018-02-02 中南大学 一种基于主动轮廓和能量约束的筛板前表面深度测量方法
CN107895364A (zh) * 2017-10-31 2018-04-10 哈尔滨理工大学 一种用于虚拟手术术前规划的三维重建***
CN108133509A (zh) * 2017-12-12 2018-06-08 重庆花椒科技有限公司 基于四维彩超图构建3d模型的方法和装置
CN108711168A (zh) * 2018-06-04 2018-10-26 中北大学 基于zmld与gc离散优化的非刚性多模态医学图像配准方法
CN109147061A (zh) * 2018-07-20 2019-01-04 清华大学 一种对体数据的分割结果进行人机交互编辑的方法
CN109493325A (zh) * 2018-10-23 2019-03-19 清华大学 基于ct影像的肿瘤异质性分析***
WO2019056309A1 (en) * 2017-09-22 2019-03-28 Shenzhen United Imaging Healthcare Co., Ltd. METHOD AND SYSTEM FOR GENERATING A PHASE CONTRAST IMAGE
CN109741439A (zh) * 2018-12-07 2019-05-10 广州医科大学 一种二维mri胎儿图像的三维重建方法
CN109949267A (zh) * 2019-01-21 2019-06-28 西安交通大学 一种多材料断层数据到实体的快速三维重构方法
CN110084882A (zh) * 2019-04-02 2019-08-02 哈尔滨理工大学 一种基于超像素的椎骨ct图像三维重建与可视化方法
CN110189606A (zh) * 2019-06-11 2019-08-30 四川大学华西第二医院 一种构建子宫及胎儿颈部巨大包块模型的方法
CN110442994A (zh) * 2019-08-13 2019-11-12 嘉兴学院 一种基于图论的3d打印切片处理方法
CN110930389A (zh) * 2019-11-22 2020-03-27 北京灵医灵科技有限公司 三维医学模型数据的区域分割方法、装置和存储介质
CN111105475A (zh) * 2019-12-24 2020-05-05 电子科技大学 一种基于正交角度x光的骨骼三维重建方法
CN111159876A (zh) * 2019-12-25 2020-05-15 安徽数研智能科技有限公司 一种基于mri医学影像和轮廓勾画快速实现3d打印模型的设计方法
CN111199674A (zh) * 2020-01-21 2020-05-26 珠海赛纳三维科技有限公司 心脏模型、心脏模型的三维打印方法及***
CN111311608A (zh) * 2020-02-05 2020-06-19 方军 评估伤口的方法、设备和计算机可读存储介质
CN111476881A (zh) * 2020-03-18 2020-07-31 创业慧康科技股份有限公司 基于结构相似性水平集算法的人体组织器官三维重建方法
CN111539963A (zh) * 2020-04-01 2020-08-14 上海交通大学 骨扫描图像热点分割方法、***、介质及设备
CN111602177A (zh) * 2018-12-20 2020-08-28 卡尔蔡司光学国际有限公司 用于生成物体的3d重建的方法和设备
CN111739139A (zh) * 2020-06-24 2020-10-02 西北大学 一种噪声ct图像三维重建方法
CN111833450A (zh) * 2020-07-08 2020-10-27 重庆邮电大学 一种融合有限元分析法的超声波三维快速重建及分析方法
CN111868781A (zh) * 2018-01-10 2020-10-30 消化器官癌症研究所 一种按照3d医学图像的几何形状通过多个神经网络经由结构化卷积来自动分割3d医学图像的处理
CN112465802A (zh) * 2020-12-10 2021-03-09 上海联影医疗科技股份有限公司 断层图像的处理方法、***、终端及计算机可读存储介质
CN112598682A (zh) * 2020-12-25 2021-04-02 公安部第一研究所 一种基于任意角度的三维ct图像剖切方法及装置
WO2021082507A1 (zh) * 2019-10-31 2021-05-06 五邑大学 半自动化图像分割数据标注方法、电子装置及存储介质
CN112767233A (zh) * 2021-01-07 2021-05-07 中电云脑(天津)科技有限公司 基于Dicom3d播放器的病灶三维成像方法、***及存储介质
CN112947069A (zh) * 2021-01-28 2021-06-11 内蒙古大学 一种移动两轮机器人的控制方法
CN113240720A (zh) * 2021-05-25 2021-08-10 中德(珠海)人工智能研究院有限公司 一种三维表面重建方法、装置、服务器以及可读存储介质
CN113231910A (zh) * 2021-04-29 2021-08-10 武汉中观自动化科技有限公司 一种获取鞋底边缘打磨轨迹的方法及其***
CN113469945A (zh) * 2021-06-03 2021-10-01 山东大学 基于ct与mri显像融合的骶神经建模方法及***
CN113554057A (zh) * 2021-06-21 2021-10-26 北京百度网讯科技有限公司 图的分割方法、装置及电子设备
CN113561491A (zh) * 2021-07-25 2021-10-29 大连理工大学 基于欧拉回路的生物3d打印路径规划方法
CN113614790A (zh) * 2019-01-11 2021-11-05 阿克西亚尔医学印刷有限公司 用于生成患者特定解剖的3d可打印模型的方法
CN113888566A (zh) * 2021-09-29 2022-01-04 推想医疗科技股份有限公司 目标轮廓曲线确定方法、装置、电子设备以及存储介质
CN114078139A (zh) * 2021-11-25 2022-02-22 四川长虹电器股份有限公司 基于人像分割模型生成结果的图像后处理方法
TWI793008B (zh) * 2022-05-10 2023-02-11 中國醫藥大學 內在資訊表面映射的方法
CN116912213A (zh) * 2023-07-20 2023-10-20 中国人民解放军总医院第六医学中心 一种医学Dicom图像边缘轮廓多边检测算法和检测***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261068A (zh) * 2015-11-16 2016-01-20 中国石油大学(华东) 基于Micro-CT技术的储层岩心三维实体模型重构方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261068A (zh) * 2015-11-16 2016-01-20 中国石油大学(华东) 基于Micro-CT技术的储层岩心三维实体模型重构方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WILLIAM J. SCHROEDER,ET, AL.: "Decimation of triangle meshes", 《ACM SIGGRAPH COMPUTER GRAPHICS》 *
刘云伍: "基于图像分割的医学图像三维重建算法", 《应用技术》 *
张丽艳等: "三角网格模型孔洞修补算法研究", 《应用科学学报》 *
李改: "Marching Cubes 算法中等值面的优化分析", 《吉首大学学报(自然科学版)》 *
谭建豪等: "《数字图像处理与移动机器人路径规划》", 30 April 2013, 华中科技大学出版社 *

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971400B (zh) * 2017-03-10 2020-11-10 中国航空工业集团公司洛阳电光设备研究所 一种图像分割线的修补方法及其装置
CN106971400A (zh) * 2017-03-10 2017-07-21 中国航空工业集团公司洛阳电光设备研究所 一种图像分割线的修补方法及其装置
CN107424583A (zh) * 2017-07-03 2017-12-01 威创集团股份有限公司 异形图像的显示数据处理方法和***
CN107657605A (zh) * 2017-09-11 2018-02-02 中南大学 一种基于主动轮廓和能量约束的筛板前表面深度测量方法
CN107657605B (zh) * 2017-09-11 2019-12-03 中南大学 一种基于主动轮廓和能量约束的筛板前表面深度测量方法
WO2019056309A1 (en) * 2017-09-22 2019-03-28 Shenzhen United Imaging Healthcare Co., Ltd. METHOD AND SYSTEM FOR GENERATING A PHASE CONTRAST IMAGE
US10702230B2 (en) 2017-09-22 2020-07-07 Shanghai United Imaging Healthcare Co., Ltd. Method and system for generating a phase contrast image
CN107895364A (zh) * 2017-10-31 2018-04-10 哈尔滨理工大学 一种用于虚拟手术术前规划的三维重建***
CN107895364B (zh) * 2017-10-31 2019-06-14 哈尔滨理工大学 一种用于虚拟手术术前规划的三维重建***
CN108133509A (zh) * 2017-12-12 2018-06-08 重庆花椒科技有限公司 基于四维彩超图构建3d模型的方法和装置
CN111868781A (zh) * 2018-01-10 2020-10-30 消化器官癌症研究所 一种按照3d医学图像的几何形状通过多个神经网络经由结构化卷积来自动分割3d医学图像的处理
CN108711168A (zh) * 2018-06-04 2018-10-26 中北大学 基于zmld与gc离散优化的非刚性多模态医学图像配准方法
CN109147061A (zh) * 2018-07-20 2019-01-04 清华大学 一种对体数据的分割结果进行人机交互编辑的方法
CN109493325A (zh) * 2018-10-23 2019-03-19 清华大学 基于ct影像的肿瘤异质性分析***
CN109741439A (zh) * 2018-12-07 2019-05-10 广州医科大学 一种二维mri胎儿图像的三维重建方法
CN109741439B (zh) * 2018-12-07 2023-12-15 广州医科大学 一种二维mri胎儿图像的三维重建方法
CN111602177B (zh) * 2018-12-20 2023-05-09 卡尔蔡司光学国际有限公司 用于生成物体的3d重建的方法和设备
CN111602177A (zh) * 2018-12-20 2020-08-28 卡尔蔡司光学国际有限公司 用于生成物体的3d重建的方法和设备
CN113614790A (zh) * 2019-01-11 2021-11-05 阿克西亚尔医学印刷有限公司 用于生成患者特定解剖的3d可打印模型的方法
CN109949267B (zh) * 2019-01-21 2021-01-29 西安交通大学 一种多材料断层数据到实体的快速三维重构方法
CN109949267A (zh) * 2019-01-21 2019-06-28 西安交通大学 一种多材料断层数据到实体的快速三维重构方法
CN110084882A (zh) * 2019-04-02 2019-08-02 哈尔滨理工大学 一种基于超像素的椎骨ct图像三维重建与可视化方法
CN110189606A (zh) * 2019-06-11 2019-08-30 四川大学华西第二医院 一种构建子宫及胎儿颈部巨大包块模型的方法
CN110442994A (zh) * 2019-08-13 2019-11-12 嘉兴学院 一种基于图论的3d打印切片处理方法
WO2021082507A1 (zh) * 2019-10-31 2021-05-06 五邑大学 半自动化图像分割数据标注方法、电子装置及存储介质
CN110930389A (zh) * 2019-11-22 2020-03-27 北京灵医灵科技有限公司 三维医学模型数据的区域分割方法、装置和存储介质
CN110930389B (zh) * 2019-11-22 2023-06-30 北京灵医灵科技有限公司 三维医学模型数据的区域分割方法、装置和存储介质
CN111105475B (zh) * 2019-12-24 2022-11-22 电子科技大学 一种基于正交角度x光的骨骼三维重建方法
CN111105475A (zh) * 2019-12-24 2020-05-05 电子科技大学 一种基于正交角度x光的骨骼三维重建方法
CN111159876B (zh) * 2019-12-25 2023-11-21 安徽数研智能科技有限公司 基于mri医学影像和轮廓勾画实现3d打印模型的设计方法
CN111159876A (zh) * 2019-12-25 2020-05-15 安徽数研智能科技有限公司 一种基于mri医学影像和轮廓勾画快速实现3d打印模型的设计方法
CN111199674A (zh) * 2020-01-21 2020-05-26 珠海赛纳三维科技有限公司 心脏模型、心脏模型的三维打印方法及***
CN111199674B (zh) * 2020-01-21 2022-07-08 珠海赛纳三维科技有限公司 心脏模型、心脏模型的三维打印方法及***
CN111311608B (zh) * 2020-02-05 2023-05-09 方军 评估伤口的方法、设备和计算机可读存储介质
CN111311608A (zh) * 2020-02-05 2020-06-19 方军 评估伤口的方法、设备和计算机可读存储介质
CN111476881A (zh) * 2020-03-18 2020-07-31 创业慧康科技股份有限公司 基于结构相似性水平集算法的人体组织器官三维重建方法
CN111539963B (zh) * 2020-04-01 2022-07-15 上海交通大学 骨扫描图像热点分割方法、***、介质及设备
CN111539963A (zh) * 2020-04-01 2020-08-14 上海交通大学 骨扫描图像热点分割方法、***、介质及设备
CN111739139B (zh) * 2020-06-24 2023-04-07 西北大学 一种噪声ct图像三维重建方法
CN111739139A (zh) * 2020-06-24 2020-10-02 西北大学 一种噪声ct图像三维重建方法
CN111833450B (zh) * 2020-07-08 2023-12-15 重庆邮电大学 一种融合有限元分析法的超声波三维快速重建及分析方法
CN111833450A (zh) * 2020-07-08 2020-10-27 重庆邮电大学 一种融合有限元分析法的超声波三维快速重建及分析方法
CN112465802A (zh) * 2020-12-10 2021-03-09 上海联影医疗科技股份有限公司 断层图像的处理方法、***、终端及计算机可读存储介质
CN112598682B (zh) * 2020-12-25 2024-03-29 公安部第一研究所 一种基于任意角度的三维ct图像剖切方法及装置
CN112598682A (zh) * 2020-12-25 2021-04-02 公安部第一研究所 一种基于任意角度的三维ct图像剖切方法及装置
CN112767233A (zh) * 2021-01-07 2021-05-07 中电云脑(天津)科技有限公司 基于Dicom3d播放器的病灶三维成像方法、***及存储介质
CN112947069A (zh) * 2021-01-28 2021-06-11 内蒙古大学 一种移动两轮机器人的控制方法
CN113231910B (zh) * 2021-04-29 2022-10-18 武汉中观自动化科技有限公司 一种获取鞋底边缘打磨轨迹的方法及其***
CN113231910A (zh) * 2021-04-29 2021-08-10 武汉中观自动化科技有限公司 一种获取鞋底边缘打磨轨迹的方法及其***
CN113240720A (zh) * 2021-05-25 2021-08-10 中德(珠海)人工智能研究院有限公司 一种三维表面重建方法、装置、服务器以及可读存储介质
CN113469945A (zh) * 2021-06-03 2021-10-01 山东大学 基于ct与mri显像融合的骶神经建模方法及***
CN113469945B (zh) * 2021-06-03 2024-03-26 山东大学 基于ct与mri显像融合的骶神经建模方法及***
CN113554057A (zh) * 2021-06-21 2021-10-26 北京百度网讯科技有限公司 图的分割方法、装置及电子设备
CN113561491A (zh) * 2021-07-25 2021-10-29 大连理工大学 基于欧拉回路的生物3d打印路径规划方法
CN113888566A (zh) * 2021-09-29 2022-01-04 推想医疗科技股份有限公司 目标轮廓曲线确定方法、装置、电子设备以及存储介质
CN114078139A (zh) * 2021-11-25 2022-02-22 四川长虹电器股份有限公司 基于人像分割模型生成结果的图像后处理方法
CN114078139B (zh) * 2021-11-25 2024-04-16 四川长虹电器股份有限公司 基于人像分割模型生成结果的图像后处理方法
TWI793008B (zh) * 2022-05-10 2023-02-11 中國醫藥大學 內在資訊表面映射的方法
CN116912213A (zh) * 2023-07-20 2023-10-20 中国人民解放军总医院第六医学中心 一种医学Dicom图像边缘轮廓多边检测算法和检测***
CN116912213B (zh) * 2023-07-20 2024-04-19 中国人民解放军总医院第六医学中心 一种医学Dicom图像边缘轮廓多边检测算法和检测***

Similar Documents

Publication Publication Date Title
CN106373168A (zh) 一种基于医疗图像的分割与三维重建方法、3d打印***
Zhang et al. Feature-based surface parameterization and texture mapping
CN103236058B (zh) 获取四维心脏图像感兴趣体积的方法
CN102184567B (zh) 基于球b样条曲线的三维血管模型构造方法
CN109285225B (zh) 一种基于医学影像的虚拟现实辅助手术的建立方法
Kalvin et al. Constructing topologically connected surfaces for the comprehensive analysis of 3-D medical structures
Cheng et al. A morphing-Based 3D point cloud reconstruction framework for medical image processing
d'Otreppe et al. Generating smooth surface meshes from multi‐region medical images
CN105279794B (zh) 基于Micro-CT技术的储层岩心多组织模型构建方法
Zachow et al. 3D reconstruction of individual anatomy from medical image data: Segmentation and geometry processing
Meyer et al. Particle-based sampling and meshing of surfaces in multimaterial volumes
CN104545999B (zh) 一种超声图像膀胱容积测量方法及装置
CN106408576A (zh) 基于三维超声图像的感兴趣区域的自动分割方法及***
CN107680110A (zh) 基于统计形状模型的内耳三维水平集分割方法
CN101996415B (zh) 眼球的三维建模方法
CN105608744A (zh) 基于四面体网格的仿周期极小曲面的内部孔隙设计方法
Tan et al. Design of 3D visualization system based on VTK utilizing marching cubes and ray casting algorithm
Lukeš et al. Numerical simulation of liver perfusion: from CT scans to FE model
Serino et al. Decomposing 3D objects in simple parts characterized by rectilinear spines
Imielinska et al. Technical challenges of 3D visualization of large color data sets
Leitner et al. 3D-modeling of deformed halite hopper crystals by Object Based Image Analysis
Khaleel et al. 3D surface reconstruction of coronary artery trees for vessel locations’ detection
Sun et al. Three-dimensional geometric modeling of the spine based on reverse engineering technology
Sanchez Distance based heterogeneous volume modelling.
Wang et al. Feature reconstruction for 3D medical images processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170201