CN110349254B - 一种面向c/s架构的自适应医学影像三维重建方法 - Google Patents

Abstract

本发明提供一种面向C/S架构的自适应医学影像三维重建方法，涉及医学影像三维重建技术领域。该方法通过基于四层架构的通用三维重建方法给出一种在客户端和服务端都包括四层结构的通用三维重建方法，四层结构自底而上分别是远程传输协议层、预处理体数据层、重建场景算法层和渲染可视模型层，然后通过基于决策树的自适应重建模式选择方法实现动态地根据运行平台、数据量、网络类别、网络速度的不同，自适应切换重建模式。本发明能够统一当前各种不同类型的医学影像三维重建机制，基于该方法实现的医学影像***能适应不同运行平台、不同传输网络、不同医学影像数据量，并根据不同的运行实时状况动态切换医学影像三维重建机制，灵活性强。

Description

一种面向C/S架构的自适应医学影像三维重建方法

技术领域

本发明涉及医学影像三维重建技术领域，尤其涉及一种面向C/S架构的自适应医学影像三维重建方法。

背景技术

医学影像成像设备不断发展，影像产生的精度和速度越来越高，一次成像结果将产生大量数据(200MB～2GB)，这些数据给医生和影像存储设备都带来了挑战。医生阅览的二维影像数量成倍增长，工作量加大，容易造成漏诊。因此，三维重建技术给医生一个新的观察维度，从不同的角度，不同尺度去观察病灶或者组织器官。三维重建不但直观地展示给医生结果，也让减轻了阅片的工足量，并且对后期治疗、辅助手术规划、医患交流等都带来了极大便利。

现有的三维重建功能模块都集成在PACS***或者影像工作站中，如心脏软件包、肺功能软件包等，这些三维重建方法都是基于本地影像数据而运行。随着云计算、物联网等技术的快速发展，远程影像技术(Tele-radiology)促进了远程会诊、远程阅片等技术发展；同时随着移动网络速度提升及移动设备性能提高，移动医疗也快速发展，医生也不仅仅局限在阅片室，临床医生也不在仅仅采用本地影像辅助诊断。因此，远程三维重建技术研究也越来越受到关注。

三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。医学影像三维重建是研究由各种医学成像设备获取的二维图像断层序列构建组织或器官的三维几何模型，并在计算机屏幕上绘制并显示出来。从计算机制划分，三维重建方法可以分为客户端重建、服务端重建和混合重建三种，如图1所示，显示了A、B、C三种重建机制(重建模式)：机制A，在外网客户端进行三维重建过程，并通过广域网或者移动网等将三维重建模型与医院服务网络的Web服务器交互，同时Web服务器连接后台的影像数据库进行医学影像数据的传递；机制B，在医院服务网络的Web服务器端进行三维重建过程，同时Web服务器连接后台的影像数据库进行医学影像数据的传递，并通过广域网或者移动网等将三维重建模型与外网客户端交互；机制C，在外网客户端和医院服务网络中的Web服务器两端都进行三维重建过程，但两者的三维重建效果是不同的，Web服务器进行的三维重建是基于原始分辨率的医学影像，客户端进行的三维重建是基于降分辨率的医学影像。

上述几种方法各有利弊，在不同的运行环境、不同应用场景所下的适用能力有很大差别，如表1所示。

表1现有三种重建机制优缺点对比

在客户资源需求、网络速度需求、操作流畅性、平台适应性、数据量适应性、客户端图像质量、移动普适性、用户体验和UI展示能力几个方面，对上述三种重建机制分别作了分析。机制A对网路速度要求比较低，操作流畅性好，客户端图像质量显示效果好，用户的体验和***展示能力强，其他方面相对比较差。机制B不需要太多的客户资源，跨平台适应性好，对数据量适应性好，也可以容易应用到移动端设备，其他方面相对比较差。机制C操作流畅性比较好，客户端质量高，用户体验好，但对数据量适用性比较差，其他方面表现一般。现有这些方法各有利弊，缺少一种能够对这些方法的统一建模，并且能够根据实际运行场景自动切换重建机制。

当前PACS及影像工作站等***都采用客户端重建机制(包括插件式的Web重建方式)，而纯服务端绘制、混合绘制及纯Web重建机制由于受限于移动终端性能、UI展示能力、网络速度等影响和限制，目前产品应用还处于原型研究阶段。但随着5G、服务架构等技术发展，基于现有实际临床在线阅片、远程诊断等急迫需求，未来在线三维重建技术将会得到广泛应用。如何提出一种适用性广泛、跨平台的三维重建方法，并根据客户运行环境和场景能够自适应的切换重建机制是当前技术难点和挑战。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种面向C/S架构的自适应医学影像三维重建方法，能够在现有多种应用平台运行，适用性更广，可以满足临床在线阅片、远程诊断等需求，解决传统三维重建机制缺陷

为解决上述技术问题，本发明所采取的技术方案是：

一种面向C/S架构的自适应医学影像三维重建方法，包括四层架构的通用三维重建方法和基于决策树的自适应重建模式选择方法；

所述四层架构的通用三维重建方法中在客户端和服务端都包括四层结构，自底而上分别是远程传输协议层R1、预处理体数据层R2、重建场景算法层R3和渲染可视模型层R4；远程传输协议层用于提供三维重建通信传输协议及数据/控制消息的内容语义及格式定义；预处理体数据层用于提供三维重建体数据插值处理，包括层厚、像素深度、采样分辨率；重建场景算法层用于提供不同的三维重建算法及重建模型输出；渲染可视模型层用于提供三维重建结果的渲染可视化及图片显示；根据不同的应用场景和需求，灵活从最底层R1直接跳到上面任意一层R2、R3或R4，简化客户服务两端的层，形成不同的应用模式，包括以下四种模式：

(a)对于远程传输协议层，客户端和服务器均能选择HTTP、FTP、RMI、HTTPS协议进行远程数据传输；对于预处理体数据层，客户端和服务器均存储了DICOM格式的医学影像；对于重建场景算法层和渲染可视模型层，由于该模式是在客户端重建，所以只有客户端有这两层结构，客户端利用MPR、VR、SSD、MIP、MinIP、AvgIP算法对医学影像进行三维重建，并利用医学影像工作站或ActiveX、Applet、Flash插件程序将三维模型显示在客户端的电子设备的屏幕上；

(b)对于远程传输协议层，客户端和服务器均能选择HTTP、AJAX、HTTPS、FTP、RMI协议或技术进行远程数据传输；对于预处理体数据层，服务端的是DICOM格式的医学影像，而客户端的是模型文件；对于重建场景算法层，由于三维重建过程在服务器进行，所以只有服务器有这一层结构，在本层利用面绘制(Surface Rendering)算法将医学影像进行三维重建；对于渲染可视模型层，由于需要在客户端进行三维重建显示，所以只有客户端有这一层结构，本层将服务端重建场景算法层重建的三维模型数据利用播放器插件在客户端的电子设备的屏幕上进行浏览展示；

(c)对于远程传输协议层，客户端和服务器均能选择HTTP、WebSocket、WebWork协议或技术进行远程数据传输；对于预处理体数据层和重建场景算法层，由于该模式仅仅是在服务器重建，所以只有服务器有这两层结构，服务器存储DICOM格式的医学影像，然后利用体绘制(Volume Rendering)或者面绘制(Surface Rendering)算法对这些医学影像进行三维重建；对于渲染可视模型层，客户端和服务器使用的技术不同，客户端使用HTML、Canvas和WebGL技术，而服务端使用的是VTK、OpenGL技术；

(d)对于远程传输协议层，客户端和服务器均能选择AJAX、WebSocket、WebWork、HTTP协议或技术进行远程数据传输；对于预处理体数据层，服务器存储的是原始分辨率的DICOM医学影像，而客户端存储的是降采样分辨率的DICOM医学影像；对于重建场景算法层，客户端采用的MPR、VR或者面绘制(Surface Rendering)算法，而服务器采用的是VR或者面绘制(Surface Rendering)算法；对于渲染可视模型层，客户端采用的是WebGL技术，而服务器采用的是VTK、OpenGL技术；

基于决策树的自适应重建模式选择方法指基于用户自定义的重建过程，动态地根据运行平台、数据量、网络类别、网络速度的不同，自动切换模式；切换过程采用基于决策树方法，所述决策树构建过程涉及到的属性包括运行平台、数据量、网络类别、网络速度；其中，运行平台分为PC本地应用、PC Web应用、平板本地应用、平板Web应用、智能手机本地应用和智能手机Web应用；数据量分为两类，即影像层数小于200层且数据量小于100M、影像层大于200层或数据量大于100M；网络类别包括广域网、局域网、无线网、移动网；网络速度是当前网络的实际传输速度；网络速度是一个动态参数，界定基础是两个阈值参数，一个上限一个下限，不同的网络类型具有不同的阈值，这些阈值根据需要来设定；

决策过程首先从运行平台开始；然后判断数据量，分别从个数和大小两个方面衡量；之后查看当前网络类型；最后根据当前动态的网络速度选择对应的重建模型。

所述决策树，纵向包括四层结构，自顶向下分别是运行平台、医学影像的数据量、网络类型和当前的网络速度；从横向来看，第一层结构，按照运行平台将客户端划分为6种，分别是PC本地App、PC Web App、Pad本地App、Pad Web App、Phone本地App和Phone WebApp；然后第二层结构，判断医学影像数据量的大小，将医学影像按照数据量的大小分为两种，一种是影像层数小于200层且数据量小于100M，另一种是影像层数大于200层或数据量大于100M，每种客户端都分别对这两种情况进行分析；接着第三层结构，查看当前网络类型，对于PC来说，网络类型包括广域网、局域网和无线网；对于Pad和Phone来说，网络类型包括移动网和无线网；最后一层结构，根据当前动态的网络速度来选择对应的重建模式。

采用上述技术方案所产生的有益效果在于：本发明提供的面向C/S架构的自适应医学影像三维重建方法，能够统一当前各种不同类型的医学影像三维重建机制，基于该方法实现的医学影像***具有适应不同运行平台、不同传输网络、不同医学影像数据量的能力，并根据不同的运行实时状况动态切换医学影像三维重建机制，灵活性强。

附图说明

图1为现有三维重建机制划分示意图；

图2为本发明实施例提供的基于分层架构的通用三维重建方法中的四层结构示意图；

图3为本发明实施例提供的面向C/S架构的应用模式示意图；

图4为本发明实施例提供的基于分层架构的通用三维重建方法的不同应用形式示意图；

图5为本发明实施例提供的决策树的构建结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

一种面向C/S架构的自适应医学影像三维重建方法，包括四层架构的通用三维重建方法和基于决策树的自适应重建模式选择方法。

四层架构的通用三维重建方法中在客户端和服务端都包括四层结构，如图2所示，自底而上分别是远程传输协议层、预处理体数据层、重建场景算法层和渲染可视模型层。

远程传输协议层用于提供三维重建通信传输协议及数据/控制消息的内容语义及格式定义，如：WebSocket、HTTP、Socket、FTP等。

预处理体数据层提供三维重建体数据插值处理，包括层厚、像素深度、采样分辨率，如：图像插值、图像切割、重采样等。

重建场景算法层提供不同的三维重建算法，如表面绘制、体绘制等，及重建模型输出，如：体绘制、面绘制、多平面重建、最大密度投影等。

渲染可视模型层提供三维重建结果的渲染可视化，包括可视模型数据显示、GPU数据绘制或图片数据显示技术方式，如：各种插件、WebGL、图像绘制Canvas等。

从图2中可以看出，根据不同的应用场景和需求，从最底层R1可以直接跳到上面任意一层R2、R3或R4，实现方法适用的灵活性。本实施例方法面向于客户端服务器软件架构(Client/Server，C/S)软件应用，因此本实施例的四层架构的通用三维重建方法在客户端和服务端都包含四层架构，应用模式如图3所示。

根据不同的应用场景和需求，客户服务两端的层可以简化，形成不同的应用模式，按照本实施例所述的四层架构，目前出现的三维重建方法可以分为如图4所示的四种典型的应用模式，包括以下四种模式：

(a)对于远程传输协议层，客户端和服务器均能选择HTTP、FTP、RMI、HTTPS协议进行远程数据传输；对于预处理体数据层，客户端和服务器均存储了DICOM格式的医学影像；对于重建场景算法层和渲染可视模型层，由于该模式是在客户端重建，所以只有客户端有这两层结构，客户端利用MPR、VR、SSD、MIP、MinIP、AvgIP算法对医学影像进行三维重建，并利用医学影像工作站或ActiveX、Applet、Flash插件程序将三维模型显示在客户端的电子设备的屏幕上；

(b)对于远程传输协议层，客户端和服务器均能选择HTTP、AJAX、HTTPS、FTP、RMI协议或技术进行远程数据传输；对于预处理体数据层，服务端的是DICOM格式的医学影像，而客户端的是模型文件；对于重建场景算法层，由于三维重建过程在服务器进行，所以只有服务器有这一层结构，在本层利用面绘制(Surface Rendering)算法将医学影像进行三维重建；对于渲染可视模型层，由于需要在客户端进行三维重建显示，所以只有客户端有这一层结构，本层将服务端重建场景算法层重建的三维模型数据利用播放器插件在客户端的电子设备的屏幕上进行浏览展示；

(c)对于远程传输协议层，客户端和服务器均能选择HTTP、WebSocket、WebWork协议或技术进行远程数据传输；对于预处理体数据层和重建场景算法层，由于该模式仅仅是在服务器重建，所以只有服务器有这两层结构，服务器存储DICOM格式的医学影像，然后利用体绘制(Volume Rendering)或者面绘制(Surface Rendering)算法对这些医学影像进行三维重建；对于渲染可视模型层，客户端和服务器使用的技术不同，客户端使用HTML、Canvas和WebGL技术，而服务端使用的是VTK、OpenGL技术；

(d)对于远程传输协议层，客户端和服务器均能选择AJAX、WebSocket、WebWork、HTTP协议或技术进行远程数据传输；对于预处理体数据层，服务器存储的是原始分辨率的DICOM医学影像，而客户端存储的是降采样分辨率的DICOM医学影像；对于重建场景算法层，客户端采用的MPR、VR或者面绘制(Surface Rendering)算法，而服务器采用的是VR或者面绘制(Surface Rendering)算法；对于渲染可视模型层，客户端采用的是WebGL技术，而服务器采用的是VTK、OpenGL技术。

从图4中可以看到，图1中A、B、C三种典型的重建机制分别是图4中(a)、(c)、(d)的特定应用形式。图4中(b)类模式采用服务器三维重建模型后，将模型数据推送到客户端，利用播放器插件进行浏览。本实施例这种分层的架构能够灵活对应不同的应用场景。

基于上述C/S分层结构，本实施例对图1中A、B、C三种典型的重建过程，提出基于决策树的自适应重建模式自动选择方法。实际应用中，用户可以根据实际需求和上述分层结构，预定义很多种重建过程。

基于决策树的自适应重建模式选择方法指基于用户自定义的重建过程，动态地根据网络、运行平台、数据量、网络类别、网络速度的不同，自动切换模式，能够给用户最好的使用体验，而不是固定到某一种重建过程模式。

所述切换的过程采用基于决策树方法，所述决策树构建过程涉及到的属性包括运行平台、数据量、网络类别、网络速度。其中，运行平台分为PC本地应用、PC Web应用、平板本地应用、平板Web应用、智能手机本地应用和智能手机Web应用；数据量分为两类，即影像层数小于200层且数据量小于100M、影像层大于200层或数据量大于100M；网络类别包括广域网、局域网、无线网、移动网(蜂窝网络)；网络速度是当前网络的实际传输速度。决策树的构建结构如图5所示。

决策过程首先从运行平台开始；然后判断数据量，分别从个数和大小两个方面衡量；之后查看当前网络类型；最后根据当前动态的网络速度选择对应的重建模型。网络速度是一个动态参数，界定基础是两个阈值参数，一个上限一个下限，不同的网络类型具有不同的阈值，这些阈值根据需要来设定。本实施例共有四类网络，8个阈值，设定的阈值分别为T1＝100K、T2＝1M、T3＝1M、T4＝10M、T5＝1M、T6＝5M、T7＝500K、T8＝1M。

所述决策树，纵向包括四层结构，自顶向下分别是运行平台、医学影像的数据量、网络类型和当前的网络速度；从横向来看，第一层结构，按照运行平台将客户端划分为6种，分别是PC本地App、PC Web App、Pad本地App、Pad Web App、Phone本地App和Phone WebApp；然后第二层结构，判断医学影像数据量的大小，将医学影像按照数据量的大小分为两种，一种是影像层数小于200层且数据量小于100M，另一种是影像层数大于200层或数据量大于100M，每种客户端都分别对这两种情况进行分析；接着第三层结构，查看当前网络类型，对于PC来说，网络类型包括广域网、局域网和无线网；对于Pad和Phone来说，网络类型包括移动网和无线网；最后一层结构，根据当前动态的网络速度来选择图1中对应的重建模式。

下面以图5中决策树的两个分支为例详细说明。

第一个分支是PC本地App使用广域网对影像层数小于200层且数据量小于100M的医学影像进行操作的时候，根据网络速度来选择不同的重建过程。T1、T2分别是广域网网速的上下限，若网速小于T1，自动选择B重建模型；若网速大于T1小于T2，自动选择C重建模型；若网速大于T2，自动选择A重建模型。同理，PC本地App使用局域网和无线网对影像层数小于200层且数据量小于100M的医学影像进行操作的情况也是这样根据网速快慢自动选择对应的重建模型。

第二个分支是Pad Web App使用移动网对影像层数大于200层或数据量大于100M的医学影像进行操作的时候，根据网络速度来选择不同的重建过程。T7、T8分别是移动网网速的上下限，若网速小于T7，自动选择B重建模型；若网速大于T7小于T8，自动选择B重建模型；若网速大于T8，自动选择C重建模型。同理，Pad Web App使用无线网对影像层数大于200层或数据量大于100M的医学影像进行操作的情况也是这样根据网速快慢自动选择对应的重建模型。

其他分支的情况也是这样根据网速快慢自动选择对应的重建模型。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.一种面向C/S架构的自适应医学影像三维重建方法，其特征在于：该方法包括四层架构的通用三维重建方法和基于决策树的自适应重建模式选择方法；

所述四层架构的通用三维重建方法中在客户端和服务端都包括四层结构，自底而上分别是远程传输协议层R1、预处理体数据层R2、重建场景算法层R3和渲染可视模型层R4；远程传输协议层用于提供三维重建通信传输协议及数据/控制消息的内容语义及格式定义；预处理体数据层用于提供三维重建体数据插值处理，包括层厚、像素深度、采样分辨率；重建场景算法层用于提供不同的三维重建算法及重建模型输出；渲染可视模型层用于提供三维重建结果的渲染可视化及图片显示；根据不同的应用场景和需求，灵活从最底层R1直接跳到上面任意一层R2、R3或R4，简化客户服务两端的层，形成不同的应用模式，包括以下四种模式：

(a)对于远程传输协议层，客户端和服务器均能选择HTTP、FTP、RMI、HTTPS协议进行远程数据传输；对于预处理体数据层，客户端和服务器均存储了DICOM格式的医学影像；对于重建场景算法层和渲染可视模型层，由于该模式是在客户端重建，所以只有客户端有这两层结构，客户端利用MPR、VR、SSD、MIP、MinIP、AvgIP算法对医学影像进行三维重建，并利用医学影像工作站或ActiveX、Applet、Flash插件程序将三维模型显示在客户端的电子设备的屏幕上；

(b)对于远程传输协议层，客户端和服务器均能选择HTTP、AJAX、HTTPS、FTP、RMI协议或技术进行远程数据传输；对于预处理体数据层，服务端的是DICOM格式的医学影像，而客户端的是模型文件；对于重建场景算法层，由于三维重建过程在服务器进行，所以只有服务器有这一层结构，在本层利用面绘制算法将医学影像进行三维重建；对于渲染可视模型层，由于需要在客户端进行三维重建显示，所以只有客户端有这一层结构，本层将服务端重建场景算法层重建的三维模型数据利用播放器插件在客户端的电子设备的屏幕上进行浏览展示；

(c)对于远程传输协议层，客户端和服务器均能选择HTTP、WebSocket、WebWork协议或技术进行远程数据传输；对于预处理体数据层和重建场景算法层，由于该模式仅仅是在服务器重建，所以只有服务器有这两层结构，服务器存储DICOM格式的医学影像，然后利用体绘制或者面绘制算法对这些医学影像进行三维重建；对于渲染可视模型层，客户端和服务器使用的技术不同，客户端使用HTML、Canvas和WebGL技术，而服务端使用的是VTK、OpenGL技术；

(d)对于远程传输协议层，客户端和服务器均能选择AJAX、WebSocket、WebWork、HTTP协议或技术进行远程数据传输；对于预处理体数据层，服务器存储的是原始分辨率的DICOM医学影像，而客户端存储的是降采样分辨率的DICOM医学影像；对于重建场景算法层，客户端采用的MPR、VR或者面绘制算法，而服务器采用的是VR或者面绘制算法；对于渲染可视模型层，客户端采用的是WebGL技术，而服务器采用的是VTK、OpenGL技术；

基于决策树的自适应重建模式选择方法指基于用户自定义的重建过程，动态地根据运行平台、数据量、网络类别、网络速度的不同，自动切换模式；切换过程采用基于决策树方法，所述决策树构建过程涉及到的属性包括运行平台、数据量、网络类别、网络速度；其中，运行平台分为PC本地应用、PC Web应用、平板本地应用、平板Web应用、智能手机本地应用和智能手机Web应用；数据量分为两类，即影像层数小于200层且数据量小于100M、影像层大于200层或数据量大于100M；网络类别包括广域网、局域网、无线网、移动网；网络速度是当前网络的实际传输速度；网络速度是一个动态参数，界定基础是两个阈值参数，一个上限一个下限，不同的网络类型具有不同的阈值，这些阈值根据需要来设定；

决策过程首先从运行平台开始；然后判断数据量，分别从个数和大小两个方面衡量；之后查看当前网络类型；最后根据当前动态的网络速度选择对应的重建模型。

2.根据权利要求1所述的面向C/S架构的自适应医学影像三维重建方法，其特征在于：所述决策树，纵向包括四层结构，自顶向下分别是运行平台、医学影像的数据量、网络类型和当前的网络速度；从横向来看，第一层结构，按照运行平台将客户端划分为6种，分别是PC本地App、PC Web App、Pad本地App、Pad Web App、Phone本地App和Phone Web App；然后第二层结构，判断医学影像数据量的大小，将医学影像按照数据量的大小分为两种，一种是影像层数小于200层且数据量小于100M，另一种是影像层数大于200层或数据量大于100M，每种客户端都分别对这两种情况进行分析；接着第三层结构，查看当前网络类型，对于PC来说，网络类型包括广域网、局域网和无线网；对于Pad和Phone来说，网络类型包括移动网和无线网；最后一层结构，根据当前动态的网络速度来选择对应的重建模式。

Images