CN109215764B - 一种医学图像四维可视化的方法及装置 - Google Patents

Abstract

本发明提供一种医学图像四维可视化的方法及装置，用户通过客户端将医学图像数据上传至控制模块，控制模块解析医学图像数据并将解析结果反馈至客户端，存储服务器对医学图像数据进行预处理以形成截面断层图像，处理模块根据截面断层图像在客户端提供动态的三维医学图像显示。装置包括感知模块、控制模块、通信模块和处理模块，控制模块通过互联单元与客户端通信连接，存储服务器分别与控制模块、缓存服务器通信连接，缓存服务器与控制模块通信连接，处理模块分别与存储服务器、缓存服务器以及控制模块通信连接。本发明的模块之间可快速同步，提高了数据存取性能，便于操作，扩展性强，减少了网络传输数据和客户端计算资源消耗，成本更低。

Description

一种医学图像四维可视化的方法及装置

技术领域

本发明涉及医疗器械领域中的图像处理方法及装置，更具体地涉及一种医学图像四维可视化的方法及装置。

背景技术

随着计算机技术、通信技术以及医疗影像技术的快速发展，医学图像的可视化技术已经从单机模式逐渐转化为网络模式、数字化模式，而仅仅依靠传统的二维平面医学图像进行临床诊断的方式已经不能满足医生的需要，在此基础上的医学图像三维可视化技术的研究也快速开展起来。医学图像三维可视化技术能为医生提供更为客观的诊断所需的相关信息，例如，展示器官形态、血管分布及走向、病灶大小及空间位置、以及与周围其他组织或器官的关系等。这些信息可以弥补医生进行人工诊断时的局限性以及主观性，其可以使医生能够从更多角度、更多层次来观察和分析医学图像，更加直观地获得医学图像中所包含的信息，在疾病诊断、治疗中有着非常重要的作用。

医学图像的三维可视化方式主要包括三种方式：(1)远程建模渲染，本地交互显示方式，其主要通过本地浏览器中的页面获取到相应交互事件以及所需渲染建模参数，再将这些数据发送到远程建模渲染端进行渲染；(2)远程建模，本地渲染交互方式，包括远程建模端和本地渲染端，与远程建模不同之处在于其不需进行数据渲染，只需要建立医学影像数据预处理产生的数据模型，本地渲染端从远程建模端得到数据模型后便可进行渲染交互；(3)本地浏览器医学图像可视化方式，其在本地浏览器上便可直接进行医学图像的可视化。

目前，基于浏览器/服务器(Browser/Server，简称B/S)模式框架的医学图像三维可视化处理手段尚不多。比如，Mahmoudi提出了一种Web-Based的医学图像可视化框架，实现了一种可扩展的二维和三维医学图像可视化平台，平台内部组成相互独立，实现了图像预处理、配准、分割、可视化，但其在进行高频交互、高计算负载的可视化算法时需占用大量网络带宽。Hachaj在B/S模式框架下使用了大幅降低分辨率的方法以实现直接体绘制，虽然网络开销较低，但其总体帧率也较低，交互过程中的图像帧的清晰度较差。Wangkaoom等人使用了HTML5、JavaScript和WebGL(Web Graphics Library，一种3D绘图协议)等相关技术实现高质量实时体绘制框架，但数据量较大时，数据传输和初始化时间较长，交互流畅度低。总之，临床上医学图像的可视化处理手段主要有以下几个缺点：

第一、由于医学图像数据量大、计算需求高，现有技术中的图像处理装置需要使用高性能的图形工作站，因此处理的成本高、效率低，且往往需要依托于大型影像设备，处理的过程受到了时间和地点的限制；

第二、现有技术中的医学图像处理***往往需要专人进行操作，不易操作学习；

第三、不同图像处理***使用的方法差异较大，***的维护与更新需要设备供应商委派专业的工程师前往现场完成，非常不便；

第四、现有技术中的医学图像处理***功能单一，且有着医学图像格式的限定，难以满足精准化、个体化的现代医学需求。

发明内容

本发明的目的是提供一种医学图像四维可视化的方法及装置，从而解决现有技术中的医学图像处理***不能满足现代医学中精准化、个体化的四维成像需求的问题。

为了解决上述技术问题，本发明的技术方案是提供一种医学图像四维可视化的方法，该方法包括以下步骤：

步骤S1：用户通过若干个客户端将医学图像数据上传至一控制模块；

步骤S2：通过控制模块解析医学图像数据并将解析结果反馈至客户端，同时将医学图像数据以及解析结果转移至一存储服务器；

步骤S3：利用存储服务器对医学图像数据进行预处理并将形成的预处理图像发送至处理模块；

步骤S4：处理模块根据预处理图像进行动态的三维图像处理，并在客户端提供医学图像动态的三维医学图像显示。

根据本发明的一个实施例，在步骤S1中，客户端以压缩的数据及消息的形式向控制模块传递医学图像数据。

根据本发明的一个实施例，在步骤S1中，客户端通过一互联单元向控制模块发送用户请求，控制模块接收用户请求并向客户端反馈解析结果，控制模块同时向存储服务器以及处理模块分配不同的用户请求。

根据本发明的一个实施例，在步骤S1中，医学图像数据的类型包括：医学数字成像和通信文件、原始数据文件、统计参数图文件、神经影像信息学技术倡议文件、Interfile文件、Analyze文件、便携式网络图形文件、MINC文件、BMP文件、JPEG文件等。

根据本发明的一个实施例，在步骤S2中，控制模块通过一中枢服务器解析医学图像数据并与客户端进行数据交互，中枢服务器通过一通信模块向存储服务器转移医学图像数据以及解析结果。

根据本发明的一个实施例，通信模块包括彼此相互通信的第一通信子模块、第二通信子模块以及第三通信子模块，第一通信子模块通过中枢服务器与互联单元通信，存储服务器通过第三通信子模块与第一通信子模块通信，处理模块通过第二通信子模块与中枢服务器以及存储服务器通信。

根据本发明的一个实施例，在步骤S3中，预处理的具体方法为：处理模块将医学图像数据中的三维数据分别以相互垂直的X、Y、Z三个方向制作截面断层图像，并将截面断层图像保存至存储服务器。

根据本发明的一个实施例，在步骤S4中，处理模块通过一渲染核心子模块计算每一帧重建结果，通过一网络通信子模块负责与客户端之间的通信、消息解析以及与存储服务器之间的数据库操作，通过一逻辑管理子模块响应来自客户端的交互事件，对来自网络通信子模块的交互请求消息进行分类和排序，对错误的或重复的交互请求消息进行抛弃。

根据本发明的一个实施例，在步骤S4中，处理模块进行动态的三维图像处理后以压缩的数据及消息的形式将处理结果传递至客户端以进行医学图像的动态显示。

本发明还提供一种采用上述医学图像四维可视化的方法的医学图像四维可视化的装置，该装置包括：

感知模块，该感知模块包括互联单元以及与互联单元通信连接的若干个客户端；

控制模块，该控制模块通过互联单元与客户端通信连接以处理来自客户端的各种用户请求；

通信模块，该通信模块包括彼此相互通信连接的第一通信子模块、第二通信子模块以及第三通信子模块，第一通信子模块通过控制模块与互联单元通信连接；以及

处理模块，该处理模块包括存储子模块以及逻辑子模块，存储子模块包括存储服务器和缓存服务器，存储服务器通过第三通信子模块与缓存服务器通信连接；缓存服务器分别与第一通信子模块、第二通信子模块以及第三通信子模块通信连接，逻辑子模块通过第二通信子模块与存储服务器以及控制模块通信连接。

根据本发明的一个实施例，控制模块包括相互通信连接且分别处理不同用户请求的多个控制单元。

根据本发明的一个实施例，其中一个控制单元为中枢服务器，中枢服务器通过互联单元与客户端通信连接。

根据本发明的一个实施例，第一通信子模块、第二通信子模块以及第三通信子模块分别设置于中枢服务器、逻辑子模块以及存储服务器中。

根据本发明的一个实施例，控制模块的中枢服务器接收和解析客户端上传的医学影像文件并将医学影像文件与解析结果移存至存储服务器。

根据本发明的一个实施例，医学影像文件的类型包括：医学数字成像和通信文件、原始数据文件、统计参数图文件、神经影像信息学技术倡议文件、InterFile文件、Analyze文件、便携式网络图形文件、MINC文件、BMP文件、JPEG文件等。

根据本发明的一个实施例，逻辑子模块根据用户请求对医学影像文件进行分割、配准、建模、重建处理。

根据本发明的一个实施例，存储子模块根据医学影像文件提取截面断层图像，并将截面断层图像存储于存储服务器中。

根据本发明的一个实施例，逻辑子模块包括相互通信连接的渲染核心子模块、网络通信子模块以及逻辑管理子模块，其中，渲染核心子模块对医学影像文件的每一帧进行重建计算，网络通信子模块向客户端反馈信息并向逻辑管理子模块发送交互请求消息，逻辑管理子模块对交互请求消息分类、排序，剔除无用的或者重复的交互请求消息。

根据本发明的一个实施例，控制模块、通信模块与处理模块均架构在同一服务端上，客户端与服务端彼此独立，客户端与服务端通过控制模块以及通信模块进行连接。

根据本发明的一个实施例，客户端与服务端之间以压缩的数据及消息的形式传递医学图像数据。

根据本发明的一个实施例，客户端通过互联单元向控制模块发送用户请求，控制模块接收用户请求并向客户端反馈数据，控制模块同时向存储服务器、缓存服务器以及逻辑子模块分配不同的用户请求。

根据本发明的一个实施例，客户端包括手机、平板电脑以及计算机等。

根据本发明的一个实施例，处理模块中的存储子模块和逻辑子模块通过采用数台服务器通信连接构成，存储子模块与逻辑子模块架构在不同服务器上且相互之间独立运行。

根据本发明的一个实施例，处理模块上设置有资源监测子模块，资源监测子模块与感知模块中的互联单元通信连接。

根据本发明的一个实施例，缓存服务器为键值存储数据库。

本发明提供的医学图像四维可视化的方法及装置，具有以下优点：

第一、以缓存服务器作为数据的交换中心进行扩展，支持主从同步，使得数据在感知模块、通信模块、处理模块以及控制模块之间能够进行快速同步，大大提高了数据存取的性能。

第二、使用者可以不需要在本地安装***，直接利用普通电脑甚至是移动设备就可以完成其处理操作。

第三、通过模块化的***架构设计，将***分为四大模块，感知模块对用户的交互行为进行反馈，通信模块负责各个模块之间的通信，处理模块负责医学图像的数据的存储、分发和处理，如分割、配准、建模以及四维可视化，控制模块是处理来自感知模块的各种请求，管理用户权限，分配服务端资源，展示医学影像的处理结果；具有极强的扩展能力，不同的医学图像可视化方法可被快速的部署到本装置中。

第四、以尽可能少的网络传输数据和客户端计算资源消耗，实现了对医学图像的多平面重建、容积重建及表面重建等的四维可视化，重建出直观、准确的四维图像，并尽可能地加快图像的显示速度，将医学图像文件转化成特定格式的预处理图像并以此实现医学图像文件的网页显示，预处理图像均为无损压缩，不损失数据。

第五、成本更低，且可以在任意时间、任意地点、任意平台接入，更加灵活，可以给医生、研究人员带来更大的便利。

附图说明

图1是根据本发明的一个优选实施例的医学图像四维可视化的装置的***布置示意图；

图2是根据图1的医学图像四维可视化的装置的医学图像文件层次示意图；

图3是根据图1的医学图像四维可视化的装置的处理管理数据库的流程示意图；

图4是根据图1的医学图像四维可视化的装置的Redis通信方式的流程示意图；

图5是根据图1的医学图像四维可视化的方法的医学图像文件解析的流程示意图；

图6是根据图1的医学图像四维可视化的装置的逻辑子模块的处理结果示意图。

具体实施方式

以下结合具体实施例，对本发明做进一步说明。应理解，以下实施例仅用于说明本发明而非用于限制本发明的范围。

图1为本发明提供的医学图像四维可视化的装置的布置示意图，由图1可知，本发明提供的医学图像四维可视化的装置包括感知模块10、控制模块20、通信模块30以及处理模块40，其中，感知模块10包括互联单元11和若干个客户端12、13、14，控制模块20包括一中枢服务器21，中枢服务器21通过互联单元11分别与客户端12、13、14通信连接，通信模块30包括彼此相互通信连接的第一通信子模块31、第二通信子模块32以及第三通信子模块33，处理模块40包括存储子模块以及逻辑子模块42，存储子模块包括存储服务器41和缓存服务器43，第一通信子模块31、第二通信子模块32以及第三通信子模块33分别设置于中枢服务器21、逻辑子模块42以及存储服务器41之中，从而为整个装置的各个模块之间提供通信。更具体地，第一通信子模块31通过中枢服务器21与互联单元11通信连接；存储服务器41中的第三通信子模块33分别与第二通信子模块32、第一通信子模块33以及缓存服务器43通信连接；第二通信子模块32与第一通信子模块31之间通信连接；缓存服务器43分别与第一通信子模块31、第二通信子模块32以及第三通信子模块33通信连接。感知模块10对用户通过客户端12、13、14进行的交互行为进行反馈；控制模块20是整个装置的核心，通过中枢服务器21中的第一通信子模块31与存储服务器41、缓存服务器43、逻辑子模块42以及客户端连接，并控制所有服务器的运行；控制模块20处理来自感知模块10的各种请求，管理用户权限，分配服务端资源，展示医学影像的处理结果；通信模块30负责各个模块之间的通信；存储服务器41负责数据的存储和分发，为装置的正常运行提供了重要的数据库保障；缓存服务器43为装置进行快速的数据交换和同步提供了帮助；处理模块40负责医学图像的处理如分割、配准、建模以及重建等，为复杂算法和可视化的应用提供载体。

更具体地，在图1的实施例中，控制模块20负责接收从感知模块10发送的用户请求，对用户请求进行解析，判断用户请求的合法性和请求类型，根据需要从存储子模块取得数据并向不同的客户端12、13、14进行分发或者向处理模块40转发用户请求。用户将原始的医学图像数据通过感知模块10上传至控制模块20后，控制模块20首先将上传的医学图像数据存储至存储服务器41的数据库，同时对该医学图像数据进行图像解析，医学图像数据解析完成后，控制模块20将解析结果返回至感知模块10以通知用户上传医学图像数据的状态，若上传状态正常，则进一步进行图像数据处理，图像数据处理完成之后将解析结果返回至感知模块10以标记此次上传文件可用。上传解析完成后，将通过感知模块10对上传的医学图像进行一维或多维的网页显示。由于一个医学图像数据通常有几十兆甚至达到几千兆，在传递医学图像数据时，为实现大量医学数据的快速传输，控制模块20通过第一通信子模块31与缓存服务器43进行数据交换。并且，为了实现多用户同时操作的情况，服务器需配备核心较多的处理器。因此，在硬件上，控制模块20一般采用配置至少为4核的处理器，万兆双光口网卡的物理机，以支持上述的医学数据的快速传输及多用户同时操作。

存储子模块主要实现以下功能：存储子模块中的存储服务器41负责对医学图像数据进行预处理以形成预处理图像，以及医学影像文件的存储、数据库的存储；存储子模块中的缓存服务器43为装置的数据快速交换和同步提供帮助。具体的医学影像文件类型包括：DICOM(Digital Imaging and Communications in Medicine，即医学数字成像和通信文件，是医学图像和相关信息的国际标准ISO 12052)、RawData(原始数据)文件、SPM(统计参数图)文件、NIFTI(神经影像信息学技术倡议)文件、Interfile文件、Analyze文件、便携式网络图形文件、MINC文件、BMP文件、JPEG文件等。在硬件环境上，存储服务器41使用阵列卡实现存储磁盘阵列，并对数据进行定期备份，使用数据库管理工具建立数据库并提供相应服务，数据库中需要存储以下信息：网站动态化信息、文件存储路径、***使用记录。

处理模块40是图像可视化主要的处理平台，负责医学影像的处理，比如分割、配准、建模、重建等。处理模块40在控制模块20的管理下从缓存服务器43获取数据，另外还从感知模块10接收用户请求，解析请求并判断其合法性，并进行相应处理，将处理结果发送给控制模块20。此外，处理模块40还搭载了资源监测程序，用于监测CPU、GPU、内存、显存等资源的使用情况，并将相关数据发送到控制模块20，使得控制模块20可以根据资源使用状况进行任务调度。在硬件上，处理模块40可根据需求采用多台高性能的物理机，其中，存储子模块可以有一台或者多台存储服务器组成，每台服务器至少配备16T的存储空间，以实现大量医学图像数据的存储需要。逻辑子模块配置至少为十二核的处理器，64G内存，显存容量6G的双显卡，万兆双光口网卡，用以满足大量的计算与数据交互需求，并且所有的物理机配置均可根据实际需求进行扩展。

缓存服务器43是高速网络通道的数据交换中心，可以作为中枢服务器21、存储服务器41和逻辑子模块42之间的高速交换通道和缓冲区。缓存服务器43是一个键值存储数据库(又称key-value内存数据库)，相比其它的基于磁盘的数据库，缓存服务器43具有非常高的数据读写速度，同时又保留了数据库的易用性，因此可以用来作为缓冲区使用。在硬件上，缓存服务器43可以与存储服务器41、逻辑子模块42集成装配于相同的物理机上，也可以单独使用其他的物理机。在图1的实施例中，缓存服务器43和存储服务器41集成于同一个物理机上。

本发明提供的医学图像四维可视化的装置基于B/S架构，以缓存服务器43为数据的交换中心，由三台服务器架设，将算法、数据、界面分离开，具有低耦合性、快部署及高维护性等优点，无需任何扩展插件就可以在浏览器(PC和移动设备)上使用。由于数据存储、执行处理分别在存储服务器41和逻辑子模块42上完成，数据需要在不同的服务器间通信，服务器间的数据通信在传输效率上有着极高的要求，在海量并发及大负载流量的情况下，除了在数据在物理介质中的传输外，文件的读写、封装都会影响通信的效率，本装置使用缓存服务器43的主从连接方式，实现数据的“同步”，而不是传统文件的“发送/接收”方式，保证了数据传输处理的效率。

针对上述***布置，需要相应的设计数据库和通讯方法以用于支持分离式架构的运行以及进行B/S架构的医学图像处理和可视化，数据与处理完全分离可使得服务器的硬件得到充分的利用。

图2为根据图1的医学图像四维可视化的装置的医学图像文件层次示意图，由图1结合图2可知，本发明中的数据库主要包括：(1)案例数据库(Study Database，简称SD)，用于存储病人信息；(2)图像数据库(Image Database，简称ImD)，用于存储病人的图像信息；(3)处理管理数据库(Processing Manage Database，简称PMD)，用于存储处理过程的管理信息。这三种数据库设置于存储服务器41内，使整个装置具备数据挖掘以及回溯分析的能力。在本发明中，感知模块10通过控制模块20以及通信模块30向处理模块40发送的对象为医学图像文件，医学图像文件包含患者(patient)、案例(study)、序列(series)、图像(image)四个层次的医学图像信息，每个层次拥有能够唯一识别层次属性的键值。控制模块20中的中枢服务器21对医学图像文件进行解析，将每个医学图像文件分解，可扩展标记语言文件作为医学图像文件的案例信息，图像像素信息、原始医学图像数据和预处理图像共同组成医学图像文件的图像信息。案例信息与图像信息均通过第一通信子模块31以及第三通信子模块33而存储于存储服务器41中并形成案例数据库(SD)和图像数据库(ImD)。

图3为根据图1的医学图像四维可视化的装置的处理管理数据库的流程示意图，由图2结合图3可知，处理管理数据库(PMD)也形成于存储服务器41中，处理管理数据库分别与感知模块10以及案例数据库(SD)通信连接，用户通过感知模块10向控制模块20发送请求，控制模块20通过通信模块30向处理模块40发送不同用户请求时，处理模块40会将案例数据库中对于每一个案例每一次的处理过程都记录下来，并发送至处理管理数据库进行保存，用户也可以通过发送用户请求获取不同的处理结果记录。处理管理数据库使***具备数据挖掘和回溯分析能力，且使得***可以不再局限于一些简单的调窗、增强等单一操作，而是可以结合多种图像处理方法，进行更为复杂的图像处理操作。处理管理数据库中记录的处理过程信息包括：处理的操作者，被处理的序列/图像，处理时间，处理方法，处理参数以及处理结果，其中，每一种处理过程信息在装置中都有唯一的“类型”值和对应的参数字符串，处理管理数据库将处理得到的结果文件进行储存，并记录结果文件地址。

用户在使用***时，数据不仅需要从处理模块40向感知模块10传输，而且在不同模块内部也需要数据的传输。由于控制模块20和处理模块40的存储子模块以及逻辑子模块42在物理上是分离的，因此本装置根据不同模块与感知模块10之间的通信内容、通信环境的不同，使用了AJAX(Asynchronous Javascript and XML，即异步JavaScript和XML)、WebSocket(一种网络协议，2011年被IETF定为标准RFC6455)和Redis(一种key-value存储***)三种通信方式完成数据交换，其中，利用缓存服务器43进行快速数据同步，实现数据的高效传输，能够快速的响应感知模块10的处理需求。

对于AJAX通信方式，其可以实现处理模块40和感知模块10的轮询通信，即每间隔一定的时间，感知模块10就向处理模块40发送AJAX请求，处理模块40收到AJAX请求后，向感知模块10返回响应数据，随即关闭连接。感知模块10收到响应数据后，客户端12、13、14中的Javascript会处理响应数据，并更新在客户端的页面文件中。本发明使用这种通信方式在感知模块10和处理模块40之间传输二维医学影像，具有较高的稳定性和兼容性，并尽可能降低了图像传输时对处理模块带宽和时间的消耗。AJAX通信方式可以实现感知模块10和处理模块40之间的数据传输，当数据交换非常频繁，如医学图像处理中对三维数据的实时重建时，需要处理模块40实时、主动地向感知模块10发送处理得到的结果，AJAX通信模式并不能满足要求。因此，进一步地，本发明采用WebSocket通信方式，WebSocket是基于TCP的一种新的网络协议，可以实现浏览器和服务器全双工(full-duplex)通信，即允许处理模块40主动发送信息给感知模块10。此外，WebSocket定义了一系列接口，可实现模块间的推送功能，其能够大大降低实时数据传输过程中对网络带宽等的消耗，提高***的性能。

WebSocket通信方式在连线过程中，通过感知模块10发出WebSocket连线请求，处理模块40接受到请求消息后发出回应，此过程即完成两者之间的一次握手(handshaking)，在两者之间建立一条信息通道，使得数据信息可以随时传输，而不需要多次建立连接，等待响应。与AJAX通信方式相比，在消息推送方面，处理模块40不再被动的接收感知模块10的请求消息后才返回数据，而是在有新的请求消息数据时就会主动推送给处理模块40。本发明在对医学影像的一些实时处理中，处理模块40需要以较高的帧率不断渲染处理结果，这些数据会采用WebSocket通信方式连续不断地发送给感知模块10，而不是由感知模块10不断地发送请求。在实时的大量数据传输方面，WebSocket通信方式能够大大降低对网络带宽的消耗，具有性能上的优势。

图4为根据图1的医学图像四维可视化的装置的Redis通信方式的流程示意图，由图4可知，处理模块40和存储服务器41之间通过主从连接进行数据的同步，处理模块40作为主机(Master)，存储服务器41作为从机(Slave)，主机的一段内存通过光纤直接复制到从机的内存中，而不需要中间的文件解析、硬盘读写等过程。(1)主从间通过“请求缓存同步连接”状态建立连接后，从机将主动向主机发送一个SYNC(即缓存同步连接)命令；(2)主机处理模块40接收到SYNC命令后，开始调用BGSAVE指令(用于在后台异步保存当前数据库的数据到磁盘)将主机的数据写入一个数据库文件(rdb文件)中，并使用缓存服务器43缓存此后执行的所有用于修改数据集修改指令；(3)主机处理模块40执行完BGSAVE命令后，向从机存储服务器41发送快照文件，并在发送期间继续执行数据集修改指令；(4)从机存储服务器41收到快照文件后丢弃之前所有的旧数据，并载入收到的快照；(5)主机处理模块40发送完快照后开始向从机存储服务器41以Redis协议的格式发送缓冲区的数据集修改指令；(6)从机存储服务器41完成对快照的载入后，开始接收命令请求，并执行来自主机缓冲区的数据集修改指令。此后，主机继续将所有已经收集到的数据修改指令，和新的数据修改指令依次传送给从机，从机将再次执行这些数据修改指令，从而达到最终的数据同步。Redis通信方式对数据的操作速度极快，每秒能执行读操作约11万条数据，写操作约8万条数据，且支持String、Lists、Hashes等丰富的数据类型操作。处理过程的结果均保存于处理模块40的内存上，通过缓存服务器43的数据同步，能够迅速地在存储服务器41上保存，在需要的情况下，能够通过控制模块20再进一步发送给用户。这种通信方式能够避免服务器端的图像处理结果在硬盘上频繁地读/写，实现内存间的快速数据交换与同步。

图5为根据图1的医学图像四维可视化的方法的医学图像文件解析的流程示意图，由图5可知，本发明在使用时，用户可以根据需要选择不同的客户端上传医学图像文件至中枢服务器21，中枢服务器21对医学图像文件进行解析，并将医学图像文件和解析结果转移到存储服务器41。处理结束后，用户可以在客户端所提供的数据列表页面中查看相关的医学图像文件信息及预览图。对于四维医学图像，需要首先解析医学图像中的时间信息，并将时间信息存入存储服务器41中的图像数据库(ImD)中，然后由存储服务器41对于不同时间点的图像进行预处理，提供带有时间信息的横断面、冠状面和矢状面三个方向上的截面断层图像。然后，由处理模块根据时间信息及截面断层图像信息并通过控制模块20为客户端提供动态的三维医学图像可视化功能。对于三维医学图像，医学图像文件的上传及解析完成后，存储服务器41将对医学图像文件进行预处理，提供横断面、冠状面和矢状面三个方向上的截面断层图像，处理模块根据截面断层图像并通过控制模块20为客户端提供医学图像的显示功能。具体地，如图5所示，医学图像文件上传完成后，存储服务器将医学图像文件中的三维数据分别以相互垂直的X、Y、Z三个方向制作截面断层图像，并保存在存储服务器41的硬盘中，这就是预处理图像。预处理图像有四种格式：(1)如果医学图像文件图像是X、Y方向上的二维数据，则只会按照Z轴顺序，保存为一组无损预处理图像；如果是三维数据，则分别按照X、Y、Z三个不同的方向，存为三组数据无损预处理图像；如果是四维图像数据，则分别按照记录的T时间值，记录时间点信息，然后对每个时间点T，对X、Y、Z三个不同方向存为“T×3”组无损预处理图像。(2)如果医学图像文件图像数据是8位深度图像，直接将图像存储为8位无损预处理图像，其最高支持256索引色通道；(3)如果医学图像文件图像数据是16位、24位或32位深度图像，将医学图像图像数据按照占位大小端顺序，从高位到低位依次放入预处理图像的RGBA(red、green、blue、alpha)通道，支持约1600万色通道。处理过程结束后用户可通过客户端查看医学图像文件图像。本发明使用预处理图像的优点是基本不占用服务器CPU性能、图像传输的延迟时间低，而且适应性强，浏览器支持情况好，本发明的预处理图像作为常用的图像格式之一，被所有常用的浏览器所支持。

本发明在进行医学图像四维可视化时，用户通过客户端12、13、14的网页服务器(WebServer)向处理模块40发送四维可视化请求，处理模块40的逻辑子模块42包括三个子模块：(1)渲染核心子模块，是核心处理模块，负责计算每一帧重建结果；(2)网络通信子模块，负责与客户端之间的通信、消息解析以及与缓存服务器43之间的数据库操作，以及向逻辑管理子模块42发出交互请求消息；(3)逻辑管理子模块，负责响应来自客户端的交互事件，对来自网络通信子模块的交互请求消息进行分类和排序，对错误的或重复的交互请求消息进行抛弃，以降低渲染核心子模块的计算负担。本发明的逻辑子模块42可实现容积重建(Volume Rendering，VR)、表面重建(Surface Reconstruction，SR)、最大密度投影(Maximal Intensity Projection，MIP)以及多平面重建(Multi-Planner Reformation，MPR)等操作，从而进一步动态生成具有时间要素的三维图像组，即实现医学图像的四维可视化处理。图6为采用本发明提供的医学图像四维可视化的装置采用逻辑子模块42进行处理后的三维医学图像，由图6可知，采用本发明获得的三维医学图像处理快速，显示清晰。

本发明提供的医学图像四维可视化的方法及装置，具有以下优点：

第一、以缓存服务器作为数据的交换中心进行扩展，支持主从同步，使得数据在感知模块、通信模块、处理模块以及控制模块之间能够进行快速同步，大大提高了数据存取的性能。

第二、使用者可以不需要在本地安装***，直接利用普通电脑甚至是移动设备就可以完成其处理操作。

第三、通过模块化的***架构设计，将***分为四大模块，感知模块对用户的交互行为进行反馈，通信模块负责整个装置各个模块之间的通信，处理模块负责医学图像数据的存储、分发和处理，比如分割、配准、建模以及重建，控制模块是处理来自感知模块的各种请求，管理用户权限，分配服务端资源，展示医学影像的处理结果；具有极强的扩展能力，不同的医学图像可视化方法可被快速的部署到本装置中。

第四、以尽可能少的网络传输数据和客户端计算资源消耗，实现了对医学图像的容积重建、表面重建及多平面重建等的四维可视化，直观、准确、动态地重建出三维立体图像，并尽可能地加快图像的显示速度，将医学图像文件转化成预处理图像并以此实现医学图像的网页显示，预处理图像均为无损压缩，不损失数据。

第五、成本更低，且可以在任意时间、任意地点、任意平台接入，更加灵活，可以给医生、研究人员带来更大的便利。

以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围，本发明的上述实施例还可以做出各种变化。即凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。本发明未详尽描述的均为常规技术内容。

Claims (25)

1.一种医学图像四维可视化的方法，其特征在于，所述方法包括以下步骤：

步骤S1：用户通过若干个客户端将医学图像数据上传至一控制模块；

步骤S2：通过所述控制模块解析所述医学图像数据并将解析结果反馈至所述客户端，同时将所述医学图像数据以及所述解析结果转移至处理模块中的一存储服务器；

步骤S3：利用所述存储服务器对所述医学图像数据进行预处理以获得带有时间信息的横断面、冠状面和矢状面三个方向上的截面断层图像，并将获得的所述截面断层图像发送至所述处理模块中的逻辑子模块；

步骤S4：所述逻辑子模块对所述截面断层图像进行动态的三维图像处理，并将所得到的处理结果提供给所述客户端以进行三维动态显示，所述处理结果包括具有时间要素的三维图像组。

2.根据权利要求1所述的医学图像四维可视化的方法，其特征在于，在所述步骤S1中，所述客户端以压缩的数据及消息的形式向所述控制模块传递所述医学图像数据。

3.根据权利要求1所述的医学图像四维可视化的方法，其特征在于，在所述步骤S1中，所述客户端通过一互联单元向所述控制模块发送用户请求，所述控制模块接收所述用户请求并向所述客户端反馈所述解析结果，所述控制模块同时向所述存储服务器以及所述逻辑子模块分配不同的所述用户请求。

4.根据权利要求1所述的医学图像四维可视化的方法，其特征在于，在所述步骤S1中，所述医学图像数据的类型包括：医学数字成像和通信文件、RawData文件、统计参数图文件、神经影像信息学技术倡议文件、Interfile文件、Analyze文件、便携式网络图形文件、MINC文件、BMP文件、JPEG文件。

5.根据权利要求1所述的医学图像四维可视化的方法，其特征在于，在所述步骤S2中，所述控制模块通过一中枢服务器解析所述医学图像数据并与所述客户端进行数据交互，所述中枢服务器通过一通信模块向所述存储服务器转移所述医学图像数据以及所述解析结果。

6.根据权利要求5所述的医学图像四维可视化的方法，其特征在于，所述通信模块包括彼此相互通信的第一通信子模块、第二通信子模块以及第三通信子模块，所述第一通信子模块通过所述中枢服务器与互联单元通信，所述存储服务器通过所述第三通信子模块与所述第一通信子模块通信，所述逻辑子模块通过所述第二通信子模块与所述中枢服务器以及所述存储服务器通信。

7.根据权利要求1所述的医学图像四维可视化的方法，其特征在于，在所述步骤S3中，所述预处理的具体方法还包括：所述存储服务器将所述医学图像数据中的三维数据分别以相互垂直的X、Y、Z三个方向制作截面断层图像，并将所述截面断层图像保存至所述存储服务器的硬盘中。

8.根据权利要求1所述的医学图像四维可视化的方法，其特征在于，在所述步骤S4中，所述逻辑子模块通过一渲染核心子模块计算每一帧重建结果，通过一网络通信子模块负责与所述客户端之间的通信、消息解析以及与缓存服务器之间的数据库操作，通过一逻辑管理子模块响应来自客户端的交互事件，对来自所述网络通信子模块的交互请求消息进行分类和排序，对错误的或重复的交互请求消息进行抛弃。

9.根据权利要求1所述的医学图像四维可视化的方法，其特征在于，在所述步骤S4中，所述逻辑子模块进行动态的三维图像处理后以压缩的数据及消息的形式将处理结果传递至所述客户端以进行医学图像的动态显示。

10.一种医学图像四维可视化的装置，其特征在于，所述装置包括：

感知模块，所述感知模块包括互联单元以及与所述互联单元通信连接的若干个客户端；

控制模块，所述控制模块通过所述互联单元与所述客户端通信连接以处理来自所述客户端的各种用户请求，所述用户请求包括医学图像数据；

通信模块，所述通信模块包括彼此相互通信连接的第一通信子模块、第二通信子模块以及第三通信子模块，所述第一通信子模块通过所述控制模块与所述互联单元通信连接；以及

处理模块，所述处理模块包括存储子模块以及逻辑子模块，所述存储子模块包括存储服务器和缓存服务器，所述存储服务器通过所述第三通信子模块与所述缓存服务器通信连接；所述缓存服务器分别与所述第一通信子模块、第二通信子模块以及第三通信子模块通信连接，所述逻辑子模块通过所述第二通信子模块与所述存储服务器以及所述控制模块通信连接，

其中，所述存储服务器用于对所述控制模块发送的所述医学图像数据进行预处理以获得带有时间信息的横断面、冠状面和矢状面三个方向上的截面断层图像，并将获得的所述截面断层图像发送至所述逻辑子模块；

所述逻辑子模块用于对所述存储服务器发送的所述截面断层图像进行动态的三维图像处理，并将所得到的处理结果提供给所述客户端以进行三维动态显示，所述处理结果包括具有时间要素的三维图像组。

11.根据权利要求10所述的医学图像四维可视化的装置，其特征在于，所述控制模块包括相互通信连接且分别处理不同用户请求的多个控制单元。

12.根据权利要求11所述的医学图像四维可视化的装置，其特征在于，其中一个所述控制单元为中枢服务器，所述中枢服务器通过所述互联单元与所述客户端通信连接。

13.根据权利要求12所述的医学图像四维可视化的装置，其特征在于，所述第一通信子模块、所述第二通信子模块以及所述第三通信子模块分别设置于所述中枢服务器、所述逻辑子模块以及所述存储服务器中。

14.根据权利要求12所述的医学图像四维可视化的装置，其特征在于，所述控制模块的所述中枢服务器接收和解析所述客户端上传的所述医学图像数据并将所述医学图像数据与解析结果移存至所述存储服务器。

15.根据权利要求14所述的医学图像四维可视化的装置，其特征在于，所述医学图像数据的类型包括：医学数字成像和通信文件、RawData文件、统计参数图文件、神经影像信息学技术倡议文件、InterFile文件、Analyze文件、便携式网络图形文件、MINC文件、BMP文件、JPEG文件。

16.根据权利要求14所述的医学图像四维可视化的装置，其特征在于，所述逻辑子模块根据所述用户请求对所述医学图像数据进行分割、配准、建模、重建处理。

17.根据权利要求16所述的医学图像四维可视化的装置，其特征在于，所述存储子模块根据所述医学图像数据提取截面断层图像，并将所述截面断层图像存储于所述存储服务器中。

18.根据权利要求17所述的医学图像四维可视化的装置，其特征在于，所述逻辑子模块包括相互通信连接的渲染核心子模块、网络通信子模块以及逻辑管理子模块，其中，所述渲染核心子模块对所述医学图像数据的每一帧进行重建计算，所述网络通信子模块向所述客户端反馈信息并向所述逻辑管理子模块发送交互请求消息，所述逻辑管理子模块对所述交互请求消息分类、排序，剔除无用的或者重复的所述交互请求消息。

19.根据权利要求10所述的医学图像四维可视化的装置，其特征在于，所述控制模块、所述通信模块与所述处理模块均架构在同一服务端上，所述客户端与所述服务端彼此独立，所述客户端与所述服务端通过所述控制模块以及所述通信模块进行连接。

20.根据权利要求19所述的医学图像四维可视化的装置，其特征在于，所述客户端与所述服务端之间以压缩的数据及消息的形式传递所述医学图像数据。

21.根据权利要求10所述的医学图像四维可视化的装置，其特征在于，所述客户端通过所述互联单元向所述控制模块发送用户请求，所述控制模块接收所述用户请求并向所述客户端反馈数据，所述控制模块同时向所述存储服务器、所述缓存服务器以及所述逻辑子模块分配不同的所述用户请求。

22.根据权利要求10所述的医学图像四维可视化的装置，其特征在于，所述客户端包括手机、平板电脑以及台式计算机。

23.根据权利要求10所述的医学图像四维可视化的装置，其特征在于，所述处理模块中的所述存储子模块和所述逻辑子模块通过采用数台服务器通信连接构成，所述存储子模块与所述逻辑子模块架构在不同所述服务器上且相互之间独立运行。

24.根据权利要求23所述的医学图像四维可视化的装置，其特征在于，所述处理模块上设置有资源监测子模块，所述资源监测子模块与所述感知模块中的所述互联单元通信连接。

25.根据权利要求10所述的医学图像四维可视化的装置，其特征在于，所述缓存服务器为键值存储数据库。

Images