CN111047679A - 一种基于b-s架构的主动脉三维重建可视化*** - Google Patents

Abstract

本发明提供了一种基于B‑S架构的主动脉三维重建可视化***,包括：获取模块，设置于浏览器端，用于接收主动脉图像三维重建请求并获取待处理的原始的主动脉的CT序列；第一发送模块，设置于浏览器端，用于将该请求以指令形式发送至后台服务器端；传递模块，设置于后台服务器端，用于接收该指令并将其作为入参传递给算法引擎端；图像重建模块，设置于算法引擎端，用于根据该入参进行主动脉图像三维重建处理，以获取重建的主动脉3D模型；第二发送模块，设置于算法引擎端，用于将重建的主动脉3D模型发送至浏览器端；呈现模块，设置于浏览器端，用于接收重建的主动脉3D模型并呈现。由上，本申请可以将主动脉图像通过三维重建可视化的呈现。

Description

一种基于B-S架构的主动脉三维重建可视化***

技术领域

本发明涉及医学影像领域、IT互联网领域及计算机图形学领域，特别是涉及一种基于B-S架构的主动脉三维重建可视化***。

背景技术

主动脉夹层病变，起因于主动脉内膜撕裂，血流由破口处流向主动脉内膜与血管壁之间形成假腔，与原始的真腔之间呈现分离状态。对于B型主动脉夹层病变，其第一破口位置位于主动脉弓以下。在夹层的初期尚不足以致命，然而一旦夹层破裂，血流冲破外膜，患者猝死的概率极高。因此，对于此类疾病，需要做到早诊断、早发现、早治疗。

图像分割技术的数学原理及应用场景，迄今为止已经有不少学者进行过研究探讨。传统的图像分割方法，大致可分为基于区域的分割算法、基于阈值的分割算法、基于边缘信息的分割算法以及上述算法的混合处理。近年来发展起来的基于深度学习理论的分割算法，通过对大量的人工标注数据进行训练，生成预测模型，以达到对感兴趣区域进行预测的目的，最终实现分割过程。

基于此，利用三维图像分割技术，从主动脉CTA扫描序列中分离出血管整体、真腔以及假腔，将有助于医师获取手术方案参数以选取适合规格的覆膜支架进行治疗。然而对于主动脉CTA三维数据来讲，对原始数据的三维重建，对分割结果的3D可视化展示，将会使得结果呈现更为直观。三维重建及后处理技术，目前一些设备厂商的工作站软件以及dicom查看器单机软件均已具备，然而基于B/S互联网架构的三维重建技术，所基于的技术理论与传统软件有所不同，同时目前来看已经实现的市面上的软件少一些；此外从另一角度，将三维重建技术与主动脉分割可视化结果相结合，并将这一体系通过B/S 互联网技术架构来体现，目前来看鲜有提及与实现。

因此，目前亟需一种基于B-S架构的主动脉三维重建可视化***，以将主动脉图像通过三维重建可视化的呈现出来。

发明内容

有鉴于此，本申请提供一种基于B-S架构的主动脉三维重建可视化***，以将主动脉图像通过三维重建可视化的呈现出来。

具体地，本申请提供一种基于B-S架构的主动脉三维重建可视化***，包括：

获取模块，设置于浏览器端，用于接收主动脉图像三维重建请求并获取待处理的原始的主动脉的CT序列；

第一发送模块，设置于浏览器端，用于将所述请求以指令形式发送至后台服务器端；

传递模块，设置于后台服务器端，用于接收所述指令并将所述指令作为入参传递给算法引擎端；

图像重建模块，设置于算法引擎端，用于根据所述入参进行主动脉3D模型重建处理；

第二发送模块，设置于算法引擎端，用于将所述重建处理之后的主动脉3D模型发送至浏览器端；

呈现模块，设置于浏览器端，用于接收所述重建处理之后的主动脉3D模型并呈现。

由上，本申请通过上述***实现了将主动脉图像通过三维重建可视化的呈现出来。

优选地，所述图像重建模块，包括：

读取及构建子模块，用于读取所述原始的主动脉的CT序列并构建三维体数据；

渲染子模块，用于根据入参需求对所述三维体数据进行三维渲染处理。

优选地，所述***，还包括：

存储模块，将重建后的主动脉3D模型存储至指定内存区域。

优选地，所述***，还包括：

查看模块，设置于浏览器端，用于接收不同的查看请求，并将所述请求发送至后台服务器端；

第三发送模块，设置于后台服务器端，用于根据所述指令调取所述指定内存区域中的存储的对应的主动脉3D模型，并将其发送至浏览器端的呈现模块。

由上，所述查看请求可以是通过鼠标移动、上滑下滑等操作而产生的对应的主动脉3D模型的移动、旋转、缩放以及色彩、透明度调节等的查看请求。

优选地，所述渲染子模块的所述三维渲染处理，包括：

采用面绘制与体绘制融合的渲染方式，将感兴趣区域的面绘制结果与原始区域的体绘制结果相结合，以获取三维渲染处理之后的三维图像模型。

由上，将感兴趣区域的面绘制结果，与原始区域的体绘制结果相结合，既能够最大程度地保留原始信息，凸显感兴趣区域，又可以最小程度地增加服务器内存开销负担。

优选地，所述图像重建模块，还包括：

中心线提取子模块，用于提取血管腔体中心线；

融合子模块，用于将所述血管腔体中心线与所述三维图像模型融合展示；

标准垂直面生成子模块，用于生成血管标准垂直面；

定位子模块，用于提供标准垂直面的空间定位。

由上，将提取完成的血管腔体中心线与三维图像模型进行融合展示，并提供标准垂直面的空间定位功能，将有助于医师在浏览主动脉标准垂直面的同时，快速定位当前截面的空间解剖位置。

优选地，所述***，还包括：

设置模块，设置于浏览器端，用于设置图像窗宽窗位的阈值范围。

优选地，所述***，还包括：

供血位置确定模块，用于以主动脉区域的起止点坐标作为种子点，结合位于浏览器端的设置模块设置的阈值范围以确定分支血管的供血位置。

由上，有利于更加精确的获取分支血管的供血位置，以确定分支血管是真腔供血还是假腔供血。

优选地，所述浏览器端与所述后台服务器端之间采用base64编码的形式进行数据通信。

优选地，所述后台服务器端采用django-socket框架，所述后台服务器的端口采用socket长连接，并指定连接建立和关闭的时间。

由上，django用于建立浏览器和web后台服务器之间的网络连接，用于接收并转发交互操作的命令参数；socket用于建立web后台服务到3D引擎之间的通信连接，输入交互命令参数并返回处理结果，同时控制三维重建数据所占内存区域的生命周期。

综上所述，本申请提供的一种基于B-S架构的主动脉三维重建可视化***，可以实现将主动脉图像通过三维重建可视化的呈现。

附图说明

图1为本申请实施例提供的一种基于B-S架构的主动脉三维重建可视化***的结构示意图；

图2为本申请实施例提供的一种基于B-S架构的主动脉三维重建可视化***的架构的关系拓扑图；

图3为本申请实施例提供的三维血管区域融合展示的示意图；

图4为本申请实施例提供的主动脉感兴趣腔体中心线的展示与标准垂直面的空间定位示意图；

图5为本申请实施例提供的不同的阈值条件下的处理结果显示的分支血管的供血位置的示意图。

具体实施方式

下面将结合本申请实施例中的附图对本申请进行说明。

实施例一

如图1所示，本申请提供一种基于B-S架构的主动脉三维重建可视化***，包括：

首先进行了三端通信机制的建立。如图2所示，***架构整体分为：浏览器端、web后台服务器端、3D算法引擎端。具体职责划分如下：

浏览器端采用html+css+JavaScript语言。主要用于鼠标事件的交互，功能的切换和处理结果的呈现。其中每次交互的处理结果均为jpg 图片，采用base64编码的形式进行前后端的数据通信。

web后台服务器端采用django+socket框架。主要用于连接浏览器端和重建算法层，支持二者之间的数据通讯。具体描述为，将浏览器端的鼠标交互指令和功能切换指令，作为入参传递给三维重建算法；然后将三维重建算法的处理结果(主要是图片)，以base64编码的形式返回给浏览器端用于展示。服务接口采用socket长连接，并应当指定好连接建立和关闭的时机。

3D算法引擎端采用Insight Segmentation and Registration Toolkit (ITK)与The Visualization Toolkit(VTK)算法包，结合其他图形图像处理工具包进行构建。主要用于对原始序列根据入参需求进行三维渲染处理，结果采用OpenGL窗口离屏渲染的形式，将窗口图像保存在内存中。其中ITK用于读取原始序列并构建三维体数据，VTK 用于对三维体数据进行图形渲染计算。

具体地，所述***，包括：

获取模块101，设置于浏览器端，用于接收主动脉图像三维重建请求并获取待处理的原始的主动脉的CT序列；

第一发送模块102，设置于浏览器端，用于将所述请求以指令形式发送至web后台服务器端；

传递模块103，设置于web后台服务器端，用于接收所述指令并将所述指令作为入参传递给3D算法引擎端；

图像重建模块104，设置于3D算法引擎端，用于根据所述入参进行主动脉3D模型重建处理；

其中，所述图像重建模块104，包括：读取及构建子模块，用于读取所述原始的主动脉的CT序列并构建三维体数据；渲染子模块，用于根据入参需求对所述三维体数据进行三维渲染处理。其中，所述渲染子模块的所述三维渲染处理，包括：采用面绘制与体绘制融合的渲染方式，将感兴趣区域的面绘制结果与原始区域的体绘制结果相结合，以获取三维渲染处理之后的3D图像模型。其中，将感兴趣区域的面绘制结果，与原始区域的体绘制结果相结合，既能够最大程度地保留原始信息，凸显感兴趣区域，又可以最小程度地增加服务器内存开销负担。

其中，所述图像重建模块，还包括：中心线提取子模块，用于提取血管腔体中心线；融合子模块，用于将所述血管腔体中心线与所述 3D图像模型融合展示；标准垂直面生成子模块，用于生成血管标准垂直面；定位子模块，用于提供标准垂直面的空间定位。将提取完成的血管腔体中心线与3D模型进行融合展示，并提供标准垂直面的空间定位功能，将有助于医师在浏览主动脉标准垂直面的同时，快速定位当前截面的空间解剖位置。

第二发送模块105，设置于3D算法引擎端，用于将所述重建处理之后的主动脉3D模型发送至浏览器端；

呈现模块106，设置于浏览器端，用于接收所述重建处理之后的主动脉3D模型并呈现。

存储模块108，将重建后的主动脉3D模型存储至指定内存区域。

其中，所述***，还包括：

查看模块109，设置于浏览器端，用于接收不同的查看请求，并将所述请求发送至后台服务器端；其中，所述查看请求可以是通过鼠标移动、上滑下滑等操作而产生的对应的主动脉3D模型的移动、旋转、缩放以及色彩、透明度调节等的查看请求。

第三发送模块110，设置于后台服务器端，用于根据所述指令调取所述指定内存区域中的存储的对应的主动脉3D模型，并将其发送至浏览器端的呈现模块。

其中，所述***，还包括：

设置模块111，设置于浏览器端，用于设置图像窗宽窗位的阈值范围。

其中，所述***，还包括：

供血位置确定模块107，用于以主动脉区域的起止点坐标作为种子点，结合位于浏览器端的设置模块设置的阈值范围以确定分支血管的供血位置。

为了更加清楚地说明本申请的技术方案，现将本申请的***的工作原理说明如下：

设置于浏览器端的获取模块101接收主动脉图像三维重建请求并获取待处理的原始的主动脉的CT序列，其中，输入类型是dicom影像序列，包括原始影像数据和中间数据，输入来源为前置分割算法的处理的主动脉血管的分割结果。

设置于浏览器端的第一发送模块102，将所述请求以指令形式发送至web后台服务器端；

设置于web后台服务器端的传递模块103，接收所述指令并将所述指令作为入参传递给3D算法引擎端；

设置于3D算法引擎端的图像重建模块104根据所述入参进行主动脉3D模型重建处理，具体地：读取及构建子模块，读取所述原始的主动脉的CT序列并构建三维体数据；对于主动脉的整体以及感兴趣腔体的分割结果，我们将其与原始影像序列进行三维数据融合并渲染展示，往往能将结果体现得更为直观，有助于医师进行下一步的手术方案的制定，具有一定的临床意义。由于输入的主动脉血管的分割结果是一组层数与尺寸与原始序列均一致的蒙版序列，其格式亦为 dicom格式。如果采用和原始序列一致的体绘制算法处理，会造成服务器端内存数据的双份拷贝，不利于后期性能的提升。鉴于此，我们提出一种面绘制与体绘制融合的渲染方案。由于蒙版中背景区域以0 表示，不同的前景区域用指定的数字表示，所以采用移动立方体法以面绘制的形式渲染感兴趣区域。由于面绘制的结果是图元信息，为拓扑结构，因此在存储上需要的数据量小很多。然而相比于体绘制，面绘制的信息不完整，渲染效果没有层次感。所以通过渲染子模块，将感兴趣区域的面绘制结果，与原始区域的体绘制结果相结合，既能够最大程度地保留原始信息，凸显感兴趣区域，又可以最小程度地增加服务器内存开销负担。如下图3所示，原始数据为体绘制模式，主动脉真腔为黑点填充区域(黑点填充区域也可以用颜色填充，例如绿色) 区域，主动脉假腔为斜杠填充区域(斜杠填充区域也可以用颜色填充，例如橙色)区域，后二者为面绘制模式，最终结果是混合模式。

进一步地，所述图像重建模块的中心线提取子模块提取血管腔体中心线；融合子模块将所述血管腔体中心线与所述3D图像模型融合展示；标准垂直面生成子模块生成血管标准垂直面；定位子模块提供标准垂直面的空间定位。将提取完成的血管腔体中心线与3D模型进行融合展示，并提供标准垂直面的空间定位功能，将有助于医师在浏览主动脉标准垂直面的同时，快速定位当前截面的空间解剖位置。基于此，我们将三维重建完成的3D模型，与计算机图形学领域中的空间几何模型相结合来共同展示。其中中心线的空间表达用一组线元来体现，而标准垂直面位置的空间表达以一个图元来体现。同时将原始数据做虚化处理以突显这一套图元***，如图4所示。中间白色线条表达主动脉血管腔体中心线(此处以真腔为例)，中间白色线条中间的黑色片元表达主动脉的不同截面位置。

设置于3D算法引擎端的第二发送模块105，将所述重建处理之后的主动脉3D模型发送至浏览器端(经过图片base64编码技术，以字符流的形式传输到浏览器端)。

设置于浏览器端的呈现模块106，接收所述重建处理之后的主动脉3D模型并解码呈现。

三维重建完成后，往往伴随3D模型交互的需求，交互可以使用户从不同的空间方位以及尺度来观察3D模型的形态。在C/S架构或者单机应用软件中，三维重建算法的处理过程和用户交互操作的处理过程，共享统一内存区域，因此程序实现较为方便。然而在B/S架构的***中，交互从浏览器端由用户发起，处理过程由服务器端完成，处理结果再次在浏览器端予以呈现。整个处理过程内存不共享，而且用户数量也不再局限于一个，因此就需要解决两个问题：①客户端与服务器之间的数据通信问题；②客户端交互操作的指令传递以及全流程结束后服务器端对应的内存释放问题。基于此，我们提出了前述的 django-socket架构的解决方案。django是一款web应用框架，用于建立浏览器和web后台服务器之间的网络连接，用于接收并转发交互操作的命令参数；socket用于建立web后台服务到3D引擎之间的通信连接，输入交互命令参数并返回处理结果，同时控制三维重建数据所占内存区域的生命周期。

其中，设置于浏览器端的查看模块109，接收不同的查看请求，并将所述请求发送至后台服务器端；其中，所述查看请求可以是通过鼠标移动、上滑下滑等操作而产生的对应的主动脉3D模型的移动、旋转、缩放以及色彩、透明度调节等的查看请求。

设置于后台服务器端的第三发送模块110，根据所述指令调取所述指定内存区域中的存储的对应的主动脉3D模型，并将其发送至浏览器端的呈现模块。

在临床手术方案的制定过程中，有一项重要信息就是确认主动脉夹层病变后，各解剖部位的分支血管是真腔供血还是假腔供血。基于此，我们提出一种将传统图像分割方法与AI分割算法相结合的解决方案用以实时观测处理结果。根据主动脉的血管形态，分析蒙版序列可以确定主动脉在dicom坐标系z轴方向的上下界，之后逐层进行二维图像连通域分析，可以确认主动脉区域的起止点坐标。下一步以此作为种子点，并结合用户由浏览器端动态设置的阈值范围(通过设置于浏览器端的设置模块111设置图像窗宽窗位的阈值范围，通过设置于算法引擎端的供血位置确定模块，以主动脉区域的起止点坐标作为种子点，结合位于浏览器端的设置模块设置的阈值范围以确定分支血管的供血位置。便可以用传统图像分割的算法得到一个分割结果。由于与主动脉区域相连接的分支血管，具有与主动脉区域CT值相近的体素，所以传统分割算法的结果，往往会包含这些部分。(即使欠分割或者过分割，用户依然可以通过动态地调节阈值使其达到一个相对满意的程度)。因此将这一结果与AI分割算法结果相结合，可以满足确认分支血管供血腔体的这一需求。如图5所示，为不同的阈值条件下的处理结果。由该图可以看出，在不同的阈值条件下，呈现的效果不同，通过动态地调节阈值使其达到一个相对满意的程度，如图5 中的a、c图相比b图可以更清楚的显示出，主动脉弓上三分支(头臂干、左颈总动脉、左锁骨下动脉)为真腔供血(图中对应黑色点填充区域的腔体)(黑色点填充也可以以颜色填充表示，例如绿色)。

综上所述，本申请提供的一种基于B-S架构的主动脉三维重建可视化***，可以实现将主动脉图像通过三维重建可视化的呈现出来。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于B-S架构的主动脉三维重建可视化***，其特征在于，包括：

获取模块，设置于浏览器端，用于接收主动脉图像三维重建请求并获取待处理的原始的主动脉的CT序列；

第一发送模块，设置于浏览器端，用于将所述请求以指令形式发送至后台服务器端；

传递模块，设置于后台服务器端，用于接收所述指令并将所述指令作为入参传递给算法引擎端；

图像重建模块，设置于算法引擎端，用于根据所述入参进行主动脉图像三维重建处理，以获取重建后的主动脉3D模型；

第二发送模块，设置于算法引擎端，用于将所述重建后的主动脉3D模型发送至浏览器端；

呈现模块，设置于浏览器端，用于接收所述重建后的主动脉3D模型并呈现。

2.根据权利要求1所述的***，其特征在于，所述图像重建模块，包括：

读取及构建子模块，用于读取所述原始的主动脉的CT序列并构建三维体数据；

渲染子模块，用于根据入参需求对所述三维体数据进行三维渲染处理。

3.根据权利要求2所述的***，其特征在于，还包括：

存储模块，设置于后台服务器端，用于将重建后的主动脉3D模型存储至指定内存区域。

4.根据权利要求3所述的***，其特征在于，还包括：

查看模块，设置于浏览器端，用于接收不同的查看请求，并将所述请求发送至后台服务器端；

第三发送模块，设置于后台服务器端，用于根据所述指令调取所述指定内存区域中的存储的对应的主动脉3D模型的图像，并将其发送至浏览器端的呈现模块。

5.根据权利要求4所述的***，其特征在于，所述渲染子模块的所述三维渲染处理，包括：

采用面绘制与体绘制融合的渲染方式，将感兴趣区域的面绘制结果与原始区域的体绘制结果相结合，以获取三维渲染处理之后的主动脉3D模型。

6.根据权利要求5所述的***，其特征在于，所述图像重建模块，还包括：

中心线提取子模块，用于提取血管腔体中心线；

融合子模块，用于将所述血管腔体中心线与所述主动脉3D模型融合展示；

标准垂直面生成子模块，用于生成血管标准垂直面；

定位子模块，用于提供标准垂直面的空间定位。

7.根据权利要求1所述的***，其特征在于，还包括：

设置模块，设置于浏览器端，用于设置图像窗宽窗位的阈值范围。

8.根据权利要求7所述的***，其特征在于，还包括：

供血位置确定模块，设置于算法引擎端，用于以主动脉区域的起止点坐标作为种子点，结合位于浏览器端的设置模块设置的阈值范围以确定分支血管的供血位置。

9.根据权利要求1所述的***，其特征在于，所述浏览器端与所述后台服务器端之间采用base64编码的形式进行数据通信。

10.根据权利要求1所述的***，其特征在于，所述后台服务器端采用django-socket框架，所述后台服务器的端口采用socket长连接，并指定与所述浏览器端连接建立和关闭的时间。

Images