CN105266897B - 一种基于增强现实的显微外科手术导航***及导航方法 - Google Patents

Abstract

本发明涉及一种基于增强现实的显微外科手术导航***及导航方法，所述导航***包括固定架、图形标记、摄像头、控制器、显示设备；所述的固定架包括基座、连接件、固定杆、支撑板；所述导航方法包括以下步骤：步骤S1，将固定架固定在病体上；步骤S2，通过CTA扫描固定架和病体，并重建三维模型；步骤S3，通过软件3ds MAX，调整三维模型的三维坐标，使图形标记位于世界坐标中心；步骤S4，ARToolkit软件把三维模型投影在图形标记的正中心，使得三维模型与病体图像的叠加融合。其优点表现在：利用增强现实技术，将真实世界信息即病体，与虚拟世界信息即血管肌肉骨骼的三维模型，融合叠加，使手术医生获得原本在现实中很难体验到的实体信息。

Description

一种基于增强现实的显微外科手术导航***及导航方法

技术领域

本发明涉及医疗器械技术领域，具体地说，是一种基于增强现实的显微外科手术导航***及导航方法。

背景技术

1.利用显微外科技术吻合血管的游离组织瓣移植手术，是创伤修复和重建常见的治疗方法，应用广泛。但显微外科手术仍被认为是一种高难度手术，需要依赖于主刀医生的经验，手术时间长，操作难度高，风险大。手术的关键在于解剖、分离滋养组织瓣的供血血管，而供血血管管径细，血管分布及走行路径个体差异大，是导致手术难度高，操作困难的重要原因。但如若不能保证组织瓣供血血管网的完整性，术后组织瓣则会因血供不足而坏死，导致修复手术的失败。

因此，如何在术前明确游离组织瓣供血血管的管径、血管的分布及走行路径，并在术中给予导航、指导手术是显微外科亟需解决的关键性问题。

2.现有的显像技术被广泛应用于游离组织瓣供血血管的术前定位，其中血管造影CT(CTA)不但准确性高，同时还可以提供血管的多方面信息，包括血管管径，血管的分布及走行路径，并且可以根据采集的信息进行三维重建，明确血管与周边组织的关系，为术者提供丰富而具象化的信息。但在手术时，术者并不能将这些信息在病人身上准确表现出来。

3.增强现实(augmented reality,AR)技术是近年发展起来的新研究方向，是一种将计算机模拟形成的“虚拟世界”信息与真实世界信息“无缝”集成的新技术。增强现实技术将计算机生成的虚拟物体与真实环境实时地叠加到同一个画面或者空间，使虚拟物体和真实环境同时存在，被人类感官所感知，从而达到超越现实的感官体验。随着AR技术的发展，AR技术可被应用于外科手术的导航中。具体来说，就是通过医学影像技术，如CT，获得病人组织器官解剖信息，经软件重建为虚拟的三维模型，之后，应用AR技术在术中将重建的病人个体化的三维模型通过设备叠加到手术者的手术视野相应位置，使得术者具有类似透视眼的能力，能透视皮肤“看见”皮下各器官、血管、肌肉、骨骼等的分布、走行，从而提高手术成功率，降低手术风险。目前已有外科领域 将增强现实技术应用于术中导航，如颅颌面外科，将患者的颅面骨的硬组织三维模型通过AR技术及设备叠加到患者相应部位，指导手术医生进行截骨手术。但是关于该技术在游离组织瓣显微外科手术中的应用，具体来说，将病人个体化血管、肌肉等软组织三维模型叠加到手术视野相应部位，指导手术医生解剖分离血管等软组织，无论是在专利数据库，还是各类中外文献库，均未见报道。

4.将血管造影CT获得的血管信息重建为供血血管的三维模型，并将模型与增强现实技术结合，可形成一种基于增强现实的显微外科手术导航***及导航方法。该导航***使得术者在术前即可明确游离组织瓣供血血管的管径、血管的分布及走行路径，术中可在导航指引下进行血管精确的解剖、分离。该导航***克服了传统手术高度依赖手术医生经验的不稳定性及不可预知性，可提高显微外科手术的精确性、安全性及成功率。

发明内容

本发明的第一个目的是提供一种基于增强现实的显微外科手术导航***,该***将术区血管、肌肉、骨骼等虚拟三维模型实时叠加到手术视野中，在手术过程中对医生手术操作进行指引。

本发明的第二个目的是，提供一种基于增强现实的显微外科手术导航方法。

为实现上述第一个目的，本发明采取的技术方案是：

一种基于增强现实的显微外科手术导航***，所述导航***包括固定架、图形标记、摄像头、控制器、显示设备；所述的固定架包括基座、连接件、固定杆、支撑板；所述的基座一端设有外螺纹的圆锥体，另一端设有外螺纹；所述连接件为圆柱形，其连接件为中空结构，连接件设有内螺纹；所述连接件通过螺纹固定连接基座和固定杆；所述的固定杆上端面固定连接支撑板；所述支撑板上有三个卡槽；所述卡槽中嵌合有图形标记。

所述显示设备包括显示屏、头戴式头盔、眼镜。

所述图形标记为正方形。

所述固定架的支撑板部分由CT下显影材料制造而成。

为实现上述第二个目的，本发明采取的技术方案是：

一种基于增强现实的显微外科手术导航方法，包括以下步骤：

步骤S1，将固定架基座植入手术区域临近骨骼内，通过连接件、固定杆安装好支撑板，完成固定架在病体上的固定；

步骤S2，通过CTA扫描固定架和病体，并重建三维模型；

步骤S3，通过软件3ds MAX，调整三维模型的三维坐标，使固定在固定架上的图形标记位于世界坐标中心；

步骤S4，打开ARToolkit软件，ARToolkit软件自动开启摄像头，捕捉到画面中的图形标记后，ARToolkit软件把三维模型投影在图形标记的正中心，使得三维模型与病体图像的叠加融合。

所述步骤S2中的三维模型包括固定架的支撑板部分、血管、肌肉和骨骼模型。

所述步骤S3中世界坐标中心为x＝0,y＝0,z＝0的位置处。

所述步骤S4中包括以下步骤：

1.打开ARToolkit软件，ARToolkit软件自动开启摄像头，摄像头捕获真实世界的病体与图形标记的视频，并将它传送给显示设备；

2.Artoolkit软件监控病体与图形标记视频流中的每一帧图像，并在其中搜索是否有匹配的正方形图形标记；

3.捕捉到匹配正方形图形标记后，Artoolkit软件通过数学运算计算出图形标记和摄像头的相对位置，其算法为投影变换矩阵法，摄像头首先在图形标记的正上方拍摄一张图像A，然后，在任意角度通过摄像头拍摄图像B，通过图像A与图像B的图像关系，通过投影变换矩阵法分别计算出在X/Y/Z轴的旋转角度和前后位移值，即可计算出图形标记和和摄像头的相对位置；

4.得到图形标记和摄像头两者相对位置后，调整三维模型的位置和方向；

5.将三维模型投影到图形标记所在帧画面的位置；

6.最终输出到显示设备的视频流经软件处理，完成三维模型与病体图像的叠加融合

本发明优点在于：

1、本发明的一种基于增强现实的显微外科手术导航***及导航方法，结合血管显像金标准CTA技术与增强现实技术，形成一种新型的导航***，将真实世界信息即病体，与虚拟世界信息即血管肌肉骨骼的三维模型，融合叠加，使手术医生获得原本在现实中很难体验到的实体信息，降低了手术难度及术中风险；

2、将病体术区肌肉、骨骼及血管等组织的三维模型实时叠加到手术视野中，手术医生可以在手术过程中实时看到病人血管在肌肉内的走行及其周围组 织信息，缩短了疗程，提高了疗效；

3、通过CTA扫描，可以向手术医生提供血管多方面数据，包括血管的直径、长度，血管的类型(走行在肌间隔内或是肌肉组织内)以及血管穿出深筋膜的蒂部长度。这些数据有助手术医生选择最适合的血管并设计最佳的组织瓣大小、位置及手术切口，解剖时减少肌肉损伤，出血量少，大大降低了术后组织瓣坏死等并发症；

4、手术医生在三维模型导航下，根据术前手术设计方案进行手术，此种方式能够减少游离组织瓣显微外科手术中分离组织瓣所需时间并降低手术中误伤目标血管的几率。

附图说明

附图1是本发明的一种基于增强现实的显微外科手术导航***模式图。

附图2为图形标记与固定架连接的结构示意图。

图3为本发明的一种基于增强现实的显微外科手术导航方法流程图。

附图4为三维重建模型结构示意图。

附图5为三维模型与病体叠加融合的结构示意图。

具体实施方式

下面结合附图对本发明提供的具体实施方式作详细说明。

附图中涉及的附图标记和组成部分如下所示：

1.固定架 11.基座

12.连接件 13.固定杆

14.支撑板 15.卡槽

2.图形标记 3.摄像头

4.控制器 5.显示屏

6.病体

请参照图1，图1是本发明的一种基于增强现实的显微外科手术导航***模式图。一种基于增强现实的显微外科手术导航***，所述导航***包括固定架1、图形标记2、摄像头3、控制器4、显示屏5；

请参照图2，图2为图形标记2与固定架1连接的结构示意图。所述的固定架1包括基座11、连接件12、固定杆13、支撑板14；所述的基座11一端设有外螺纹的圆锥体，另一端设有外螺纹；所述连接件12为圆柱形，其连接件12为中空结构，连接件12设有内螺纹；所述连接件12通过螺纹固定连接 基座11和固定杆13；所述的固定杆13上端面固定连接支撑板14；所述支撑板14上有三个卡槽15；所述卡槽15中嵌合有图形标记2；所述图形标记2呈正方形，中央有一个图像，图像周围是一个密集的黑色的正方形框，黑色正方形框之外是白边,图像类型不受限制，本实施例中图像为“Hiro”；

需要说明的是：

固定架1中支撑板14部分由CT可显影的材料制造而成，手术导航时可清晰显示，能与病体6一起扫描，重建三维模型，与采用金属材料制造而成金属固定架1相比，其金属固定架1在CT下显影不清晰，不能与病体6一起扫描重建三维模型，为了获得金属固定架1与病体6间的位置关系，需要将金属固定架1进行三维扫描，并重建金属固定架1三维模型，然后再扫描病体6，重建病体6三维模型，使得金属固定架1三维模型与病体6的三维模型进行配准，其配准的时候，会出现配准误差，影响导航效果；另外，本实施的固定架1的是通过卡槽15嵌合图形标记2，结构简单，方便操作，而现有通过十字架支撑图形标记2，然后再用个固定键固定，其操作复杂，容易损坏固定架1，使用寿命短；

所述的图形标记2主要用于摄像头3捕获病体6手术部位图像时具有参照作用，即捕获带有图形标记2的手术部位病体6图像为所需要的图像；另外，图形标记2通过固定架1的卡槽15嵌合，使得图形标记2与病体6间的相对位置固定，有利于手术导航；

所述导航***中安装有mimics 15.0、Artoolkit、3ds MAX，用于重建三维模型，并把三维模型与病体6图像融合，实现手术导航；

所述的显示屏5可替换为头戴式头盔或者眼镜，可根据具体需要选取不同的显示设备。

请参照图3，图3为本发明的一种基于增强现实的显微外科手术导航方法流程图。一种基于增强现实的显微外科手术导航方法，包括以下步骤；

步骤S1，将固定架基座11植入手术区域临近骨骼内，通过连接件12、固定杆13安装好支撑板14，完成固定架1在病体上的固定；其中，固定架1的的基座11植入待手术部位并把图形标记2嵌合在卡槽15中；

步骤S2，通过CTA扫描固定架1和病体6，并重建三维模型，CTA即CT血管造影，需在扫描前静脉推注碘造影剂，CTA扫描的三维数据包括血管、肌肉、骨骼的三维数据，然后通过建模软件mimics 15.0把手术部位的固定架1、 图形标记2、血管、肌肉、骨骼三维数据构建成三维模型，即三维模型包括固定架1中支撑板14部分、图形标记2、血管、肌肉和骨骼模型，如图4所示，图4为三维重建模型结构示意图；

步骤S3，通过软件3ds MAX，调整三维模型的三维坐标，使固定在固定架1上的图形标记2位于世界坐标中心，即x＝0,y＝0,z＝0；

步骤S4，打开ARToolkit软件，ARToolkit软件自动开启摄像头3，捕捉到画面中的图形标记2后，ARToolkit软件把三维模型投影在图形标记2的正中心，使得三维模型与病体6图像的叠加融合。如图5所示，图5为三维模型与病体叠加融合的结构示意图。

Artoolkit的增强现实工作原理简单的来说，就是用摄像头3读取正方形图形标记2的病体6图像，然后把三维模型叠加融合在病体6图像上，具体步骤如下：

1.打开ARToolkit软件，ARToolkit软件自动开启摄像头3，摄像头3捕获真实世界的病体6与图形标记2的视频，并将它传送给显示设备。

2.Artoolkit软件监控病体6与图形标记2视频流中的每一帧图像，并在其中搜索是否有匹配的正方形图形标记2。

3.捕捉到匹配正方形图形标记2后，Artoolkit软件通过数学运算计算出图形标记2和摄像头3的相对位置，其算法为投影变换矩阵法，图形标记2为正方形，使得投影变换矩阵的算法最简单。

摄像头3首先在图形标记2的正上方拍摄一张图像A，然后，在任意角度通过摄像头3拍摄图像B，因图像A为正视图，正方形式没有任何扭曲，图像B则不同，图像B会相对与D在空间X/Y/Z轴上有旋转，及有前后位移。通过图像A与图像B的图像关系，通过投影变换矩阵法分别计算出在X/Y/Z轴的旋转角度和前后位移值，即可计算出图形标记2和和摄像头3的相对位置。

4.得到图形标记2和摄像头3两者相对位置后，调整三维模型的位置和方向。

5.将三维模型投影到图形标记2所在帧画面的位置。

6.最终输出到显示设备的视频流经软件处理，完成三维模型与病体6图像的叠加融合。人们通过显示设备看到视频时，三维模型便覆盖到拍摄到的病体6上了。

本发明的一种基于增强现实的显微外科手术导航***及导航方法，结合血 管显像金标准CTA技术与增强现实技术，形成一种新型的导航***，将真实世界信息即病体，与虚拟世界信息即血管肌肉骨骼的三维模型，融合叠加，使手术医生获得原本在现实中很难体验到的实体信息，降低了手术难度及术中风险；将病体6术区肌肉、骨骼及血管等组织的三维模型实时叠加到手术视野中，手术医生可以在手术过程中实时看到病人血管在肌肉内的走行及其周围组织信息，缩短了疗程，提高了疗效；通过CTA扫描，可以向手术医生提供血管多方面数据，包括血管的直径、长度，血管的类型(走行在肌间隔内或是肌肉组织内)以及血管穿出深筋膜的蒂部长度。这些数据有助手术医生选择最适合的血管并设计最佳的组织瓣大小、位置及手术切口，解剖时不会损伤肌肉，出血量少，大大降低了术后组织瓣坏死等并发症；手术医生在三维模型导航下，根据术前手术设计方案进行手术，此种方式能够减少游离组织瓣显微外科手术中分离组织瓣所需时间并降低手术中误伤目标血管的几率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (4)

1.一种基于增强现实的显微外科手术导航***，其特征在于，所述导航***包括固定架、图形标记、摄像头、控制器、显示设备；所述固定架通过三维扫描重建模型，该重建模型与病体的三维模型进行配准获得金属固定架与病体间的位置；所述的固定架包括基座、连接件、固定杆、支撑板；所述的基座一端设有外螺纹的圆锥体，另一端设有外螺纹；所述连接件为圆柱形，其连接件为中空结构，连接件设有内螺纹；所述连接件通过螺纹固定连接基座和固定杆；所述的固定杆上端面固定连接支撑板；所述支撑板上有三个卡槽；所述卡槽中嵌合有图形标记，所述导航***中安装有mimics 15.0、Artoolkit、3ds MAX，用于重建三维模型，且其重建三维模型是通过CTA扫描固定架和病体而得到的，CTA扫描的三维数据包括血管、肌肉、骨骼的三维数据；所述的建模软件mimics 15.0用于把手术部位的固定架、图形标记、血管、肌肉、骨骼三维数据构建成三维模型；所述的软件3ds MAX，用于调整三维模型的三维坐标，使固定在固定架上的图形标记位于世界坐标中心；所述的ARToolkit软件用于自动开启摄像头，捕捉到画面中的图形标后，ARToolkit软件把三维模型投影在图形标记的正中心，使得三维模型与病体图像的叠加融合。

2.根据权利要求1所述的导航***，其特征在于，所述显示设备包括显示屏、头戴式头盔、眼镜。

3.根据权利要求1所述的导航***，其特征在于，所述图形标记为正方形。

4.根据权利要求1所述的导航***，其特征在于，所述固定架中的支撑板由CT下显影材料制造而成。