CN113349928B - 用于柔性器械的增强现实手术导航装置 - Google Patents

Abstract

本发明提供一种用于柔性器械的增强现实手术导航装置及方法，该装置包括柔性器械形状传感模块和增强现实模块，其中：所述柔性器械形状传感模块，包括光栅传感器阵列和光纤传感解调仪，用于对柔性器械进行形状检测，并将检测得到的三维形状信息发送到所述增强现实模块；所述增强现实模块，包括双目相机和三维显示屏，用于通过所述双目相机，获取所述柔性器械的空间位置，并根据所述三维形状信息和所述空间位置，生成所述柔性器械对应的三维影像展现在所述三维显示屏上；其中，所述光栅传感器阵列是由4根光纤构成的，以螺旋环绕的形式设置在所述柔性器械的内部或表面。本发明可精确定位柔性器械在体内的位置和形状。

Description

用于柔性器械的增强现实手术导航装置

技术领域

本发明涉及医疗器械技术领域，尤其涉及一种用于柔性器械的增强现实手术导航装置及方法。

背景技术

在微创手术过程中，患者体内医疗器械的空间信息，对于医疗器械的准确操作起着至关重要的作用。但是很多医疗器械在进入体内后，会不可避免的产生形状变化，导致其空间定位困难，比如，因受力产生形变的消融针、活检针和髓内钉等，以及依照人体自然腔道或操作便利性等因素需主动改变形状的柔性器械，例如内窥镜和软体机器人等。

当前获取柔性器械形状信息的技术主要包括：视觉图像、医学图像或电磁跟踪。基于视觉图像的方法使用方便，但无法处理有障碍的环境；至于医学图像，难以获得三维信息，当前常规的术中超声定位或术中X射线透视定位，对医生的操作技能要求高，大大增加了手术操作难度，且X射线透视成像对医患辐射量大；电磁传感器易受周围铁磁性材料干扰，需要电磁兼容的手术器械和相关配件，工作环境苛刻，成本高。受限于体内狭窄的工作环境，现有获取柔性器械形状信息的方式，导致医生难以直接观察柔性器械在体内的形状，无法准确定位柔性器械。

因此，现在亟需一种用于柔性器械的增强现实手术导航装置及方法来解决上述问题。

发明内容

针对现有技术存在的问题，本发明提供一种用于柔性器械的增强现实手术导航装置及方法。

本发明提供一种用于柔性器械的增强现实手术导航装置，包括柔性器械形状传感模块和增强现实模块，其中：

所述柔性器械形状传感模块，包括光栅传感器阵列和光纤传感解调仪，用于对柔性器械进行形状检测，并将检测得到的三维形状信息发送到所述增强现实模块；所述光栅传感器阵列是由4根光纤构成的，每根光纤内的等距离处刻有光栅，且每个等距离处的光栅构建成正方形区域，所述柔性器械的横截面与所述正方形区域处于同一中心轴上；

所述增强现实模块，包括双目相机和三维显示屏，用于通过所述双目相机，获取所述柔性器械的空间位置，并根据所述三维形状信息和所述空间位置，生成所述柔性器械对应的三维影像展现在所述三维显示屏上；

其中，所述光纤基于所述柔性器械的同一横截面，以螺旋环绕的形式设置在所述柔性器械的内部或表面。

根据本发明提供的一种用于柔性器械的增强现实手术导航装置，所述光栅传感器阵列是由4根布拉格光纤构成的。

根据本发明提供的一种用于柔性器械的增强现实手术导航装置，所述双目相机的拍摄范围内设置有光学标记物，且所述光学标记物设置在所述柔性器械的近端，用于实时跟踪所述柔性器械的空间位置。

根据本发明提供的一种用于柔性器械的增强现实手术导航装置，所述增强现实模块还包括半透半反镜，所述半透半反镜用于将所述三维影像投影到真实场景，以使得所述三维影像和所述柔性器械当前所处位置叠加，生成增强现实场景。

根据本发明提供的一种用于柔性器械的增强现实手术导航装置，所述增强现实模块还包括支撑外壳，用于对所述增强现实模块进行固定，所述三维显示器、所述双目相机和所述半透半反镜设置在支撑外壳表面。

根据本发明提供的一种用于柔性器械的增强现实手术导航装置，所述支撑外壳的表面连接有固定支架，用于对所述增强现实模块进行固定；其中，所述固定支架上设置有转轴，用于通过所述转轴对所述增强现实模块的角度进行调节。

本发明还提供一种基于上述任一所述用于柔性器械的增强现实手术导航装置的增强现实手术导航方法，包括：

基于柔性器械形状传感模块，获取柔性器械的三维形状信息，所述三维形状信息是通过所述柔性器械形状传感模块中光纤的曲率信息和挠率信息获取得到的；

通过双目相机，对设置在所述柔性器械近端的光学标记物进行标定，获取第一转换矩阵和第二转换矩阵，并根据对所述光学标记物进行追踪，得到所述柔性器械的空间位置；所述第一转换矩阵用于将柔性器械空间坐标系转换至光学标记物坐标系，所述第二转换矩阵用于将光学标记物坐标系转换至双目相机坐标系；

根据所述三维形状信息和所述空间位置，通过所述第一转换矩阵和所述第二转换矩阵进行坐标系转换，获取所述柔性器械在所述双目相机中的位置并进行三维建模，将生成的三维影像展现在三维显示屏上。

根据本发明提供的一种用于柔性器械的增强现实手术导航方法，所述方法还包括：

通过所述双目相机，对目标投影区域的光学标记物进行标定，获取第三转换矩阵，所述第三转换矩阵用于将双目相机坐标系转换至投影坐标系；

根据所述三维形状信息和所述空间位置，通过所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵进行坐标系转换，将生成的三维影像通过半透半反镜投影到所述目标投影区域，以使得所述三维影像和所述柔性器械当前所处位置叠加，生成增强现实场景。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于柔性器械的增强现实手术导航方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于柔性器械的增强现实手术导航方法的步骤。

本发明提供的用于柔性器械的增强现实手术导航装置及方法，通过柔性器械形状传感模块，在柔性器械中设置光栅光纤传感器，获得柔性器械三维形状，从而对柔性器械三维模型进行实时形变，可精确定位柔性器械在体内的位置和形状。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的用于柔性器械的增强现实手术导航装置的结构示意图；

图2为本发明提供的用于柔性器械的增强现实手术导航装置的整体结构示意图；

图3为本发明提供的用于柔性器械的增强现实手术导航方法的流程示意图；

图4为本发明提供的四条光纤螺旋布设的柔性器械的示意图；

图5为本发明提供的柔性器械中光栅节点位置的横截面示意图；

图6为本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

受限于体内狭窄的工作环境，医生难以直接观察柔性器械在体内的形状，无法准确定位柔性器械。另外，现有手术导航***的导航屏幕通常远离手术区域，术者根据屏幕上的显示操作手术器械，高度依赖医生的本体感觉和临床经验，存在手眼不协调问题，为手术操作增加了不确定性。

本发明提供的用于柔性器械的增强现实手术导航装置，在手术实施前，通过标定获得光纤传感全局坐标系和光学标记物坐标系的转换矩阵；通过标定获得双目相机坐标系和增强现实投影坐标系的转换矩阵。在完成上述设置后，利用固定支架，将柔性器械增强现实手术导航装置固定在手术床或移动台车上。在手术实施中，利用双目相机和柔性器械传感模块，实时追踪柔性器械的形状和在空间中的位置，通过半透半反镜，将柔性器械的三维影像实时投影到手术区域，直观引导手术操作。需要说明的是，柔性器械为具有条形状结构的柔性器械，可以是内窥镜、软体机器人等，本发明对此不作具体限定。本发明中柔性器械的远端为进入体内的一端，近端为柔性器械在进入体内后，保留在外部的另一端。

图1为本发明提供的用于柔性器械的增强现实手术导航装置的结构示意图，如图1所示，本发明提供了一种用于柔性器械的增强现实手术导航装置，包括柔性器械形状传感模块101和增强现实模块 102，其中：

所述柔性器械形状传感模块101，包括光栅传感器阵列和光纤传感解调仪，用于对柔性器械进行形状检测，并将检测得到的三维形状信息发送到所述增强现实模块102；所述光栅传感器阵列是由4根光纤构成的，每根光纤内的等距离处刻有光栅，且每个等距离处的光栅构建成正方形区域，所述柔性器械的横截面与所述正方形区域处于同一中心轴上；

所述增强现实模块102，包括双目相机和三维显示屏，用于通过所述双目相机，获取所述柔性器械的空间位置，并根据所述三维形状信息和所述空间位置，生成所述柔性器械对应的三维影像展现在所述三维显示屏上；

其中，所述光纤基于所述柔性器械的同一横截面，以螺旋环绕的形式设置在所述柔性器械的内部或表面。

在本发明中，柔性器械形状传感模块101的光栅传感器阵列，是由多根光纤光栅传感器构成的阵列，以顺时针或逆时针螺旋环绕方式与柔性器械进行精确集成，螺旋环绕方式可以在柔性器械的表面，也可以在柔性器械的内部，本发明以螺旋环绕柔性器械内部进行说明，利用光栅传感器检测出柔性器械进入体内后的曲率信息和扭转信息进行形状检测。

在柔性器械近端固定有光学定位传感器，使得增强现实模块102 的双目相机实时定位柔性器械位姿。通过将双目相机集成在增强现实模块上并标定，从而实现柔性器械的三维影像与其本身的原位叠加显示，解决了柔性器械在体内产生形变导致定位困难的问题。

本发明提供的用于柔性器械的增强现实手术导航装置，通过柔性器械形状传感模块，在柔性器械中设置光栅光纤传感器，获得柔性器械三维形状，从而对柔性器械三维模型进行实时形变，可精确定位柔性器械在体内的位置和形状。

图2为本发明提供的用于柔性器械的增强现实手术导航装置的整体结构示意图，可参考图2所示，本发明公开了一种柔性器械增强现实导航装置，包括柔性器械形状传感模块101和增强现实模块102，其中，柔性器械形状传感模块101包括光纤传感解调仪1011和光纤光栅传感器阵列1012，可选地，所述光栅传感器阵列1012是由4根布拉格光纤构成的。

增强现实模块102包括双目相机1021和三维显示屏1022，可选地，所述双目相机1021的拍摄范围内设置有光学标记物1013，且所述光学标记物1013设置在所述柔性器械1014的近端，用于实时跟踪所述柔性器械1014的空间位置。

可选地，所述增强现实模块102还包括半透半反镜1023，所述半透半反镜1023用于将所述三维影像投影到真实场景，以使得所述三维影像和所述柔性器械1014当前所处位置叠加，生成增强现实场景。

可选地，所述增强现实模块102还包括支撑外壳1024，用于对所述增强现实模块102进行固定，所述三维显示器1022、所述双目相机1021和所述半透半反镜1023设置在支撑外壳1024表面。

可选地，所述支撑外壳1024的表面连接有固定支架103，用于对所述增强现实模块102进行固定；其中，所述固定支架103上设置有转轴，用于通过所述转轴对所述增强现实模块102的角度进行调节。

在本发明中，可参考图2所示，双目相机1021、三维显示屏1022 和半透半反镜1023通过支撑外壳1024集成在一起，且保持相对固定。半透半反镜1023可将三维显示屏1022显示的三维图像反射到观察者眼中，同时观察者又可以通过半透半反镜1023观察到真实的场景，从而可以看到空间透视融合的增强现实场景。具体地，在本发明中，通过一个光学标记物(该光学标记物设置在目标投影区域，可以为微创手术区域)，将双目相机坐标系与投影坐标系的空间位置关系进行标定，获取从双目相机坐标系Tra至投影坐标系Dis的转换矩阵

柔性器械形状传感模块101通过在柔性器械1014中植入四条布拉格光纤1012，可精确计算出柔性器械1014的形状P_Ins，然后在柔性器械1014进入体内后，对三维建模的柔性器械模型进行相应的形变，显示在三维显示屏1022中。在本发明中，柔性器械1014的近端固定设置有光学标记物1013，用于实时跟踪柔性器械在空间中的位置。通过预先标定好得到的柔性器械空间坐标系Ins至光学标记物坐标系 Mar的转换矩阵

进而，可通过以下坐标系转换公式，将三维建模的柔性器械模型与真实柔性器械在空间中原位叠加，从而得到增强现实场景，所述坐标系转换公式为：。

其中，

表示光学标记物坐标系Mar转换至双目相机坐标系 Tra的转换矩阵。

在微创手术中，柔性器械进入到体内进行手术操作，难以被直接观察，本发明可以在空间中原位显示柔性器械的三维影像，使操作者产生透视眼的效果，直观引导其进行手术操作，无手眼不协调问题，其中，增强现实模块不接触人体，无需消毒即可使用，便于设置，本发明提供的用于柔性器械的增强现实手术导航装置，大大减少了手术的辐射量和手术时间。

图3为本发明提供的用于柔性器械的增强现实手术导航方法的流程示意图，如图3所示，本发明提供了一种基于上述实施例的用于柔性器械的增强现实手术导航装置的增强现实手术导航方法，包括：

步骤301，基于柔性器械形状传感模块，获取柔性器械的三维形状信息，所述三维形状信息是通过所述柔性器械形状传感模块中光纤的曲率信息和挠率信息获取得到的。

在本发明中，图4为本发明提供的四条光纤螺旋布设的柔性器械的示意图，可参考图4所示，四条光纤P_j(j＝1，2，3,4)在柔性器械上进行螺旋形布设，实现在较粗的柔性器械上进行精确的形状测量，并可以实现大角度的柔性弯曲，同时减少因牵拉对光纤造成损坏。

进一步地，在光纤的等距离处刻有光栅，且四条光纤中对应位置的四个光栅传感器作为一组光栅成正方形区域分布，正方形区域的中心落在柔性器械的中心线上，即柔性器械的横截面与正方形区域处于同一中心轴上。每条光纤相邻的光栅位置绕中心线旋转180度，所以可以利用不同光纤中的光栅，组成与中心线平行的四条虚拟光纤 l_j(j＝1,2,3,4)。本发明利用每个光栅测得的应变量，以及柔性器械的尺寸参数，构建中心线参数方程。以布拉格光纤为例，详细说明如下：

布拉格反射光的波长λ_B与光栅周期Λ和光栅有效折射率n_eff有关：

λ_B＝2n_effΛ；

由于光栅周期Λ会因光栅应变而改变，因此波长λ_B会发生变化。光栅应变ε和波长变化Δλ_B的关系是：

其中，P_ε是光弹性系数。从上述关系可知，光栅应变ε可以通过环境改变前后(即柔性器械发生形变前后)的布拉格波长差异Δλ_B来计算：

在本发明中，柔性器械的横截面始终保持圆形，柔性器械中心线具有恒定曲率和恒定挠率的属性，因此，本发明将柔性器械定义为多段(将柔性器械分为i段，每个线段i表示柔性器械的其中一段)，四条虚拟光纤到中心线是等距离。l_i表示相邻两组光栅之间中心线的线段i的长度，因此可以写为以下形式：

其中，S_i(t)表示中心线参数方程。

图5为本发明提供的柔性器械中光栅节点位置的横截面示意图，如图5所示，四条虚拟光纤成圆柱状，是距离中心线等距的曲线。因此，在每个分段i中，虚拟光纤的长度可以通过下式获得：

其中，下标i＝1，2，...，N表示各组光栅之间的分段；j＝1，2，3，4表示四条虚拟光纤；

表示第i个分段的第j条虚拟光纤的理论长度，可利用上述公式通过几何位置关系计算获得；d_j，i表示第i个分段的第j 条虚拟光纤偏移中心线的距离。

另外，布拉格光栅可以测量在该光栅定位位置上的应变ε_j，i，因此可以通过以下方式获得每条虚拟光纤的测量长度l′_j，i：

l′_j,i＝(1+ε_j,i)l_i；

其中，下标i＝1，2,...，N，j＝1,2,3,4，l_i表示第i个分段的长度。理论计算长度

应等于测量长度l′_j,i：

未知参数a_i,b_i可以通过求解上面的方程获得。因此，柔性器械的分段i的曲率信息κ_i和挠率信息τ_i计算公式如下：

通过上述测量算法获得柔性器械各段节点的曲率和挠率，然后转换为各个节点的全局位置，从而计算出柔性器械的形状。柔性器械中心线的形状由一组离散节点O_i表示，其为横截面的中心。

为了获得每个节点的全局位置坐标，定义全局坐标系{x，y，z}和每个节点(即每个分段)的本地坐标系{x_i，y_i，z_i}(即局部坐标系)。在本发明中，全局坐标系固定在柔性器械的近端底部，与本地坐标系 {x₁，y₁，z₁}重合。

局部坐标系{x_i，y_i，z_i}和固定在节点O_i的Frenet坐标系的区别仅仅是旋转α_i，其中z_i轴为在节点O_i的中心线切线。在Frenet坐标系i 中(坐标系原点固定于点O_i)，节点O_i的曲率向量可表示为[0，κ_i，τ_i]。将曲率向量转换到局部坐标系{x_i，y_i，z_i}中，表示为：

[κ_icosα，κ_isinα，τ_i]。

进一步地，在本发明中，曲率向量的两个分量κ_icosα和κ_isinα，分别对应于局部坐标系x_i方向和y_i方向。τ_i是对应于局部z_i方向的挠率。进而可以计算出节点O_i在局部坐标系{x_i，y_i，z_i}中的位置

和方向

根据分段等曲率方法，节点O_i的全局位置P_i和全局方向R_i可表达为：

因为在大多数情况下，具有连续形状变化的柔性器械的中心线是平滑曲线，所以曲率和挠率的变化相对均匀，并且没有突变。因此，根据离散节点的位置和方向做插值，即可在全局坐标系中恢复柔性器械的三维形状P_Ins。

步骤302，通过双目相机，对设置在所述柔性器械近端的光学标记物进行标定，获取第一转换矩阵和第二转换矩阵，并根据对所述光学标记物进行追踪，得到所述柔性器械的空间位置；所述第一转换矩阵用于将柔性器械空间坐标系转换至光学标记物坐标系，所述第二转换矩阵用于将光学标记物坐标系转换至双目相机坐标系；

步骤303，根据所述三维形状信息和所述空间位置，通过所述第一转换矩阵和所述第二转换矩阵进行坐标系转换，获取所述柔性器械在所述双目相机中的位置并进行三维建模，将生成的三维影像展现在三维显示屏上。

可选地，在上述实施例的基础上，所述方法还包括：

通过所述双目相机，对目标投影区域的光学标记物进行标定，获取第三转换矩阵，所述第三转换矩阵用于将双目相机坐标系转换至投影坐标系；

根据所述三维形状信息和所述空间位置，通过所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵进行坐标系转换，将生成的三维影像通过半透半反镜投影到所述目标投影区域，以使得所述三维影像和所述柔性器械当前所处位置叠加，生成增强现实场景。

在本发明中，将微创手术区域作为目标投影区域，通过一个光学标记物，将双目相机坐标系与投影坐标系的空间位置关系进行标定，获取从双目相机坐标系Tra至投影坐标系Dis的转换矩阵

在精确计算出柔性器械的形状P_Ins后，通过预先标定好得到的柔性器械空间坐标系Ins至光学标记物坐标系Mar的转换矩阵

进而，可通过坐标系转换公式：

将三维建模的柔性器械模型与真实柔性器械在空间中原位叠加，从而得到增强现实场景，其中，

表示光学标记物坐标系Mar转换至双目相机坐标系 Tra的转换矩阵。

在微创手术中，柔性器械进入到体内进行手术操作，难以被直接观察，本发明解决了在微创手术中，柔性器械定位困难和手眼不协调的问题，通过柔性器械形状传感模块获得柔性器械在体内的三维形状，从而对柔性器械三维模型进行实时形变，通过增强现实模块实时调整柔性器械在空间中的投影位置，使柔性器械三维模型与真实的柔性器械原位叠加，实现原位增强现实实时引导。由于无X射线辐射，减少了对于操作者经验的依赖，增强了手术安全性以及高效性。

本发明提供的用于柔性器械的增强现实手术导航方法，通过柔性器械形状传感模块，在柔性器械中设置光栅光纤传感器，获得柔性器械三维形状，从而对柔性器械三维模型进行实时形变，可精确定位柔性器械在体内的位置和形状。

图6为本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行用于柔性器械的增强现实手术导航方法，该方法包括：基于柔性器械形状传感模块，获取柔性器械的三维形状信息，所述三维形状信息是通过所述柔性器械形状传感模块中光纤的曲率信息和挠率信息获取得到的；通过双目相机，对设置在所述柔性器械近端的光学标记物进行标定，获取第一转换矩阵和第二转换矩阵，并根据对所述光学标记物进行追踪，得到所述柔性器械的空间位置；所述第一转换矩阵用于将柔性器械空间坐标系转换至光学标记物坐标系，所述第二转换矩阵用于将光学标记物坐标系转换至双目相机坐标系；根据所述三维形状信息和所述空间位置，通过所述第一转换矩阵和所述第二转换矩阵进行坐标系转换，获取所述柔性器械在所述双目相机中的位置并进行三维建模，将生成的三维影像展现在三维显示屏上。

此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的用于柔性器械的增强现实手术导航方法，该方法包括：基于柔性器械形状传感模块，获取柔性器械的三维形状信息，所述三维形状信息是通过所述柔性器械形状传感模块中光纤的曲率信息和挠率信息获取得到的；通过双目相机，对设置在所述柔性器械近端的光学标记物进行标定，获取第一转换矩阵和第二转换矩阵，并根据对所述光学标记物进行追踪，得到所述柔性器械的空间位置；所述第一转换矩阵用于将柔性器械空间坐标系转换至光学标记物坐标系，所述第二转换矩阵用于将光学标记物坐标系转换至双目相机坐标系；根据所述三维形状信息和所述空间位置，通过所述第一转换矩阵和所述第二转换矩阵进行坐标系转换，获取所述柔性器械在所述双目相机中的位置并进行三维建模，将生成的三维影像展现在三维显示屏上。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的用于柔性器械的增强现实手术导航方法，该方法包括：基于柔性器械形状传感模块，获取柔性器械的三维形状信息，所述三维形状信息是通过所述柔性器械形状传感模块中光纤的曲率信息和挠率信息获取得到的；通过双目相机，对设置在所述柔性器械近端的光学标记物进行标定，获取第一转换矩阵和第二转换矩阵，并根据对所述光学标记物进行追踪，得到所述柔性器械的空间位置；所述第一转换矩阵用于将柔性器械空间坐标系转换至光学标记物坐标系，所述第二转换矩阵用于将光学标记物坐标系转换至双目相机坐标系；根据所述三维形状信息和所述空间位置，通过所述第一转换矩阵和所述第二转换矩阵进行坐标系转换，获取所述柔性器械在所述双目相机中的位置并进行三维建模，将生成的三维影像展现在三维显示屏上。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种用于柔性器械的增强现实手术导航装置，其特征在于，包括柔性器械形状传感模块和增强现实模块，其中：

所述柔性器械形状传感模块，包括光栅传感器阵列和光纤传感解调仪，用于对柔性器械进行形状检测，并将检测得到的三维形状信息发送到所述增强现实模块；所述光栅传感器阵列是由4根光纤构成的，每根光纤内的等距离处刻有光栅，且每个等距离处的光栅构建成正方形区域，所述柔性器械的横截面与所述正方形区域处于同一中心轴上；

所述增强现实模块，包括双目相机和三维显示屏，用于通过所述双目相机，获取所述柔性器械的空间位置，并根据所述三维形状信息和所述空间位置，生成所述柔性器械对应的三维影像展现在所述三维显示屏上；

其中，所述光纤基于所述柔性器械的同一横截面，以螺旋环绕的形式设置在所述柔性器械的内部或表面；

所述用于柔性器械的增强现实手术导航装置具体用于：

基于柔性器械形状传感模块，获取柔性器械的三维形状信息，所述三维形状信息是通过所述柔性器械形状传感模块中光纤的曲率信息和挠率信息获取得到的，具体步骤为：

根据柔性器械发生形变前后的布拉格波长差异Δλ_B计算得到光栅应变ε，公式为：

λ_B＝2n_effA

其中，λ_B为布拉格反射光的波长，Λ为光栅周期，n_eff为光栅有效折射率，P_ε是光弹性系数；

通过以下公式求解未知参数a_i,b_i，公式具体为：

l′_j，i＝(1+ε_j，i)l_i

其中，S_i(t)表示中心线参数方程，l_i表示相邻两组光栅之间中心线的线段i的长度，下标i＝1,2,…,N表示各组光栅之间的分段；j＝1,2,3,4表示四条虚拟光纤；

表示第i个分段的第j条虚拟光纤的理论长度；d_j,i表示第i个分段的第j条虚拟光纤偏移中心线的距离，ε_j,i为光栅定位位置上的应变，l′_j,i表示每条虚拟光纤的测量长度，l_i表示第i个分段的长度，

表示理论计算长度；

柔性器械的分段i的曲率信息κ_i和挠率信息τ_i计算公式如下：

根据柔性器械各段节点的曲率信息和挠率信息，转换为各个节点的全局位置，计算出柔性器械的三维形状信息；

通过双目相机，对设置在所述柔性器械近端的光学标记物进行标定，获取第一转换矩阵和第二转换矩阵，并根据对所述光学标记物进行追踪，得到所述柔性器械的空间位置；所述第一转换矩阵用于将柔性器械空间坐标系转换至光学标记物坐标系，所述第二转换矩阵用于将光学标记物坐标系转换至双目相机坐标系；

根据所述三维形状信息和所述空间位置，通过所述第一转换矩阵和所述第二转换矩阵进行坐标系转换，获取所述柔性器械在所述双目相机中的位置并进行三维建模，将生成的三维影像展现在三维显示屏上。

2.根据权利要求1所述的用于柔性器械的增强现实手术导航装置，其特征在于，所述光栅传感器阵列是由4根布拉格光纤构成的。

3.根据权利要求1所述的用于柔性器械的增强现实手术导航装置，其特征在于，所述双目相机的拍摄范围内设置有光学标记物，且所述光学标记物设置在所述柔性器械的近端，用于实时跟踪所述柔性器械的空间位置。

4.根据权利要求1所述的用于柔性器械的增强现实手术导航装置，其特征在于，所述增强现实模块还包括半透半反镜，所述半透半反镜用于将所述三维影像投影到真实场景，以使得所述三维影像和所述柔性器械当前所处位置叠加，生成增强现实场景。

5.根据权利要求4所述的用于柔性器械的增强现实手术导航装置，其特征在于，所述增强现实模块还包括支撑外壳，用于对所述增强现实模块进行固定，所述三维显示屏、所述双目相机和所述半透半反镜设置在支撑外壳表面。

6.根据权利要求5所述的用于柔性器械的增强现实手术导航装置，其特征在于，所述支撑外壳的表面连接有固定支架，用于对所述增强现实模块进行固定；其中，所述固定支架上设置有转轴，用于通过所述转轴对所述增强现实模块的角度进行调节。

7.根据权利要求1所述的用于柔性器械的增强现实手术导航装置，其特征在于，所述用于柔性器械的增强现实手术导航装置还用于：

通过所述双目相机，对目标投影区域的光学标记物进行标定，获取第三转换矩阵，所述第三转换矩阵用于将双目相机坐标系转换至投影坐标系；

根据所述三维形状信息和所述空间位置，通过所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵进行坐标系转换，将生成的三维影像通过半透半反镜投影到所述目标投影区域，以使得所述三维影像和所述柔性器械当前所处位置叠加，生成增强现实场景。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：

基于柔性器械形状传感模块，获取柔性器械的三维形状信息，所述三维形状信息是通过所述柔性器械形状传感模块中光纤的曲率信息和挠率信息获取得到的，具体步骤为：

根据柔性器械发生形变前后的布拉格波长差异Δλ_B计算得到光栅应变ε，公式为：

λ_B＝2n_effA

其中，λ_B为布拉格反射光的波长，Λ为光栅周期，n_eff为光栅有效折射率，P_ε是光弹性系数；

通过以下公式求解未知参数a_i,b_i，公式具体为：

l′_j，i＝(1+ε_j，i)l_i

其中，S_i(t)表示中心线参数方程，l_i表示相邻两组光栅之间中心线的线段i的长度，下标i＝1,2,…,N表示各组光栅之间的分段；j＝1,2,3,4表示四条虚拟光纤；

表示第i个分段的第j条虚拟光纤的理论长度；d_j,i表示第i个分段的第j条虚拟光纤偏移中心线的距离，ε_j,i为光栅定位位置上的应变，l′_j,i表示每条虚拟光纤的测量长度，l_i表示第i个分段的长度，

表示理论计算长度；

柔性器械的分段i的曲率信息κ_i和挠率信息τ_i计算公式如下：

根据柔性器械各段节点的曲率信息和挠率信息，转换为各个节点的全局位置，计算出柔性器械的三维形状信息；

通过双目相机，对设置在所述柔性器械近端的光学标记物进行标定，获取第一转换矩阵和第二转换矩阵，并根据对所述光学标记物进行追踪，得到所述柔性器械的空间位置；所述第一转换矩阵用于将柔性器械空间坐标系转换至光学标记物坐标系，所述第二转换矩阵用于将光学标记物坐标系转换至双目相机坐标系；

根据所述三维形状信息和所述空间位置，通过所述第一转换矩阵和所述第二转换矩阵进行坐标系转换，获取所述柔性器械在所述双目相机中的位置并进行三维建模，将生成的三维影像展现在三维显示屏上。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：

基于柔性器械形状传感模块，获取柔性器械的三维形状信息，所述三维形状信息是通过所述柔性器械形状传感模块中光纤的曲率信息和挠率信息获取得到的，具体步骤为：

根据柔性器械发生形变前后的布拉格波长差异Δλ_B计算得到光栅应变ε，公式为：

λ_B＝2n_effA

其中，λ_B为布拉格反射光的波长，Λ为光栅周期，n_eff为光栅有效折射率，P_ε是光弹性系数；

通过以下公式求解未知参数a_i,b_i，公式具体为：

l′_j，i＝(1+ε_j，i)l_i

其中，S_i(t)表示中心线参数方程，l_i表示相邻两组光栅之间中心线的线段i的长度，下标i＝1,2,…,N表示各组光栅之间的分段；j＝1,2,3,4表示四条虚拟光纤；

表示第i个分段的第j条虚拟光纤的理论长度；d_j,i表示第i个分段的第j条虚拟光纤偏移中心线的距离，ε_j,i为光栅定位位置上的应变，l′_j,i表示每条虚拟光纤的测量长度，l_i表示第i个分段的长度，

表示理论计算长度；

柔性器械的分段i的曲率信息κ_i和挠率信息τ_i计算公式如下：

根据柔性器械各段节点的曲率信息和挠率信息，转换为各个节点的全局位置，计算出柔性器械的三维形状信息；

通过双目相机，对设置在所述柔性器械近端的光学标记物进行标定，获取第一转换矩阵和第二转换矩阵，并根据对所述光学标记物进行追踪，得到所述柔性器械的空间位置；所述第一转换矩阵用于将柔性器械空间坐标系转换至光学标记物坐标系，所述第二转换矩阵用于将光学标记物坐标系转换至双目相机坐标系；

根据所述三维形状信息和所述空间位置，通过所述第一转换矩阵和所述第二转换矩阵进行坐标系转换，获取所述柔性器械在所述双目相机中的位置并进行三维建模，将生成的三维影像展现在三维显示屏上。

Images