CN103445863B - 基于平板电脑的手术导航和增强现实*** - Google Patents

Abstract

本发明属医疗器械领域，涉及手术导航和增强现实技术，具体涉及基于平板电脑的手术导航和增强现实技术，适用于各类神经外科手术导航和现实增强。本发明采用置有用于红外跟踪的参考架，屏幕不低于800X600的分辨率，支持多点触控及手写输入，支持Wi-Fi无线连接方式，不低于8小时电力续航时间的平板电脑与改进的手术导航***excelim-04或者更高版本的导航仪构成。平板电脑与导航仪通过Wi-Fi无线连接实时通信，将导航仪的数据发送到平板电脑上，同时将平板电脑拍摄的实时手术视频图像进行虚拟图像和实时真实图像叠加并显示在平板电脑的屏幕，实现了实时手术图像和术前扫描的CT或者MRI数据的完全融合，提高了手术效率和精确度，可广泛应用于各类神经外科的手术导航。

Description

基于平板电脑的手术导航和增强现实***

技术领域

本发明属医疗器械领域，涉及手术导航和增强现实技术，具体涉及基于平板电脑的手术导航和增强现实***，适用于各类神经外科手术导航和现实增强。

背景技术

手术导航技术起源于临床神经外科，通常是在术前采集到病人的CT或者MRI图像，并将其转存到图像工作站中，形成导航参考图像。当术中带有示踪器的手术器械作用于病人时，空间定位仪跟踪到手术器械在病人坐标中的位置，将其转换到图像坐标系中，与导航参考图像叠加在一起，就如同实时透视一样，因此这种方式也称为“虚拟透视”。术中，医生借助于导航***可以看到手术器械在病人体内的位置，从而能够正确指导医生在选定的部位上进行手术操作。现有的手术导航***为手术操作提供了一定的便利，但是医生为了实时观察手术器械相对于病人的位置，视线需要在病人手术部位和导航仪之间来回切换，从而不利于医生集中于病人身体进行手术的过程。另外，目前导航***所显示的内容都是虚拟的病人图像和手术器械，不能实现将实时手术中的病人联系起来。

基于移动平台的手术设备可以将术前的数据和实时手术中的病人同时置于医生的视线之中，使得医生操作更方便。目前由德国BrainLab公司研制的，基于平板电脑iPod可移动的医疗设备在股骨头置换手术中得到应用，但由于它仅针对此类手术设计的，因此应用面较窄，另外，该设备不能够真正实现病人图像和术前数据的完全融合。

发明内容

本发明的目的是提供一种操作方便，手术安全，能够实现实时手术中的病人图像和术前数据的完全融合的基于平板电脑的手术导航和增强现实***。

本发明手术导航和增强现实***是这样实现的，采用置有用于红外跟踪的参考架，屏幕不低于800X600的分辨率，支持多点触控及手写输入，支持Wi-Fi无线连接方式，不低于8小时的电力续航时间的平板电脑和改进的手术导航***excelim-04或者由主计算机、红外定位仪及相关周边设备组成的更高版本的导航仪构成。

本发明中，主计算机借助红外定位仪和参考架进行光学跟踪来保证虚拟空间和实际空间的配准。

本发明中，导航仪与平板电脑通过Wi-Fi无线连接实时通信，将导航仪的数据发送到平板电脑上，同时对平板电脑拍摄的实时手术视频图像进行虚拟图像和实时手术图像叠加并显示在平板电脑的屏幕上。

本发明中，根据图像提取特征点,建立特征点之间的匹配关系，根据图像上对应的特征点分别为u_i(x_i,y_i)，u_i′(x_i′,y_i’)，则有关系或表示为V^TF＝0，其中：

F＝[F₁₁,F₁₂,F₁₃,F₂₁,F₂₂,F₂₃,F₃₁,F₃₂,F₃₃]，

V＝[x_i′x_i,x_i′y_i,x_i′ζ,y_i′x_i,y_i′y_i,y_i′ζ,x_iζ,y_iζ,ζ²]，

由此通过至少7个匹配点关系即可求得基础矩阵F；再利用对极几何原理得到图像分别的投影矩阵P和P'，P＝[I|0]，计算e'以满足对极限制e^TF＝0，得到场景的三维重建mine_u(u,PU)²+e_u(u',P'U)²，再利用红外定位仪获取场景在平板电脑参考架中的变换关系T_rm，参考架坐标到平板电脑显示屏的变换关系T_rc＝T_rm*P′。

本发明中，所述平板电脑自带的摄像头将术前拍摄的病人图像用以场景的三维重建。

本发明中，手术过程中拍摄病人的实时视频，并且由红外定位仪实时跟踪手术探针的空间位置，根据T_rc计算出探针在视频图像上的位置，并且将病人的术前数据图像叠加在视频中病人的相应位置上，实现医学增强现实效果。

本发明具有下述优点：

1、平板电脑设备与导航仪通过Wi-Fi无线网络建立连接，实现实时通信进行数据传输和显示。从而实现移动的、灵活便利的导航操作。

2、医生在手术过程中，以平板电脑为媒介，能够同时看到病人的手术部位和该部位的术前扫描的CT或者MRI图像，给医生以直观的“透视”到病人身体内部的感觉。同时根据手术操作过程中病人***的变化，能够进行实时跟踪和配准。

3.本发明手术导航和增强现实***与原有的手术导航***相比，使用更加方便，不需要手术中的视线切换，并且因为虚拟和真实图像的叠加提供更直观的信息，提高了手术效率和精确度，与现有的移动平台的医疗设备相比，实现了实时的病人手术图像和术前数据的完全融合，可广泛应用于各类神经外科的导航手术，适用面更宽。

为了便于理解，以下将通过具体的附图和实施例对本发明的基于平板电脑的手术导航和增强现实***进行详细地描述。需要特别指出的是，具体实例和附图仅是为了说明，显然本领域的普通技术人员可以根据本文说明，在本发明的范围内对本发明做出各种各样的修正和改变，这些修正和改变也纳入本发明的范围内。

附图说明

图1是本发明涉及的对极几何原理图。

图2是本发明***中的的空间关系示意图。

图3是本发明手术导航和增强现实***实施示意图。

具体实施方式

实施例1

采用置有用于红外跟踪的参考架，屏幕不低于800X600的分辨率，支持多点触控及手写输入，支持Wi-Fi无线连接方式，不低于8小时的电力续航时间的平板电脑和改进的手术导航***excelim-04或者由主计算机、红外定位仪及相关周边设备组成的更高版本的导航仪构成本发明的手术导航和增强现实***。用于手术过程中实现医学增强现实效果。

主计算机借助红外定位仪和参考架进行光学跟踪来保证虚拟空间和实际空间的配准。其中，跟踪采用奇异值分解法来实现虚拟现实空间与实时手术病人空间的配准。

奇异值分解法（SVD）

存在三维点集{mi}，{di}，而且两个点集点之间的对应关系已知，其中i＝1，……，N，N为点集中点的个数。

配准的目标是寻找{mi}，{di}两个点集之间的一种转换关系：

di=Rmi+T

其中R为[3×3]旋转矩阵，T为[3×1]平移矩阵。

使用最小二乘法拟合，通过最小化

${\mathrm{\Σ}}^2={\mathrm{\Σ}}_{i=1}^N{\left|\right|d_i-({\mathrm{Rm}}_i+T)\left|\right|}^2---\left(1\right)$

可以得到R，T的值，即得到两个点集之间的空间转换关系。

i、旋转矩阵的计算

在满足公式（1）的条件下，点集{mi},{di}具有相同的质心，在此基础上定义：

$d=\frac{1}{N}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i$ d_ci＝d_i-m

$m=\frac{1}{N}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{m}_i$ m_ci＝m_i-m

公式（1）可简化表示为：

${\mathrm{\Σ}}^2=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|(d_{\mathrm{ci}}+d)-R(m_{\mathrm{ci}}+m)-T\left|\right|}^2$

$=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|d_{\mathrm{ci}}-{\mathrm{Rm}}_{\mathrm{ci}}+(d-\mathrm{Rm}-T)\left|\right|}^2$

$=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|d_{\mathrm{ci}}-{\mathrm{Rm}}_{\mathrm{ci}}\left|\right|}^2$

$=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}({d^t}_{\mathrm{ci}}{d}_{\mathrm{ci}}+{m^t}_{\mathrm{ci}}{m}_{\mathrm{ci}}-2d_{\mathrm{ci}}^t{\mathrm{Rm}}_{\mathrm{ci}})$

最小化∑²的值就转化为最大化

而

其中

$H=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{m}_{\mathrm{ci}}{d}_{\mathrm{ci}}^t$

如果可以得到H的奇异值分解

H=UΛVt

则可知当Trace(RH)最大化时

R=VUt

ii、平移矩阵的计算

计算出旋转矩阵R之后，根据点集{mi}，{di}质心之间的关系，可得：

T＝d－Rm

iii、算法实现步骤

a、计算两个点集的质心m，d。

b、令mci=mi–m dci=di–d。

c、计算H=∑mcidcit。

d、计算出H的SVD：H=UΛVt。

e、得到R=VUt；T=d-Rm。

（2）、配准误差计算

当得到旋转矩阵R和平移矩阵T的值后，通过以下公式得出配准误差：

$\mathrm{Error}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|d_i-({\mathrm{Rm}}_i+T)|$

虚拟图像空间与真实病人空间配准后显示在导航仪人机界面的触摸屏上，然后通过Wi-Fi无线通信，实时显示在平板电脑上。术前平板电脑上通过摄像头拍摄到病人的视频图像，根据图像提取特征点,建立特征点之间的匹配关系。根据图像上对应的特征点分别为u_i(x_i,y_i)，u_i′(x_i′,y_i’)，则有关系或表示为V^TF＝0，其中：

F＝[F₁₁,F₁₂,F₁₃,F₂₁,F₂₂,F₂₃,F₃₁,F₃₂,F₃₃]，

V＝[x_i′x_i,x_i′y_i,x_i′ζ,y_i′x_i,y_i′y_i,y_i′ζ,x_iζ,y_iζ,ζ²]，

由此通过至少7个匹配点关系即可求得基础矩阵F。再利用对极几何原理得到图像分别的投影矩阵P和P'。对极几何原理如图1所示。场景中的空间点U和相机c1,c2的光学中心确定了一个平面称为对极面，对极面和相机投影面所产生的交线称为对极线，所有的对极线将汇交于对极。由此说明在已知一个相机投影面上的点坐标，可以通过对极关系求得在另一个相机投影面上的对极线，从而要确定的投影点就位于相应的对极线上。

结合图1所示：场景中的空间点U在相机c1和c2上的投影点分别是u_i和u_i′，相机中心c1和c2的连线与投影面的交点被称为对极点e_i和e_i′，假定投影图像上对应的特征点坐标分别为u_i(x_i,y_i)，u_i′(x_i′,y_i’)，在相机c2中e_i′，u_i′都位于对极线l_u上，可以用叉积表示为l_u＝e_i′∧u_i′，也可记为l_u＝Fu_i，在相机c2的投影面上由投影点必位于对极线上可得关系或表示为V^TF＝0，其中：

F＝[F₁₁,F₁₂,F₁₃,F₂₁,F₂₂,F₂₃,F₃₁,F₃₂,F₃₃]

V＝[x_i′x_i,x_i′y_i,x_i′ζ,y_i′x_i,y_i′y_i,y_i′ζ,x_iζ,y_iζ,ζ²]

矩阵V的所有项是由两个相机对应点的坐标组成，待求的矩阵F有7个自由度，由此通过至少7个匹配点关系即可求得基础矩阵F。

根据基础矩阵F就可以来求解两个相机在图像平面上的投影矩阵P和P′，P＝[I|0]，计算e'以满足对极限制e′^TF＝0，设M＝[e']×F，则P′＝[M+e'b^T|ce']，其中b和c分别是设定的3-向量和尺度系数。同时通过投影关系u＝PU和u'＝P'U还可以得到场景的三维重建mine_u(u,PU)²+e_u(u',P'U)²。

在计算获得场景到相机投影平面的变换关系之后，再确定***中的其他的空间变换关系（如图2所示）。在平板电脑上的摄像头附近装有参考架，通过红外定位仪可以跟踪到目标的位置从而显示在相机投影面上。

接下来利用红外定位仪获取场景在平板电脑参考架中的变换关系T_rm，T_rm＝T′_pr*T_pm。则参考架坐标到平板电脑显示屏的变换关系T_rc＝T_rm*P′。

手术过程中拍摄病人的实时视频，并且由红外定位仪实时跟踪手术探针的空间位置，从而根据T_rc计算出探针在视频图像上的位置，并且将病人的术前数据图像叠加在视频中实时手术病人的相应位置上，实现医学增强现实效果。

Claims (2)

1.基于平板电脑的手术导航和增强现实***，其特征在于：采用置有用于红外跟踪的参考架，屏幕不低于800X600的分辨率，支持多点触控及手写输入，支持Wi-Fi无线连接方式，不低于8小时电力续航时间的平板电脑与改进的手术导航***excelim-04或者由主计算机、红外定位仪及相关周边设备组成的更高版本的导航仪构成；

所述的导航仪与平板电脑通过Wi-Fi无线连接实时通信，将导航仪的数据发送到平板电脑上，同时对平板电脑拍摄的实时手术视频图像进行虚拟图像和实时手术图像叠加并显示在平板电脑的屏幕上；

所述的手术导航和增强现实***中：根据图像提取特征点,建立特征点之间的匹配关系，根据图像上对应的特征点分别为u_i(x_i,y_i)，u′_i(x′_i,y’_i)，则有关系u′_i ^TFu_i＝0，或表示为V^TF＝0，其中：

F＝[F₁₁,F₁₂,F₁₃,F₂₁,F₂₂,F₂₃,F₃₁,F₃₂,F₃₃]，

V＝[x′_ix_i,x′_iy_i,x′_iζ,y′_ix_i,y′_iy_i,y′_iζ,x_iζ,y_iζ,ζ²]，

由此通过至少7个匹配点关系即可求得基础矩阵F；再利用对极几何原理得到图像分别的投影矩阵P和P'，P＝[I|0]，计算e'以满足对极限制e'^TF＝0，得到场景的三维重建mine_u(u,PU)²+e_u(u',P'U)²，再利用红外定位仪获取场景在平板电脑参考架中的变换关系T_rm，参考架坐标到平板电脑显示屏的变换关系T_rc＝T_rm*P'；手术过程中拍摄病人的实时视频，并且由红外定位仪实时跟踪手术探针的空间位置，根据T_rc计算出探针在视频图像上的位置，并且将病人的术前数据图像叠加在视频中病人的相应位置上，实现医学增强现实效果。

2.根据权利要求1所述的基于平板电脑的手术导航和增强现实***，其特征在于：所述平板电脑自带的摄像头将术前拍摄的病人图像用以场景的三维重建。