CN101170961A - 利用显微镜的用于外科手术导航及可视化的方法及设备 - Google Patents

Abstract

本发明涉及一种改进的用于宏观和微观外科手术导航及可视化的***和方法。在本发明的示例性实施例中，集成化***可包括存储病人内部解剖三维表示的计算机、显示器、探测器及手术显微镜。在本发明的示例性实施例中，可将基准标记附在探测器和显微镜上，而且***还可包括能够跟踪探测器和显微镜的每个的3D位置及朝向的跟踪***。在本发明的示例性实施例中，***可包括用于检测显微镜的成像参数变化的装置，例如放大倍率和焦距，根据用户调节及显微镜运转而发生变化。显微镜可具有例如相对于附在显微镜上的标记的焦点位置，以及可例如在显微镜焦距的全范围内进行校准。在本发明的示例性实施例中，可从与显微镜有关的跟踪数据获得显微镜的位置，而且焦距可从例如与显微镜集成在一起的传感器获得。此外，也可从附在探测器上的基准标记的跟踪数据获得探测器末端的位置，并且提供用于将病人解剖数据的虚拟表示与来自于探测器和显微镜的一个或多个摄像机的真实图像进行配准的装置。在本发明的示例性实施例中，可视化及导航可由显微镜和探测器的每个提供，并且当二者都激活时，***可根据定义的规则来智能显示微观的或宏观的(基于探测器的)增强图像。

Description

利用显微镜的用于外科手术导航及可视化的方法及设备

相关申请的交叉引用

本申请要求于2005年3月11日提交的同此申请共同转让的美国临时专利申请No.60/660,845的优先权，该申请通过引用结合于此。本申请还要求名为Systems and Methods For Mapping A Virtual Model Of AnObject To The Object(“Multipoint Registration”)、于2005年7月20日提交的PCT/SG2005/00244的利益，该申请也通过引用包括在这里。本申请通过引用包括在这里的还有：于2004年4月27日提交、公布为美国公布专利申请公布No.20050015005的美国专利申请No.10,832,902、(“the Camera-probe Application”)。

技术领域

本发明涉及基于图像的外科手术导航及可视化***。

背景技术

神经外科手术通常采用两种操作方式完成：宏观模式和微观模式。前一种方式通常利用裸眼来观察外科手术区，而后一种方式是利用显微镜来观察外科手术区。在每一种操作模式中，基于图像的导航及可视化***已经被成功应用于辅助医师完成各种精细的外科手术程序。

在基于图像的导航及可视化中，通常在外科手术之前或期间，由磁共振成像(MRI)、计算机断层扫描(CT)、以及多种其他技术产生描述病人的内部解剖结构的图像。根据图像产生病人的三维(3D)表示。该表示可采用多种形式，从容积图像和由图像重建的病人的各种解剖结构的3D模型，到为说明外科手术规划而增加的制图、注释和测量，以及它们的组合。在外科手术中，通过图像配准，将3D表示与病人匹配。通过将内部解剖的图像与实际的外科手术区结合，导航***能够改进外科医生在手术中定位病人体内的不同的解剖特征的能力。

在宏观导航中，用户(外科医生)持有探测器，由跟踪设备跟踪该探测器。当这种探测器被引入外科手术区中时，表示为图标的探测器末端的位置被绘制在病人的3D表示的视图上。导航帮助外科医生来决定手术的进入点、理解朝着目标的解剖结构以及沿着外科手术路径避开关键结构。

美国已公布的No.20050015005专利申请描述了改良的导航***，其中，探测器包括***机。该***通过观察覆盖在病人的3D表示上的由***机获得的实时图像，来支持在给定手术区内的增强现实的增强的导航。

在显微外科手术中，手术显微镜通常被用来提供对外科医生正在其中操作的外科手术区的放大。为了导航目的可跟踪显微镜，并且其焦点通常可以被显示在3D表示中来代替探测器末端。

为了避免将视线从手术现场转移到监视器，“图像注入(imageinjection)”显微镜已被开发，其中，由计算机工作站产生的导航图像被叠加到显微镜的光学图像上。这种叠加要求通过显微镜看到的图像与叠加的图像数据在几何上一致。

在基于显微镜的导航***中叠放的图像由叠加到光学图像平面上的二维轮廓组成。为了得到三维的效果，外科医生必须在不同的图像平面间滚屏并且在头脑中将注入的轮廓合并为三维模型。

这种传统技术允许外科医生在宏观外科手术以及显微外科手术中在外科手术区内进行导航。然后，它们还有如下显著的缺点。

首先，在显微外科手术中，通常外科医生希望能够在基于显微镜的导航和可视化及基于探测器的导航和可视化之间进行切换。为了实现该目标，外科医生通常必须将显微镜移高并且/或者移开外科手术区，然后将导航探测器移入外科手术区中，严重妨碍了正常的外科手术流程。

其次，为使得外科医生能够在微结构例如神经和血管上完成精密的程序，在手术中，通常将显微镜的放大倍率设置在较高水平。

尽管这种高放大倍率确实允许对这种微结构的可视化，但它也经常局限了视场。由于此后被叠加的虚拟图像具有相同的放大比率，因此虚拟对象的显示也受到限制。这可导致外科医生不能明确的识别出他正通过显微镜观察的区域在病人身体上的实际位置的状况。简单地说，他能够观察到的区域太小。另外，覆盖图像也可能不提供大量有用的信息，因为手术区周围的解剖结构在视场之外，并因此不可见。此外，在这种环境下，外科医生不能从不同的视点观察其关心的3D解剖结构。

第三，在显微外科手术中，通常外科医生希望完全知道外科手术区周围的所有结构。在传统***中，导航图像被叠加到显微镜的光学图像上。尽管这种技术具有外科医生不需要将视线移开显微镜就能够观察导航视图的优势，但其缺点是只能够显示导航视图中有限的信息，以及该显示可能严重的阻碍外科医生的光学视图，并且图像注入增加了***的成本。

因此，现有技术中需要外科手术导航及可视化的方法和***，其在显微外科手术导航中降低为了导航而移离外科手术区的放大视图的需求。

现有技术中还进一步需要外科手术成像方法和***，其能够提供集成的增强现实的增强的微观和宏观的导航及可视化，并且能够支持在二者之间的无缝且有效率的切换。

发明内容

本发明涉及一种改良的用于宏观和微观外科手术导航及可视化的***和方法。在本发明的示例性实施例中，集成***可包括：计算机，其存储病人内部解剖的三维表示；显示器；探测器和手术显微镜。在本发明的示例性实施例中，基准标记可被附着于探测器和显微镜上，并且该***还可包括能够跟踪探测器和显微镜的每个的3D位置和朝向的跟踪***。在本发明的示例性实施例中，***可包括用来检测显微镜的成像参数变化的装置，其中参数例如放大倍率和对焦，其根据用户调节及显微镜运转而发生。显微镜可具有例如相对于附着于显微镜上的标记的焦点位置，而且其可以例如在显微镜对焦的全范围内进行校准。在本发明的示例性实施例中，显微镜的位置可从关于显微镜的跟踪数据中获得，而且焦距可从例如与显微镜集成在一起的传感器获得。此外，探测器的末端位置也可从探测器上的基准标记的跟踪数据获得，并且，可提供用于将病人解剖数据的虚拟表示与来自于探测器和显微镜的每个上的一个或者多个摄像机的真实图像进行配准的装置。在本发明的示例性实施例中，可视化及导航图像可由显微镜和探测器的每个提供，并且当二者都激活时，***可根据已定义的规则，智能显示或者微观的或者宏观的(基于探测器)真实的、虚拟的或增强的图像。

附图说明

图1A-1C示出了根据本发明的示例性实施例的增强现实图像的数字变焦；

图1D示出了根据本发明的示例性实施例的示例性导航***；

图2显示了根据本发明的示例性实施例的示例性病人头部的真实图像的示意图；

图3显示了根据本发明的示例性实施例的肿瘤及血管的虚拟图像的示意图；

图4显示了根据本发明的示例性实施例的合成(增强现实)图像的示意图；

图5显示了根据本发明的示例性实施例的放大的增强现实视图的示意图；

图6显示了根据本发明的示例性实施例的放大的显微视图的示意图；

图7显示了根据本发明的示例性实施例的数字推远(放大)的显微视图的示意图；

图8显示了根据本发明的示例性实施例的来自探测器的示例性导航视图的示意图；

图9显示了根据本发明的示例性实施例的来自外科手术显微镜的示例性导航视图；

图10显示了根据本发明的示例性实施例的数字拉近后的图9的示例性视图；以及

图11显示了根据本发明的示例性实施例的来自示例性探测器的示例性增强现实导航视图。

具体实施方式

在本发明的示例性实施例中，可以顺畅地提供和集成在宏观和微观外科手术中的导航及可视化。因此，在该示例性实施例中，为了在显微外科手术期间实现宏观导航或可视化，不需要使外科手术显微镜脱离或移开用于导航或可视化的外科手术区。此外，在本发明的示例性实施例中，可提供放大的现实增强的导航***，该***可例如视情况为外科医生提供病人的三维(3D)解剖结构的微观和宏观的导航信息，而不需要使显微镜脱离或移开外科手术区。

在本发明的示例性实施例中，例如，摄像机可刚性附着于显微镜上。计算机可例如存储具有与相应的实际摄像机相同的成像属性和位姿(位置和朝向)的虚拟显微摄像机模型，所述的成像属性包括焦距、视场和失真参数、变焦及对焦。在本发明的示例性实施例中，可以提供装置按如下方式来产生用于显微导航的增强视图：响应来自跟踪设备的显微镜的位置和朝向数据以及例如利用集成传感器从显微镜本身得到的放大倍率和焦距数据，利用依照相应虚拟显微摄像机模型的病人3D解剖结构的虚拟绘制图来覆盖来自显微镜上的视情况而定单个摄像机或者多个摄像机的视频图像。

在本发明的示例性实施例中，还可有与探测器集成在一起的摄像机，例如，在Camera-probe Application中所描述的。如在Camera-probeApplication中所述，可提供具有与实际摄像机相同的成像属性和位姿(位置和朝向)的摄像机的虚拟模型，所述的成像属性包括焦距、视场以及失真参数。此外，可以提供装置按如下方式来产生用于宏观导航的增强视图：响应来自跟踪设备的探测器的位置和朝向数据，通过利用病人3D解剖结构的绘制图来覆盖来自探测器中的摄像机的视频图像，其中，绘制图由计算机根据虚拟摄像机模型产生。

在本发明的示例性实施例中，可对增强的显微视图进行数字变焦，因此不需要改变显微镜的位置和设置(放大倍率和焦距)就可得到显微导航的放大视图。在当前设置下的显微镜的光学视场之外的解剖结构可因此以这种推远缩小显示的方式显示：只在显示中心部分地由来自显微镜的摄像机的实时视频图像覆盖。此外，在本发明的示例性实施例中，用户为得到宏观的导航视图不需要改变显微镜的设置或将其移开。用户只需要移动探测器，该探测器可从任意视点对外科手术区成像。

如上所述，显微图像可被数字变焦。这在下面描述。放大倍率的改变或者AR图像的拉近放大通过改变虚拟摄像机的视场(也就是其视锥形状)连同真实图像以及确保视频图像平面沿着虚拟摄像机的视锥对齐来实现。参考图1A-1C，说明了这种构思。注意，原图是彩色的，而且下面的描述指涉这些颜色。然而，即使在灰度图像中所指涉对象能够被容易地区分。

图1A示出了：虚拟摄像机(左图中左侧的红色轴线)；及虚拟摄像机的视锥，由连接到远平面(深灰色；左图的右边)的***面(深蓝色；左图的左侧)表示；连同虚拟对象。

视频图像(粉红色的矩形)的图像中心与视锥的中心对齐。在这种设置中，例如，视频图像的尺寸设置成与***面尺寸相同。因此，整个视频图像覆盖了屏幕视窗(或者视口)，从而没有缩放效果。

在图1B中，视锥已改变，使得虚拟对象被以放大或拉近的效果来投影。视锥中的这种改变导致了视频图像在屏幕空间中可见的部分的改变。由于现在只有视频图像的一些部分在投影平面(***面)内并且覆盖屏幕视窗，所以在视频图像中也有拉近放大的效果。

在图1C中，视锥被改变，使得虚拟对象被以推远缩小的效果(看起来更小)来投影。视锥的这种改变导致了在投影平面(***面)内的整个视频图像只覆盖了屏幕视窗的一部分，因此在屏幕视窗中视频图像看起来更小。

在本发明的示例性实施例中，可通过改变产生透视投影的虚拟摄像机的透视矩阵的参数来实现视锥的改变。特别，在OpenGL环境中定义的4×4矩阵的透视投影矩阵，例如，可采用如下参数来定义：

ProjMat[0]＝2*Near/(Right-Lest)*zoomFactor

ProjMat[2]＝(Right+Left)/(Right-Left)

ProjMat[5]＝2*Near/(Top-Bottom)*zoomFactor

ProjMat[6]＝(Top+Bottom)/(Top-Bottom)

ProjMat[10]＝-(Far+Near)/(Far-Near)

ProjMat[11]＝-2*Far*Near/(Far-Near)

ProjMat[14]＝-1

ProjMat[15]＝0

其中，元素1、3、4、7、8、9、12及13的值为0(按照从左到右、从上到下的规则读取)。

参数Left、Right、Top、Bottom是基于固有相机校准参数的显微镜模型连同显微镜的对焦和变焦设置的函数。参数Near及Far可以例如设置为常数值。

参数zoomfactor是决定拉近放大或推远缩小效果的系数。当其值小于1时，效果为推远缩小，而当其值大于1时，效果是拉近放大。当其值等于1时，没有缩放效果。

在本发明的示例性实施例中，视频图像可被显示为带有正交投影的纹理图。在拉近放大或推远缩小的过程中，为了使得能够进行视频图像中的虚拟对象的正确且一致的覆盖，可采用如下参数来调节OpenGL视口：

Glfloat cx＝fabs(Left)/(Right-Left)

Glfloat cy＝fabs(Bottom)/(Top-Bottom)

glViewport((1-zoomFactor)*screenWidth*cx+originX，

           (1-zoomFactor)*screenHeight*cy+originY，

            screenWidth*zoomFactor，

            screenHeight*zoomFactor)；

基本上，利用zoomFactor调整视窗的尺寸，并且根据zoomFactor、视频图像的中心(cx和cy)以及OpenGL窗口的原点来移动视口的原点，从而可见的视频图像被虚拟图像正确地覆盖。

在本发明的示例性实施例中，在显微外科手术中，探测器可被用来从变化的朝向和位置获得导航图像。可以从探测器照相机的视点来显示外科手术区周围的解剖结构连同显微镜的焦点和光轴。因此，来自不同观察点的外科手术区周围的解剖结构可例如呈现给外科医生而不需要改变显微镜。

参考图1D，显示了根据本发明的示例性实施例的在执行神经外科手术程序中使用的外科手术导航***。在该图中，外科手术是微观模式。手术显微镜115包括相机105，该相机可例如为彩色照相机，安装在显微镜的成像端口上并且基准标记110可安装到该相机上。显微镜115例如可包括内置的传感器以检测作为显微镜调节的结果而发生的显微镜的成像参数的变化，其中，所述的成像参数包括显微镜放大倍率和焦距。这种传感器例如可以是编码器。对焦和变焦的调节包括镜头的机械移动，并且这种编码器例如可以测量这种移动。可从显微镜的串行端口获得参数。数据格式例如可为这样的形式：变焦：+120；对焦：362。显微镜还可包括光轴111以及焦点112，该焦点112被定义为显微镜的光轴与聚焦平面的交点。聚焦平面与光轴是垂直的。在聚焦平面上得到最清晰的图像。聚焦平面随焦距的调节而改变。在本发明的示例性实施例中，可以在显微镜聚焦的全范围中校准焦点相对于基准标记110的位置，因此该位置可根据跟踪数据来描述。

在图1D中，外科医生正通过显微镜观察，并且沿显微镜的光路有病人的头部152。示例病人有肿瘤155(为手术的目标对象)和在肿瘤155附近的血管结构150(应该在手术中避开)。位置跟踪***100(例如，NDI Polaris)可接收命令并且能够通过无线方式或通过与计算机相连的电缆将跟踪数据发送给计算机120。

计算机120可在导航前，例如，在术前扫描以及将这种扫描数据处理为包括多个分割及规划数据的体数据集之后，将肿瘤155及血管结构120的3D模型125存储在计算机的存储器中。探测器140例如可包括摄像机135，并且前端可附着有带有末端136的指示器。探测器140可放置在外科医生容易拿到的位置，以方便在外科手术中的使用。探测器例如可以是Camera-probe Application所公开的类型。位置跟踪***100可为计算机提供显微镜115的连续实时跟踪数据。当探测器140被引入外科手术区时，位置跟踪***100还可为计算机提供探测器140的连续实时跟踪数据。计算机可连接到(i)显示器130，(ii)显微镜115的相机和传感器，以及(iii)探测器的***机。***可进一步包括软件以根据跟踪数据检测显微镜及探测器的位置和朝向数据，以及从这些位置数据自动地选择一个(探测器或者显微镜)作为用于导航和/或可视化的图像的基础。这种自动选择可依照定义的优先规则或者可能适用于给定应用以及给定用户偏好的各种算法。

例如，给定的用户可能偏爱通过宏观视图来弄清他的大体方位，然后当他接近精细的结构时使用显微图像。如果手术包括多个阶段，可以容易的看出，这样的外科医生将通过使用探测器然后是显微镜再然后是探测器再然后是显微镜来进行循环。对于这样的外科医生，***能够实现：在手术的初始期，主要工具是探测器，然后一旦使用了显微镜则显微镜是主要的工具，直到选择了新的显微镜位置，此时在另外一个阶段的开始再次使用探测器。因此，***能够在显示器上产生合成图像，该合成图像与来自此时按优先顺序的工具的视图相对应。可实现许多替代的规则，并且外科医生总是通过起动开关或语音控制接口来覆盖(override)这种优先级设置。

再参考图1D，计算机120能够接收通过显微摄像机105获得的外科手术现场的实时视频图像。显微摄像机105例如可具有显微虚拟摄像机模型，可提供该模型并存储在计算机120中。

在本发明的示例性实施例中，显微虚拟摄像机模型可包括一组内参数和外参数，其中，所述内参数可包括例如焦距、图像中心及失真，而所述外参数可包括例如虚拟显微摄像机模型相对于参考坐标系的位置和朝向。

在本发明的示例性实施例中，参考坐标系例如可以是刚性连接在显微镜115上的标记110的坐标系。

在本发明的示例性实施例中，显微摄像机模型的内参数和外参数可根据显微镜的放大倍率和焦距的改变而改变。

在根据本发明的示例性实施例中，显微摄像机模型的内参数和外参数可被描述为显微镜放大倍率和焦距的双变量多项式函数。例如，参数ρ(ρ表示内参数和外参数之一)可被建模为显微镜的焦距值(f)和变焦值(z)的q阶双变量多项式函数，如下：

$\mathrm{\ρ}(z,f)=\underset{m,n}{\mathrm{\Σ}}{a}_{m,n}{z}^m{f}^n$ (m，n≥0；m+n≤q)

为了解出系数a_m，n，显微镜可被校准为跨显微镜对焦和变焦全范围的若干固定摄像机(具有固定焦距)。在足够多的固定摄像机校准之后，在不同的变焦和对焦设置下，可得到一组校准数据。然后可例如通过双变量多项式的拟合来求解多项式函数的系数a_m，n。

在增强现实显微镜***中的示例型显微镜的示例型显微摄像机模型可如下表示：

内参数

图像尺寸：Nx＝768，Ny＝576

图像中心：Cx＝384，Cy＝288

焦距：

fx＝-0.000000008*F*Z^3+(-0.000004613)*F*Z^2+(-0.001289058)*F*Z+(-0.022283345)*F+0.000039765*Z^3+0.042230380*Z^2+21.010557606*Z+4970.548674307

fy＝-0.000000010*F*Z^3+(-0.000001564)*F*Z^2+(-0.001287695)*F*Z+(-0.020680795)*F+0.000034475*Z^3+0.040391899*Z^2+20.227847227*Z+4767.03789957

外参数

Owcx＝0.000008797*F+(-0.058476064)

Owcy＝-0.000016119*F+(-0.781894036)

Owcz＝-0.000004200*F+(-0.078145268)

Twcx＝0.000000000*F^2*Z+(-0.000000747)*F^2+(-0.000002558)*F*Z+(-0.006475870)*F+0.000141871*Z+0.271534556

Twcy＝-0.000000001*F^2*Z+(-0.000001826)*F^2+(0.000002707)*F*Z+(-0.004741056)*F+(-0.003616348)*Z+5.606256436

Twcz＝0.000000302*F^2*Z+0.000014187*F^2+(-0.000088499)*F*Z+(-0.018100412)*F+0.061825291*Z+422.480480324

其中，Owcx、Owcy、Owcz是旋转向量，通过该旋转向量可计算从显微摄像机到参考坐标系的旋转矩阵，而Twcx、Twcy、Twcz是在x、y及z上的变换，并且由其可构建到参考坐标系的变换矩阵。

因此，对显微镜的任何给出的变焦值和对焦值，可创建相应的虚拟显微摄像机并可用来产生虚拟对象的虚拟图像。

如图1D所示，计算机120接收显微镜当前的放大倍率及对焦值。因此可根据存储的显微摄像机模型来计算虚拟显微摄像机的内外参数。可采用显微镜上标记的跟踪数据来表示虚拟显微摄像机的在位置跟踪***中的位置和朝向。

如图1D所示，显微镜具有光轴111和焦点112。在根据本发明的示例性实施例中，焦点位置根据显微镜对焦的改变相对于参考标记而改变。

在根据本发明的示例性实施例中，可在导航之前校准显微镜焦点相对于基准标记的位置。下面给出来自增强现实显微镜***的示例性显微镜的焦点的示例性校准结果。

FocusPoint(x，y，z)＝(Fpx，Fpy，Fpz)，其中

Fpx＝-0.000001113*F^2+0.001109120*F+116.090108990；

Fpy＝0.000002183*F^2+(-0.000711078)*F+(-27.066366422)；

Fpz＝-0.000073468*F^2+(-0.154217215)*F+(-369.813473763)；以及

F表示对焦。

焦点的校准结果可存储在计算机中。因此，对于显微镜的任何给定的对焦值，可由基准标记的跟踪数据来表示焦点的位置。

在根据本发明的示例性实施例中，光轴例如可以为连接具有不同显微镜对焦值(focal value)的焦点的连线。

在本发明的示例性实施例中，可使用公知的图像配准技术将病人的图像数据映射到病人。例如，一种这样的图像配准技术：使用病人身体表面上的若干解剖特征(至少3个)，通过把在扫描图像中识别和定位的这些解剖特征的位置与使用跟踪探测器确定的在病人身上的这些解剖特征的相应位置进行匹配，从而将病人的图像数据映射到病人。通过把由成像数据生成的病人的身体部分的表面映射到在手术台上产生的相应身体部分的表面数据，可以进一步提高图像配准的准确度。例如，这种方法在2005年7月20日提交的名为“Systems and MethodsFor Mapping A Virtual Model Of An Object To The Obj ect(“MultipointRegistration”)”的国际申请PCT/SG2005/00224中进行了详细的描述。在该PCT申请中描述的图像配准方法可以被直接应用于这里的示例性实施例中的显微导航中。图像配准的目的是使得病人的成像数据与病人匹配，而且它可以例如可在显微镜未介入之前的宏观阶段完成，使得可在显微导航中使用图像配准的结果。图像配准之后，病人的图像数据，包括所有分割的对象及在外科手术规划时产生的与成像数据相关联的其他对象，被配准到实际的病人。例如，在图1D中，存储在计算机120中的肿瘤和血管的模型与病人头部中的实际的肿瘤155和血管150配准。

病人头部152的位置和朝向以及显微摄像机105的位置和朝向可被变换到共同的坐标系，例如位置跟踪***的坐标系。头部152和显微摄像机105之间的相对位置及朝向因此可使用位置跟踪***100来动态地确定。

如图2所示，在本发明的示例性实施例中，显微摄像机可捕捉病人头部152的视频图像。肿瘤155和血管150在视频图像中可能是不可见的(由于头部中尚封闭的部分可能在视觉上阻碍了它们)。

如图3所示，在本发明的示例性实施例中，计算机能够基于虚拟显微摄像机的内外参数以及所存储的肿瘤和血管模型产生肿瘤155和血管150的虚拟图像。

如图4所示，在本发明的示例性实施例中，可以将真实图像201和虚拟图像301组合在一起来产生增强现实图像。增强现实图像然后可以例如被显示在显示设备130上。显示器130可以是监视器、HMD、为了“图像注入”而安装在显微镜内部的显示器等。

肿瘤和血管的3D模型可由病人的三维(3D)图像产生。例如，来自病人头部的MRI或CT图像。在根据本发明的示例性实施例中，可采用由Volume Interaction Pte公司提供的硬件和软件例如运行RadioDexter软件的Dextroscope***来产生这样的数据。

在根据本发明的示例性实施例中，增强现实图像可采用多种方式显示。真实图像可以被覆盖在虚拟图像上(真实图像在虚拟图像之上)，或者被虚拟图像所覆盖(虚拟图像在真实图像之上)。可改变覆盖图像的透明度，这样能够以多种方式显示增强现实图像：只显示虚拟图像、只显示真实图像、或者显示合成图像。与此同时，例如，根据焦点位置改变的3D模型的轴面、冠状面及矢状面可被显示在三个单独的窗口中。

在根据本发明的示例性实施例中，在显微导航中的增强现实可以采用在整个放大倍率和对焦全范围内的多种显微镜设置。

图5显示了采用不同(相对于图3和图4更大的)放大倍率设置的病人头部的示例性增强现实视图。

在根据本发明的示例性实施例中，可采用数字变焦来实际改变增强现实图像的放大倍率。变焦比率可以是用户的输入。默认变焦的视场可以例如居中于窗口中心处。

图6显示了通过按更高放大倍率的显微镜所产生的只包括外科手术区的导航图的示例性虚拟图像。外科医生正在肿瘤上进行手术，所以在显微镜的光学图像中，肿瘤的一部分是可见的。然而，大部分肿瘤和全部血管被隐藏在暴露的表面下或者不在显微镜的视场之内，所以外科医生不能直接地看到。由计算机产生的肿瘤和血管的绘制图可被显示给外科医生，但是由于放大的缘故，只能显示肿瘤和血管的一小部分。

在不改变显微镜放大倍率和位置的情况下了解在显微镜视场之外的肿瘤和血管的精确的3D结构及位置是至关紧要的。因此，图7显示了显微镜的实际放大的图像，其中肿瘤和血管的整个结构是可见的。在本发明的示例性实施例中，这可通过数字变焦来实现。数字变焦实际上改变虚拟显微摄像机模型的视场，使得可以从相同的视点但是不同的视场对虚拟摄像机视场内的3D模型进行绘制。数字变焦使得外科医生能够不改变显微镜的实际设置就能够观察显微镜的视场之外。在本发明的示例性实施例中，视频信号也可被变焦，因此，被变焦的图像可具有视频(真实)图像、虚拟图像或者二者的具有不同透明度的合并。图7是相对于图6的视图的推远缩小，但相对于图5当然还有图3是明显更大的放大(拉近放大)。因此，用户可在给出的程序或者手术过程中频繁地改变变焦值，重复地放大和缩小。

在神经外科手术实施情况中，外科医生可能例如使用探测器140来进行图像配准并通过利用探测器进行导航来选择进入点。然后引进显微镜用于进行精细的导航和引导。在外科手术过程中，由于通过移动探测器140进行导航比移动显微镜进行导航更容易操纵，外科医生可能不时需要使用探测器140进行导航。在这种示例性应用情况中，***支持在两种导航方法之间进行快速且平稳的切换。

图8从探测器内部的***机的视点示出了图7的示例性情景。显微镜的焦点及光路可与肿瘤及血管一起显示，表明显微镜、外科手术区以及虚拟对象(血管和肿瘤)的3D关系。

图9-11是本发明的示例性实施例的实际屏幕截图。图9显示了根据本发明的示例性实施例的来自外科手术显微镜的示例性导航视图。

图10显示了根据本发明的示例性实施例采用与图7有关的上述技术进行数字推远缩小后图9的示例图。

图11显示了根据本发明的示例性实施例的来自示例性探测器的示例性增强现实导航图像，有些与图8中所示一致，没有显微镜的光路和焦点。

在根据本发明的示例性实施例中，可自动执行在显微镜与探测器之间的选择。自动选择可基于跟踪数据(也就是，是跟踪数据的函数)。在根据本发明的示例性实施例中，可通过对探测器设置较高的优先级来实现自动选择。如果只有显微镜的跟踪数据是可利用的，那么显微镜将被选择作为导航工具并且其AR图像将被显示。如果显微镜和探测器都被跟踪，那么探测器将被选择并且其AR图像将被显示。在这种情况下，例如，显微镜可被忽略。当探测器不被跟踪时，显微镜可例如被自动地选择用来导航。由此视频图像也可被自动地改变。

本发明的***、方法和装置因此使得用户能够在宏观外科手术和显微外科手术中观察“正常视场之外”。这让用户总是知道他或她距离高度敏感或重要的隐藏结构究竟有多近。

Claims (19)

1.一种集成化外科手术导航及可视化***，包括：

显微镜；

附着于所述显微镜的至少一个摄像机；

计算机；

安装在所述计算机中的显微摄像机模型；

探测器；

附着于所述探测器的摄像机；

存储在所述计算机中的探测器摄像机模型；

用于确定所述探测器及所述显微镜的位姿(位置和朝向)的跟踪设备；

预存在所述计算机中的三维病人图像数据；以及

显示器；

其中，所述计算机自动选择与所述探测器或所述显微镜相关联的位姿数据及视频图像用于外科手术导航。

2.如权利要求1所述的***，其中，所述的自动选择基于跟踪数据和定义的探测器视图和显微镜视图的相关优先算法。

3.如权利要求3所述的***，其中，所述显微镜的放大倍率及对焦是可调节的，而且其中传感器检测放大倍率值和对焦的值并将该数据传递给所述计算机。

4.如权利要求1所述的***，其中，具有与附着于所述显微镜的摄像机相匹配的成像属性、位置及朝向的虚拟显微摄像机可根据所述显微摄像机模型、显微镜跟踪数据及显微镜的变焦值和对焦值产生。

5.如权利要求1所述的***，其中，所述显微镜具有焦点，焦点相对于病人的位置可根据所述显微镜的对焦值和所述显微镜的跟踪数据来示出。

6.如权利要求4所述的***，其中，来自附着于所述显微镜的摄像机的视频图像通过虚拟图像来增强，所述虚拟图像由所述计算机根据所述虚拟显微摄像机从所述三维病人图像数据产生，并且在显示器上显示合成图像。

7.如权利要求1所述的***，其中，具有与附着于所述探测器上的摄像机相匹配的成像属性、位置和朝向的虚拟探测器摄像机可根据探测器摄像机模型和探测器跟踪数据来产生。

8.如权利要求4所述的***，其中，来自附着于所述探测器上的摄像机的视频图像通过所述虚拟图像来增强，所述虚拟图像由所述计算机根据所述虚拟探测器摄像机从所述三维病人图像数据产生，并且在所述显示器上显示合成图像。

9.如权利要求2所述的***，其中，用户可以通过起动物理的或声音的接口来控制所述选择。

10.一种外科手术导航及可视化的方法，包括：获取来自病人的三维图像数据；将所述三维图像数据存储在数据处理器中；将所述三维图像数据与所述病人配准；从附着于显微镜上的摄像机获取该病人的实时视频图像；跟踪所述显微镜的位置和朝向；接收所述显微镜的变焦值和对焦值；根据显微摄像机模型、跟踪数据、变焦值和对焦值及所述显微镜来建造虚拟显微摄像机；产生所述病人的三维图像数据的虚拟图像；通过在所述虚拟图像上叠加所述实时视频图像，来产生增强现实图像；以及在一个或多个显示器上显示所述增强现实图像。

11.如权利要求10所述的方法，其中，所述增强现实图像可被数字变焦，而不需要改变所述显微镜的位置、变焦值或者对焦值。

12.如权利要求11所述的方法，其中，在所述数字变焦的增强现实图像中，将真实图像和虚拟图像几何上相互对齐。

13.如权利要求12所述的方法，其中，所述增强现实图像被推远，产生并显示在所述真实图像的视场之外的病人的三维图像数据的虚拟图像；部分覆盖在来自所述摄像机的所述真实图像上。

14.如权利要求13所述的方法，包括为自动选择附着有摄像机的探测器来代替用于外科手术导航的所述显微镜。

15.如权利要求14所述的方法，包括：从附着于所述探测器上的摄像机获得病人的实时视频图像；跟踪所述探测器的位置和朝向；根据探测器摄像机模型和跟踪数据来建造虚拟探测器摄像机；根据所述虚拟探测器摄像机产生病人的三维图像数据的虚拟图像；通过在所述虚拟图像上叠加所述实时视频图像，来产生增强现实图像。

16.如权利要求15所述的方法，其中，可对所述增强现实图像进行数字变焦，而不需要改变所述探测器的位置。

17.如权利要求16所述的方法，包括从附着于所述探测器上的摄像机获取病人的实时视频图像，同时所述显微镜保持在外科手术环境中；根据所述虚拟探测器摄像机产生焦点、光轴及病人的三维图像数据的虚拟图像；通过在所述虚拟图像上叠加所述实时视频图像，来产生增强现实图像。

18.如权利要求10所述的方法，包括在显微外科手术期间对所述探测器进行定位从而根据变化的朝向和位置获得导航视图。

19.如权利要求18所述的方法，其中，外科手术区周围的解剖结构连同所述显微镜的焦点和光轴一起可从所述探测器摄像机的视点显示。

Images