光学跟踪***及光学跟踪***的坐标系整合方法
技术领域
本发明涉及光学跟踪***及光学跟踪***的坐标系整合方法,更详细而言,涉及一种用于跟踪患者或手术工具的光学跟踪***及光学跟踪***的坐标系整合方法。
本发明是从作为知识经济部的产业核心技术开发事业的一环而执行的研究导出的[课题固有编号:10040097,课题名:基于医疗手术机器人影像的耳鼻喉科及神经外科手术用微创多自由度手术机器人***技术开发]。
背景技术
最近,在治疗患者的患处的手术中,利用已拍摄的影像的影像引导手术(image-guided surgery)被大量地应用。特别是需要在避开患者身体内的重要神经和主要脏器的同时进行手术的情况下,要求以已拍摄的影像为基础,进行具有高准确度的手术。
一般而言,已拍摄的影像包括借助于MRI摄像、CT摄像等而获得的三维影像,在开始手术时,需要使这种已拍摄的三维影像的坐标系和患者的坐标系相互一致的整合(registration),在手术进行期间,需要实时掌握患者或手术工具移动导致的位置及姿势变化。另外,当在手术期间,患者的姿势变化时,需要对患者的坐标系进行重新整合(re-registration),持续跟踪患者或患处。
以往,为了这种整合及跟踪,一直使用动态参照装置(dynamic reference base,DRB)。即,事先把所述动态参照装置附着于患者后,拍摄诸如CT的三维影像,在开始手术时,把所述三维影像的坐标系和患者的坐标系相互整合后,在进行手术期间,以所述动态参照装置为基础,跟踪手术工具,从而跟踪针对于患者患处相对的手术工具的位置等。此时,为了整合,需要在所述动态参照装置固定于患者的状态下,事先拍摄三维影像,为了准确跟踪,需要严格固定于患者。
为此,以往,例如采用在患者的骨骼部分作下标记(marker)后对其进行传感并跟踪的方法、对在患者牙齿上附着了标记的模板(template)进行咬模后对其进行传感并跟踪的方法等,或者采用生成人造结构物来加工的STAMP(Surface Template-Assisted MarkerPosition)的方法等。
但是,就如上所述的以往方法而言,存在标记附着困难、因在骨骼作下标记而发生的副作用、因牙齿咬模而可能发生的标记位置变化导致的准确性及可靠性减小、手术前需制作昂贵的STAMP的麻烦和制作所需的大量时间和费用等各种问题。另外,就以往的方法而言,即使动态参照装置严格固定于患者,在患者移动的情况下,所述动态参照装置与患者患处之间的距离、姿势等可能会变化,因而无法实现准确的跟踪,也无法进行重新整合,存在无法使用的问题。因此,以往的方法是假定患者不动而进行手术,但实际上在手术中,患者往往移动,因而实际上在实现准确跟踪方面存在困难。
因此,要求开发一种能够在更短时间以更少费用获得准确的整合结果的整合方法,要求开发一种在手术中,即使在患者移动或姿势变化的情况下,跟踪也比较准确而容易的跟踪***及跟踪方法。
发明内容
解决的技术问题
因此,本发明要解决的课题是提供一种能够在更短时间,以更少费用,准确而容易地跟踪患者或手术工具的光学跟踪***。
本发明要解决的另一课题是提供一种能够在更短时间,以更少费用,准确而容易地跟踪患者或手术工具的光学跟踪***的整合方法。
技术方案
本发明一个示例性实施例的光学跟踪***(optical tracking system)提供用于利用在对患者实施手术之前预先获得的三维影像,跟踪患者或用于对所述患者实施手术的手术工具。所述光学跟踪***包括基准标记(marker)部、形状测量部、跟踪传感器部及处理部。所述基准标记部相对于所述患者进行固定配置。所述形状测量部针对与所述三维影像对应的所述患者的预定部位,测量三维形状。所述跟踪传感器部传感(sensing)所述基准标记部及所述形状测量部,以便能够分别跟踪所述基准标记部及所述形状测量部。所述处理部以所述跟踪传感器部传感的结果为基础,获得所述基准标记部与所述跟踪传感器部之间的坐标变换关系及所述形状测量部与所述跟踪传感器部之间的坐标变换关系,以所述形状测量部测量的结果为基础,获得所述患者的预定部位与所述形状测量部之间的坐标变换关系,从所述获得的坐标变换关系,针对所述基准标记部而定义相对的所述患者的坐标系。
作为一个实施例,所述形状测量部可以包括针对与所述三维影像对应的所述患者的预定部位而测量三维形状的测量装置及安装于所述测量装置的标记,所述跟踪传感器部可以传感所述形状测量部的标记。所述处理部可以获得所述形状测量部的标记与所述跟踪传感器部之间的坐标变换关系及所述形状测量部的所述测量装置与所述标记之间的坐标变换关系。
例如,所述坐标变换关系可以以坐标变换矩阵表现,所述处理部可以根据如下数学式,针对所述基准标记部而定义相对的所述患者的坐标系。
PR=T1-1T2T3T4
(PR为相对于所述基准标记部的所述患者的坐标变换矩阵,T1为相对于所述跟踪传感器部的所述基准标记部的坐标变换矩阵,T2为相对于所述跟踪传感器部的所述形状测量部的标记的坐标变换矩阵,T3为相对于所述形状测量部的标记的所述形状测量部的测量装置的坐标变换矩阵,T4为相对于所述形状测量部的测量装置的所述患者的坐标变换矩阵)
例如,所述跟踪传感器部可以测量用于获得相对于所述跟踪传感器部的所述基准标记部的坐标变换矩阵T1及相对于所述跟踪传感器部的所述形状测量部的标记的坐标变换矩阵T2所需的信息,所述形状测量部可以测量用于获得相对于所述形状测量部的测量装置的所述患者的坐标变换矩阵T4所需的信息。所述处理部可以利用所述多个测量的信息,获得所述多个坐标变换矩阵T1、T2、T4,从所述获得的多个坐标变换矩阵T1、T2、T4,算出相对于所述形状测量部的标记的测量装置的坐标变换矩阵T3及相对于所述基准标记部的所述患者的坐标变换矩阵PR。所述跟踪传感器部及所述形状测量部的测量可以执行2次以上。
作为一个实施例,所述处理部可以以所述形状测量部测量的三维形状为基准,整合在对所述患者实施手术之前预先获得的三维影像的坐标系及针对所述基准标记部而相对定义的所述患者的坐标系。
所述光学跟踪***可以还包括手术工具,所述手术工具包括标记,用于对所述患者实施手术。所述跟踪传感器部可以传感所述手术工具的标记,以便能够跟踪所述手术工具的标记,所述处理部可以以所述跟踪传感器部传感的结果为基础,获得所述基准标记部与所述跟踪传感器部之间的坐标变换关系及所述手术工具的标记与所述跟踪传感器部之间的坐标变换关系,利用所述获得的坐标变换关系及对于所述基准标记部而进行相对定义的所述患者的坐标系,针对所述患者而定义相对的所述手术工具的坐标系。
作为一个实施例,所述处理部可以以所述三维影像的坐标系及所述患者的坐标系的整合结果为基础,整合在对所述患者实施手术之前预先获得的三维影像的坐标系及对于所述患者而下降相对定义的所述手术工具的坐标系。
所述处理部在所述患者移动时,可以自动或手动重新定义所述患者的坐标系。
本发明示例性的另一实施例的光学跟踪***的坐标系整合方法包括:在对患者实施手术之前获得所述患者的三维影像的步骤;借助于跟踪传感器部,传感相对于所述患者进行固定配置的基准标记部及针对与所述三维影像对应的所述患者的预定部位而测量三维形状的形状测量部的步骤;以所述跟踪传感器部传感的结果为基础,获得所述基准标记部与所述跟踪传感器部之间的坐标变换关系及所述形状测量部与所述跟踪传感器部之间的坐标变换关系,以所述形状测量部测量的结果为基础,获得所述患者的预定部位与所述形状测量部之间的坐标变换关系的步骤;及从所述获得的坐标变换关系,针对所述基准标记部而定义相对的所述患者的坐标系的步骤。
作为一个实施例,获得所述基准标记部与所述跟踪传感器部之间的坐标变换关系及所述形状测量部与所述跟踪传感器部之间的坐标变换关系,获得所述患者的预定部位与所述形状测量部之间的坐标变换关系的步骤,可以包括:获得所述基准标记部与所述跟踪传感器部之间的坐标变换关系及所述形状测量部的标记与所述跟踪传感器部之间的坐标变换关系的步骤;获得所述形状测量部的所述测量装置与所述标记之间的坐标变换关系的步骤;及获得所述患者与所述形状测量部的所述测量装置之间的坐标变换关系的步骤。
所述跟踪***的坐标系整合方法在从所述获得的坐标变换关系,针对所述基准标记部而定义相对的所述患者的坐标系的步骤之后,可以还包括:以所述形状测量部测量的三维形状为基础,整合所述获得的三维影像的坐标系及所述定义的所述患者的坐标系的步骤。
所述跟踪***的坐标系整合方法在整合所述获得的三维影像的坐标系及所述定义的所述患者的坐标系的步骤之后,可以还包括:传感对所述患者实施手术所需的手术工具的标记的步骤;以所述跟踪传感器部传感的结果为基础,获得所述基准标记部与所述跟踪传感器部之间的坐标变换关系及所述手术工具的标记与所述跟踪传感器部之间的坐标变换关系的步骤;及利用所述获得的坐标变换关系及对于所述基准标记部而进行相对定义的所述患者的坐标系,针对所述患者而定义相对的所述手术工具的坐标系的步骤。
所述跟踪***的坐标系整合方法在针对所述患者而定义相对的所述手术工具的坐标系的步骤之后,可以还包括:以所述三维影像的坐标系及所述患者的坐标系的整合结果为基础,整合所述获得的三维影像的坐标系及所述定义的所述手术工具的坐标系的步骤。
当所述患者移动时,借助于跟踪传感器部,传感相对于所述患者进行固定配置的基准标记部及针对与所述三维影像对应的所述患者的预定部位而测量三维形状的形状测量部的步骤之后,将可以被反复执行。
发明效果
根据本发明,光学跟踪***具备形状测量部,可以针对患者的预定部位而测量三维形状,跟踪传感器部传感所述形状测量部和基准标记部,从而能够从它们之间的坐标变换关系,针对所述基准标记部而定义相对的所述患者的坐标系,在实施手术时,可以实时跟踪所述患者及手术工具。
另外,针对所述基准标记部而定义相对的所述患者的坐标系的过程,可以容易地重新执行,因而即使在所述患者移动或姿势变化的情况下,也可以准确地重新设置坐标系,可以准确地实时跟踪所述患者及所述手术工具。
另外,可以以实施手术时测量的所述患者的三维形状本身为标志进行整合,因而即使不把动态参照装置(DRB)直接附着于患者,也可以相互整合在实施手术之前预先获得的三维影像的坐标系、在实施手术时会实时移动的患者的坐标系及手术工具的坐标系。而且,即使在预先获得所述三维影像时,也不需要附着所述动态参照装置,可以随时重新设置及重新整合坐标系,因而所述基准标记部也不需要对所述患者进行严格固定。
因此,可以解决把标记直接附着于患者而引起的患者痛苦和误差、需要在手术前制作STAMP等作业上的麻烦和所需时间及费用较多等以往技术的问题。
即,无需另外的准备过程,便可以在手术室内迅速设置患者的坐标系并执行影像整合,因而能够以更短时间及较少费用,准确、容易地进行患者的坐标系及手术工具的坐标系的设置及影像整合,省略直接附着于患者的动态参照装置(DRB),无需对患者施加直接操作,能够减轻患者的痛苦及副作用。
附图说明
图1是显示本发明一个实施例的光学跟踪***的概念图。
图2是用于说明图1的光学跟踪***的建模过程的概念图。
图3是用于说明图1的光学跟踪***进行手术工具的跟踪及整合的概念图。
图4是显示本发明一个实施例的光学跟踪***的坐标系整合方法的流程图。
具体实施方式
本发明可以施加多样的变更,可以具有多种形态,且在附图中示例性图示了特定实施例,在正文中进行了详细的说明。但是,这并非要针对特定的公开形态限定本发明,应理解为包括本发明的思想及技术范围包含的所有变更、等同物以及替代物。
第一、第二等术语可以用于说明多样的构成要素,但所述构成要素不得由所述术语所限定。所述术语只用于把一个构成要素区别于其它构成要素的目的。例如,在不超出本发明的权利范围的同时,第一构成要素可以命名为第二构成要素,类似地,第二构成要素也可以命名为第一构成要素。
本申请中使用的术语只是为了说明特定实施例而使用的,并非意图限定本发明。只要在文理上未明确表示不同,单数的表现包括复数的表现。在本申请中,“包括”或“具有”等术语应理解为要指定说明书中记载的特征、数字、步骤、动作、构成要素、部件或它们组合的存在,不预先排除一个或其以上的其它特征或数字、步骤、动作、构成要素、部件或它们的组合的存在或附加可能性。
只要未不同地定义,包括技术性或科学性术语在内,在此使用的所有术语具有与本发明所属技术领域的技术人员一般理解的内容相同的意义。
与一般使用的词典中定义的内容相同的术语,应解释为具有与相关技术的文理上具有的意义一致的意义,只要在本申请中未明确定义,不得解释为理想性的过度的形式上的意义。
下面参照附图,更详细地说明本发明的优选实施例。
图1是显示本发明一个实施例的光学跟踪***的概念图。
本发明一个实施例的光学跟踪***(optical tracking system)提供用于利用在对患者实施手术之前预先获得的三维影像,跟踪患者或对所述患者实施手术所需的手术工具。
所述三维影像作为在对所述患者10实施手术之前预先获得的影像,可以在所述患者10实施手术时用作基准影像。其中,所述实施手术包括包含手术在内的对患者的全部医疗性治疗行为。例如,所述三维影像可以包括为了诊断及治疗而在医院中一般获得的CT(计算机断层扫描,computed tomography)影像。不同于此,所述三维影像可以包括诸如MRI(磁共振成象,magnetic resonance imaging)等的其它三维影像。另外,其中,所述三维影像作为还包括对诸如CT影像的直接拍摄影像进行操作或再构成的影像的概念,是均包括实际实施手术时广泛使用的多平面再构成影像及三维再构成影像的概念。
如果参照图1,所述光学跟踪***100包括基准标记(marker)部110、形状测量部120、跟踪传感器部130及处理部140。
所述基准标记部110相对于患者10进行固定配置。
在所述基准标记部110安装有标记112,所述标记112能够发生能量或信号,以便后述的跟踪传感器部130能够传感。例如,可以在所述基准标记部110安装多个标记,也可以安装形成了预定图案的一个标记。
所述基准标记部110虽然与以往的动态参照装置(DRB)对应,但所述基准标记部110不同于以往的动态参照装置,并不成为整合的基准,因而当拍摄诸如CT、MRI的所述三维影像时,不需要将其附着于所述患者10。另外,以往的动态参照装置必须直接附着于所述患者10,需要针对所述患者10进行严格固定,相反,所述基准标记部110虽然也可以直接附着于所述患者10,但只需针对所述患者10而相对固定即可,因而可以附着于手术室的床等其它固定物体,不需要针对所述患者10进行严格固定。
所述形状测量部120针对与所述三维影像对应的所述患者10的预定部位,测量三维形状。
作为一个实施例,所述形状测量部120可以包括测量装置122及标记124。
所述测量装置122针对与所述三维影像对应的所述患者10的预定部位,测量三维形状。作为一个实施例,所述测量装置122向所述患者10的预定部位照射格子图案光,获得根据所述格子图案光的对所述患者10的预定部位的反射图后,可以对所述获得的反射图应用桶算法(bucket algorithm),测量三维形状。另外,也可以从所述测量的三维形状获得三维影像。
所述标记124安装于所述测量装置122。所述标记124可以发生能量或信号,以便后述的跟踪传感器部130能够传感。例如,在所述形状测量部120可以安装有多个标记,也可以安装形成了预定图案的一个标记。
所述跟踪传感器部130传感(sensing)所述基准标记部110及所述形状测量部120,以便能够分别跟踪所述基准标记部110及所述形状测量部120。
例如,所述跟踪传感器部130可以传感所述基准标记部110的标记112,可以传感所述形状测量部120的标记124。因此,可以获知所述基准标记部110的位置和/或姿势,可以获知所述形状测量部120的位置和/或姿势。
所述处理部140例如可以包括计算机或计算机的中央处理装置。
所述处理部140以所述跟踪传感器部130传感的结果为基础,获得所述基准标记部110与所述跟踪传感器部130之间的坐标变换关系及所述形状测量部120与所述跟踪传感器部130之间的坐标变换关系。另外,所述处理部140以所述形状测量部120测量的结果为基础,获得所述患者10的预定部位与所述形状测量部120之间的坐标变换关系。其中,所述坐标变换关系例如可以定义为矩阵形态。
所述处理部140从所述获得的坐标变换关系,针对所述基准标记部110而定义相对的所述患者10的坐标系。例如,所述坐标系可以定义为矩阵形态。
另一方面,所述形状测量部120的所述测量装置122的测量位置和所述形状测量部120的标记124的位置稍有差异,因而为了准确定义坐标系,也可以对所述测量装置122与所述标记124之间的位置差异导致的误差进行校准(calibration)。因此,所述处理部140可以独立地获得所述形状测量部120的标记124与所述跟踪传感器部130之间的坐标变换关系及所述形状测量部120的所述测量装置122与所述标记124之间的坐标变换关系。
例如,所述坐标变换关系可以表现为坐标变换矩阵。
下面参照附图,更详细地说明用于利用所述坐标变换关系来定义所述患者10的坐标系的所述光学跟踪***100的建模设置及解决过程。
图2是用于说明图1的光学跟踪***的建模过程的概念图。
如果参照图2,所述光学跟踪***100可以分别用坐标变换矩阵T1、T2、T3、T4及PR代表所述坐标变换关系。
其中,PR意味着相对于所述基准标记部110的所述患者10的坐标变换矩阵,T1为相对于所述跟踪传感器部130的所述基准标记部110的坐标变换矩阵,T2为相对于所述跟踪传感器部130的所述形状测量部120的标记124的坐标变换矩阵,T3为相对于所述形状测量部120的标记124的测量装置122的坐标变换矩阵,T4为相对于所述形状测量部120的测量装置122的所述患者10的坐标变换矩阵。
如果以图2所示的箭头方向为基础形成闭环(closed loop)的方式,将相对于所述基准标记部110的所述患者10的坐标变换矩阵PR以T1、T2、T3及T4进行表示,则可以获得数学式1。
(数学式1)
PR=T1-1T2T3T4
另一方面,从所述跟踪传感器部130至所述患者10,形成互不相同的两条路径且成为闭环,获得数学式2后,即使对其进行变形,也可以获得作为相同结果的数学式1。
(数学式2)
T1PR=T2T3T4
所述处理部140根据数学式1(或数学式2)而获得坐标变换矩阵PR,从而可以针对所述基准标记部110而定义相对的所述患者10的坐标系。
例如,所述跟踪传感器部130可以测量用于获得相对于所述跟踪传感器部130的所述基准标记部110的坐标变换矩阵T1及相对于所述跟踪传感器部130的所述形状测量部120的标记的坐标变换矩阵T2所需的信息,所述形状测量部120可以测量用于获得相对于所述形状测量部120测量装置的所述患者10的坐标变换矩阵T4所需的信息。所述处理部140可以利用所述测量的信息,获得坐标变换矩阵T1、T2、T4,可以从所述获得的坐标变换矩阵T1、T2、T4,算出相对于所述形状测量部120的标记122的测量装置124的坐标变换矩阵T3及相对于所述基准标记部110的所述患者10的坐标变换矩阵PR。
具体而言,所述坐标变换矩阵T3、PR可以应用如下的数学方式而获得,所述处理部140可以体现这种数学方式,算出所述坐标变换矩阵T3、PR。
首先,如果构成所述坐标变换矩阵而使得包括旋转变换部分R和位置变换部分t后,将其代入数学式2并整理,则可以获得数学式3。
(数学式3)
如果整理数学式3,则可以获得数学式4。
(数学式4)
如果把数学式4的各成分表现为等式,则可以获得数学式5及数学式6。
(数学式5)
RT1RPR-RT2RT3RT4=0
(数学式6)
RT1tPR+tT1-RT2RT3tT4-RT2tT3-tT2=0
在数学式5中,如果定义RTT并整理数学式5,则可以获得数学式7。
(数学式7)
另外,在数学式6中,如果追加定义tTT并整理数学式6,则可以获得数学式8。
(数学式8)
在数学式7及数学式8中,旋转变换矩阵R具有3×3形态,位置变换矩阵t具有3×1形态,因而可以从数学式7,获得作为关于3×3矩阵的各成分的公式的9个方程式,可以从数学式8,获得作为关于3×1矩阵的各成分的公式的3个方程式。
在数学式7中,可以从前面说明的测量获知RTT的所有成分(即,RT1及RT2的所有成分)及RT4的所有成分,在数学式8中,在此基础上,还可以获知tT4的所有成分,因而未知数为RPR和RT3各自的9个成分与tPR和tT4各自的3个成分,共24个。
数学式7及数学式8是全部包括24个未知数的12个方程式,因而通过2次以上测量,可以求出更准确的解,因此,所述跟踪传感器部130及所述形状测量部120的测量可以执行2次以上。
因此,可以利用如上所述测量的坐标变换关系,定义所述患者10的坐标系。
为了获得所述坐标变换矩阵T3、PR,所述数学方式也可以借助于其它方式替代。例如,所述处理部140可以应用对偶四元数(dual quaternion)方式而算出所述坐标变换矩阵T3、PR。
具体而言,首先,可以从前面记述的数学式1获得如下数学式9,可以变形数学式9而获得如下数学式10。
(数学式9)
T1PR-T2T3T4=0
(数学式10)
(T1+εT1′)(PR+εPR′)-(T2+εT2′)(T3+εT3′)(T4+εT4′)=0
如果展开数学式10并去除高次项,则可以获得数学式11。
(数学式11)
T1PR′+T1′PR-T2T3T4′-T2T3′T4-T2′T3T4=0
如果分别应用对偶四元数方式,变形数学式9和数学式11,则可以获得如下数学式12和如下数学式13。
(数学式12)
(数学式13)
如果把数学式12及数学式13变形为矩阵方程式形态,则可以获得如下数学式14,可以从数学式14算出所述坐标变换矩阵T3、PR。
(数学式14)
另一方面,所述处理部140可以以所述形状测量部120测量的三维形状为基础,整合在对所述患者10实施手术之前预先获得的三维影像的坐标系及对于所述基准标记部110而进行相对定义的所述患者10的坐标系。
具体而言,取代在所述患者10直接附着标记或与标记相应的结构物,并以此为基础整合三维影像的坐标系和患者的坐标系,而是以所述三维形状自身为标志,整合(natural landmark)如上所述获得的三维形状(或由此获得的三维影像)的坐标系和所述三维影像的坐标系。
如上所述,所述处理部140可以从所述坐标变换关系,针对所述基准标记部110而定义相对的所述患者10的坐标系,在实时手术时,实时跟踪所述患者10。
另一方面,针对所述基准标记部110而定义相对的所述患者10的坐标系的过程,可以自动或由使用者手动而容易地重新执行。即,所述处理部140在所述患者10移动时,可以自动或手动重新定义所述患者的坐标系。此时,即使并非所述患者10直接移动的情形,在所述患者10与所述基准标记部110之间的距离变化的情况下,可以视为所述患者10移动的情形。
所述处理部140,针对所述基准标记部110而定义相对的所述患者10的坐标系的过程,可以自动或由使用者手动而容易地重新执行。
因此,当所述患者10移动或姿势变化时,重新执行定义所述坐标系的过程,从而可以准确地重新设置坐标系(获得变化的PR)。
作为一个实施例,所述光学跟踪***100可以包括感知所述患者10移动的移动感知部(图中未示出),替代独立包含其的情形,也可以由所述跟踪传感器部130感知所述患者10的移动。如果所述移动感知部或所述跟踪传感器部130感知所述患者10的移动,则所述处理部140可以重新执行定义所述坐标系的过程,从而重新设置所述坐标系。
因此,可以针对所述基准标记部110而实时定义相对的所述患者10的坐标系,因而在实施手术期间,即使在患者移动或姿势变化的情况下,也可以实时准确地跟踪所述患者10。
另外,可以以实施手术时测量的三维形状本身为标志进行整合,因而即使不把诸如附着于患者的标记或与标记相应的结构物的动态参照装置(DRB)直接附着于所述患者10,也可以相互整合在实施手术之前预先获得的三维影像的坐标系与会在实施手术时实时移动的患者10的坐标系。而且,即使在事先获得所述三维影像时,也不需要附着所述动态参照装置,可以随时进行坐标系的重新设置及重新整合,因此,所述基准标记部110也不需要相对于所述患者10进行严格固定。
因此,可以解决把标记直接附着于患者而引起的患者痛苦和误差、需要在手术前制作STAMP等作业的麻烦和所需时间及费用较多等以往技术的问题。即,无需另外的准备过程,便能够在手术室内迅速设置患者的坐标系,执行影像整合,因而能够以更短时间及更少费用,准确、容易地进行患者的坐标系的设置及影像整合,省略直接附着于患者的动态参照装置(DRB),无需直接对患者施加操作,因而能够减轻患者的痛苦及副作用。
图3是用于说明图1的光学跟踪***进行手术工具的跟踪及整合的概念图。
如果参照图3,所述光学跟踪***100可以还包括手术工具150。
所述手术工具150作为用于对所述患者10实施手术的工具,包含标记152。所述标记152和所述标记112可以发生能量或信号,以便所述跟踪传感器部130能够传感。例如,所述标记152可以形成多个,也可以包括图案信息。
所述跟踪传感器部130可以传感所述手术工具150的标记152,跟踪所述手术工具150。
所述处理部140以所述跟踪传感器部130传感的结果为基础,获得所述基准标记部110与所述跟踪传感器部130之间的坐标变换关系及所述手术工具150的标记152与所述跟踪传感器部130之间的坐标变换关系。其中,所述坐标变换关系例如可以定义为矩阵形态,可以以坐标变换矩阵表现。
所述处理部140可以利用所述获得的坐标变换关系及对于所述基准标记部110而进行相对定义的所述患者10的坐标系,针对所述患者10而定义相对的所述手术工具150的坐标系。例如,所述坐标系可以定义为矩阵形态。
所述基准标记部110相对于所述患者10进行固定配置,因而可以利用前面图1及图2中说明的对于所述基准标记部110而进行相对定义的所述患者10的坐标系。即,如果利用对于所述基准标记部110的所述患者10的坐标变换矩阵PR,利用所述跟踪传感器130传感并算出的坐标变换矩阵T1'及T2',那么,根据从数学式1及数学式2变形的如下数学式15,可知对于所述患者10而进行相对定义的所述手术工具150的坐标变换矩阵T5。
(数学式15)
PR=T1′-1T2′T5,T1′PR=T2′T5
因此,利用如上所述测量的坐标变换关系,可以针对所述患者10而定义相对的所述手术工具150的坐标系。
在图3及数学式15中,所述手术工具150的坐标变换矩阵T5以所述标记152为基础进行了图示,但也可以以需要跟踪的地点,例如,以所述手术工具150的端部154为基础,定义坐标变换矩阵。即,可以利用相对于所述手术工具150的标记152的端部154的坐标变换矩阵T3'及相对于所述手术工具150的端部154的所述患者10的坐标变换矩阵T4',定义所述坐标变换矩阵T5(T5=T3'T4'),此时,T3'可以从所述手术工具150的几何学形状获知,因而可以以所述端部154为基础,针对所述患者10而定义相对的所述手术工具150的坐标系。
另一方面,所述处理部140可以以所述三维影像的坐标系及所述患者的坐标系的整合结果为基础,整合在对所述患者10实施手术之前预先获得的三维影像的坐标系及对于所述患者10而进行相对定义的所述手术工具150的坐标系。
即,如在图1及图2中所作的说明,可以以所述形状测量部120测量的三维形状为基础,整合在对所述患者10实施手术之前预先获得的三维影像的坐标系及对于所述基准标记部110而进行相对定义的所述患者10的坐标系,如上面所作的说明,可以针对所述患者10而定义相对的手术工具150的坐标系,因此,可以相互整合在对所述患者10实施手术之前预先获得的三维影像的坐标系及对于所述患者10而进行相对定义的所述手术工具150的坐标系。
所述光学跟踪***100可以还包括与所述处理部140连接的显示部(图中未示出)。所述显示部可以显示所述在实施手术之前预先获得的三维影像、所述形状测量部120测量的三维形状的影像、所述手术工具150的影像、所述影像整合后的重叠影像等。
如上所述,所述处理部140可以从所述坐标变换关系,针对所述患者10而定义相对的所述手术工具150的坐标系,在实施手术时,可以实时跟踪所述手术工具150。
另一方面,针对所述基准标记部110而定义相对的所述患者10的坐标系的过程,可以自动或借助于使用者而手动容易地重新执行。即,所述处理部140在所述患者10移动时,可以自动或手动重新定义所述患者的坐标系。此时,即使不是所述患者10直接移动的情形,在所述患者10与所述基准标记部110之间的距离变化的情况下,可以视为所述患者10移动的情形。
因此,当所述患者10移动或姿势变化时,重新执行定义所述坐标系的过程,从而能够准确地重新设置坐标系(获得变化的PR)。另外,所述处理部140还可以针对所述患者10而重新设置相对的所述手术工具150的坐标系,在实施手术时,可以实时跟踪所述手术工具150。
因此,可以针对所述基准标记部110而实时定义相对的所述患者10的坐标系,因而在实施手术期间,即使在患者移动或姿势变化的情况下,也可以实时准确地跟踪所述手术工具150。
另外,即使不把诸如附着于患者的标记或与标记相应的结构物的动态参照装置(DRB)直接附着于所述患者10,也可以相互整合在实施手术之前预先获得的三维影像的坐标系与在实施手术时实时移动的手术工具150的坐标系。而且,即使在事先获得所述三维影像时,也不需要附着所述动态参照装置,可以随时进行坐标系的重新设置及重新整合,因此,所述基准标记部110不需要相对于所述患者10进行严格固定。
因此,可以解决把标记直接附着于患者而引起的患者痛苦和误差、需要在手术前制作STAMP等作业的麻烦和所需时间及费用较多等以往技术的问题。即,无需另外的准备过程,便能够在手术室内迅速设置手术工具的坐标系,执行影像整合,因而能够以更短时间及更少费用,准确、容易地进行手术工具的坐标系的设置及影像整合,省略直接附着于患者的动态参照装置(DRB),无需直接对患者施加操作,因而能够减轻患者的痛苦及副作用。
下面以附图为参照,说明利用所述光学跟踪***100,整合在实施手术之前预先拍摄的三维影像的坐标系与患者患处和手术器具所在的实施手术时的实际世界的坐标系的过程。
图4是显示本发明一个实施例的光学跟踪***的坐标系整合方法的流程图。
如果参照图1~图4,首先,在对患者10实施手术之前,获得所述患者10的三维影像,例如,CT影像(S110)。
可以把如上所述在实施手术之前预先获得的诸如CT影像的三维影像(包括对此进行再构成的影像),例如存储于计算机。
接着,如上所述执行实施手术时的过程。
首先,借助于跟踪传感器部130,传感相对于所述患者10而进行固定配置的基准标记部110及针对与所述三维影像对应的所述患者10的预定部位而测量三维形状的形状测量部120(S120)。
然后,以所述跟踪传感器部130传感的结果为基础,获得所述基准标记部110与所述跟踪传感器部130之间的坐标变换关系及所述形状测量部120与所述跟踪传感器部130之间的坐标变换关系,以所述形状测量部120测量的结果为基础,获得所述患者10的预定部位与所述形状测量部120之间的坐标变换关系(S130)。
此时,可以获得所述基准标记部110与所述跟踪传感器部130之间的坐标变换关系及所述形状测量部120的标记与所述跟踪传感器部130之间的坐标变换关系,获得所述形状测量部120的所述测量装置122与所述标记124之间的坐标变换关系,获得所述患者10与所述形状测量部120的所述测量装置122之间的坐标变换关系。
接着,从所述获得的坐标变换关系,针对所述基准标记部110而定义相对的所述患者10的坐标系(S140)。
然后,以所述形状测量部120测量的三维形状为基础,整合所述获得的三维影像的坐标系及所述定义的所述患者10的坐标系(S150)。
如上所述,可以对于所述基准标记部110而进行相对定义所述患者10的坐标系,整合预先获得的诸如CT影像的三维影像的坐标系与所述患者10的坐标系。
向诸如医师的实施手术者提供附着了标记152的手术工具150,所述手术实施者可以直接或利用手术机器人等设备,运用对所述患者10实施手术所需的所述手术工具150。对于所述手术工具150,执行如下所述跟踪所需的过程。
所述跟踪传感器部130传感所述手术工具150的标记152(S160)。
接着,以所述跟踪传感器部130传感的结果为基础,获得所述基准标记部110与所述跟踪传感器部130之间的坐标变换关系及所述手术工具150的标记152与所述跟踪传感器部130之间的坐标变换关系(S170)。
然后,利用所述获得的坐标变换关系及对于所述基准标记部110而进行相对定义的所述患者10的坐标系,针对所述患者10而定义相对的所述手术工具150的坐标系(S180)。
接着,以所述三维影像的坐标系及所述患者的坐标系的整合结果为基础,整合所述获得的三维影像的坐标系及所述定义的所述手术工具150的坐标系(S190)。
如上所述,可以对于所述患者10而进行相对定义对所述患者10实施手术所需的手术工具150的坐标系,整合预先获得的诸如CT影像的三维影像的坐标系和所述手术工具10的坐标系。
另一方面,当所述患者10移动时,可以自动或手动重新定义所述患者的坐标系,因而可以反复进行前面的借助于跟踪传感器部130而传感所述形状测量部120的过程(S120)。此时,即使并非所述患者10直接移动的情形,在所述患者10与所述基准标记部110之间的距离变化的情况下,可以视为所述患者10移动的情形。
在本实施例中,以图4的流程图为参照,简略说明了所述光学跟踪***100的坐标系整合方法,但所述光学跟踪***100的具体动作与前面图1~图3中说明的内容实质上相同,因而省略重复的详细说明。
根据本发明,光学跟踪***具备形状测量部,针对患者的预定部位测量三维形状,跟踪传感器部传感所述形状测量部和基准标记部,从而可以从它们之间的坐标变换关系,针对所述基准标记部而定义相对的所述患者的坐标系,在实施手术时,可以实时跟踪所述患者及手术工具。
另外,可以容易地重新执行针对所述基准标记部而定义相对的所述患者的坐标系的过程,因而即使在所述患者移动或姿势变化的情况下,也可以准确地重新设置坐标系,可以实时准确地跟踪所述患者及所述手术工具。
另外,可以以实施手术时测量的所述患者的三维形状本身为标志进行整合,因而即使不把动态参照装置(DRB)直接附着于患者,也可以相互整合在实施手术之前预先获得的三维影像的坐标系与在实施手术时会实时移动的患者的坐标系及手术工具的坐标系。而且,即使在事先获得所述三维影像时,也不需要附着所述动态参照装置,可以随时重新设置及重新整合坐标系,因而所述基准标记部也不需要对所述患者进行严格固定。
因此,可以解决把标记直接附着于患者而引起的患者痛苦和误差、需要在手术前制作STAMP等作业的麻烦和所需时间及费用较多等以往技术的问题。
即,无需另外的准备过程,便可以在手术室内迅速设置患者的坐标系并执行影像整合,因而能够以更短时间及较少费用,准确、容易地进行患者坐标系及手术工具的坐标系的设置及影像整合,省略直接附着于患者的动态参照装置(DRB),无需对患者施加直接操作,因而能够减轻患者的痛苦及副作用。
在前面说明的本发明的详细说明中,参照本发明的优选实施例进行了说明,但只要是相应技术领域的熟练从业人员或相应领域的普通技术人员便会理解,在不超出后述的专利权利要求书记载的本发明的思想及技术领域的范围内,可以多样地修订及变更本发明。因此,前述说明以及以下附图应解释为是对本发明进行的示例而非用于限定本发明的技术思想。
【附图标记】
100:光学跟踪***,110:基准标记部,120:形状测量部,130:跟踪传感器部,140:处理部,150:手术工具。