CN108629845B - 手术导航装置、设备、***和可读存储介质 - Google Patents

Abstract

本发明提供一种手术导航方法、装置、设备、***和可读存储介质，该方法包括：从计算机设备中获取术中设备在世界坐标系下的坐标位置；获取计算机设备输入的第一三维模型，以及获取超声影像***输入的第二三维模型；其中，第一三维模型和第二三维模型均为基于病灶信息建立的模型，第一三维模型中携带手术信息；根据预设的操作工具的第三三维模型、第一三维模型、第二三维模型以及术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型；其中，第二三维模型与术中的实际病灶位置匹配，第三三维模型与术中所使用的操作工具位置匹配。该方法可提高手术的精度以及降低手术的复杂度。

Description

手术导航装置、设备、***和可读存储介质

技术领域

本申请涉及增强现实技术领域，特别是涉及一种手术导航方法、装置、设备、***和可读存储介质。

背景技术

随着3D打印技术的日益成熟，3D打印技术可普遍的应用在外科手术中，例如，将3D打印技术应用在骨科以及胸外科等。

在传统技术中，将3D打印技术应用在外科手术中的过程为：采集病灶处的数据信息，并根据所采集的病灶处的数据信息，利用3D打印技术将病灶模型打印出来，使得术者可以根据病灶模型了解病灶处的信息(例如，病灶处的血管、神经的位置信息等)，提前制定手术方案，从而使得术者可以根据提前制定的手术方案以及病灶模型，为患者实施手术。

但是，在采用传统技术实施手术时，手术过程复杂，且手术精度不高。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低手术过程的复杂度以及提高手术精度的手术导航方法、装置、设备、***和可读存储介质。

第一方面，提供一种手术导航方法，所述方法包括：

从计算机设备中获取术中设备在世界坐标系下的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

获取计算机设备输入的第一三维模型，以及获取所述超声影像***输入的第二三维模型；其中，所述第一三维模型和所述第二三维模型均为基于病灶信息建立的模型，所述第一三维模型中携带手术信息；所述第二三维模型与术中的实际病灶位置匹配；

根据预设的操作工具的第三三维模型、第一三维模型、所述第二三维模型以及所述术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型；其中，所述第三三维模型与术中所使用的操作工具位置匹配。

在其中一种实施例中，所述手术信息包括：术中在病灶上的进刀位置、进刀角度、切割线中的至少一种。

本实施例提供的手术导航方法，AR设备从计算机设备中获取术中设备在世界坐标系下的坐标位置以及获取计算机设备输入的第一三维模型，以及获取超声影像***输入的第二三维模型，并根据预设的操作工具的第三三维模型、第一三维模型、第二三维模型以及术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型。在本实施例中，第二三维模型与真实病灶重合，对应的，第三三维模型与术中所使用的操作工具重合。当术者操作术中所使用的操作工具时，例如手术刀，当手术刀在真实病灶上的一预设位置进行切割时，术者通过AR设备看到的是第三三维模型在第二三维模型上与上述预设位置相对应的位置进行切割。这样，术者就可以基于 AR设备所看到的信息进行手术。也就是说，术者可基于AR设备看到一个透明的病灶，可根据该透明的病灶进行手术，因此，术者在进行手术时，可有效的避开病灶处的重要血管、神经、组织等，减少对病灶临近组织的损害等，即提高手术的精度。同时，第一三维模型、第二三维模型以及第三三维模型位于同一视野范围内，且第一三维模型上携带有手术信息，这样，术者可无需来回切换视线，便可参照第一三维模型上的携带的手术信息，通过术中所使用的操作工具在病灶上实施手术，从而降低手术复杂度。

第二方面，提供一种手术导航方法，所述方法包括：

根据影像设备采集的病灶图像获取第一三维模型；其中，所述第一三维模型中携带手术信息；

对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，并将所述术中设备在摄像坐标系下的坐标位置转换为世界坐标系下的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

将所述第一三维模型和所述术中设备在所述世界坐标系下的坐标位置发送至所述AR设备。

本实施例中，计算机设备根据影像设备采集的病灶图像获取第一三维模型；对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，并将术中设备在摄像坐标系下的坐标位置转换为世界坐标系的坐标位置以及将第一三维模型和所述术中设备在世界坐标系下的坐标位置发送至 AR设备，从而使得AR设备可以将第一三维模型和所获取的病灶的第二三维模型以及手术操作工具的第三三维模型显示在世界坐标系下。在本实施例中，第二三维模型与真实病灶重合，对应的，第三三维模型与术中所使用的操作工具重合。当术者操作术中所使用的操作工具时，例如手术刀，当手术刀在真实病灶上的一预设位置进行切割时，术者通过AR设备看到的是第三三维模型在第二三维模型上与上述预设位置相对应的位置进行切割。这样，术者就可以基于AR 设备所看到的信息进行手术。也就是说，术者可基于AR设备看到一个透明的病灶，可根据该透明的病灶进行手术，因此，术者在进行手术时，可有效的避开病灶处的重要血管、神经、组织等，减少对病灶临近组织的损害等，即提高手术的精度。同时，第一三维模型、第二三维模型以及第三三维模型位于同一视野范围内，且第一三维模型上携带有手术信息，这样，术者可无需来回切换视线，便可参照第一三维模型上的携带的手术信息，通过术中所使用的操作工具在病灶上实施手术，从而降低手术复杂度。

在其中一种实施例中，所述对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，包括：

获取红外摄像机拍摄的所述术中设备的红外图像；其中，不同的术中设备的红外图像对应的频率不同；

根据所述术中设备的红外图像对应的频率，对所述术中设备的红外图像进行识别并解析，得到所述术中设备在摄像坐标系下的坐标位置。

在本实施例中，计算机设备获取红外摄像机拍摄的术中设备的红外图像；不同的术中设备的红外图像对应的频率不同；根据术中设备的红外图像对应的频率，对术中设备的红外图像进行识别并解析，得到术中设备在摄像坐标系下的坐标位置。由于该实施例中仅可通过一个红外摄像机便可确定出其所拍摄的红外图像中对应的术中设备，进一步的确定出多个术中设备在摄像坐标系下的坐标位置，这样，有效的降低了红外摄像机的个数，进而降低成本以及降低手术环境的复杂度。

第三方面，提供一种手术导航方法，该方法包括：

计算机设备根据影像设备采集的病灶图像获取第一三维模型；其中，所述第一三维模型中携带手术信息；

所述计算机设备对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，并将所述术中设备在摄像坐标系下的坐标位置转换为世界坐标系的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

所述计算机设备将所述第一三维模型和所述术中设备在所述世界坐标系下的坐标位置发送至所述AR设备；

所述AR设备获取所述计算机设备输出的所述术中设备在世界坐标系下的坐标位置、第一三维模型，以及获取所述超声影像***输入的第二三维模型；其中，所述第一三维模型和所述第二三维模型均为基于病灶信息建立的模型，所述第一三维模型中携带手术信息，所述第二三维模型与术中的实际病灶位置匹配；

所述AR设备根据预设的操作工具的第三三维模型、第一三维模型、所述第二三维模型以及所述术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型；其中，所述第三三维模型与术中的实际操作工具位置匹配。

本实施例的方法所带来的有益效果可以参见上述第一方面的各个实施例以及第二方面的各个实施例的有益效果，在此不再赘述。

第四方面，提供一种手术导航装置，包括：

第一获取模块，用于从计算机设备中获取术中设备在世界坐标系下的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

第二获取模块，用于获取计算机设备输入的第一三维模型，以及获取所述超声影像***输入的第二三维模型；其中，所述第一三维模型和所述第二三维模型均为基于病灶信息建立的模型，所述第一三维模型中携带手术信息，所述第二三维模型与术中的实际病灶位置匹配；

显示模块，用于根据预设的操作工具的第三三维模型、第一三维模型、所述第二三维模型以及所述术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型；其中，所述第三三维模型与术中的实际操作工具位置匹配。

第五方面，提供一种手术导航装置，包括：

获取模块，用于根据影像设备采集的病灶图像获取第一三维模型；其中，所述第一三维模型中携带手术信息；

坐标转换模块，用于对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，并将所述术中设备在摄像坐标系下的坐标位置转换为世界坐标系的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

发送模块，用于将所述第一三维模型和所述术中设备在所述世界坐标系下的坐标位置发送至所述AR设备。

第六方面，提供一种手术导航***，包括：AR设备、计算机设备、超声影像***、影像设备以及红外摄像机；

所述红外摄像机，用于采集术中设备的红外图像，并将所述红外图像输出给所述计算机设备；

所述影像设备，用于采集病灶图像，并将所述病灶图像输出给所述计算机设备，以使所述计算机设备根据所述病灶图像生成第一三维模型，所述第一三维模型中携带手术信息，所述第二三维模型与术中的实际病灶位置匹配；

所述超声影像***，用于采集所述病灶图像，并根据所述病灶图像建立第二三维模型；

所述AR设备，用于执行前述第一方面提供的任一实施例中所述手术导航方法的步骤；

所述计算机设备，用于执行前述第二方面提供的任一实施例中所述手术导航方法的步骤。

第七方面，提供一种增强现实AR设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器用于执行所述计算机程序时实现前述第一方面提供的任一实施例中所述手术导航方法的步骤。

第八方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器用于执行所述计算机程序时实现前述第二方面提供的任一实施例中所述手术导航方法的步骤。

第九方面，提供一种计算机设备可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述第一方面提供的任一实施例中所述手术导航方法的步骤。

第十方面，提供一种计算机设备可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述第二方面提供的任一实施例中所述手术导航方法的步骤。

本实施例提供的手术导航装置、设备、***和可读存储介质，一方面，能够使得计算机设备根据影像设备采集的病灶图像获取第一三维模型，并且对所获取的术中设备的红外图像进行解析处理，然后得到术中设备在摄像坐标系下的坐标位置，进而将术中设备在摄像坐标系下的坐标位置转换为世界坐标系下的坐标位置，最后将第一三维模型和术中设备在所述世界坐标系下的坐标位置发送至所述AR设备。另一方面，能够使得AR设备从计算机设备中获取术中设备在世界坐标系下的坐标位置，同时，获取计算机设备输入的第一三维模型，以及获取超声影像***输入的第二三维模型，最后根据预设的操作工具的第三三维模型、第一三维模型、第二三维模型以及术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型。在实施例中，在计算机设备与AR设备的配合下，由于第二三维模型与真实病灶重合，第三三维模型与术中所使用的操作工具重合，因而当术者操作术中所使用的操作工具时，例如手术刀，在真实病灶上的一预设位置进行切割时，术者通过AR设备看到的是第三三维模型在第二三维模型上与上述预设位置相对应的位置进行切割。这样，术者就可以基于AR设备所看到的信息进行手术。也就是说，术者可基于AR设备看到一个透明的病灶，可根据该透明的病灶进行手术，因此，术者在进行手术时，可有效的避开病灶处的重要血管、神经、组织等，减少对病灶临近组织的损害等，即提高手术的精度。同时，第一三维模型、第二三维模型以及第三三维模型位于同一视野范围内，且第一三维模型上携带有手术信息，这样，术者可无需来回切换视线，便可参照第一三维模型上的携带的手术信息，通过术中所使用的操作工具在病灶上实施手术，从而降低手术复杂度。

附图说明

图1为一个实施例提供的手术导航***的结构示意图；

图2为一个实施例提供的手术导航方法的流程示意图；

图3为一个实施例提供的第一三维模型的示意图；

图4为一个实施例提供的第二三维模型的示意图；

图5为另一个实施例提供的手术导航***的结构示意图；

图6为另一个实施例提供的手术导航方法的流程示意图；

图7为另一个实施例提供的手术导航方法的流程示意图；

图8为另一个实施例提供的手术导航方法的结构示意图；

图9为一个实施例提供的手术导航装置的结构示意图；

图10为另一个实施例提供的手术导航装置结构示意图；

图11为另一个实施例提供的手术导航装置结构示意图；

图12为另一个实施例提供的手术导航装置的结构示意图；

图13为另一个实施例提供的手术导航装置结构示意图。

具体实施方式

本发明实施例提供的手术导航方法，可适用于如图1所示的手术导航***结构示意图。如图1所示，该手术导航***包括：增强现实(Augmented Reality，简称AR)设备11、计算机设备12、超声影像***13、影像设备14以及红外摄像机15。其中，AR设备可以是佩戴在术者头部的AR头盔，或者佩戴在术者眼部的AR眼镜等。计算机设备12可以为个人计算机、笔记本电脑以及平板电脑等。超声影像***13为可采集机体图像，并根据机体图像建立三维模型的设备。影像设备14可以为磁共振成像(Magnetic Resonance Imaging，简称MRI)设备、X射线摄影设备或电子计算机断层扫描(Computed Tomography，简称CT) 设备等机体图像采集设备。红外摄像机15具有探测红外光的功能，能够识别并采集带有红外光的设备的图像。此外，AR设备11与计算机设备12之间、计算机设备12与红外摄像机15之间、计算机设备12与影像设备14之间以及AR 设备11与超声影像***13之间进行通信时，可采用有线通信，当然，也可采用无线通信。

随着医疗技术的不断发展，越来越多的高科技产品被应用在医疗领域中，比如说，将3D打印技术应用在外科手术中。但是，术者在采用3D打印技术这个传统技术进行外科手术时，需要高度集中注意力于患者病灶处，同时还需要时不时的抬头看术前打印好的3D打印模型，使得手术过程复杂。此外，术中病灶为一个非透明的机体，且3D打印模型也为一个非透明的机体，因此，术者无法根据3D打印模型准确的进行手术，比如说，手术方案中包含在3D打印模型的某一位置向病灶里切割0.3cm时可避开重要血管，而由于术中病灶为一个非透明的机体，因此，术者无法准确的进行切割，即传统技术无法准确的指导术者进行手术。综上，在采用传统技术实施手术时手术过程复杂，并且手术精度不高。本申请提供的手术导航方法、装置、设备、***可读存储介质旨在解决传统技术的如上技术问题。

为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图2为一个实施例提供的手术导航方法的流程示意图，本实施例涉及的是 AR设备基于从计算机设备获取的数据，将第二三维模型以及携带有手术信息的第一三维模型在世界坐标系下进行显示，使得术者可以通过AR设备既能够观察到与实际病灶匹配的第二三维模型，即观测到实际病灶，还能够基于第一三维模型获知手术信息，从而进行精确的手术的过程。以该方法应用于图1中的AR 设备中进行说明，该方法包括：

S101、从计算机设备中获取术中设备在世界坐标系下的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备。

具体的，上述的术中设备为术者进行手术时所需要且设置有红外定位装置 (例如红外灯)的设备，包括：术中所使用的操作工具、超声影像***以及增强现实AR设备。其中，术中所使用的操作工具通常为手术刀、镊子、手术钳等；超声影像***包括有采集病灶图像的探头，在使用时，通过探头采集病灶图像，并根据病灶图像建立模拟病灶的立体三维模型；AR设备为术者佩戴的AR眼镜或者AR头盔等。需要说明的是，上述获取超声影像***在世界坐标系下的坐标位置，实际上是获取超声影像***的探头在世界坐标系的坐标位置。

上述的世界坐标系为一个基准三维坐标系，可根据世界坐标系来形容环境中任一物体的位置，比如说摄像机的位置。在实际应用中，通常选取环境中一固定点P(例如，患者所处手术台上一固定点)作为原点O，该点P的水平向右方向为X轴，垂直于X轴且向下的方向为Y轴，根据右手法则确定Z轴。

上述的AR设备可通过有线的方式从计算机设备中获取术中设备在世界坐标系下的坐标位置，当然，也可以通过无线的方式从计算机设备中获取术中设备在世界坐标系下的坐标位置。当采用无线的方式获取时，可避免有线的方式中有线线路损害的情况发生，从而提高计算机设备与AR设备之间交互的稳定性。

S102、获取计算机设备输入的第一三维模型，以及获取所述超声影像***输入的第二三维模型；其中，所述第一三维模型和所述第二三维模型均为基于病灶信息建立的模型，所述第一三维模型中携带手术信息，所述第二三维模型与术中的实际病灶位置匹配。

具体的，上述的第一三维模型为手术前，计算机设备根据影像设备(例如 MRI)采集到的病灶图像得到的，即基于病灶信息建立的模型，且携带有术者设计的手术方案的透明三维模型，例如如图3所示的第一三维模型，之后计算机设备将所得到的第一三维模型发送至AR设备。其中，病灶为患者机体上发生病变且需要术者进行手术的部位，例如，病变的肝脏、胆囊或者心脏等。病灶图像为患者真实病灶处对应的机体图像，比如说患者机体上真实病变的肝脏图像。图3中的第一三维模型携带了术者设计的手术切线信息。

此处以计算机设备根据MRI设备采集到的病灶图像以及术者设计的手术方案得到第一三维模型为例进行具体说明：将MRI设备采集到的病灶图像导入到安装有医学图像分割软件(例如Mimics17.0)中；选择与病灶匹配的阈值，填充病灶；将病灶中包含的组织器官单独分离，并生成每个组织器官的三维模型；对每个组织器官的三维模型赋予对应的颜色；对每个组织器官的三维模型进行光顺以及包裹处理；将进行光顺以及包裹处理的三维模型以中文名标准模板库 (StandardTemplate Library，简称STL)的格式导入至计算机设备中的快速成型制造软件(例如，Magics19.0)中；由快速成型制造软件将上述的每个组织器官的三维模型进行合并，生成病灶处的三维模型；然后术者根据丰富的专业知识以及手术经验，通过计算机设备，在上述病灶处的三维模型上设计手术方案，从而生成第一三维模型。也就是说，最终生成的第一三维模型上携带有手术信息。可选的，上述的手术信息包括术中在病灶上的进刀位置、进刀角度、切割线中的至少一种。需要说明的是，上述根据病灶图像得到第一三维模型的过程仅仅是一种示例，且对手术信息的具体形式不做限定。

上述的第二三维模型由超声影像***得到，具体的，超声影像***中的探头实时采集基于患者病灶信息的病灶图像，超声影像***根据采集到病灶图像，生成透明的第二三维模型，例如如图4所示的第二三维模型。可选的，在实际应用中，也可采用其他设备采集病灶图像，并生成第二三维模型。比如说，利用影像设备实时采集病灶图像，并以无线或有线的方式输入安装有医学图像分割软件和快速成型制造软件的计算机设备中，由计算机设备生成第二三维模型，最后，由计算机设备将第二三维模型通过有线通信或无线通信的方式发送至AR 设备中。

也就是说，上述的AR设备可通过有线或者无线的通信方式从计算机设备中获取第一三维模型，以及从超声影像***中获取第二三维模型。

S103、根据预设的操作工具的第三三维模型、第一三维模型、所述第二三维模型以及所述术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型；其中，所述第三三维模型与术中所使用的操作工具位置匹配。

具体的，上述的第三三维模型为手中所使用操作工具的透明的三维模型，通过扫描设备以及计算机设备配合得到。具体的，扫描设备对术中设备进行扫描得到术中所使用操作工具的图像，并发送至计算机设备中；计算机设备根据该术中所使用操作工具的图像，建立术中所使用操作工具的三维模型，即建立第三三维模型；并在术中进行手术前，将该第三三维模型存储在AR设备中。上述的第一三维模型不具备位置信息，可显示在AR设备的显示区域上的任一位置上，例如，AR设备镜片的左上角或者正中间位置等，对此，本实施例不做限定。

在术者使用本实施例提供的手术导航方法时，上述的携带有手术信息的第一三维模型、与真实病灶相匹配的第二三维模型、与术中所使用的操作工具匹配的第三三维模型以及AR设备均处于同一世界坐标系下，并显示在AR设备上，也就是说，第二三维模型与真实病灶重叠，对应的，第三三维模型与术中所使用的操作工具重叠。当术者操作术中所使用的操作工具时，例如手术刀，当手术刀在真实病灶上的一预设位置进行切割时，术者通过AR设备看到的是第三三维模型在第二三维模型上与上述预设位置相对应的位置进行切割。这样，术者就可以基于AR设备所看到的信息进行手术。

例如，当术者进行手术时，术者使用手术刀在病灶上的某一位置切割0.5cm 时，当术者通过AR设备观察到第三三维模型也在第二三维模型上的与上述某一位置相对应的位置切割了0.5cm。也就是说，术者可基于AR设备看到一个透明的病灶，可根据该透明的病灶进行手术(这里所说的“透明”指的是其他非血管的组织，均被隐藏，例如脂肪均被隐藏，这样术者可以直接清楚的看到血管、神经以及肝脏等)，因此，术者在进行手术时，可有效的避开病灶处的重要血管、神经、组织等，减少对病灶临近组织的损害等，即提高手术的精度。同时，第一三维模型、第二三维模型以及第三三维模型位于同一视野范围内，且第一三维模型上携带有手术信息，这样，术者可无需来回切换视线，便可参照第一三维模型上的携带的手术信息，通过术中所使用的操作工具在病灶上实施手术，从而降低手术复杂度。

在一种实施例中，AR设备可先基于第二三维模型以及第三三维模型在世界坐标系下坐标位置，确定出第二三维模型以及第三三维模型之间的相对位置，之后再将第二三维模型以及第三三维模型看作是一个整体，将该整体基于AR 设备在世界坐标系下的坐标位置，显示在AR设备上。可选的，AR设备还可以分别将第二三维模型以及第三三维模型分别显示在AR设备上，例如可以参见下述图5所示的实施例的过程。

本实施例提供的手术导航方法，AR设备从计算机设备中获取术中设备在世界坐标系下的坐标位置以及获取计算机设备输入的第一三维模型，以及获取超声影像***输入的第二三维模型，并根据预设的操作工具的第三三维模型、第一三维模型、第二三维模型以及术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型。在本实施例中，第二三维模型与真实病灶重合，对应的，第三三维模型与术中所使用的操作工具重合。当术者操作术中所使用的操作工具时，例如手术刀，当手术刀在真实病灶上的一预设位置进行切割时，术者通过AR设备看到的是第三三维模型在第二三维模型上与上述预设位置相对应的位置进行切割。这样，术者就可以基于 AR设备所看到的信息进行手术。也就是说，术者可基于AR设备看到一个透明的病灶，可根据该透明的病灶进行手术，因此，术者在进行手术时，可有效的避开病灶处的重要血管、神经、组织等，减少对病灶临近组织的损害等，即提高手术的精度。同时，第一三维模型、第二三维模型以及第三三维模型位于同一视野范围内，且第一三维模型上携带有手术信息，这样，术者可无需来回切换视线，便可参照第一三维模型上的携带的手术信息，通过术中所使用的操作工具在病灶上实施手术，从而降低手术复杂度。

图5为另一个实施例提供的手术导航方法的流程示意图，本实施例涉及的是AR设备根据第一三维模型、第二三维模型、第三三维模型以及术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型的具体过程。在上述实施例的基础上，可选的，上述S103可以包括：

S201、根据所述超声影像***中探头在世界坐标系下的坐标位置，确定所述第二三维模型在所述世界坐标系下的坐标位置，并根据所述第二三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第二三维模型显示在所述世界坐标系下。

具体的，本实施例中，超声影像***的探头在世界坐标系下的坐标位置以及AR设备在世界坐标系下的坐标位置可以通过计算机设备、红外摄像设备配合得到，该红外摄像设备可以为红外成像仪或者双目红外摄像机等设备。可选的，可在两个普通摄像机的镜片上加装红外光滤波片代替该双目红外摄像机执行相应的拍摄操作。本实施例中的术中设备上均设置有红外灯，基于该红外灯，上述红外摄像设备可以拍摄到术中设备的红外图像，例如，可以拍摄到手术刀的红外图像、AR设备的红外图像以及超声影像***的探头的红外图像。

因此，在确定超声影像***的探头在世界坐标系下的坐标位置以及AR设备在世界坐标系下的坐标位置时，具体可以为：当红外摄像设备得到AR设备的红外图像以及超声影像***的探头的红外图像，输出给计算机设备。可选的，可设置对应数目的双目红外摄像机对不同的术中设备分别拍摄，以实现获取不同术中设备的红外图像，进而使得计算机设备能够确定术中设备在摄像坐标系下的坐标位置。

基于多个术中设备，可选的，可设置对应数目的双目红外摄像机对不同的术中设备分别拍摄，以实现获取不同术中设备的红外图像，进而确定术中设备在摄像坐标系下的坐标位置。可选的，计算机设备还可以通过其他方式获取不同设备的红外图像，例如说，使用同一个双目红外摄像机采集不同术中设备的红外图像，进而确定出每个术中设备在摄像坐标系下的坐标位置。当双目红外摄像机为多个，且一个双目红外摄像机对应一个术中设备时，计算机设备确定术中设备在摄像坐标系下的坐标位置可以为：为每个双目红外摄像机配置一个固定的ID，且每个双目红外摄像机拍摄一个术中设备。预先将每个双目红外摄像机的ID与其所拍摄的术中设备之间的对应关系存储在计算机设备中，且在双目红外摄像机机将采集到的术中设备的红外图像发送给计算机设备的同时，将自身的ID也发送给计算机设备。这样，当计算机设备接收到多个红外图像时，可清楚的分辨出每个红外图像对应的术中设备，进而确定每个术中设备在摄像坐标系的坐标位置。

当计算机设备获得超声影像***的探头在摄像坐标系下的坐标位置以及 AR设备在摄像坐标系下的坐标位置之后，计算机设备可以根据坐标转换算法，例如PNP算法，将超声影像***的探头在摄像坐标系下的坐标位置转换为在世界坐标系下的坐标位置，并且将AR设备在摄像坐标系下的坐标位置转换为在世界坐标系下的位置。之后，将上述超声影像***的探头在世界坐标系下的坐标位置以及AR设备在世界坐标系下的坐标位置发送给AR设备。

由于患者病灶的位置是固定的，也就是说患者病灶对应的第二三维模型位置是固定的，并且超声影像***中探头的位置也是固定的，因此，在确定出超声影像***中探头与患者病灶间的相对位置关系的基础上，便可根据超声影像***中探头在世界坐标系下的坐标位置以及相应的计算机算法，确定出第二三维模型在世界坐标系下的坐标位置。在确定出第二三维模型在世界坐标系下的坐标位置后，AR设备基于自身在世界坐标系下的坐标位置，便可将第二三维模型显示在世界坐标系下。此时，AR设备上显示出的第二三维模型与患者病灶位置重叠。

S202、根据所述操作工具在世界坐标系下的坐标位置，确定所述第三三维模型在所述世界坐标系下的坐标位置，并根据所述第三三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第三三维模型显示在所述世界坐标系下。

具体的，基于上述S201中的描述，上述计算机设备和红外摄像设备相互配合也可以得到操作工具的红外图像，进而得到操作工具在摄像坐标系下的坐标位置，然后计算机设备基于相应的坐标转换算法例如PNP算法得到上述操作工具在世界坐标系下的坐标位置，并将其输出至AR设备。

由于上述第三三维模型是针对操作工具建立的模型，因此，在计算机设备确定出操作工具在世界坐标系下的坐标位置后，便可根据相应的软件算法确定出第三三维模型在世界坐标系下的坐标位置，并输出给AR设备，从而使得AR 设备基于自身在世界坐标系下的坐标位置，将第三三维模型也显示在世界坐标系下。此时，AR设备上显示出的第三三维模型与操作工具的位置、形状重叠。

结合上述S201和S202可知，上述第二三维模型以及第三三维模型均是基于AR设备自身在世界坐标系下的坐标位置，显示在AR设备的显示区域上。

S203、根据所述AR设备在所述世界坐标系下的坐标位置，在所述世界坐标系下显示所述第一三维模型。

具体的，基于AR设备在世界坐标系下的坐标位置，可将第一三维模型也显示在世界坐标系下，此时，第一三维模型、第二三维模型以及第三三维模型处于同一坐标系下，并且均是以AR设备自身在世界坐标系下的坐标位置为参照物的。需要说明的是，本实施例中，对上述S201-S203之间的顺序不做限定，图5 仅仅是一种示例。

需要说明的是，由于上述的第一三维模型不具备位置信息，因此，该第一三维模型可能会存在与第二三维模型不重叠的情况，为了使第一三维模型更加精准的指导术者进行手术，术者可以通过的相应的调整手势或者调整指令，调整第一三维模型与第二三维模型重叠，更加有利的指导术者进行手术。

可选的，在调整第一三维模型的位置时，可以通过一种可能的实施方式进行调整，具体为：接收用户输入的调整指令，所述调整指令用于调整所述第一三维模型在世界坐标系下的位置；根据所述调整指令，调整所述第一三维模型在世界坐标系下的位置，以使所述第一三维模型和所述第二三维模型在世界坐标下的坐标位置重叠。

在该可能的实施方式中，上述的调整指令由用户输入，也就是说，由正在为术者进行手术的术者输入。该调整指令用于调整第一三维模型在世界坐标系下的位置，以实现第一三维模型调整到与上述第二三维模型完全重叠的目的。可选的，由于AR设备可以支持语音的方式(或者手势控制等方式)对AR设备上显示的物体进行位置的调节，因此，当术者通过AR设备观察到第一三维模型与第二三维模型不重叠时，术者可通过语音的方式，例如“向左移动0.5cm”，向AR设备发送调整指令。当AR设备接收到调整指令后，调整第一三维模型在世界坐标系下的位置。当术者通过AR设备观察到第一三维模型与第二三维模型重叠后，术者不再向AR设备发送调整指令。

本实施例提供的手术导航的方法，AR设备接收用户输入的调整指令，调整指令用于调整第一三维模型在世界坐标系下的位置；根据调整指令，调整第一三维模型在世界坐标系下的位置，以使第一三维模型和第二三维模型在世界坐标下的坐标位置重叠。当将第一三维模型与第二三维模型在世界坐标系下的坐标位置重叠后，也就是说第一三维模型、第二三维模型以及患者病灶重叠，因此，术者可完全按照第一三维模型上携带的手术信息，在第二三维模型上进行精准手术。比如说，基于第一三维模型上携带的手术信息，例如在第一三维模型的中心位置向下切割1cm，此时，术者可操作手术刀在患者病灶的中心位置向下切割1cm，此时，术者通过AR设备可看到的第三维模型在第二三维模型的中心位置向下切割1cm。基于此，通过本实施例提供的AR设备进行手术时，可进一步的提高手术的精度。

图6为另一个实施例提供的手术导航方法的流程示意图，本实施例涉及的是计算机设备建立第一三维模型，并基于术中设备的红外图像，得到术中设备在世界坐标系下的坐标位置，最后将第一三维模型以及术中设备在世界坐标系下的坐标位置发送至AR设备，使得术者可以基于AR设备显示的模型进行手术的具体过程。如图6所示，以该方法应用于图1中的计算机设备中进行说明，该方法包括：

S301、根据影像设备采集的病灶图像获取第一三维模型；其中，所述第一三维模型中携带手术信息。

具体的，本实施例中涉及到的病灶图像、第一三维模型以及如何根据影像设备采集的病灶图像获取第一三维模型的具体介绍，与上述实施例涉及到的病灶图像、第一三维模型以及如何根据影像设备采集的病灶图像获取第一三维模型的具体介绍相同，这里不再赘述。

这样，基于上述S301，可通过计算机设备将病灶逼真的还原出来，并且术者可提前根据病灶的具体情况设计更精准的手术方案，从而将该手术方案携带在第一三维模型上，为提高手术的精准度提供支持。

S302、对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，并将所述术中设备在摄像坐标系下的坐标位置转换为世界坐标系下的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备。

具体的，本实施例中涉及到的术中设备与上述实施例中涉及到的术中设备具体介绍相同，在此不再赘述。上述术中设备的红外图像可通过红外摄像设备得到，比如说，红外成像仪或双目红外摄像机等设备。可选的，可在两个普通摄像机的镜片上加装红外光滤波片代替该双目红外摄像机执行相应的拍摄操作。本实施例中的术中设备上均设置有红外灯，基于该红外灯，上述红外摄像设备可以拍摄到术中设备的红外图像。需要说明的是，本实施例中超声影像***的红外图像指的是超声影像***上探头的红外图像。

基于多个术中设备，可选的，可设置对应数目的双目红外摄像机对不同的术中设备分别拍摄，以实现获取不同术中设备的红外图像，进而确定术中设备在摄像坐标系下的坐标位置。可选的，计算机设备还可以通过其他方式获取不同设备的红外图像，例如说，使用同一个双目红外摄像机采集不同术中设备的红外图像，进而确定出每个术中设备在摄像坐标系下的坐标位置。当双目红外摄像机为多个，且一个双目红外摄像机对应一个术中设备时，计算机设备确定术中设备在摄像坐标系下的坐标位置可以为：为每个双目红外摄像机配置一个固定的ID，且每个双目红外摄像机拍摄一个术中设备。预先将每个双目红外摄像机的ID与其所拍摄的术中设备之间的对应关系存储在计算机设备中，且在双目红外摄像机机将采集到的术中设备的红外图像发送给计算机设备的同时，将自身的ID也发送给计算机设备。这样，当计算机设备接收到多个红外图像时，可清楚的分辨出每个红外图像对应的术中设备，进而确定每个术中设备在摄像坐标系的坐标位置

上述的摄像坐标系通常为双目红外摄像机中左摄像机的坐标系，也就是说，以左摄像机的光心为原点O，X轴与Y轴与成像平面坐标系的X轴与Y轴平行， Z轴为左摄像机的光轴，和成像平面垂直。需要说明的是，也可将摄像坐标系地位为双目红外摄像机中右摄像机的坐标系，对此，本实施例并不做限定。

当计算机设备得到术中设备在摄像坐标系下的坐标位置之后，可根据坐标转换算法，例如PNP算法，将术中设备在摄像坐标系下的坐标位置转换为世界坐标系下的坐标位置。其中，PNP算法为传统算法，对此，本实施例不再赘述。当然，也可以采用其他可将摄像坐标系下的坐标位置转换为世界坐标系下的坐标位置的算法，对此，本实施例不做限定。此外，可通过图像解析算法解析出术中设备的红外图像得到术中设备在摄像坐标下的坐标位置。

S303、将所述第一三维模型和所述术中设备在所述世界坐标系下的坐标位置发送至所述AR设备。

具体的，上述的AR设备可以为AR眼镜或者AR头盔等，计算机设备可采用无线或者有线的方式将第一三维模型与术中设备在世界坐标系下的坐标位置发送至AR设备，从而使得AR设备可以基于自身在世界坐标系下的位置，将第一三维模型显示世界坐标系下。另外，AR设备还可以通过超声影像***获取到与术中的实际病灶位置相匹配的第二三维模型，且AR设备中预先存储有与术中所使用的操作工具相匹配的第三三维模型，从而使得AR设备可以基于自身以及术中设备在世界坐标系下的位置，将第二三维模型以及第三三维模型分别显示在世界坐标系下。由于AR设备可将携带有手术信息的第一三维模型、与真实病灶重合的第二三维模型以及与术中所使用的操作工具重合第三三维模型显示在世界坐标系下，此时，第二三维模型与真实病灶重合，第三三维模型与术中所使用的操作工具重合。当术者操作术中所使用的操作工具时，当手术刀在真实病灶上的一预设位置进行切割时，术者通过AR设备看到的是第三三维模型在第二三维模型上与上述预设位置相对应的位置进行切割。这样，术者就可以基于 AR设备所看到的信息进行手术。也就是说，术者可基于AR设备看到一个透明的病灶，可根据该透明的病灶进行手术，因此，术者在进行手术时，可有效的避开病灶处的重要血管、神经、组织等，减少对病灶临近组织的损害等，即提高手术的精度。同时，第一三维模型、第二三维模型以及第三三维模型位于同一视野范围内，且第一三维模型上携带有手术信息，这样，术者可无需来回切换视线，便可参照第一三维模型上的携带的手术信息，通过术中所使用的操作工具在病灶上实施手术，从而降低手术复杂度。

本实施例中，计算机设备根据影像设备采集的病灶图像获取第一三维模型；对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，并将术中设备在摄像坐标系下的坐标位置转换为世界坐标系的坐标位置以及将第一三维模型和所述术中设备在世界坐标系下的坐标位置发送至 AR设备，从而使得AR设备可以将第一三维模型和所获取的病灶的第二三维模型以及手术操作工具的第三三维模型显示在世界坐标系下。在本实施例中，第二三维模型与真实病灶重合，对应的，第三三维模型与术中所使用的操作工具重合。当术者操作术中所使用的操作工具时，例如手术刀，当手术刀在真实病灶上的一预设位置进行切割时，术者通过AR设备看到的是第三三维模型在第二三维模型上与上述预设位置相对应的位置进行切割。这样，术者就可以基于AR 设备所看到的信息进行手术。也就是说，术者可基于AR设备看到一个透明的病灶，可根据该透明的病灶进行手术，因此，术者在进行手术时，可有效的避开病灶处的重要血管、神经、组织等，减少对病灶临近组织的损害等，即提高手术的精度。同时，第一三维模型、第二三维模型以及第三三维模型位于同一视野范围内，且第一三维模型上携带有手术信息，这样，术者可无需来回切换视线，便可参照第一三维模型上的携带的手术信息，通过术中所使用的操作工具在病灶上实施手术，从而降低手术复杂度。

图7为另一个实施例提供的手术导航方法的流程示意图。本实施例涉及的是当红外摄像机为一个时，确定每个术中设备在摄像坐标系下的坐标位置的具体过程。在上述实施例的基础上，上述S302可以包括如下步骤：

S401、获取红外摄像机拍摄的所述术中设备的红外图像；其中，不同的术中设备的红外图像对应的频率不同。

S402、根据所述术中设备的红外图像对应的频率，对所述术中设备的红外图像进行识别并解析，得到所述术中设备在摄像坐标系下的坐标位置。

具体的，本实施例中的红外摄像机可以是上述的双目红外摄像机。在本实施例中，不同的术中设备上可以设置不同频率的红外灯(这里的频率指的是红外灯的亮灭频率)，且每个红外灯对应一个ID号。在具体应用时，首先预先将每个红外灯的频率与其ID之间对应关系，以及每个红外灯的ID与其所在的术中设备之间的对应关系存储在计算机设备中。这样，在红外摄像机对多个术中设备进行实时拍摄时，可得到多个红外图像，而这多个红外图像中依次出现的术中设备的频率与术中设备上红外灯的频率相同，因此，计算机设备可根据上述两个对应关系，便可清楚的区分出哪些图像是术中所使用的操作工具的图像，哪些外红图像是超声影像***的图像，以及哪些红外图像是增强现实AR设备的图像。例如，若手术刀的ID为D1，其上的红外灯的频率为T1，超声影像***的ID为D2，其上的红外灯的频率为T2，AR设备的ID为D3，其上的红外灯的频率为T3，且T1>T2>T3，那么红外摄像机依次得到红外图像中，T3时刻对应的红外图像为D3对应的术中设备的红外图像，即AR设备的红外图像；T2 时刻对应的红外图像为D2对应的术中设备的红外图像，即超声影像***的红外图像；T1时刻对应的红外图像为D1对应的术中设备的红外图像，即手术刀的红外图像。

在本实施例中，计算机设备获取红外摄像机拍摄的术中设备的红外图像；不同的术中设备的红外图像对应的频率不同；根据术中设备的红外图像对应的频率，对术中设备的红外图像进行识别并解析，得到术中设备在摄像坐标系下的坐标位置。由于该实施例中仅可通过一个红外摄像机便可确定出其所拍摄的红外图像中对应的术中设备，进一步的确定出多个术中设备在摄像坐标系下的坐标位置，这样，有效的降低了红外摄像机的个数，进而降低成本以及降低手术环境的复杂度。

应该理解的是，虽然图2与图5-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2与图5-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图8为另一个实施例提供的手术导航方法的结构示意图。如图8所示，本实施例涉及的是AR设备和计算机设备进行交互的具体过程。该方法包括：

S501、计算机设备根据影像设备采集的病灶图像获取第一三维模型；其中，所述第一三维模型中携带手术信息。

S502、所述计算机设备对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，并将所述术中设备在摄像坐标系下的坐标位置转换为世界坐标系的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备。

可选的，计算机设备可以获取红外摄像机拍摄的所述术中设备的红外图像；其中，不同的术中设备的红外图像对应的频率不同；并且，计算机设备可以根据所述术中设备的红外图像对应的频率，对所述术中设备的红外图像进行识别并解析，得到所述术中设备在摄像坐标系下的坐标位置。

S503、所述计算机设备将所述第一三维模型和所述术中设备在所述世界坐标系下的坐标位置发送至所述AR设备。

S504、所述AR设备从计算机设备中获取术中设备在世界坐标系下的坐标位置。

S505、所述AR设备获取计算机设备输入的第一三维模型，以及获取所述超声影像***输入的第二三维模型；其中，所述第一三维模型和所述第二三维模型均为基于病灶信息建立的模型，所述第一三维模型中携带手术信息；所述第二三维模型与术中的实际病灶位置匹配。

S506、所述AR设备根据预设的操作工具的第三三维模型、第一三维模型、所述第二三维模型以及所述术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型；其中，所述第三三维模型与术中所使用的操作工具位置匹配。

可选的，AR设备可以根据所述超声影像***中探头在世界坐标系下的坐标位置，确定所述第二三维模型在所述世界坐标系下的坐标位置，并根据所述第二三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第二三维模型显示在所述世界坐标系下；另一方面， AR设备还可以根据所述操作工具在世界坐标系下的坐标位置，确定所述第三三维模型在所述世界坐标系下的坐标位置，并根据所述第三三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第三三维模型显示在所述世界坐标系下；再一方面，AR设备还可以根据所述AR设备在所述世界坐标系下的坐标位置，在所述世界坐标系下显示所述第一三维模型。基于此，上述第一三维模型、第二三维模型以及第三三维模型均可以基于AR设备在世界坐标系下的坐标位置显示在AR设备的显示区域上。

上述S501至S506的具体过程，可以参见上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图9为一个实施例提供的手术导航装置的结构示意图。该手术导航装置可以实现成为AR设备的部分或者全部。如图9所示，该装置包括：第一获取模块 01、第二获取模块02和显示模块03。

具体的，第一获取模块01，用于从计算机设备中获取术中设备在世界坐标系下的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

第二获取模块02，用于获取计算机设备输入的第一三维模型，以及获取所述超声影像***输入的第二三维模型；其中，所述第一三维模型和所述第二三维模型均为基于病灶信息建立的模型，所述第一三维模型中携带手术信息；

显示模块03，用于根据预设的操作工具的第三三维模型、第一三维模型、所述第二三维模型以及所述术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型；其中，所述第二三维模型与术中的实际病灶位置匹配，所述第三三维模型与术中的实际操作工具位置匹配。

可选的，上述的所述手术信息包括：术中在病灶上的进刀位置、进刀角度、切割线中的至少一种。

本实施例提供的手术到导航装置，可以执行上述如图2所示方法的实施例，其实现原理和技术效果类似，在此不再赘述。

图10为另一个实施例提供的手术导航装置结构示意图，如图10所示，在上述图10所示实施例的基础上，上述显示模块03包括：第一确定单元031、第二确定单元032和显示单元033。

具体的，上述第一确定单元031，用于根据所述超声影像***中探头在世界坐标系下的坐标位置，确定所述第二三维模型在所述世界坐标系下的坐标位置；

第二确定单元032，用于根据所述操作工具在世界坐标系下的坐标位置，确定所述第三三维模型在所述世界坐标系下的坐标位置；

显示单元033，用于根据所述AR设备在所述世界坐标系下的坐标位置，在所述世界坐标系下显示所述第一三维模型，以及根据所述第二三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第二三维模型显示在所述世界坐标系下，以及根据所述第三三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第三三维模型显示在所述世界坐标系下。

本实施例提供的手术到导航装置，可以执行上述如图5所示方法的实施例，其实现原理和技术效果类似，在此不再赘述。

图11为另一个实施例提供的手术导航装置结构示意图，如图11所示，在上述图9或图10所示实施例的基础上，该装置还包括接收模块04与调整模块 05。

具体的，接收模块04，用于接收用户输入的调整指令，所述调整指令用于调整所述第一三维模型在世界坐标系下的位置；

调整模块05，用于根据所述调整指令，调整所述第一三维模型在世界坐标系下的位置，以使所述第一三维模型和所述第二三维模型在世界坐标下的坐标位置重叠。

本实施例提供的手术到导航装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图12为另一个实施例提供的手术导航装置的结构示意图。该手术导航装置可以实现成为计算机设备的部分或者全部。如图12所示，该装置包括：获取模块20、坐标转换模块21和发送模块22。

具体的，上述获取模块20用于根据影像设备采集的病灶图像获取第一三维模型；其中，所述第一三维模型中携带手术信息；

坐标转换模块21，用于对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，并将所述术中设备在摄像坐标系下的坐标位置转换为世界坐标系的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

发送模块22，用于将所述第一三维模型和所述术中设备在所述世界坐标系下的坐标位置发送至所述AR设备。

本实施例提供的手术到导航装置，可以执行上述如图6所示方法的实施例，其实现原理和技术效果类似，在此不再赘述。

图13为另一个实施例提供的手术导航装置结构示意图，如图13所示，在上述图12所示实施例的基础上，坐标转换模块21包括：获取单元211和坐标转换单元212。

具体的，获取单元211，用于获取红外摄像机拍摄的所述术中设备的红外图像；其中，不同的术中设备的红外图像对应的频率不同；

坐标转换单元212，用于根据所述术中设备的红外图像对应的频率，对所述术中设备的红外图像进行识别并解析，得到所述术中设备在摄像坐标系下的坐标位置。

本实施例提供的手术到导航装置，可以执行上述如图8所示方法的实施例，其实现原理和技术效果类似，在此不再赘述。

关于手术导航装置的具体限定可以参见上文中对于的方法的限定，在此不再赘述。上述手术导航装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于计算机设备或AR设备中的处理器中，也可以以软件形式存储于计算机设备或AR设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种手术导航***，该***包括：AR设备11、计算机设备12、超声影像***13、影像设备14以及红外摄像机15。其中：

红外摄像机15，用于采集术中设备的红外图像，并将所述红外图像输出给所述计算机设备；

影像设备14，用于采集病灶图像，并将所述病灶图像输出给所述计算机设备，以使所述计算机设备根据所述病灶图像生成第一三维模型，所述第一三维模型中携带手术信息；

超声影像***13，用于采集所述病灶图像，并根据所述病灶图像建立第二三维模型；所述第二三维模型与术中的实际病灶位置匹配；

AR设备11，用于执行上述实施例中如图2、图5以及图8所示的手术导航方法的步骤；

计算机设备12，用于执行上述如图6、图7以及图8所示的手术导航方法的步骤。

在一个实施例中，提供了一种AR设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现以下步骤：

从计算机设备中获取术中设备在世界坐标系下的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

获取计算机设备输入的第一三维模型，以及获取所述超声影像***输入的第二三维模型；其中，所述第一三维模型和所述第二三维模型均为基于病灶信息建立的模型，所述第一三维模型中携带手术信息；

根据预设的操作工具的第三三维模型、第一三维模型、所述第二三维模型以及所述术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型；其中，所述第二三维模型与术中的实际病灶位置匹配，所述第三三维模型与术中所使用的操作工具位置匹配。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据所述超声影像***中探头在世界坐标系下的坐标位置，确定所述第二三维模型在所述世界坐标系下的坐标位置，并根据所述第二三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第二三维模型显示在所述世界坐标系下；根据所述操作工具在世界坐标系下的坐标位置，确定所述第三三维模型在所述世界坐标系下的坐标位置，并根据所述第三三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第三三维模型显示在所述世界坐标系下；根据所述AR设备在所述世界坐标系下的坐标位置，在所述世界坐标系下显示所述第一三维模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

接收用户输入的调整指令，所述调整指令用于调整所述第一三维模型在世界坐标系下的位置；根据所述调整指令，调整所述第一三维模型在世界坐标系下的位置，以使所述第一三维模型和所述第二三维模型在世界坐标下的坐标位置重叠。

在一个实施例中，所述手术信息包括：术中在病灶上的进刀位置、进刀角度、切割线中的至少一种。

在一个实施例中，本实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现以下步骤：

根据影像设备采集的病灶图像获取第一三维模型；其中，所述第一三维模型中携带手术信息；

对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，并将所述术中设备在摄像坐标系下的坐标位置转换为世界坐标系下的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

将所述第一三维模型和所述术中设备在所述世界坐标系下的坐标位置发送至所述AR设备。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将所述第一三维模型和所述术中设备在所述世界坐标系下的坐标位置发送至所述AR设备；获取红外摄像机拍摄的所述术中设备的红外图像；其中，不同的术中设备的红外图像对应的频率不同；根据所述术中设备的红外图像对应的频率，对所述术中设备的红外图像进行识别并解析，得到所述术中设备在摄像坐标系下的坐标位置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

从计算机设备中获取术中设备在世界坐标系下的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

获取计算机设备输入的第一三维模型，以及获取所述超声影像***输入的第二三维模型；其中，所述第一三维模型和所述第二三维模型均为基于病灶信息建立的模型，所述第一三维模型中携带手术信息；

根据预设的操作工具的第三三维模型、第一三维模型、所述第二三维模型以及所述术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型；其中，所述第二三维模型与术中的实际病灶位置匹配，所述第三三维模型与术中所使用的操作工具位置匹配。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据所述超声影像***中探头在世界坐标系下的坐标位置，确定所述第二三维模型在所述世界坐标系下的坐标位置，并根据所述第二三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第二三维模型显示在所述世界坐标系下；根据所述操作工具在世界坐标系下的坐标位置，确定所述第三三维模型在所述世界坐标系下的坐标位置，并根据所述第三三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第三三维模型显示在所述世界坐标系下；根据所述AR设备在所述世界坐标系下的坐标位置，在所述世界坐标系下显示所述第一三维模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

接收用户输入的调整指令，所述调整指令用于调整所述第一三维模型在世界坐标系下的位置；根据所述调整指令，调整所述第一三维模型在世界坐标系下的位置，以使所述第一三维模型和所述第二三维模型在世界坐标下的坐标位置重叠。

在一个实施例中，所述手术信息包括：术中在病灶上的进刀位置、进刀角度、切割线中的至少一种。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

根据影像设备采集的病灶图像获取第一三维模型；其中，所述第一三维模型中携带手术信息；

对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，并将所述术中设备在摄像坐标系下的坐标位置转换为世界坐标系下的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

将所述第一三维模型和所述术中设备在所述世界坐标系下的坐标位置发送至所述AR设备。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将所述第一三维模型和所述术中设备在所述世界坐标系下的坐标位置发送至所述AR设备；获取红外摄像机拍摄的所述术中设备的红外图像；其中，不同的术中设备的红外图像对应的频率不同；根据所述术中设备的红外图像对应的频率，对所述术中设备的红外图像进行识别并解析，得到所述术中设备在摄像坐标系下的坐标位置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种手术导航装置，其特征在于，所述装置包括：

第一获取模块，用于从计算机设备中获取术中设备在世界坐标系下的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备，其中，所述术中设备在世界坐标系下的坐标位置是所述计算机设备对所获取的所述术中设备的红外图像进行解析处理，得到所述术中设备在摄像坐标系下的坐标位置，并将所述术中设备在摄像坐标系下的坐标位置转换所得到的，不同的术中设备的红外图像对应的频率不同；

第二获取模块，用于获取计算机设备输入的第一三维模型，以及获取所述超声影像***输入的第二三维模型；其中，所述第一三维模型是基于病灶图像中的各组织器官的三维模型合并后建立的模型，所述第二三维模型为基于病灶信息的病灶图像建立的模型，所述第一三维模型中携带手术信息，所述第二三维模型与术中的实际病灶位置匹配；所述手术信息包括：术中在病灶上的进刀位置、进刀角度、切割线中的至少一种，所述第一三维模型和所述第二三维模型隐藏了病灶中非血管的组织；

显示模块，用于根据预设的操作工具的第三三维模型、第一三维模型、所述第二三维模型以及所述术中设备在世界坐标系下的坐标位置，在世界坐标系下显示第一三维模型、第二三维模型和第三三维模型；其中，所述第三三维模型与术中的实际操作工具位置匹配；

所述显示模块包括第一确定单元、第二确定单元和显示单元；

所述第一确定单元，用于根据所述超声影像***中探头在世界坐标系下的坐标位置，确定所述第二三维模型在所述世界坐标系下的坐标位置，其中，所述病灶信息的病灶图像是所述超声影像***中探头实时采集的图像；

所述第二确定单元，用于根据所述操作工具在世界坐标系下的坐标位置，确定所述第三三维模型在所述世界坐标系下的坐标位置；

所述显示单元，用于根据所述AR设备在所述世界坐标系下的坐标位置，在所述世界坐标系下显示所述第一三维模型，以及根据所述第二三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第二三维模型显示在所述世界坐标系下，以及根据所述第三三维模型在所述世界坐标系下的坐标位置以及所述AR设备在所述世界坐标系下的坐标位置，将所述第三三维模型显示在所述世界坐标系下；

所述手术导航装置还包括：

接收模块，用于接收用户输入的调整指令，所述调整指令用于调整所述第一三维模型在世界坐标系下的位置；

调整模块，用于根据所述调整指令，调整所述第一三维模型在世界坐标系下的位置，以使所述第一三维模型和所述第二三维模型在世界坐标下的坐标位置重叠。

2.一种手术导航装置，其特征在于，所述装置包括：

获取模块，用于根据影像设备采集的病灶图像获取第一三维模型；其中，所述第一三维模型中携带手术信息；所述手术信息包括：术中在病灶上的进刀位置、进刀角度、切割线中的至少一种；

坐标转换模块，用于对所获取的术中设备的红外图像进行解析处理，得到术中设备在摄像坐标系下的坐标位置，并将所述术中设备在摄像坐标系下的坐标位置转换为世界坐标系的坐标位置；其中，所述术中设备包括：术中所使用的操作工具、超声影像***、增强现实AR设备；

发送模块，用于将所述第一三维模型和所述术中设备在所述世界坐标系下的坐标位置发送至所述AR设备。

3.根据权利要求2所述的装置，其特征在于，所述装置包括：

获取单元，用于获取红外摄像机拍摄的所述术中设备的红外图像；其中，不同的术中设备的红外图像对应的频率不同；

坐标转换单元，用于根据所述术中设备的红外图像对应的频率，对所述术中设备的红外图像进行识别并解析，得到所述术中设备在摄像坐标系下的坐标位置。

4.一种手术导航***，其特征在于，所述***包括：AR设备、计算机设备、超声影像***、影像设备以及红外摄像机；

所述红外摄像机，用于采集术中设备的红外图像，并将所述红外图像输出给所述计算机设备；

所述影像设备，用于采集病灶图像，并将所述病灶图像输出给所述计算机设备，以使所述计算机设备根据所述病灶图像生成第一三维模型，所述第一三维模型中携带手术信息，第二三维模型与术中的实际病灶位置匹配；

所述超声影像***，用于采集所述病灶图像，并根据所述病灶图像建立所述第二三维模型；

所述AR设备，用于执行前述权利要求1的所述的手术导航装置中的步骤；

所述计算机设备，用于执行前述权利要求2或3的所述的手术导航装置中的步骤。

5.一种增强现实AR设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器用于执行所述计算机程序时实现权利要求1的所述的手术导航装置中的步骤。

6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器用于执行所述计算机程序时实现权利要求2或3的所述的手术导航装置中的步骤。

7.一种计算机设备可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1的所述的手术导航装置中的步骤。

8.一种计算机设备可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求2或3的所述的手术导航装置中的步骤。

Images