WO2016095168A1 - 基于平板电脑的手术导航用的体数据可视化方法 - Google Patents

基于平板电脑的手术导航用的体数据可视化方法 Download PDF

Info

Publication number
WO2016095168A1
WO2016095168A1 PCT/CN2014/094245 CN2014094245W WO2016095168A1 WO 2016095168 A1 WO2016095168 A1 WO 2016095168A1 CN 2014094245 W CN2014094245 W CN 2014094245W WO 2016095168 A1 WO2016095168 A1 WO 2016095168A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate system
tablet
patient
adapter
image
Prior art date
Application number
PCT/CN2014/094245
Other languages
English (en)
French (fr)
Inventor
宋志坚
邓薇薇
李舫
王满宁
姚德民
Original Assignee
复旦大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 复旦大学 filed Critical 复旦大学
Priority to PCT/CN2014/094245 priority Critical patent/WO2016095168A1/zh
Publication of WO2016095168A1 publication Critical patent/WO2016095168A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass

Definitions

  • the invention belongs to the field of medical instruments, and in particular relates to a method for visualizing body data which can be used for surgical navigation based on a tablet computer.
  • the neuronavigation system can assist the doctor in planning the surgical approach, determining the location and boundary of the lesion, and avoiding the loss of surrounding normal tissue and organs, which has become an indispensable surgery in the field of neurosurgery.
  • Equipment its working principle is based on the patient's own CT, MRI and other imaging data before surgery, establish an image guidance space, and register it with the real patient's space.
  • the position of the surgical instrument is tracked in real time using a spatial locator and converted into an image space, and a virtual surgical instrument is superimposed and displayed on the patient's image.
  • the virtual surgical instrument in the image space relative to the image, the position of the real surgical instrument relative to the display of the patient's anatomy is used to assist the physician in locating the surgical target and guiding the surgical procedure.
  • the traditional surgical navigation system utilizes virtual reality technology to superimpose virtual surgical instruments into the patient space, and the doctor performs surgical operations by observing the navigation screen.
  • This kind of virtual reality technology makes doctors immersed in the virtual environment created by computer from the sensory effect, often lacking the feeling of “seeing is believing”.
  • the doctor has to observe the position of the surgical instrument relative to the patient.
  • the field of view is switched back and forth between the patient's surgical site and the navigation screen. Since the navigation screen has a certain distance from the operating table, this navigation mode is not conducive to the doctor's focus on the operation of the surgical site, and brings errors to the surgical positioning.
  • Another disadvantage of the conventional surgical navigation system is that it can only display the patient images of the cross-sectional, sagittal, and coronal planes corresponding to the tip of the navigation probe, and cannot obtain an arbitrary cross-sectional image of the patient's volume data field.
  • the patient When the patient is lying on the side and can not get the positive position, it will have a certain impact on the doctor's judgment.
  • the invention intends to provide a mobile wireless communication technology, which can transplant a navigation screen to a tablet computer located beside the doctor, and use a spatial locator to track the tablet computer, obtain a cross-sectional image of the plane of the tablet computer, and display it on the screen at the same time.
  • Volume data visualization method can transplant a navigation screen to a tablet computer located beside the doctor, and use a spatial locator to track the tablet computer, obtain a cross-sectional image of the plane of the tablet computer, and display it on the screen at the same time.
  • the mobile navigation-based medical navigation device related to the present invention includes: a DASH navigation system developed by BrainLab, Germany, which has been certified by CE and FDA and has been used for preliminary Bed test, but the above equipment is expensive and complicated to operate.
  • the surgical navigation system used is mainly composed of a tablet computer, a navigation device and an auxiliary infrared locator, a reference frame and an adapter, and the surgical navigation system is mainly composed of a tablet computer and an excelim-04 or higher navigator.
  • the tablet computer is equipped with a reference frame for infrared tracking, the screen resolution is not less than 800X600, supports multi-touch and handwriting input, supports Wi-Fi wireless connection mode, and has a power life of not less than 8 hours.
  • the navigation device includes a host computer, a display, an infrared locator, and other related peripheral devices; the tablet computer and the navigation device realize real-time communication in a point-to-point manner through wireless communication technology, and transmit and display the navigation information on the tablet computer.
  • the method of the invention mainly realizes two intraoperative navigation modes; one is to display the image information of the cross section, the sagittal plane and the coronal plane corresponding to the needle tip of the navigation probe in real time on the tablet; the other is real time display A cross-sectional image of the extended face of the tablet and the small feet of the patient's head.
  • the method of the present invention is accomplished by image scanning, surgical planning, spatial registration, and intraoperative navigation (as shown in the steps of FIG. 1).
  • the navigation system employed includes two intra-operative navigation modes:
  • the tablet is used to receive and display traditional navigation information in real time.
  • the image information displayed by the tablet computer is the same as that of the remote display screen, and is refreshed in real time as the information on the navigation screen is updated (as shown in FIG. 2);
  • an adapter that can be used for infrared tracking is installed on the tablet, placed near the patient's head, and the position information of the plane where the tablet is located is tracked by the spatial locator.
  • the position information is used to generate an image of the patient's skull section, which is transmitted and displayed on the tablet; when the position of the tablet is changed, any cross-sectional image of the skull can be obtained, thereby facilitating the doctor to obtain the position and depth information of the brain tumor (eg, Figure 3 and Figure 4).
  • the method for visualizing a volume data for a tablet-based surgical navigation is characterized in that an arbitrary cross-sectional image of a patient's skull is acquired and displayed on a tablet according to position information of the tablet computer.
  • assisted surgery it includes:
  • the method for visualizing volume data for tablet-based surgical navigation includes the following steps:
  • a marker point that can be used for scanning is attached to the patient's scalp, and a three-dimensional image coordinate system is established on the obtained patient data after scanning, and a spatial registration method based on the marker point is used to obtain the patient coordinate system.
  • the cross-sectional image is transmitted and displayed on the screen of the tablet through wireless communication technology (WiFi, etc.).
  • the method of the present invention can obtain an arbitrary cross-sectional image by re-sampling the cross-sectional image by real-time updating the position information of the extended surface, and refresh the display in real time on the tablet screen.
  • the present invention makes the present invention
  • the doctor can better focus on the surgical site, without extensive field of view switching in the display screen and surgical area, not only can display the standard cross-sectional image, but also display any cross-sectional image through the orientation of the tablet computer to assist the doctor to locate the tumor and lesions. , bringing great convenience and help to the operation.
  • the invention has the following advantages:
  • the present invention enables a tablet computer and a navigator to perform a point-to-point wireless connection through a wireless network, and completes real-time transmission and display of image data, thereby realizing a mobile navigation operation.
  • the invention can not only display the images of the cross-section, the sagittal plane and the coronal plane corresponding to the tip of the navigation probe on the tablet computer, but also obtain an arbitrary cross-sectional image of the patient's skull according to the position information of the tablet computer, which is convenient for positioning. Tumor, assist the doctor in the operation.
  • the present invention solves the problem of frequent visual field switching between a doctor's traditional navigation screen and a surgical field, and reduces the registration error caused by human operation.
  • the invention facilitates the doctor to better understand the orientation information of the navigation image: with the traditional navigation system, the doctor can only obtain images of three positive-axis planes, and the orientation on the navigation screen, such as front, back, left and right, and the actual patient.
  • the orientation of the invention is detached; in the present invention, the doctor can move the tablet computer and visually see the corresponding cross-sectional image by moving forward, moving up, etc., thereby better understanding the orientation information of the image.
  • FIG. 1 is a schematic view showing the working flow of the surgical navigation system of the present invention
  • Figure 2 shows the process of transferring navigation information and displaying it on the tablet screen during surgery
  • Figure 3 shows the process of generating and displaying a cross-sectional image
  • Figure 4 shows the transformation relationship between the various coordinate systems
  • Figure 5 shows the cross-sectional image of the plane of intersection of the extended surface of the tablet and the skull model on the tablet screen.
  • a marker point that can be used for scanning is attached to the patient's scalp, and a three-dimensional image coordinate system is established on the obtained patient data after scanning, and a spatial registration method based on the marker point is used to obtain the patient coordinate system.
  • the cross-sectional image is transmitted and displayed on the screen of the tablet through wireless communication technology (WiFi, etc.).
  • the results show that the doctor can move the tablet and visually view all the corresponding cross-sectional images by moving forward, moving up, etc., so as to better understand the orientation information of the image, not only the corresponding position of the navigation probe tip can be displayed on the tablet.
  • the images of the cross-section, sagittal and coronal planes can also obtain arbitrary cross-sectional images of the patient's skull according to the position information of the tablet, which is convenient for positioning the tumor and assisting the doctor in the operation.
  • a marker point that can be used for scanning is attached to the patient's scalp, and a three-dimensional image coordinate system is established on the obtained patient data after scanning, and a spatial registration method based on the marker point is used to obtain the patient coordinate system.
  • the cross-sectional image is transmitted and displayed on the screen of the tablet through wireless communication technology (WiFi, etc.).
  • the results show that the doctor can move the tablet and visually view all the corresponding cross-sectional images by moving forward, moving up, etc., so as to better understand the orientation information of the image, not only the corresponding position of the navigation probe tip can be displayed on the tablet.
  • the images of the cross-section, sagittal and coronal planes can also obtain arbitrary cross-sectional images of the patient's skull according to the position information of the tablet, which is convenient for positioning the tumor and assisting the doctor in the operation.

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种基于平板电脑的手术导航用的体数据可视化的方法。该方法中采用的导航***主要由平板电脑、导航仪、红外定位仪、参考架和适配器等组成。平板电脑与导航仪之间通过无线通信技术实现点对点的实时通信，将导航信息传输并显示在平板电脑上。通过该方法能在平板电脑上实时显示导航探针针尖所对应的横断面、矢状面和冠状面的图像信息，实时显示平板电脑延伸面与病人头颅相交所获得的截面图像。医生可以移动平板电脑，直观地看到所对应的截面图像，辅助医生定位肿瘤及病变。

Description

一种基于平板电脑的手术导航用的体数据可视化方法 技术领域
本发明属医疗器械领域，具体涉及一种基于平板电脑的可用于手术导航的体数据可视化方法。
背景技术
现有技术公开了神经导航***可以辅助医生计划手术入路、确定病灶位置和边界，以及避免对周围正常组织器官的损失，所述神经导航***已成为在神经外科领域一种不可或缺的手术设备；其工作原理是术前以病人自身的CT、MRI等影像学数据为基础，建立图像引导空间，并将其与真实患者所在空间进行配准。术中使用空间定位仪实时跟踪手术器械的位置，并将其转换到图像空间中，生成虚拟手术器械叠加显示在患者的图像上。从而通过图像空间中虚拟手术器械相对于图像的位置，用于定位真实手术器械相对于显示患者解剖结构的位置辅助医生定位手术靶点和引导手术操作。
传统的手术导航***都是利用虚拟现实技术，将虚拟手术器械叠加到病人空间，医生通过观察导航屏幕来进行手术操作。该种虚拟现实技术使医生从感官效果上沉浸于由计算机创造的虚拟环境中，常缺乏“眼见为实”的感觉，同时，手术过程中，医生为了观察手术器械相对于病人的位置，不得不在病人手术部位和导航屏幕之间来回切换视野，由于导航屏幕离手术台有一定的距离，这种导航模式既不利于医生集中于手术部位进行操作，同时给手术定位带来了误差。
传统手术导航***的另一个不足之处在于，它只能显示导航探针针尖所对应的横断面、矢状面和冠状面的病人图像，而不能获得病人体数据场的任意截面图像。当病人侧躺着无法获得正***时，会给医生的判断带来一定的影响。
临床实践中，需要一种不但可以解决视野来回切换问题，还可以减小定位误差、减少手术时间、降低手术风险，且不会给医生带来不便的新的神经导航***。本发明拟提供一种采用移动无线通信技术，能将导航屏幕移植到位于医生身旁的平板电脑上，并利用空间定位仪跟踪平板电脑，获得平板电脑所在平面的截面图像，同时显示在其屏幕上的体数据可视化方法。
目前，与本发明相关的基于移动显示的医疗导航设备包括：德国BrainLab公司研制的DASH导航***，该***经过CE和FDA认证，已用于初步的临 床试验，但上述设备价格昂贵且操作复杂。
发明内容
本发明的目的是提供一种基于平板电脑的手术导航的体数据可视化方法，尤其涉及基于平板电脑的头颅部位任意截面可视化的手术导航用的方法。
本发明中，所用的手术导航***主要由平板电脑，导航仪及附属红外定位仪、参考架和适配器等组成，所述的手术导航***主要由平板电脑和excelim-04或更高版本的导航仪组成，所述的平板电脑装有用于红外跟踪的参考架，屏幕分辨率不低于800X600，支持多点触控及手写输入，支持Wi-Fi无线连接方式，不低于8小时的电力续航时间；所述的导航仪包括主机、显示器、红外定位仪及其他相关周边设备；平板电脑与导航仪纸件通过无线通讯技术实现点对点的实时通信，将导航信息传输并显示在平板电脑上。
本发明所述的方法主要实现两种术中导航模式；一种是在平板电脑上实时显示导航探针针尖所对应的横断面、矢状面和冠状面的图像信息；另一种是实时显示平板电脑延伸面与患者头颅小脚所获得的截面图像。
本发明方法通过：图像扫描、手术计划、空间配准和术中导航(如图1所示的步骤完成。
本发明方法中，采用的导航***包括两种术中导航模式：
(1)平板电脑显示传统的导航信息
该模式下，平板电脑用于实时接收和显示传统导航信息。平板电脑显示的图像信息和远端的显示屏幕一样，并随着导航屏幕上信息的更新而实时刷新显示(如图2所示)；
(2)平板电脑显示任意截面信息
由于手术时患者一般侧躺，不易获取病人的正***图像，因此，在平板电脑上安装可用于红外跟踪的适配器，将其置于病人头颅附近，通过空间定位仪跟踪平板电脑所在平面的位置信息，利用该位置信息生成患者头颅截面图像，传输并显示在平板电脑上；当改变平板电脑的位置，则可获取头颅的任一截面图像，从而便于医生获取脑部肿瘤的位置及深度信息(如图3和图4所示)。
具体而言，本发明的基于平板电脑的手术导航用的体数据可视化方法，其特征在于，根据平板电脑的位置信息，获取患者头颅的任意截面图像并显示在平板 电脑屏幕上，辅助手术操作：其包括：
(1)将平板电脑的屏幕按其边界进行延伸；
(2)将延伸面的方位信息变换到图像空间；
(3)根据该延伸面在图像空间的位置通过重采样获得相应的截面图像；
(4)将截面图像传输并显示在平板电脑屏幕上。
更具体的，本发明的基于平板电脑的手术导航用的体数据可视化方法，其特征在于，包括以下步骤：
(1)在平板电脑上安装可用于红外跟踪的适配器，利用光学定位仪跟踪适配器上三个反光球，根据所述的三个反光球的位置坐标建立一个三维适配器坐标系，并自动获得光学定位仪所在的世界坐标系和适配器坐标系之间的变换Taw(如图4所示)，具体表示为4×4的齐次矩阵M1；
(2)利用导航探针和空间定位仪获得探针针尖在平板电脑屏幕上4个角点(图3中的点A，B，C，D)的坐标，即为四个角点在适配器坐标系中的坐标：A(x1,y1,z1)，B(x2,y2,z2)，C(x3,y3,z3)，D(x4,y4,z4)，然后计算出平板电脑的水平宽度l，以平板电脑右边界为轴(如图3长虚线所示)，将A,B,C,D 4个角点按
Figure PCTCN2014094245-appb-000001
平移l个单位，得到4个相应的角点A’，B’，C’，D’，并按以下公式计算出4个新的角点在适配器坐标系下的坐标：
Figure PCTCN2014094245-appb-000002
其中
Figure PCTCN2014094245-appb-000003
为
Figure PCTCN2014094245-appb-000004
方向上的单位向量，计算公式如下：
Figure PCTCN2014094245-appb-000005
(3)在患者旁边固定一个参考架，利用光学定位仪跟踪参考架上四个反光球，根据上述四个反光球的位置坐标建立一个三维坐标系，定为患者坐标系，并利用空间定位仪，获得定位仪坐标系和患者坐标系之间的坐标变换Tpw，具体表示为4×4的齐次矩阵M2，适配器坐标系到患者坐标系之间的变换可表示为M1*M2；
(4)图像扫描前，在患者头皮上贴上能用于扫描的标记点，扫描后对获得的患者数据建立三维图像坐标系，并采用基于标记点的空间配准方法，获得患者 坐标系到图像坐标系的变换关系Tpi，具体表示为4×4的齐次矩阵M3，最终获得适配器坐标系到图像坐标系的变换M＝M1*M2*M3；
(5)将上述A’,B’,C’,D’4个新角点在适配器坐标系下的坐标按变换关系M变换到图像坐标系，并以该四个点为顶点建立一个矩形框，根据矩形框在图像空间的位置，在框内重采样得到一个二维图像，即为相应的截面图像；
(6)通过无线通讯技术(WiFi等)将该截面图像传输并显示在平板电脑的屏幕上。
本发明的方法中，所有的计算过程均在主机中进行，最后将重采样的截面图像传输并显示到平板电脑上；移动平板电脑，其延伸面的位置信息也随之改变，平板电脑屏幕上现实的截面图像随着平板电脑方位的改变而实时更新，从而达到实现任意截面可视化的目的。
本发明所述的方法通过实时更新延伸面的位置信息通过重采样绘制截面图像，能获得任意的截面图像，并在平板电脑屏幕上实时刷新显示，与传统的手术导航***相比，本发明使医生能更好的专注于手术部位，不需在显示屏和手术区域进行大范围的视野切换，不仅可显示标准的截面图像，还可通过平板电脑方位显示任意截面图像，辅助医生定位肿瘤及病变，给手术操作带来极大的便利和帮助。
本发明与现有技术比较还具有以下优点：
(1)本发明使平板电脑和导航仪通过无线网络进行点对点的无线连接，完成了图像数据的实时传输和显示，从而实现了移动导航操作。
(2)本发明不但可以在平板电脑上显示导航探针针尖所对应的横断面、矢状面和冠状面的图像，还可以根据平板电脑的位置信息，获得患者头颅的任意截面图像，便于定位肿瘤，辅助医生进行手术操作。
(3)本发明解决了医生在传统导航屏幕和手术区域之间频繁视野切换的问题，减少了因人为操作带来的配准误差。
(4)本发明便于医生更好的理解导航图像的方位信息：利用传统的导航***，医生只能获得三个正轴状面的图像，导航屏幕上的方位，如前后、左右，与实际病人的方位是脱离的；本发明中医生可以移动平板电脑，通过前移、上移等直观地看到所对应的截面图像，从而更好地理解图像的方位信息。
附图说明
图1是本发明中手术导航***其工作流程示意图；
图2显示了术中将导航信息传输并显示在平板电脑屏幕上的过程；
图3显示了截面图像的生成和显示过程；
图4表明了各个坐标系之间的变换关系；
图5显示了平板电脑延伸面与颅骨模型相交平面的截面图像在平板电脑屏幕上的显示结果。
具体实施方式
实施例1
如图1～5所示，采用本发明的基于平板电脑的可用于手术导航的体数据可视化方法，通过以下步骤，进行临床实践：
(1)在平板电脑上安装可用于红外跟踪的适配器，利用光学定位仪跟踪适配器上三个反光球，根据所述的三个反光球的位置坐标建立一个三维适配器坐标系，并自动获得光学定位仪所在的世界坐标系和适配器坐标系之间的变换Taw(如图4所示)，具体表示为4×4的齐次矩阵M1；
(2)利用导航探针和空间定位仪获得探针针尖在平板电脑屏幕上4个角点(图3中的点A，B，C，D)的坐标，即为四个角点在适配器坐标系中的坐标：A(x1,y1,z1)，B(x2,y2,z2)，C(x3,y3,z3)，D(x4,y4,z4)，然后计算出平板电脑的水平宽度l，以平板电脑右边界为轴(如图3长虚线所示)，将A,B,C,D 4个角点按
Figure PCTCN2014094245-appb-000006
平移l个单位，得到4个相应的角点A’，B’，C’，D’，并按以下公式计算出4个新的角点在适配器坐标系下的坐标：
Figure PCTCN2014094245-appb-000007
其中
Figure PCTCN2014094245-appb-000008
为
Figure PCTCN2014094245-appb-000009
方向上的单位向量，计算公式如下：
Figure PCTCN2014094245-appb-000010
(3)在患者旁边固定一个参考架，利用光学定位仪跟踪参考架上四个反光 球，根据上述四个反光球的位置坐标建立一个三维坐标系，定为患者坐标系，并利用空间定位仪，获得定位仪坐标系和患者坐标系之间的坐标变换Tpw，具体表示为4×4的齐次矩阵M2，适配器坐标系到患者坐标系之间的变换可表示为M1*M2；
(4)图像扫描前，在患者头皮上贴上能用于扫描的标记点，扫描后对获得的患者数据建立三维图像坐标系，并采用基于标记点的空间配准方法，获得患者坐标系到图像坐标系的变换关系Tpi，具体表示为4×4的齐次矩阵M3，最终获得适配器坐标系到图像坐标系的变换M＝M1*M2*M3；
(5)将上述A’,B’,C’,D’4个新角点在适配器坐标系下的坐标按变换关系M变换到图像坐标系，并以该四个点为顶点建立一个矩形框，根据矩形框在图像空间的位置，在框内重采样得到一个二维图像，即为相应的截面图像；
(6)通过无线通讯技术(WiFi等)将该截面图像传输并显示在平板电脑的屏幕上。
结果显示，医生可以移动平板电脑，通过前移、上移等直观地观看到所有对应的截面图像，从而更好地理解图像的方位信息，不但可以在平板电脑上显示导航探针针尖所对应的横断面、矢状面和冠状面的图像，还可以根据平板电脑的位置信息，获得患者头颅的任意截面图像，方便定位肿瘤以及辅助医生手术操作。
实施例2
采用本发明的基于平板电脑的可用于手术导航的体数据可视化方法，通过以下步骤，进行临床实践：
(1)在平板电脑上安装可被电磁跟踪***进行6自由度定位的感应线圈，并在感应线圈上定义适配器坐标系，使用电磁跟踪***自动获得电磁跟踪***所在的世界坐标系和适配器坐标系之间的变换Taw，具体表示为4×4的齐次矩阵M1；
(2)通过事先标定获得平板电脑屏幕上4个角点(图3中的点A，B，C，D)的坐标，即为四个角点在适配器坐标系中的坐标：A(x1,y1,z1)，B(x2,y2,z2)，C(x3,y3,z3)，D(x4,y4,z4)，然后计算出平板电脑的水平宽度l，以平板电脑右边界为轴(如图3长虚线所示)，将A,B,C,D 4个角点按
Figure PCTCN2014094245-appb-000011
平移l个单位，得到4 个相应的角点A’，B’，C’，D’，并按以下公式计算出4个新的角点在适配器坐标系下的坐标：
Figure PCTCN2014094245-appb-000012
其中
Figure PCTCN2014094245-appb-000013
为
Figure PCTCN2014094245-appb-000014
方向上的单位向量，计算公式如下：
Figure PCTCN2014094245-appb-000015
(3)在患者旁边固定一个参考架(包含可以被电磁跟踪***进行6自由度跟踪感应线圈)，根据上述感应线圈建立一个三维坐标系，即患者坐标系，并利用电磁跟踪***获得其自身坐标系和患者坐标系之间的坐标变换Tpw，具体表示为4×4的齐次矩阵M2，适配器坐标系到患者坐标系之间的变换可表示为M1*M2；
(4)图像扫描前，在患者头皮上贴上能用于扫描的标记点，扫描后对获得的患者数据建立三维图像坐标系，并采用基于标记点的空间配准方法，获得患者坐标系到图像坐标系的变换关系Tpi，具体表示为4×4的齐次矩阵M3，最终获得适配器坐标系到图像坐标系的变换M＝M1*M2*M3；
(5)将上述A’,B’,C’,D’4个新角点在适配器坐标系下的坐标按变换关系M变换到图像坐标系，并以该四个点为顶点建立一个矩形框，根据矩形框在图像空间的位置，在框内重采样得到一个二维图像，即为相应的截面图像；
(6)通过无线通讯技术(WiFi等)将该截面图像传输并显示在平板电脑的屏幕上。
结果显示，医生可以移动平板电脑，通过前移、上移等直观地观看到所有对应的截面图像，从而更好地理解图像的方位信息，不但可以在平板电脑上显示导航探针针尖所对应的横断面、矢状面和冠状面的图像，还可以根据平板电脑的位置信息，获得患者头颅的任意截面图像，方便定位肿瘤以及辅助医生手术操作。

Claims (7)

  1. 一种基于平板电脑的手术导航用的体数据可视化方法，其特征在于，根据平板电脑的位置信息，获取患者头颅的任意截面图像并显示在平板电脑屏幕上，其包括步骤：
    (1)将平板电脑的屏幕按其边界进行延伸，在平板电脑上安装用于红外跟踪的适配器，或者，安装可被电磁跟踪***进行6自由度定位的感应线圈；
    (2)将延伸面的方位信息变换到图像空间；
    (3)根据该延伸面在图像空间的位置通过重采样获得相应的截面图像；
    (4)将截面图像传输并显示在平板电脑屏幕上。
  2. 按权利要求1所述的方法，其特征在于，所述的步骤(1)中：
    在平板电脑上安装用于红外跟踪的适配器，利用光学定位仪跟踪适配器上三个反光球，建立一个三维适配器坐标系，并自动获得光学定位仪所在的世界坐标系和适配器坐标系之间的变换Taw，具体表示为4×4的齐次矩阵M1；
    利用导航探针和空间定位仪获得探针针尖在平板电脑屏幕上4个角点A，B，C，D的坐标，即为四个角点在适配器坐标系中的坐标：A(x1,y1,z1)，B(x2,y2,z2)，C(x3,y3,z3)，D(x4,y4,z4)，然后计算出平板电脑的水平宽度l，以平板电脑右边界为轴，将A,B,C,D4个角点按
    Figure PCTCN2014094245-appb-100001
    平移l个单位，得到4个相应的角点A’，B’，C’，D’，按以下公式计算所述延伸面四个角点在适配器坐标系下的坐标：
    Figure PCTCN2014094245-appb-100002
    其中
    Figure PCTCN2014094245-appb-100003
    为
    Figure PCTCN2014094245-appb-100004
    方向上的单位向量，计算公式如下：
    Figure PCTCN2014094245-appb-100005
  3. 按权利要求1所述的方法，其特征在于，所述的步骤(2)中：
    在患者旁边固定一个参考架，利用光学定位仪跟踪参考架上四个反光球，根据上述四个反光球的位置坐标建立一个三维坐标系，定为患者坐标系，并利用空间定位仪，获得定位仪坐标系和患者坐标系之间的坐标变换Tpw，具体表示为4×4的齐次矩阵M2，适配器坐标系到患者坐标系之间的变换可表示为M1*M2；
    或者，在患者旁边固定一个包含可以被电磁跟踪***进行6自由度跟踪感应 线圈的参考架，根据上述感应线圈建立一个三维坐标系，即患者坐标系，并利用电磁跟踪***获得其自身坐标系和患者坐标系之间的坐标变换Tpw，具体表示为4×4的齐次矩阵M2，适配器坐标系到患者坐标系之间的变换可表示为M1*M2；
    图像扫描前，在患者头部确定用于扫描的标记点，扫描后对获得的患者数据建立三维图像坐标系，并采用空间配准方法，获得患者坐标系到图像坐标系的变换关系Tpi，具体表示为4×4的齐次矩阵M3，最终获得适配器坐标系到图像坐标系的变换M＝M1*M2*M3。
  4. 按权利要求1所述的方法，其特征在于，所述的步骤(3)中：
    将获得的A’,B’,C’,D’4个新角点在适配器坐标系下的坐标按变换关系M变换到图像坐标系，并以该四个点为顶点建立一个矩形框，根据矩形框在图像空间的位置，在框内重采样得到一个二维图像，即为相应的截面图像。
  5. 按权利要求1所述的方法，其特征在于，所述的步骤(4)中：
    通过无线通讯技术将获得的截面图像传输并显示在平板电脑的屏幕上。
  6. 按权利要求1所述的方法，其特征在于，所述的移动平板电脑其延伸面的位置信息随之改变；平板电脑屏幕上现实的截面图像随着平板电脑方位的改变实时更新。
  7. 按权利要求1所述的方法，其特征在于，所述的步骤(1)中：在平板电脑上安装可被电磁跟踪***进行6自由度定位的感应线圈，并在感应线圈上定义适配器坐标系，使用电磁跟踪***自动获得电磁跟踪***所在的世界坐标系和适配器坐标系之间的变换Taw，具体表示为4×4的齐次矩阵M1。
PCT/CN2014/094245 2014-12-18 2014-12-18 基于平板电脑的手术导航用的体数据可视化方法 WO2016095168A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/094245 WO2016095168A1 (zh) 2014-12-18 2014-12-18 基于平板电脑的手术导航用的体数据可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/094245 WO2016095168A1 (zh) 2014-12-18 2014-12-18 基于平板电脑的手术导航用的体数据可视化方法

Publications (1)

Publication Number Publication Date
WO2016095168A1 true WO2016095168A1 (zh) 2016-06-23

Family

ID=56125629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/094245 WO2016095168A1 (zh) 2014-12-18 2014-12-18 基于平板电脑的手术导航用的体数据可视化方法

Country Status (1)

Country Link
WO (1) WO2016095168A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109363677A (zh) * 2018-10-09 2019-02-22 中国人民解放军第四军医大学 乳腺电阻抗扫描成像手持式检测探头体表定位***及方法
CN113143463A (zh) * 2021-03-16 2021-07-23 上海交通大学 一种手术导航装置、***、标定方法、介质及电子设备
CN113974831A (zh) * 2021-11-19 2022-01-28 上海寻是科技有限公司 一种用于手术导航的医学图像配准方法
CN114027980A (zh) * 2021-10-30 2022-02-11 浙江德尚韵兴医疗科技有限公司 一种介入手术机器人***及其标定与误差补偿方法
CN114119684A (zh) * 2020-08-31 2022-03-01 ***通信集团浙江有限公司 基于四面体结构的标记点配准方法
CN114176777A (zh) * 2021-12-20 2022-03-15 北京诺亦腾科技有限公司 手术辅助导航***的精度检测方法、装置、设备及介质
CN114587592A (zh) * 2022-03-18 2022-06-07 华科精准（北京）医疗科技有限公司 一种手术导航***及其使用方法
CN114949468A (zh) * 2022-05-31 2022-08-30 华南理工大学 一种医用注射机器人的使用方法及其近红外反光标记贴
CN116672082A (zh) * 2023-07-24 2023-09-01 苏州铸正机器人有限公司 一种手术导航标尺的导航配准方法及装置
CN117159145A (zh) * 2023-10-24 2023-12-05 北京昭衍新药研究中心股份有限公司 非人灵长类实验动物脑立体定位方法
CN117918955A (zh) * 2024-03-21 2024-04-26 北京诺亦腾科技有限公司 一种增强现实外科导航装置、方法、***设备及介质
CN117918955B (zh) * 2024-03-21 2024-07-02 北京诺亦腾科技有限公司 一种增强现实外科导航装置、方法、***设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285902B1 (en) * 1999-02-10 2001-09-04 Surgical Insights, Inc. Computer assisted targeting device for use in orthopaedic surgery
CN103445863A (zh) * 2012-06-02 2013-12-18 复旦大学 基于平板电脑的手术导航和增强现实***
CN103575271A (zh) * 2013-10-29 2014-02-12 复旦大学 基于电控旋转磁场的电磁跟踪***及方法
CN103908345A (zh) * 2012-12-31 2014-07-09 复旦大学 一种基于平板电脑的手术导航用的体数据可视化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285902B1 (en) * 1999-02-10 2001-09-04 Surgical Insights, Inc. Computer assisted targeting device for use in orthopaedic surgery
CN103445863A (zh) * 2012-06-02 2013-12-18 复旦大学 基于平板电脑的手术导航和增强现实***
CN103908345A (zh) * 2012-12-31 2014-07-09 复旦大学 一种基于平板电脑的手术导航用的体数据可视化方法
CN103575271A (zh) * 2013-10-29 2014-02-12 复旦大学 基于电控旋转磁场的电磁跟踪***及方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109363677A (zh) * 2018-10-09 2019-02-22 中国人民解放军第四军医大学 乳腺电阻抗扫描成像手持式检测探头体表定位***及方法
CN114119684A (zh) * 2020-08-31 2022-03-01 ***通信集团浙江有限公司 基于四面体结构的标记点配准方法
CN114119684B (zh) * 2020-08-31 2023-02-28 ***通信集团浙江有限公司 基于四面体结构的标记点配准方法
CN113143463A (zh) * 2021-03-16 2021-07-23 上海交通大学 一种手术导航装置、***、标定方法、介质及电子设备
CN113143463B (zh) * 2021-03-16 2022-08-26 上海交通大学 一种手术导航装置、***、标定方法、介质及电子设备
CN114027980A (zh) * 2021-10-30 2022-02-11 浙江德尚韵兴医疗科技有限公司 一种介入手术机器人***及其标定与误差补偿方法
CN113974831A (zh) * 2021-11-19 2022-01-28 上海寻是科技有限公司 一种用于手术导航的医学图像配准方法
CN113974831B (zh) * 2021-11-19 2024-05-31 苏州寻是科技有限公司 一种用于手术导航的医学图像配准方法
CN114176777A (zh) * 2021-12-20 2022-03-15 北京诺亦腾科技有限公司 手术辅助导航***的精度检测方法、装置、设备及介质
CN114176777B (zh) * 2021-12-20 2022-07-01 北京诺亦腾科技有限公司 手术辅助导航***的精度检测方法、装置、设备及介质
CN114587592B (zh) * 2022-03-18 2023-01-17 华科精准（北京）医疗科技有限公司 一种手术导航***及其使用方法
CN114587592A (zh) * 2022-03-18 2022-06-07 华科精准（北京）医疗科技有限公司 一种手术导航***及其使用方法
CN114949468A (zh) * 2022-05-31 2022-08-30 华南理工大学 一种医用注射机器人的使用方法及其近红外反光标记贴
CN114949468B (zh) * 2022-05-31 2023-09-26 华南理工大学 一种医用注射机器人的使用方法及其近红外反光标记贴
CN116672082A (zh) * 2023-07-24 2023-09-01 苏州铸正机器人有限公司 一种手术导航标尺的导航配准方法及装置
CN116672082B (zh) * 2023-07-24 2024-03-01 苏州铸正机器人有限公司 一种手术导航标尺的导航配准方法及装置
CN117159145A (zh) * 2023-10-24 2023-12-05 北京昭衍新药研究中心股份有限公司 非人灵长类实验动物脑立体定位方法
CN117159145B (zh) * 2023-10-24 2024-02-23 北京昭衍新药研究中心股份有限公司 非人灵长类实验动物脑立体定位方法
CN117918955A (zh) * 2024-03-21 2024-04-26 北京诺亦腾科技有限公司 一种增强现实外科导航装置、方法、***设备及介质
CN117918955B (zh) * 2024-03-21 2024-07-02 北京诺亦腾科技有限公司 一种增强现实外科导航装置、方法、***设备及介质

Similar Documents

Publication Publication Date Title
WO2016095168A1 (zh) 基于平板电脑的手术导航用的体数据可视化方法
EP2153794B1 (en) System for and method of visualizing an interior of a body
US9990744B2 (en) Image registration device, image registration method, and image registration program
US10575755B2 (en) Computer-implemented technique for calculating a position of a surgical device
Andrews et al. Registration techniques for clinical applications of three-dimensional augmented reality devices
EP2637593B1 (en) Visualization of anatomical data by augmented reality
US10166078B2 (en) System and method for mapping navigation space to patient space in a medical procedure
JP2020517352A (ja) ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法
CN103735312B (zh) 多模影像超声引导手术导航***
CN103908345B (zh) 一种基于平板电脑的手术导航用的体数据可视化方法
US20140022283A1 (en) Augmented reality apparatus
US20080123910A1 (en) Method and system for providing accuracy evaluation of image guided surgery
CN101375805A (zh) 一种计算机辅助引导电子内窥镜操作的方法和***
Zeng et al. A surgical robot with augmented reality visualization for stereoelectroencephalography electrode implantation
CN109907801B (zh) 一种可定位超声引导穿刺方法
WO2023246521A1 (zh) 基于混合现实的病灶定位方法、装置和电子设备
CN112168346A (zh) 三维医学影像与患者实时重合的方法及手术辅助***
Wise et al. Computer-aided surgery of the paranasal sinuses and skull base
US11160610B2 (en) Systems and methods for soft tissue navigation
CN110584780A (zh) 一种脑出血穿刺手术导航***
Van Gestel et al. Neuro-oncological augmented reality planning for intracranial tumor resection
CN113229937A (zh) 一种利用实时结构光技术实现手术导航的方法和***
Harders et al. Multimodal augmented reality in medicine
Fried et al. Computer-augmented endoscopic sinus surgery
Thoranaghatte et al. Landmark‐based augmented reality system for paranasal and transnasal endoscopic surgeries

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14908203

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14908203

Country of ref document: EP

Kind code of ref document: A1