CN110537980A - 一种基于运动捕捉和混合现实技术的穿刺手术导航方法 - Google Patents
一种基于运动捕捉和混合现实技术的穿刺手术导航方法 Download PDFInfo
- Publication number
- CN110537980A CN110537980A CN201910905977.0A CN201910905977A CN110537980A CN 110537980 A CN110537980 A CN 110537980A CN 201910905977 A CN201910905977 A CN 201910905977A CN 110537980 A CN110537980 A CN 110537980A
- Authority
- CN
- China
- Prior art keywords
- puncture
- motion capture
- puncture needle
- marker ball
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于运动捕捉和混合现实技术的穿刺手术导航方法，其技术方案要点是：一种基于运动捕捉和混合现实技术的穿刺手术导航方法，包括如下步骤：S1、在病人需要穿刺位置周围皮肤贴上marker球；S2、通过Qualisys光学运动捕捉***捕捉marker球的空间位置坐标；S3、病人连同marker球一起进行拍CT或者MRI；S4、通过使用Unity对小球以及手术部分进行建模；S5、将模型导入增强现实设备；S6、手术过程中Qualisys光学运动捕捉***捕捉带有marker球穿刺针的空间位置坐标，反馈给增强现实设备；S7、医生移动带有marker球的穿刺针，规划穿刺路径后，在AR眼镜中实时显示穿刺针相对于肾脏的位置。本发明的能够对穿刺针进行实时跟踪定位，显示肾脏模型的三维信息。
Description
技术领域
本发明涉及手术导航领域，尤其涉及到一种基于运动捕捉和混合现实技术的穿刺手术导航方法。
背景技术
经皮肾穿刺手术(precutaneous nephrooperation,PNO)，萌芽于四十年代初期，而真正应用于临床则是五十年代初期，包括三部分：
1.经皮肾穿刺造瘘术(precutaneous nephrostomy.PCN)，为Goodwin所开创，1995年Goodwin首次采用Trocar技术作了PCN的初步工作。
2.经皮肾穿刺碎石术(precutaneous nephrolithtomy，PNL)，新的方法又叫经皮肾镜碎石术(percutaneous nephroscope lithoipsy，PNCL)，它的发展过程大致可分为X线荧光取石技术，肾镜直视取石技术和超声、液电等碎石技术三个阶段。
3.经皮肾穿刺活检术(percutaneous nephrobiopsy，PNB)，于五十年代初期应用于临床。我国学者在开展PNB方面起步较早，1958年赵魁丹、周慧英等报道了PNB的临床应用。
前穿刺通道的建立主要采用B超和X线定位，图像为二维平面，操作者不易把握穿刺角度，无法清晰分辨肾血管的分布情况及周围脏器的毗邻关系，因此无法较好避免对血管及周围脏器的损伤；而且部分患者病情较为复杂，可能存在解剖变异如马蹄肾、肾脏旋转不良，增加了手术风险。尽管彩超能够显示动静脉血流，有助于穿刺避免大量血管损伤，一定程度降低了手术大出血的风险，然而其提供二维图像对穿刺通道的规划性不强，肾内部结构显示不清，穿刺定位很难达到合理性。对医生经验要求高，手术中医生心理压力，不会使用超声的年轻医生无法进行手术，且上手慢。
常规B超、C臂定位临床医生担心胸膜及临近脏器损伤，往往选择12肋下穿刺，给术中操作带来被动。而肾中下盏入路很多时候并不能进入肾上盏，对于多发结石，会残留部结石，需要二次手术，即便如此，部分患者在二次手术仍然不能完全清除结石，主要原因是对结石位置分布不能把握，穿刺通道虽然能进入集合***，但不能进入至某些肾盏，取到更多结石。而增强现实技术可以显示肾脏及其周围器官和组织的三维模型，帮助医生在穿刺前观察是否会损伤其他脏器，且结石或病灶相对于肾脏的位置也是一目了然的，在视野方面是优于二维图片的；不仅如此，还可实时显示手术器械的路径，及时纠正医生不规范的穿刺路径，避免因为针道方向规划错误而增加穿针次数，加重病人的痛苦。
随着计算机辅助外科手术技术的快速发展，手术导航***被广泛的应用于外科手术中。手术导航***能够定位手术器械，并在屏幕上实时显示手术器械相对病灶的位置以及病灶区矢状位、水平位和冠状位的组织结构等，最终引导临床医生调整手术器械的位置进而更加快速、安全、准确的完成手术。增强现实(augmented reality,AR)技术是借助光电显示技术、传感器技术、计算机图形学等将计算机生成的虚拟模型与使用者所在的现实场景融为一体，使用户从感官效果上确信虚拟物体是周围真实环境的组成部分。自从微软于2016年推出混合现实设备HoloLens，基于HoloLens的手术导航方法被广泛地应用于临床。但目前的基于HoloLens手术导航***设计上存在以下问题。
(1)三维注册方法以识别图为主，在计算机中识别图位置的摆放严重影响导航***的精确度。
(2)如果患者位置发生了改变则需要HoloLens重新扫描识别图，影响效率。
(3)手术部位虚拟模型位置的判断以主观为主影响精确度，缺少手术器械相对虚拟模型的客观数据信息。
因此，我们有必要对这样一种结构进行改善，以克服上述缺陷。
发明内容
本发明的目的是提供一种基于运动捕捉和混合现实技术的穿刺手术导航方法，能够对穿刺针进行实时跟踪定位，显示肾脏模型的三维信息。
本发明的上述技术目的是用过以下技术方案实现的：一种基于运动捕捉和混合现实技术的穿刺手术导航方法，包括如下步骤：
S1、在病人需要穿刺位置周围皮肤表面的生理点贴上marker球；
S2、通过Qualisys光学运动捕捉***捕捉marker球的空间位置坐标；
S3、病人连同marker球一起进行拍CT或者MRI；
S4、通过使用Unity对小球以及手术部分进行建模，并对Qualisys光学运动捕捉***和Unity的空间坐标系进行匹配统一；
S5、将模型导入增强现实设备；
S6、进行手术，手术过程中Qualisys光学运动捕捉***捕捉带有marker球穿刺针的空间位置坐标，并通过算法计算出穿刺针与虚拟模型的相对位置数据并反馈给增强现实设备，为医生提供精确的位置信息；
S7、虚拟模型叠加在真实模型后，医生通过移动带有marker球的穿刺针，规划好穿刺路径后，在人体表面选取穿刺点进针，并在AR眼镜中实时显示穿刺针相对于肾脏的位置。
本发明的进一步设置为：在步骤S4中，将marker球的空间位置导入unity中，使unity与Qualisys的空间坐标系一致。
本发明的进一步设置为：在步骤S7中，手术过程中，通过捕捉摄像头捕捉穿刺针的位置，以此得到穿刺针与虚拟模型的相对位置数据，并可以在增强现实设备上显示出来实时相对位置距离数据。
综上所述，本发明具有以下有益效果：
1.显示肾脏及其周围器官和组织的三维模型，便于医生观察结石和病灶的位置及结构。
2.操作简单，根据对CT、MRI等影像学图片的三维重建后，导入到AR眼镜中，通过AR眼镜将虚拟模型投射在贴有marker球的皮肤上，最终实现虚实模型的叠加。
3.对穿刺路径进行规划，使年轻医生更容易实施经皮肾穿刺手术。
4.成本低，整体硬件设备只需要摄像头和AR眼镜即可。
5.效率高于传统的超声引导穿刺手术，在非正常时段发病或急诊情况下，只需要对CT图片进行三维重建后导入到AR眼镜中就可以进行手术，不需要超声影像医生的指导，非经验丰富的医生也可以参与手术。
附图说明
图1是本发明的AR经皮肾脏穿刺手术导航***的实现流程图；
图2是本发明的实用场景示意图；
图3是本发明的术前规划及手术流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合图示与具体实施例，进一步阐述本发明。
如图1所示，本发明提出的一种基于运动捕捉和混合现实技术的穿刺手术导航方法，包括如下步骤：
S1、在病人需要穿刺的肾脏周围皮肤表面的生理点贴上marker球；
S2、通过Qualisys光学运动捕捉***捕捉marker球的空间位置坐标，其中Qualisys光学运动捕捉***可以捕捉到亚毫米级别的实时位置精度，病人在需要使用增强现实手术导航的地方选择骨性位置贴上marker球，通过Qualisys的捕捉摄像头捕捉marker球的空间位置；
S3、病人连同marker球一起进行拍CT或者MRI；
S4、通过使用Unity对小球以及手术部分进行建模，并对Qualisys光学运动捕捉***和Unity的空间坐标系进行匹配统一，将marker球的空间位置导入unity中，使unity与Qualisys的空间坐标系一致；
S5、将模型导入增强现实设备，构件真实模型；
S6、进行手术，手术过程中Qualisys光学运动捕捉***捕捉带有marker球穿刺针的空间位置坐标，并通过算法计算出穿刺针与虚拟模型的相对位置数据并反馈给增强现实设备，为医生提供精确的位置信息；
S7、虚拟模型叠加在真实模型后，医生通过移动带有marker球的穿刺针，规划好穿刺路径后，在人体表面选取穿刺点进针，并在AR眼镜中实时显示穿刺针相对于肾脏的位置；并且手术过程中，通过捕捉摄像头捕捉穿刺针的位置，以此得到穿刺针与虚拟模型的相对位置数据，并可以在增强现实设备上显示出来实时相对位置距离数据，通过观察虚拟针尖的位置判断是否到达病灶。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。
Claims (3)
1.一种基于运动捕捉和混合现实技术的穿刺手术导航方法，其特征在于，包括如下步骤：
S1、在病人需要穿刺位置周围皮肤表面的生理点贴上marker球；
S2、通过Qualisys光学运动捕捉***捕捉marker球的空间位置坐标；
S3、病人连同marker球一起进行拍CT或者MRI；
S4、通过使用Unity对小球以及手术部分进行建模，并对Qualisys光学运动捕捉***和Unity的空间坐标系进行匹配统一；
S5、将模型导入增强现实设备；
S6、进行手术，手术过程中Qualisys光学运动捕捉***捕捉带有marker球穿刺针的空间位置坐标，并通过算法计算出穿刺针与虚拟模型的相对位置数据并反馈给增强现实设备，为医生提供精确的位置信息；
S7、虚拟模型叠加在真实模型后，医生通过移动带有marker球的穿刺针，规划好穿刺路径后，在人体表面选取穿刺点进针，并在AR眼镜中实时显示穿刺针相对于肾脏的位置。
2.根据权利要求1所述的一种基于运动捕捉和混合现实技术的穿刺手术导航方法，其特征在于：在步骤S4中，将marker球的空间位置导入unity中，使unity与Qualisys的空间坐标系一致。
3.根据权利要求1所述的一种基于运动捕捉和混合现实技术的穿刺手术导航方法，其特征在于：在步骤S7中，手术过程中，通过捕捉摄像头捕捉穿刺针的位置，以此得到穿刺针与虚拟模型的相对位置数据，并可以在增强现实设备上显示出来实时相对位置距离数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910905977.0A CN110537980A (zh) | 2019-09-24 | 2019-09-24 | 一种基于运动捕捉和混合现实技术的穿刺手术导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910905977.0A CN110537980A (zh) | 2019-09-24 | 2019-09-24 | 一种基于运动捕捉和混合现实技术的穿刺手术导航方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110537980A true CN110537980A (zh) | 2019-12-06 |
Family
ID=68714407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910905977.0A Pending CN110537980A (zh) | 2019-09-24 | 2019-09-24 | 一种基于运动捕捉和混合现实技术的穿刺手术导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110537980A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112083799A (zh) * | 2020-07-23 | 2020-12-15 | 常州锦瑟医疗信息科技有限公司 | 一种增强现实辅助穿刺定位方法 |
| CN112107366A (zh) * | 2020-07-23 | 2020-12-22 | 常州锦瑟医疗信息科技有限公司 | 一种混合现实超声导航*** |
| CN113133814A (zh) * | 2021-04-01 | 2021-07-20 | 上海复拓知达医疗科技有限公司 | 基于增强现实的穿刺手术导航装置及计算机可读存储介质 |
| CN113662594A (zh) * | 2021-09-10 | 2021-11-19 | 上海联影医疗科技股份有限公司 | 乳腺穿刺定位/活检方法、装置、计算机设备和存储介质 |
| CN114767270A (zh) * | 2022-04-26 | 2022-07-22 | 广州柏视医疗科技有限公司 | 一种用于肺部手术穿刺的导航显示*** |
| CN114840110A (zh) * | 2022-03-17 | 2022-08-02 | 杭州未名信科科技有限公司 | 一种基于混合现实的穿刺导航交互辅助方法及装置 |
| WO2024021637A1 (zh) * | 2022-07-26 | 2024-02-01 | 湖南卓世创思科技有限公司 | 针对脑部病灶的穿刺路径确定***、方法、装置及介质 |
-
2019
- 2019-09-24 CN CN201910905977.0A patent/CN110537980A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112083799A (zh) * | 2020-07-23 | 2020-12-15 | 常州锦瑟医疗信息科技有限公司 | 一种增强现实辅助穿刺定位方法 |
| CN112107366A (zh) * | 2020-07-23 | 2020-12-22 | 常州锦瑟医疗信息科技有限公司 | 一种混合现实超声导航*** |
| CN113133814A (zh) * | 2021-04-01 | 2021-07-20 | 上海复拓知达医疗科技有限公司 | 基于增强现实的穿刺手术导航装置及计算机可读存储介质 |
| CN113662594A (zh) * | 2021-09-10 | 2021-11-19 | 上海联影医疗科技股份有限公司 | 乳腺穿刺定位/活检方法、装置、计算机设备和存储介质 |
| CN113662594B (zh) * | 2021-09-10 | 2024-04-23 | 上海联影医疗科技股份有限公司 | 乳腺穿刺定位/活检方法、装置、计算机设备和存储介质 |
| CN114840110A (zh) * | 2022-03-17 | 2022-08-02 | 杭州未名信科科技有限公司 | 一种基于混合现实的穿刺导航交互辅助方法及装置 |
| CN114767270A (zh) * | 2022-04-26 | 2022-07-22 | 广州柏视医疗科技有限公司 | 一种用于肺部手术穿刺的导航显示*** |
| CN114767270B (zh) * | 2022-04-26 | 2023-05-12 | 广州柏视医疗科技有限公司 | 一种用于肺部手术穿刺的导航显示*** |
| WO2024021637A1 (zh) * | 2022-07-26 | 2024-02-01 | 湖南卓世创思科技有限公司 | 针对脑部病灶的穿刺路径确定***、方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110537980A (zh) | 一种基于运动捕捉和混合现实技术的穿刺手术导航方法 | |
| US11871913B2 (en) | Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same | |
| CN109416841B (zh) | 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 | |
| CA2973479C (en) | System and method for mapping navigation space to patient space in a medical procedure | |
| US10258413B2 (en) | Human organ movement monitoring method, surgical navigation system and computer readable medium | |
| Freysinger et al. | Image-guided endoscopic ENT surgery | |
| US11712307B2 (en) | System and method for mapping navigation space to patient space in a medical procedure | |
| EP2584990B1 (en) | Focused prostate cancer treatment system | |
| US10357317B2 (en) | Handheld scanner for rapid registration in a medical navigation system | |
| CN103479430A (zh) | 一种影像引导介入手术导航*** | |
| JP2007508913A (ja) | 術中ターゲティングのシステムおよび方法 | |
| WO2015148529A1 (en) | Interactive systems and methods for real-time laparoscopic navigation | |
| CN111887988B (zh) | 一种微创介入手术导航机器人的定位方法及其装置 | |
| Zhu et al. | A neuroendoscopic navigation system based on dual-mode augmented reality for minimally invasive surgical treatment of hypertensive intracerebral hemorrhage | |
| Ferguson et al. | Toward practical and accurate touch-based image guidance for robotic partial nephrectomy | |
| Azimi et al. | Interactive navigation system in mixed-reality for neurosurgery | |
| CN111631814B (zh) | 术中血管立体定位导航***及方法 | |
| Vogt et al. | Augmented reality system for MR-guided interventions: Phantom studies and first animal test | |
| Freysinger et al. | A full 3D-navigation system in a suitcase | |
| CN113940756B (zh) | 一种基于移动dr影像的手术导航*** | |
| Meinzer et al. | Computer-assisted soft tissue interventions | |
| Chen et al. | Development and evaluation of ultrasound-based surgical navigation system for percutaneous renal interventions | |
| CN113940737A (zh) | 一种可视穿刺活检套件 | |
| CN115607275A (zh) | 一种图像显示方式、装置、存储介质及电子设备 | |
| CN116172704A (zh) | 一种颅脑定位穿刺方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191206 |
|
| RJ01 | Rejection of invention patent application after publication |