CN104274247A - 医学手术导航方法 - Google Patents
医学手术导航方法 Download PDFInfo
- Publication number
- CN104274247A CN104274247A CN201410557658.2A CN201410557658A CN104274247A CN 104274247 A CN104274247 A CN 104274247A CN 201410557658 A CN201410557658 A CN 201410557658A CN 104274247 A CN104274247 A CN 104274247A
- Authority
- CN
- China
- Prior art keywords
- medical
- dummy model
- image
- navigation aid
- air navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种医学手术导航方法，包括：第一步骤，用于对医学图像进行三维重建以得到虚拟模型；以及第二步骤，用于通过增强现实技术将所述虚拟模型与病人身体部位融合，以便在融合状态下实现对医学手术的导航作用。根据本发明的医学手术导航方法使得外科医生能够获取更加准确且直观的病人身体信息。
Description
技术领域
本发明涉及计算机应用中的多媒体技术领域，更具体地说，本发明涉及一种医学手术导航方法。
背景技术
医学成像的发展史已经过去了半个世纪，从显微镜的发明到现在的X射线计算机断层成像(CT)、核磁共振(MRI)等技术，使得医学诊断和医疗技术取得了很大的进展。
传统的医学导航方法中，医生通过CT或MRI图像根据诊断经验在自己脑海中想象出病灶的三维位置，因此在手术前无法对病灶位置进行准确的定位。而且，在手术中，对于如何避开重要的功能区、神经及血管，找到一条通往病灶的捷径，并深入病灶也是十分困难的。
在这种情况下，已经提出了一种新的医学图像方法，使得医生在术前及术中对病人各部位解剖、血管及功能有一个更直观、更准确的认知。近来出现的计算机辅助外科手术***(CAS)以及基于图像的外科手术导航(IGS)等就是在信息科学高速发展并应用于医学的成果。计算机辅助外科手术，指计算机直接参与的各种外科手术方法，它包括术前诊断、远程手术、虚拟现实等。基于图像的外科手术导航相较于计算机辅助外科手术***更确切的指基于医学图像的导航技术，指利用医学图像信息为手术机械导航，目的在于最大可能的为医生提供病灶部位信息。利用这项技术，医生可以在在术前获得手术部位的三维(3D)信息，更明确的制定手术计划。基于图像的手术导航技术是融合了计算机、影像、医学的技术。它是基于3D重建的，使得整体图像数据与病人匹配而不是单个点匹配。
虽然基于图像的手术导航技术的应用给外科手术带来了极大的便利，但是医生无法在手术中一边看人体组织的3D显示，一边将3D显示与病人真实的解剖部位进行对应。
发明内容
本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种使得外科医生能够获取更加准确且直观的病人身体信息的医学手术导航方法。
为了实现上述技术目的，根据本发明，提供了一种医学手术导航方法，其包括：第一步骤，用于对医学图像进行三维重建以得到虚拟模型；以及第二步骤，用于通过增强现实技术将所述虚拟模型与病人身体部位融合，以便在融合状态下实现对医学手术的导航作用。
优选地，所述医学图像为医疗手术中X射线拍摄到的实时图像。
优选地，所述第一步骤包括：将医疗手术中X射线拍摄到的实时图像进行三维重建以得到虚拟模型。
优选地，第二步骤包括：将虚拟模型与已拍摄好的B超图像显示在一个界面上，并通过利用opencv库函数将B超图像转换为ARToolKit中的黑色形状标记，从而将表示病人身体部位的B超图像作为用于在虚拟模型中进行跟踪的黑色形状标记，由此将所述虚拟模型与病人身体部位融合。
附图说明
结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
图1示意性地示出了根据本发明优选实施例的医学手术导航方法的示意流程图。
需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。
具体实施方式
为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。
增强现实(AR:AugmentedReality)是一种图形学领域的新技术,它将计算机绘制的虚拟模型融合到使用者所看到的真实世界景象中。使用者可从计算机描绘的虚拟模型中获得额外的信息,从而对真实环境进行增强。它具有三大特点：虚实结合、实时交互、三维匹配。
增强现实技术的出现与发展得益于图形学领域的虚拟现实技术(VR：VirtualReality)，可以说增强现实技术是虚拟现实技术的进一步发展，两者之间既存在不可分割的密切关系，又有着显著的差别。虚拟现实***强调用户在虚拟环境中的视觉，触觉，听觉等器官完全浸没，强调将用户的感官与现实世界无关，沉浸在由计算机控制的信息空间(Cyberspace)内。而增强现实***不仅不切断用户与现实世界的联系，反而更加强调用户在现实世界中的存在，并竟可能维持各感官的正常运作。
增强现实***的最终目标是将计算机生成的虚拟环境和用户所处的真实环境有机的结合，使它们看起来像一个整体，通过软硬件合作，使得用户可以更自然的将真实环境和虚拟物体进行三维转换。增强现实技术将虚拟现实与真实世界连接起来，在各个领域都有广阔的应用前景，如军事、医学、机械、设计、娱乐等。
图1示意性地示出了根据本发明优选实施例的医学手术导航方法的示意流程图。
具体地，如图1所示，根据本发明优选实施例的医学手术导航方法包括：
第一步骤S1：对医学图像(例如，CT医学图像或MRI医学图像)进行三维重建以得到虚拟模型；
第二步骤S2：通过增强现实技术将所述虚拟模型与病人身体部位融合，以便在融合状态下实现对医学手术的导航作用。
根据本发明优选实施例的医学手术导航方法使得外科医生能够获取更加准确且直观的病人身体信息。
下面将描述本发明的具体实施例。
本发明的具体实施例采用了ARToolKit。具体地，ARToolKit它是一个C/C++语言编写的库，通过它可以让我们很容易的编写增强现实应用程序。对于开发一个AR程序来说，最困难的部分在于实时的将虚拟图像覆盖到用户视口，并且和真实世界中的对象精确对齐。ARToolKit使用电脑图像技术计算摄像机和标记卡之间的相对位置，从而使程序员能够将他们的虚拟对象覆盖到标记卡上面。
基于ARToolKit的应用程序可以在实时视频中显示有景深的虚拟影像(透视投影)，其中包括用于跟踪的黑色形状标记(Marker)。
由此，所述第一步骤S1可以包括：例如利用计算机，将医疗手术中X射线拍摄到的实时图像进行三维重建以得到虚拟模型(在这种情况下，前面提到的医学图像为医疗手术中X射线拍摄到的实时图像)；
相应地，第二步骤S2可包括：将虚拟模型与已拍摄好的B超图像显示在一个界面上，并通过利用opencv库函数将B超图像转换为ARToolKit中的黑色形状标记(Marker)，从而将表示病人身体部位的B超图像作为用于在虚拟模型中进行跟踪的黑色形状标记(Marker)，由此将所述虚拟模型与病人身体部位融合。
其中，可以实现上述功能的函数的示例如下：
为了清楚描述本发明的具体实现示例，下面将描述ARToolkit的一些技术细节。ARToolkit中主要的算法包括：
1.marker的识别；
2.投影。
其中ARToolkit中实现的投影关系是最复杂的。ARToolkit巧妙的利用近小远大及投影关系来计算卡片相对摄像机远近，以及旋转(X轴/Y轴/Z轴)的相对位置。具体算法由线性代数计算并实现。
程序执行或实现过程包括：
初始化：1、初始化视频捕捉设备并读取标识板文件和摄像头参数——init()
主循环：2、捕获图像输入架构中 ——arvideogetimage()
3、侦测标识板和识别样式 ——ardetectmarker()
4、计算摄像头和侦测到的图像间的关系——argettransmat()
5、在侦测到的图样上显示虚拟物体 ——
argDrawMode2D()
argDrawMode3D()
关闭：6、关掉视频捕捉窗口 ——cleanup()
以下为实现程序中用到的几个主程序：
可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (4)
1.一种医学手术导航方法，其特征在于包括：
第一步骤，用于对医学图像进行三维重建以得到虚拟模型；以及
第二步骤，用于通过增强现实技术将所述虚拟模型与病人身体部位融合，以便在融合状态下实现对医学手术的导航作用。
2.根据权利要求1所述的医学手术导航方法，其特征在于，所述医学图像为医疗手术中X射线拍摄到的实时图像。
3.根据权利要求2所述的医学手术导航方法，其特征在于，所述第一步骤包括：将医疗手术中X射线拍摄到的实时图像进行三维重建以得到虚拟模型。
4.根据权利要求3所述的医学手术导航方法，其特征在于，第二步骤包括：将虚拟模型与已拍摄好的B超图像显示在一个界面上，并通过利用opencv库函数将B超图像转换为ARToolKit中的黑色形状标记，从而将表示病人身体部位的B超图像作为用于在虚拟模型中进行跟踪的黑色形状标记，由此将所述虚拟模型与病人身体部位融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410557658.2A CN104274247A (zh) | 2014-10-20 | 2014-10-20 | 医学手术导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410557658.2A CN104274247A (zh) | 2014-10-20 | 2014-10-20 | 医学手术导航方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104274247A true CN104274247A (zh) | 2015-01-14 |
Family
ID=52249933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410557658.2A Pending CN104274247A (zh) | 2014-10-20 | 2014-10-20 | 医学手术导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104274247A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106580361A (zh) * | 2016-12-08 | 2017-04-26 | 王国良 | 一种基于ar‑vr技术4d成像的移动式骨科检测装置 |
| CN107341791A (zh) * | 2017-06-19 | 2017-11-10 | 北京全域医疗技术有限公司 | 一种基于混合现实的勾靶方法、装置及*** |
| CN107854142A (zh) * | 2017-11-28 | 2018-03-30 | 无锡祥生医疗科技股份有限公司 | 医用超声增强现实成像*** |
| CN109659024A (zh) * | 2018-12-12 | 2019-04-19 | 黑龙江拓盟科技有限公司 | 一种mr辅助的远程诊疗方法 |
| CN109674533A (zh) * | 2017-10-18 | 2019-04-26 | 刘洋 | 基于便携式彩超设备的手术导航***及方法 |
| CN110024042A (zh) * | 2016-09-30 | 2019-07-16 | 皇家飞利浦有限公司 | 用于医学工具的位置规划和工具引导的解剖模型 |
| CN110200772A (zh) * | 2019-06-05 | 2019-09-06 | 解涛 | 一种基于vr技术的神经外科手术床 |
| CN110992477A (zh) * | 2019-12-25 | 2020-04-10 | 上海褚信医学科技有限公司 | 虚拟手术的生物表皮标记方法及*** |
| CN111386511A (zh) * | 2017-10-23 | 2020-07-07 | 皇家飞利浦有限公司 | 基于自扩展的增强现实服务指令库 |
| CN114679603A (zh) * | 2022-03-31 | 2022-06-28 | 新瑞鹏宠物医疗集团有限公司 | 宠物手术直播***及方法 |
-
2014
- 2014-10-20 CN CN201410557658.2A patent/CN104274247A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110024042A (zh) * | 2016-09-30 | 2019-07-16 | 皇家飞利浦有限公司 | 用于医学工具的位置规划和工具引导的解剖模型 |
| CN106580361B (zh) * | 2016-12-08 | 2018-03-23 | 王国良 | 一种基于ar‑vr技术4d成像的移动式骨科检测装置 |
| CN106580361A (zh) * | 2016-12-08 | 2017-04-26 | 王国良 | 一种基于ar‑vr技术4d成像的移动式骨科检测装置 |
| CN107341791A (zh) * | 2017-06-19 | 2017-11-10 | 北京全域医疗技术有限公司 | 一种基于混合现实的勾靶方法、装置及*** |
| CN109674533A (zh) * | 2017-10-18 | 2019-04-26 | 刘洋 | 基于便携式彩超设备的手术导航***及方法 |
| CN111386511A (zh) * | 2017-10-23 | 2020-07-07 | 皇家飞利浦有限公司 | 基于自扩展的增强现实服务指令库 |
| CN107854142A (zh) * | 2017-11-28 | 2018-03-30 | 无锡祥生医疗科技股份有限公司 | 医用超声增强现实成像*** |
| CN109659024A (zh) * | 2018-12-12 | 2019-04-19 | 黑龙江拓盟科技有限公司 | 一种mr辅助的远程诊疗方法 |
| CN110200772A (zh) * | 2019-06-05 | 2019-09-06 | 解涛 | 一种基于vr技术的神经外科手术床 |
| CN110200772B (zh) * | 2019-06-05 | 2021-01-29 | 解涛 | 一种基于vr技术的神经外科手术床 |
| CN110992477A (zh) * | 2019-12-25 | 2020-04-10 | 上海褚信医学科技有限公司 | 虚拟手术的生物表皮标记方法及*** |
| CN110992477B (zh) * | 2019-12-25 | 2023-10-20 | 上海褚信医学科技有限公司 | 虚拟手术的生物表皮标记方法及*** |
| CN114679603A (zh) * | 2022-03-31 | 2022-06-28 | 新瑞鹏宠物医疗集团有限公司 | 宠物手术直播***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104274247A (zh) | 医学手术导航方法 | |
| Vidal et al. | Principles and applications of computer graphics in medicine | |
| Wang et al. | Augmented reality navigation with automatic marker-free image registration using 3-D image overlay for dental surgery | |
| Colchester et al. | Development and preliminary evaluation of VISLAN, a surgical planning and guidance system using intra-operative video imaging | |
| CN1689518B (zh) | 使用基于图像的导航***的增强现实仪器放置的方法 | |
| CN103356155B (zh) | 虚拟内窥镜辅助的腔体病灶检查*** | |
| CN201029876Y (zh) | 骨科手术导航*** | |
| US11989341B2 (en) | Alignment of medical images in augmented reality displays | |
| CN103479431B (zh) | 非介入式微创手术导航*** | |
| Shahidi et al. | Clinical applications of three-dimensional rendering of medical data sets | |
| CN100581447C (zh) | 骨科手术导航*** | |
| CN115105207A (zh) | 基于混合现实的手术全息导航方法及*** | |
| Mewes et al. | Concepts for augmented reality visualisation to support needle guidance inside the MRI | |
| Cheema et al. | Image-aligned dynamic liver reconstruction using intra-operative field of views for minimal invasive surgery | |
| Halabi et al. | Virtual and augmented reality in surgery | |
| Fischer et al. | Evaluation of different visualization techniques for perception-based alignment in medical ar | |
| Klein et al. | Visual computing for medical diagnosis and treatment | |
| CN113842227B (zh) | 医疗辅助三维模型定位匹配方法、***、设备及介质 | |
| Karner et al. | Single-shot deep volumetric regression for mobile medical augmented reality | |
| CN114886558A (zh) | 一种基于增强现实的内窥镜投影方法及*** | |
| CN115105204A (zh) | 一种腹腔镜增强现实融合显示方法 | |
| Klein et al. | Advanced Algorithms in Medical Computer Graphics. | |
| Vidal et al. | Principles and Applications of Medical Virtual Environments. | |
| Stoyanov et al. | Current issues of photorealistic rendering for virtual and augmented reality in minimally invasive surgery | |
| Sun | Image guided interaction in minimally invasive surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150114 |