CN106344151A - 一种手术定位方法及*** - Google Patents

一种手术定位方法及*** Download PDF

Info

Publication number
CN106344151A
CN106344151A CN201610800165.6A CN201610800165A CN106344151A CN 106344151 A CN106344151 A CN 106344151A CN 201610800165 A CN201610800165 A CN 201610800165A CN 106344151 A CN106344151 A CN 106344151A
Authority
CN
China
Prior art keywords
organ
image
virtual
virtual organ
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610800165.6A
Other languages
English (en)
Other versions
CN106344151B (zh
Inventor
季红
沈涛
刘晓晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEJING COMPUTING CENTER
Original Assignee
BEJING COMPUTING CENTER
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEJING COMPUTING CENTER filed Critical BEJING COMPUTING CENTER
Priority to CN201610800165.6A priority Critical patent/CN106344151B/zh
Publication of CN106344151A publication Critical patent/CN106344151A/zh
Application granted granted Critical
Publication of CN106344151B publication Critical patent/CN106344151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例提供一种手术定位方法及***,该方法包括:根据预先采集的器官信息,拟合虚拟器官图像;将所述虚拟器官图像投影到待手术器官的上方;根据所述虚拟器官图像的投影,对与所述虚拟器官图像匹配的待手术器官进行靶点或病灶定位,辅助医生快速定位靶点或病灶进而确定手术切割点。该方法通过拟合虚拟器官图像,并将虚拟器官图像投影到待手术器官的上方,使得手术医生直接可以根据投影,对与所述虚拟器官图像匹配的待手术器官进行靶点或病灶定位,无需额外的显示器显示虚拟的导航图,简化了手术的难度。

Description

一种手术定位方法及***
技术领域
本发明涉及增强现实投影技术领域,尤其涉及一种手术定位方法及***。
背景技术
手术导航***用于对患者手术中所使用的手术器械进行导航,为医生手术提供了便利。现有的导航***公开了患者处于第一坐标***中,手术导航***包含:影像***,用以撷取患者的影像,影像***具有影像增强器,影像增强器上配置标记件;定位模块,用以识别标记件并获取第二坐标***,第二坐标***为影像增强器中的影像的坐标***;影像传输服务模块,耦接于影像***,用以传输患者的影像;以及导航模块,耦接于定位模块及影像传输服务模块,用以接收影像传输服务模块所传输的患者的影像,并基于第二坐标***与第一坐标***的坐标变换将手术器械的位置变换至第二坐标***并实时显示在患者的影像中。
目前的手术导航***所有的导航信息均显示在另外的显示器中,医师在手术中不得不一边看虚拟的导航图,一边将三维显示与患者真实的解剖组织进行对照,术者需要在不同视野中转换,增加了手术的难度。
发明内容
本发明实施例提供一种手术定位方法及***,无需额外的显示器显示虚拟的导航图,简化了手术的难度。
第一方面,本发明实施例提供了一种手术定位方法,包括:
根据预先采集的器官信息,拟合虚拟器官图像;
将所述虚拟器官图像投影到待手术器官的上方;
根据所述虚拟器官图像的投影,对与所述虚拟器官图像匹配的待手术器官进行靶点或病灶定位。
可选的,所述根据预先采集的器官信息,拟合虚拟器官图像,包括:
根据预先采集的待手术器官的CT/MRI扫描原始数据和/或造影材料影像数据构建虚拟器官模型;
通过预设评价函数,得到虚拟器官的边界与特征,并获取虚拟器官图像。
可选的,在将所述虚拟器官图像投影到待手术器官的上方之前,所述方法还包括:
对所述虚拟器官图像的三维坐标进行转换。
可选的,所述方法还包括:
实时跟踪观察者在手术场景中的位置,根据所述位置调整投影到待手术器官的上方的所述虚拟器官图像。
可选的,所述虚拟器官图像投影的亮度及变焦可调。
第二方面,本发明实施例还提供了一种手术定位***,包括:
拟合模块,用于根据预先采集的器官信息,拟合虚拟器官图像;
投影模块,用于将所述虚拟器官图像投影到待手术器官的上方;
定位模块,用于根据所述虚拟器官图像的投影,对与所述虚拟器官图像匹配的待手术器官进行靶点或病灶定位。
可选的,所述拟合模块,用于:
根据预先采集的待手术器官的CT/MRI扫描原始数据和/或造影影像数据构建虚拟器官模型;
通过预设评价函数,得到虚拟器官的边界与特征,并获取虚拟器官图像。
可选的,所述***还包括:
坐标转换模块,用于对所述虚拟器官图像的三维坐标进行转换。
可选的,所述虚拟器官图像投影的亮度及变焦可调。
本发明实施例提供一种手术定位方法及***,该方法通过拟合虚拟器官图像,并将虚拟器官图像投影到待手术器官的上方,是的手术医生直接可以根据投影,对与所述虚拟器官图像匹配的待手术器官进行定位,无需额外的显示器显示虚拟的导航图,简化了手术的难度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的手术定位方法的流程图;
图2为本发明一实施例提供的手术定位***的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明实施例保护的范围。
图1为本发明一种实施例提供的一种手术定位方法的流程示意图,如图1所示,该方法包括以下步骤:
101、根据预先采集的器官信息,拟合虚拟器官图像;
具体的,可以通过CT/MRI扫描原始数据,结合三维建模软件,进行虚拟器官与三维影像数据器官拟合,结合造影影像数据,构建及拟合冠状动脉虚拟器官模型。
102、将所述虚拟器官图像投影到待手术器官的上方;
103、根据所述虚拟器官图像的投影,对与所述虚拟器官图像匹配的待手术器官进行靶点或病灶定位。
具体的,在步骤103之前,需要设置虚拟器官图像的角度及显示方式(靶点或病灶突出显示,其余部分削弱或透明)。
上述方法通过拟合虚拟器官图像,并将虚拟器官图像投影到待手术器官的上方,是的手术医生直接可以根据投影,对与所述虚拟器官图像匹配的待手术器官进行靶点或病灶定位,辅助医生快速定位靶点或病灶进而确定手术切割点,无需额外的显示器显示虚拟的导航图,简化了手术的难度。
下面通过具体的实施例对上述方法进行详细说明。
本发明实施例的方法主要是基于虚拟和显示物体的结合,要实现虚拟和现实物体的完美结合,必须将虚拟物体合并到现实世界中的准确位置,本实施例以心脏手术为例进行说明,实现具体包括如下步骤:
第一步,上述步骤101中所述根据预先采集的器官信息,拟合虚拟器官图像,包括:
根据预先采集的待手术器官的CT/MRI扫描原始数据和/或造影影像数据构建虚拟器官模型;
通过预设评价函数,得到虚拟器官的边界与特征,并获取虚拟器官图像。
可理解的是,通过CT/MRI扫描原始数据,结合三维建模软件,进行虚拟器官与三维影像数据器官拟合,结合造影影像数据,构建及拟合冠状动脉虚拟器官模型。
第二步,在上述步骤102将所述虚拟器官图像投影到待手术器官的上方之前,所述方法还包括:
对所述虚拟器官图像的三维坐标进行转换。
具体可以通过跟踪设备将三维虚拟器官坐标***转换到手术室坐标系中。
第三步,将所述虚拟器官图像投影到待手术器官的上方;
一般的,在手术台的正上方有一台投影机,该投影机将虚拟器官图像投影到实际人体器官上方,同时保证投影的亮度及变焦的可调。通过图像配准及抠像投影技术使用投影影像显示在指定手术区域内部。
具体的,投影匹配可以通过如下方式来实现,通过在心脏周围人工标记点一条由n个控制点组成的连续闭合曲线作为snake模型,再用一个能量函数作为匹配度的评价函数,首先将虚拟投影在目标对象预估位置的周围,再通过不断迭代使能量函数最小化,当内外能量达到平衡时即得到目标对象的边界与特征。第四步,设置虚拟器官图像的角度及显示方式,调节靶点或病灶突出显示,其余部分削弱或透明,得到清晰和准确的投影图像。
第五步,根据所述虚拟器官图像的投影,对与所述虚拟器官图像匹配的待手术器官进行靶点和病灶定位。
第六步,实时跟踪观察者在手术场景中的位置,根据所述位置调整投影到待手术器官的上方的所述虚拟器官图像。
通过AR跟踪定位***能够实时地跟踪观察者在场景中的位置,观察者头部的角度,以便用来帮助***决定显示虚拟器官的角度和位置,实现了投影和待手术器官的同步。
上述方法中通过CT/MRI扫描原始数据,结合三维建模软件,进行虚拟器官与三维影像数据器官拟合,结合造影影像数据,构建及拟合冠状动脉虚拟器官模型;通过空间坐标变换将三维虚拟器官坐标***转换到手术室坐标系中;通过投影机将虚拟器官图像投影到实际人体器官上方,同时保证投影的亮度及变焦的可调。通过图像配准及抠像投影技术使用投影影像显示在指定手术区域内部;设置虚拟器官图像的角度及显示方式(靶点或病灶突出显示,其余部分削弱或透明),以便用来帮助***显示虚拟器官的准确角度及靶点或病灶的位置。
与现有技术相比,本发明提出的技术方案使虚拟的器官模型与真实的手术场景融合显示,可以辅助医生通更方便、快捷的找到参考靶点或病灶的位置,缩短手术时间,减少盲目寻找对病人造成的伤害和痛苦。辅助***对经验不够丰富的医师提供直观学习的机会和模拟训练的机会,帮助医生快速提升技术。
图2示出了本发明实施例提供的一种手术定位***的结构示意图,如图2所示,该***包括:
拟合模块21,用于根据预先采集的器官信息,拟合虚拟器官图像;
投影模块22,用于将所述虚拟器官图像投影到待手术器官的上方;
优选的,该投影模块可以通过投影机来实现。
定位模块23,用于根据所述虚拟器官图像的投影,对与所述虚拟器官图像匹配的待手术器官进行靶点或病灶定位。
优选的,可以通过AR跟踪定位***来实现,当然也可以通过在手术定位***中设置软件来实现,本实施例不对其进行限定。
在本发明实施例的一个优选的实施方式中,所述拟合模块,用于:
根据预先采集的待手术器官的CT/MRI扫描原始数据和/或造影影像数据构建虚拟器官模型;
通过预设评价函数,得到虚拟器官的边界与特征,并获取虚拟器官图像。
在本发明实施例的一个优选的实施方式中,所述***还包括:
坐标转换模块,用于对所述虚拟器官图像的三维坐标进行转换。
在本发明实施例的一个优选的实施方式中,所述***还包括:
图像调整模块,用于实时跟踪观察者在手术场景中的位置,根据所述位置调整投影到待手术器官的上方的所述虚拟器官图像。
在本发明实施例的一个优选的实施方式中,所述虚拟器官图像投影的亮度及变焦可调。
应当理解的是,上述***与上述方法是一一对应的关系,上述方法的实施细节同样适用于上述***,本发明实施例不再对上述***的具体实施细节进行详细说明。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如U盘、硬盘、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明实施例的技术方案,而非对其限制;尽管参照前述实施例对本发明实施例进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种手术定位方法,其特征在于,包括:
根据预先采集的器官信息,拟合虚拟器官图像;
将所述虚拟器官图像投影到待手术器官的上方;
根据所述虚拟器官图像的投影,对与所述虚拟器官图像匹配的待手术器官进行靶点或病灶定位。
2.根据权利要求1所述的方法,其特征在于,所述根据预先采集的器官信息,拟合虚拟器官图像,包括:
根据预先采集的待手术器官的CT/MRI扫描原始数据和/或造影影像数据构建虚拟器官模型;
通过预设评价函数,得到虚拟器官的边界与特征,并获取虚拟器官图像。
3.根据权利要求1所述的方法,其特征在于,在将所述虚拟器官图像投影到待手术器官的上方之前,所述方法还包括:
对所述虚拟器官图像的三维坐标进行转换。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
实时跟踪观察者在手术场景中的位置,根据所述位置调整投影到待手术器官的上方的所述虚拟器官图像。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述虚拟器官图像投影的亮度及变焦可调。
6.一种手术定位***,其特征在于,包括:
拟合模块,用于根据预先采集的器官信息,拟合虚拟器官图像;
投影模块,用于将所述虚拟器官图像投影到待手术器官的上方;
定位模块,用于根据所述虚拟器官图像的投影,对与所述虚拟器官图像匹配的待手术器官进行靶点或病灶定位。
7.根据权利要求6所述的***,其特征在于,所述拟合模块,用于:
根据预先采集的待手术器官的CT/MRI扫描原始数据和/或造影影像数据构建虚拟器官模型;
通过预设评价函数,得到虚拟器官的边界与特征,并获取虚拟器官图像。
8.根据权利要求6所述的***,其特征在于,所述***还包括:
坐标转换模块,用于对所述虚拟器官图像的三维坐标进行转换。
9.根据权利要求6所述的***,其特征在于,所述***还包括:
图像调整模块,用于实时跟踪观察者在手术场景中的位置,根据所述位置调整投影到待手术器官的上方的所述虚拟器官图像。
10.根据权利要求6-9中任一项所述的***,其特征在于,所述虚拟器官图像投影的亮度及变焦可调。
CN201610800165.6A 2016-08-31 2016-08-31 一种手术定位*** Active CN106344151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610800165.6A CN106344151B (zh) 2016-08-31 2016-08-31 一种手术定位***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610800165.6A CN106344151B (zh) 2016-08-31 2016-08-31 一种手术定位***

Publications (2)

Publication Number Publication Date
CN106344151A true CN106344151A (zh) 2017-01-25
CN106344151B CN106344151B (zh) 2019-05-03

Family

ID=57858916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610800165.6A Active CN106344151B (zh) 2016-08-31 2016-08-31 一种手术定位***

Country Status (1)

Country Link
CN (1) CN106344151B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107773311A (zh) * 2017-09-25 2018-03-09 北京缙铖智联高科技有限公司 一种基于投影设备的手术定位***
CN107789072A (zh) * 2017-09-25 2018-03-13 北京缙铖智联高科技有限公司 一种基于头戴式增强现实设备的颅内病变体表全息投影定位***
CN110537983A (zh) * 2019-09-26 2019-12-06 重庆博仕康科技有限公司 光磁一体穿刺手术导航平台
CN110584783A (zh) * 2019-10-14 2019-12-20 中国科学技术大学 外科手术导航***
CN111462912A (zh) * 2020-05-11 2020-07-28 清华大学天津高端装备研究院 脊柱骨断裂模拟手术方法和3d投影***及方法
CN112106127A (zh) * 2018-04-27 2020-12-18 克里赛利克斯有限公司 医疗平台
CN114601564A (zh) * 2020-10-08 2022-06-10 深圳市精锋医疗科技股份有限公司 手术机器人及其图形化控制装置、图形化显示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013096440A1 (en) * 2011-12-19 2013-06-27 Komistek D Richard Anatomical concentric spheres tha
CN103987324A (zh) * 2012-11-09 2014-08-13 株式会社东芝 穿刺辅助装置
US20140288413A1 (en) * 2013-03-21 2014-09-25 Samsung Electronics Co., Ltd. Surgical robot system and method of controlling the same
CN105193503A (zh) * 2014-06-18 2015-12-30 柯惠Lp公司 增强的手术实践环境***
CN105578983A (zh) * 2013-09-24 2016-05-11 皇家飞利浦有限公司 计算外科手术介入规划的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013096440A1 (en) * 2011-12-19 2013-06-27 Komistek D Richard Anatomical concentric spheres tha
CN103987324A (zh) * 2012-11-09 2014-08-13 株式会社东芝 穿刺辅助装置
US20140288413A1 (en) * 2013-03-21 2014-09-25 Samsung Electronics Co., Ltd. Surgical robot system and method of controlling the same
CN105578983A (zh) * 2013-09-24 2016-05-11 皇家飞利浦有限公司 计算外科手术介入规划的方法
CN105193503A (zh) * 2014-06-18 2015-12-30 柯惠Lp公司 增强的手术实践环境***

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107773311A (zh) * 2017-09-25 2018-03-09 北京缙铖智联高科技有限公司 一种基于投影设备的手术定位***
CN107789072A (zh) * 2017-09-25 2018-03-13 北京缙铖智联高科技有限公司 一种基于头戴式增强现实设备的颅内病变体表全息投影定位***
CN112106127A (zh) * 2018-04-27 2020-12-18 克里赛利克斯有限公司 医疗平台
CN110537983A (zh) * 2019-09-26 2019-12-06 重庆博仕康科技有限公司 光磁一体穿刺手术导航平台
CN110584783A (zh) * 2019-10-14 2019-12-20 中国科学技术大学 外科手术导航***
CN111462912A (zh) * 2020-05-11 2020-07-28 清华大学天津高端装备研究院 脊柱骨断裂模拟手术方法和3d投影***及方法
CN114601564A (zh) * 2020-10-08 2022-06-10 深圳市精锋医疗科技股份有限公司 手术机器人及其图形化控制装置、图形化显示方法
CN114601564B (zh) * 2020-10-08 2023-08-22 深圳市精锋医疗科技股份有限公司 手术机器人及其图形化控制装置、图形化显示方法

Also Published As

Publication number Publication date
CN106344151B (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
CN106344151B (zh) 一种手术定位***
KR102014359B1 (ko) 수술영상 기반 카메라 위치 제공 방법 및 장치
US11806085B2 (en) Guidance for placement of surgical ports
Gavaghan et al. A portable image overlay projection device for computer-aided open liver surgery
McJunkin et al. Development of a mixed reality platform for lateral skull base anatomy
CN107613897B (zh) 扩增实境的外科导航
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
RU2707369C1 (ru) Способ подготовки и выполнения хирургической операции с использованием дополненной реальности и комплекс оборудования для её осуществления
US20150305828A1 (en) Apparatus for adjusting a robotic surgery plan
CN107296650A (zh) 基于虚拟现实和增强现实的智能手术辅助***
EP4131165A1 (en) Augmented reality patient positioning using an atlas
CN106308946A (zh) 一种应用于立体定向手术机器人的增强现实装置及其方法
Liu et al. A wearable augmented reality navigation system for surgical telementoring based on Microsoft HoloLens
US20210290317A1 (en) Systems and methods for tracking a position of a robotically-manipulated surgical instrument
US20210259784A1 (en) Method, system and apparatus for maintaining patient registration in a surgical navigation system
Sadda et al. Surgical navigation with a head-mounted tracking system and display
US20230114385A1 (en) Mri-based augmented reality assisted real-time surgery simulation and navigation
KR101862359B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
US20040152975A1 (en) Image registration
CN110638525A (zh) 整合扩增实境的手术导航方法及***
CN106097294A (zh) 基于自动对应进行骨重定位
Jiang et al. User's image perception improved strategy and application of augmented reality systems in smart medical care: A review
Azimi et al. Interactive training and operation ecosystem for surgical tasks in mixed reality
Bichlmeier et al. Stepping into the operating theater: ARAV—augmented reality aided vertebroplasty
US11532130B2 (en) Virtual augmentation of anatomical models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant