CN117479896A - 包括可在组织穿透外科装置的通道外展开的相机阵列的*** - Google Patents
包括可在组织穿透外科装置的通道外展开的相机阵列的*** Download PDFInfo
- Publication number
- CN117479896A CN117479896A CN202280042407.3A CN202280042407A CN117479896A CN 117479896 A CN117479896 A CN 117479896A CN 202280042407 A CN202280042407 A CN 202280042407A CN 117479896 A CN117479896 A CN 117479896A
- Authority
- CN
- China
- Prior art keywords
- surgical
- camera array
- hub
- display
- tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000149 penetrating effect Effects 0.000 title claims description 24
- 238000000034 method Methods 0.000 claims abstract description 104
- 238000001356 surgical procedure Methods 0.000 claims description 67
- 230000003190 augmentative effect Effects 0.000 claims description 55
- 238000004891 communication Methods 0.000 claims description 51
- 230000015654 memory Effects 0.000 claims description 35
- 239000003550 marker Substances 0.000 claims description 29
- 238000002591 computed tomography Methods 0.000 claims description 20
- 238000005286 illumination Methods 0.000 claims description 8
- 238000001429 visible spectrum Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 abstract description 5
- 210000001519 tissue Anatomy 0.000 description 84
- 238000003384 imaging method Methods 0.000 description 34
- 230000000007 visual effect Effects 0.000 description 33
- 239000012636 effector Substances 0.000 description 26
- 230000002452 interceptive effect Effects 0.000 description 19
- 238000012800 visualization Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 17
- 239000003795 chemical substances by application Substances 0.000 description 16
- 238000002059 diagnostic imaging Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 239000000975 dye Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 9
- 239000000463 material Substances 0.000 description 9
- 230000003068 static effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 210000004072 lung Anatomy 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012806 monitoring device Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000001953 sensory effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000013538 segmental resection Methods 0.000 description 5
- 230000003238 somatosensory effect Effects 0.000 description 5
- 206010002091 Anaesthesia Diseases 0.000 description 4
- 230000037005 anaesthesia Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000012530 fluid Substances 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000002357 laparoscopic surgery Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000002324 minimally invasive surgery Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000002980 postoperative effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 210000005166 vasculature Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000002224 dissection Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000002847 impedance measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000013076 uncertainty analysis Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241000475481 Nebula Species 0.000 description 1
- 208000007123 Pulmonary Atelectasis Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000001112 coagulating effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003601 intercostal effect Effects 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 238000012830 laparoscopic surgical procedure Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012978 minimally invasive surgical procedure Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- KJNFMGMNZKFGIE-UHFFFAOYSA-N n-(4-hydroxyphenyl)acetamide;5-(2-methylpropyl)-5-prop-2-enyl-1,3-diazinane-2,4,6-trione;1,3,7-trimethylpurine-2,6-dione Chemical compound CC(=O)NC1=CC=C(O)C=C1.CN1C(=O)N(C)C(=O)C2=C1N=CN2C.CC(C)CC1(CC=C)C(=O)NC(=O)NC1=O KJNFMGMNZKFGIE-UHFFFAOYSA-N 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000002355 open surgical procedure Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 210000003200 peritoneal cavity Anatomy 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 210000003492 pulmonary vein Anatomy 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 208000025247 virus-associated trichodysplasia spinulosa Diseases 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Landscapes
- Surgical Instruments (AREA)
Abstract
本发明公开了一种集成在套管针中的相机***。该相机***允许腹腔镜规程期间内部手术部位的宽视野和基准标记的3D映射。在进入患者体内时,该相机***被配置为能够从该套管针的远侧端部处的凹陷位置展开。在各个方面,内部相机***被配置为能够保持套管针端口对于外科器械通畅,并且向外科工作成员提供增加的外科环境视野。
Description
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求2021年4月14日提交的名称为“HEADS UPDISPLAY”的美国临时专利申请号63/174,674和2021年11月30日提交的名称为“INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS”的美国临时专利申请号63/284,326的权益,这些美国临时专利申请中的每一者的公开内容全文以引用方式并入本文。
背景技术
本公开涉及用于在外科手术期间提供增强现实交互式体验的设备、***和方法。在外科手术期间,希望提供真实世界环境的增强现实交互式体验,其中驻留在真实世界中的对象通过叠加计算机生成的感知信息(有时跨多个感知模态,包括视觉、听觉、触觉、躯体感觉和嗅觉)来增强。在本公开的上下文中,通过将计算机生成的视觉、听觉、触觉、躯体感觉、嗅觉或其他感觉信息叠加在外科视野及外科视野中出现的器械或其他对象的真实世界图像上,由此增强外科视野及外科视野中出现的外科器械和其他对象的图像。图像可被实时流式传输,或可为静止图像。
真实世界的外科器械包括多种外科装置,包括能量、缝合器或组合的能量和缝合器。基于能量的医疗装置包括但不限于基于射频(RF)的单极和双极电外科器械、超声外科器械、组合式RF电外科和超声器械、组合式RF电外科和机械缝合器等。外科缝合器装置是用于在包括减肥、胸部、结肠直肠、妇科、泌尿科和普通手术的多种外科手术中切割和缝合组织的外科器械。
发明内容
在各种情况下,本公开提供了一种外科***,该外科***包括外科装置,该外科装置包括:轴向通路,所述轴向通路限定外径和内径;近侧端部;远侧端部,该远侧端部被构造成能够穿透组织;相机阵列,该相机阵列包括以具有弹性连接件的环形配置连接的各个相机;可移除的安装触发器,该可移除的安装触发器被构造成能够使相机阵列从轴向通路的远侧端部的内径的第一凹陷位置延伸到第二展开位置,其中,相机阵列围绕轴向通路的远侧端部的外径周向地定位;增强现实(AR)装置;和外科集线器,该外科集线器通信地耦接到相机阵列和AR装置,其中,外科集线器包括耦接到存储器的控制电路,并且其中,控制电路被配置为能够:接收来自相机阵列的多个视频馈送;识别视频馈送上的物理标记;以及在AR显示器上显示该物理标记。
在各种情况下,本公开提供了一种外科装置,该外科装置包括:相机阵列,该相机阵列包括以具有弹性连接件的环形配置连接的各个相机,其中,相机阵列能够以可通信的方式耦接到外科集线器;细长穿透构件,该细长穿透构件具有近侧端部和远侧端部,其中,远侧端部还包括组织穿透尖端;轴向通路,该轴向通路穿过细长穿透构件和组织穿透尖端,并且其中,轴向通路的内径的尺寸被设定成能够将相机阵列容纳在第一凹陷位置中;和可移除的安装触发器,该可移除的安装触发器被构造成能够使相机阵列从细长穿透构件的远侧端部的内径的第一凹陷位置延伸到第二展开位置,其中,相机阵列围绕细长穿透构件的远侧端部的外径周向地定位。
在各种情况下,本公开提供了一种用于显示患者体内的手术位置的方法,该方法包括:由外科集线器接收来自位于患者体内的相机的视频馈送;由外科集线器识别患者体内的物理标记;由外科集线器基于与物理标记的关系来确定目标位置;由外科集线器生成对应于目标位置的虚拟元素;以及由耦接到外科集线器的增强现实(AR)装置在AR显示器上显示叠加在视频馈送上的虚拟元素。
附图说明
通过参考以下结合如下附图所作的说明可最好地理解本文所述的各种方面(有关手术组织和方法两者)及其进一步的目的和优点。
图1是根据本公开的一个方面的计算机实现的交互式外科***的框图。
图2是根据本公开的一个方面的用于在手术室中执行外科手术的外科***。
图3是根据本公开的一个方面的与可视化***、机器人***和智能器械配对的外科集线器。
图4示出了根据本公开的一个方面的外科数据网络,该外科数据网络包括模块化通信集线器,该模块化通信集线器被配置为能够将位于医疗设施的一个或多个手术室中或医疗设施中专门为外科操作配备的任何房间的模块化装置连接到云。
图5示出了根据本公开的一个方面的计算机实现的交互式外科***。
图6示出了根据本公开的一个方面的包括耦接到模块化控制塔的多个模块的外科集线器。
图7示出了根据本公开的一个方面的增强现实(AR)***,该***包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。
图8示出了根据本公开的一个方面的增强现实(AR)***,该***包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。
图9示出了根据本公开的一个方面的由外科医生佩戴的用以将数据传送到外科集线器的增强现实(AR)装置。
图10示出了根据本公开的一个方面的用于使用增强现实显示器来增强外科器械信息的***。
图11示出了根据本公开的一个方面的态势感知外科手术的时间轴。
图12示出了根据本公开的一个方面的包括多个基准标记的结构表面。
图13示出了根据本公开的一个方面的用于将患者的外部结构与基准标记进行表面匹配的过程。
图14示出了根据本公开的一个方面的用于将患者的内部结构与基准标记进行表面匹配的过程。
图15示出了根据本公开的一个方面的用于帮助外科医生进行外科手术的立体定向框架外部外科对准器械。
图16示出了根据本公开的一个方面的用于帮助外科医生进行外科手术的星形固定平台外部外科对准器械。
图17示出了根据本公开的一个方面的用于帮助外科医生进行外科手术的微型台外部外科对准器械。
图18示出了根据本公开的一个方面的用于基于多个配准参数来识别对象的流程图。
图19示出了根据本公开的一个方面的用于基于已知和未知参数的部分信息来对未知外科器械进行分类的流程图。
图20示出了根据本公开的一个方面的包括内部相机***的套管针。
图21示出了根据本公开的一个方面的可重复使用的安装工具,该可重复使用的安装工具被构造成能够***套管针的近侧端部中,围绕套管针的外径展开和缩回相机***。
图22示出了根据本公开的一个方面的在术前计算机断层摄影(CT)扫描中标记到感兴趣区域的多个基准标记。
图23示出了根据本公开的一个方面的利用多个基准标记来帮助外科医生定位手术部位的腹腔镜外科手术。
图24示出了根据本公开的一个方面的通过将吲哚菁染料注射到患者的血管***中而施加的物理标记。
图25还示出了根据本公开的一个方面的示例性组织,该示例性组织注射有染料并且被照射以示出脉管***。
图26示出了根据本公开的一个方面的被配置为能够根据探头的阻抗测量来监测体腔中的压力或流体的变化的***。
图27示出了根据本公开的一个方面的包括IR相机***的红外(IR)热检测***,该IR相机***被配置为能够将IR光引导到组织的治疗区域上并且识别手术环境中的温度差。
图28示出了根据本公开的一个方面的采用三个端部执行器的外科手术,该三个端部执行器被构造成能够抓握和横切组织。
图29示出了根据本公开的一个方面的沿着组织从第一位置滑动到第二位置的第三端部执行器。
图30示出了根据本公开的一个方面的被定位成与第二端部执行器相邻的第三端部执行器。
图31示出了根据本公开的一个方面的包括三个静态夹具和被构造成能够在静态夹具之间转移组织的动态夹具的外科手术。
图32示出了根据本公开的一个方面的用于显示患者体内的手术位置的方法的逻辑流程图。
在若干视图中,对应的参考符号指示对应的零件。本文所述的范例以一种形式示出了各种公开的实施方案,并且此类范例不应被解释为以任何方式限制本发明的范围。
具体实施方式
本申请的申请人拥有与之同时提交的以下美国专利申请,这些专利申请中的每一者的公开内容全文以引用方式并入本文:
●名称为“METHOD FOR INTRAOPERATIVE DISPLAY FORSURGICAL SYSTEMS”的美国专利申请;代理人案卷号END9352USNP1/210120-1M;
●名称为“UTILIZATION OF SURGICAL DATA VALUES ANDSITUATIONAL AWARENESSTO CONTROL THE OVERLAY INSURGICAL FIELDVIEW”的美国专利申请;代理人案卷号END9352USNP2/210120-2;
●名称为“SELECTIVE AND ADJUSTABLE MIXED REALITYOVERLAY IN SURGICALFIELDVIEW”的美国专利申请;代理人案卷号END9352USNP3/210120-3;
●名称为“RISK BASED PRIORITIZATION OF DISPLAY ASPECTSIN SURGICALFIELDVIEW”的美国专利申请;代理人案卷号END9352USNP4/210120-4;
●名称为“SYSTEMS AND METHODS FOR CONTROLLINGSURGICAL DATA OVERLAY”的美国专利申请;代理人案卷号END9352USNP5/210120-5;
●名称为“SYSTEMS AND METHODS FOR CHANGING DISPLAYOVERLAY OF SURGICALFIELDVIEW BASED ONTRIGGERING EVENTS”的美国专利申请;代理人案卷号END9352USNP6/210120-6;
●名称为“CUSTOMIZATION OF OVERLAID DATA ANDCONFIGURATION”的美国专利申请;代理人案卷号END9352USNP7/210120-7;
●名称为“INDICATION OF THE COUPLE PAIR OF REMOTECONTROLS WITH REMOTEDEVICES FUNCTIONS”的美国专利申请;代理人案卷号END9352USNP8/210120-8;
●名称为“COOPERATIVE OVERLAYS OF INTERACTINGINSTRUMENTS WHICH RESULTIN BOTH OVERLAYS BEINGEFFECTED”的美国专利申请;代理人案卷号END9352USNP9/210120-9;
●名称为“ANTICIPATION OF INTERACTIVE UTILIZATION OFCOMMON DATAOVERLAYS BY DIFFERENT USERS”的美国专利申请;代理人案卷号END9352USNP10/210120-10;
●名称为“MIXING DIRECTLY VISUALIZED WITH RENDEREDELEMENTS TO DISPLAYBLENDED ELEMENTS AND ACTIONSHAPPENING ON-SCREEN AND OFF-SCREEN”的美国专利申请;代理人案卷号END9352USNP11/210120-11;
●名称为“SYSTEM AND METHOD FOR TRACKING A PORTIONOF THE USER AS APROXY FOR NON-MONITOREDINSTRUMENT”的美国专利申请;代理人案卷号END9352USNP12/210120-12;
●名称为“UTILIZING CONTEXTUAL PARAMETERS OF ONE ORMORE SURGICALDEVICES TO PREDICT A FREQUENCYINTERVAL FOR DISPLAYING SURGICAL INFORMATION”的美国专利申请;代理人案卷号END9352USNP13/210120-13;
●名称为“INTRAOPERATIVE DISPLAY FOR SURGICALSYSTEMS”的美国专利申请;代理人案卷号END9352USNP15/210120-15;
●名称为“ADAPTATION AND ADJUSTABILITY OR OVERLAIDINSTRUMENTINFORMATION FOR SURGICAL SYSTEMS”的美国专利申请;代理人案卷号END9352USNP16/210120-16;以及
·名称为“MIXED REALITY FEEDBACK SYSTEMS THAT COOPERATE TO INCREASEEFFICIENT PERCEPTION OF COMPLEX DATA FEEDS”的美国专利申请;代理人案卷号END9352USNP17/210120-17。
本申请的申请人拥有以下美国专利申请,这些专利申请中的每个专利申请的公开内容全文以引用方式并入本文:
·名称为“METHOD OF COMPRESSING TISSUE WITHIN A STAPLING DEVICE ANDSIMULTANEOUSLY DISPLAYING THE LOCATION OF THE TISSUE WITHIN THE JAWS”的美国专利申请号16/209,423,现为美国专利申请公布号US-2019-0200981-A1;
·名称为“METHOD FOR CONTROLLING SMART ENERGY DEVICES”的美国专利申请号16/209,453,现为美国专利申请公布号US-2019-0201046-A1。
在详细说明外科装置和发生器的各个方面之前,应该指出的是,例示性示例的应用或使用并不局限于附图和具体实施方式中所示出的零件的构造和布置的细节。例示性示例可单独实施,或与其他方面、变更形式和修改形式结合在一起实施,并可以各种方式实践或执行。此外,除非另外指明,否则本文所用的术语和表达是为了方便读者而对例示性示例进行描述而所选的,并非为了限制性的目的。而且,应当理解,以下描述的方面中的一个或多个、方面和/或示例的表达可以与以下描述的其他方面、方面和/或示例的表达中的任何一个或多个组合。
各种方面涉及用于各种基于能量和外科缝合器的医疗装置的外科***的屏幕显示。基于能量的医疗装置包括但不限于基于射频(RF)的单极和双极电外科器械、超声外科器械、组合式RF电外科和超声器械、组合式RF电外科和机械缝合器等。外科缝合器装置包括具有电外科装置和/或超声装置的组合式外科缝合器。超声外科装置的各方面可被配置用于例如在外科手术期间横切和/或凝固组织。电外科装置的各方面可被配置用于例如在外科手术期间横切、凝固、密封、焊接和/或干燥组织。外科缝合器装置的各方面可被配置用于在外科手术期间横切和缝合组织,并且在一些方面,外科缝合器装置可被配置为能够在外科手术期间向组织递送RF能量。电外科装置被配置为能够向组织递送治疗和/或非治疗RF能量。外科缝合器装置、电外科装置和超声装置的元件可在单个外科器械中组合使用。
在各种方面,本公开在外科手术期间向OR团队提供实时信息的屏幕显示。根据本公开的各种方面,提供了许多新的和独特的屏幕显示以在屏幕上向OR团队显示各种视觉信息反馈。根据本公开,视觉信息可包括一个或多个有声或无声的各种视觉媒体。一般来讲,视觉信息包括静态摄影、电影摄影、视频或音频录制、图形艺术、视觉辅助、模型、显示、视觉呈现服务和支持过程。视觉信息可在任何数量的显示选项上传送,诸如例如主OR屏幕、能量或外科缝合器装置本身、平板计算机、增强现实眼镜等。
在各种方面,本公开提供大量可能的选项列表以实时地将视觉信息传送给OR团队,而不将过多视觉信息提供给OR团队。例如,在各种方面,本公开提供视觉信息的屏幕显示,以使得外科医生或OR团队的其他成员能够选择性地激活屏幕显示,诸如围绕屏幕选项的图标,以管理大量视觉信息。可使用各种因素中的一者或组合来确定活动显示,这些因素可包括使用中的基于能量(例如,电外科、超声)或基于机械(例如,缝合器)的外科装置、估计与给定显示相关联的风险、外科医生的经验程度以及外科医生的选择等。在其他方面,视觉信息可包括叠加或重叠到外科视野中以管理视觉信息的大量数据。在下文描述的各种方面,包括需要视频分析和跟踪的重叠图像以便适当地叠加数据。与静态图标相反,以此方式传送的视觉信息数据可以更简明且更容易理解的方式向OR团队提供另外的有用视觉信息。
在各种方面,本公开提供用于选择性地激活诸如围绕屏幕的图标的屏幕显示以在外科手术期间管理视觉信息的技术。在其他方面,本公开提供用于使用各种因素中的一者或组合来确定活动显示的技术。在各种方面,根据本公开的技术可包括选择用作活动显示的基于能量或基于机械的外科装置、估计与给定显示相关联的风险、利用做出选择的外科医生或OR团队的经验程度等。
在其他方面,根据本公开的技术可包括将大量数据叠加或重叠到外科视野上以管理视觉信息。本公开所述的多种显示布置涉及将外科数据的各种视觉表示叠加在外科视野的实况流上。如本文所用,术语叠加包括半透明叠加、部分叠加和/或移动叠加。图形叠加可为透明图形、半透明图形或不透明图形的形式,或者为透明、半透明和不透明元素或效果的组合。此外,叠加层可定位在外科视野中的对象(诸如例如端部执行器和/或关键外科结构)上或至少部分地定位在其上或定位在其附近。某些显示布置可包括叠加层的一个或多个显示元素的变化,包括基于显示优先级值的变化的颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。图形叠加层渲染在活动显示监测器的顶部上以将重要信息快速高效地传送给OR团队。
在其他方面,根据本公开的技术可包括需要分析视频和跟踪的重叠图像以便适当地叠加视觉信息数据。在其他方面,根据本公开的技术可包括传送丰富的视觉信息,而不是简单的静态图标,从而以更简明且易于理解的方式向OR团队提供另外的视觉信息。在其他方面,视觉叠加层可与可听和/或躯体感觉叠加层(诸如热装置、化学装置和机械装置以及它们的组合)组合使用。
以下描述整体涉及在外科手术期间提供增强现实(AR)交互式体验的设备、***和方法。在该上下文中,通过将计算机生成的视觉、听觉、触觉、躯体感觉、嗅觉或其他感觉信息叠加在外科视野、外科视野中出现的器械和/或其他对象的真实世界图像上,由此增强外科视野及外科视野中出现的外科器械和其他对象的图像。图像可被实时流式传输,或可为静止图像。增强现实是用于渲染和显示叠加在真实环境上的虚拟或“增强”虚拟对象、数据或视觉效果的技术。真实环境可包括外科视野。叠加在真实环境上的虚拟对象可表示为相对于真实环境的一个或多个方面锚定或处于设定位置。在非限制性示例中,如果真实世界对象离开真实环境视野,则锚定到真实世界对象的虚拟对象也将离开增强现实视野。
本公开所述的多种显示布置涉及将外科数据的各种视觉表示叠加在外科视野的实况流上。如本文所用,术语叠加包括半透明叠加、部分叠加和/或移动叠加。此外,叠加层可定位在外科视野中的对象(诸如例如端部执行器和/或关键外科结构)上或至少部分地定位在其上或定位在其附近。某些显示布置可包括叠加层的一个或多个显示元素的变化,包括基于显示优先级值的变化的颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。
如本文所述,AR是真实物理世界的增强版本,通过使用经由技术递送的数字视觉元素、声音或其他感官刺激来实现。虚拟现实(VR)是计算机生成的环境,具有看起来真实的场景和对象,使得用户感觉自己沉浸在其周围环境中。该环境通过被称为虚拟现实头戴式耳机或头盔的装置来感知。混合现实(MR)和AR都被视为沉浸式技术,但它们不是相同的。MR是混合现实的扩展,允许真实元素和虚拟元素在环境中交互。虽然AR经常通过使用相机将数字元素添加到实时视图,但MR体验组合了AR和VR两者的元素,真实世界和数字对象在其中交互。
在AR环境中,一个或多个计算机生成的虚拟对象可与一个或多个真实(即,所谓的“真实世界”)元素一起显示。例如,周围环境的实时图像或视频可与一个或多个叠加的虚拟对象一起显示在计算机屏幕显示器上。此类虚拟对象可提供与环境有关的补充信息或通常增强用户对环境的感知和参与。相反,周围环境的实时图像或视频可附加地或另选地增强用户与显示器上示出的虚拟对象的参与。
本公开的上下文中的设备、***和方法增强在外科手术期间从一个或多个成像装置接收到的图像。成像装置可包括在无创和微创外科手术期间使用的各种内窥镜、AR装置和/或相机以在开放式外科手术期间提供图像。图像可被实时流式传输,或可为静止图像。这些设备、***和方法通过将虚拟对象或数据和/或真实对象的表示叠加在真实外科环境上来增强真实世界外科环境的图像,从而提供增强现实交互式体验。可在允许用户查看真实世界外科环境上的所叠加虚拟对象的显示器和/或AR装置上查看增强现实体验。显示器可位于手术室中或远离手术室。AR装置佩戴在外科医生或其他手术室人员头上,并且通常包括两个立体显示镜片或屏幕,包括用于用户的每只眼睛的一个立体显示镜片或屏幕。自然光能够穿过两个透明或半透明显示镜片,使得真实环境的各方面是可见的,同时也投射光以使得虚拟对象对AR装置的用户可见。
可以协调方式使用两个或多个显示器及AR装置,例如第一显示器或AR装置控制以所定义角色控制***中的一个或多个另外的显示器或AR装置。例如,当激活显示器或AR装置时,用户可选择角色(例如,外科手术期间的外科医生、外科助手、护士等)并且显示器或AR装置可显示与该角色相关的信息。例如,外科助手可具有所显示器械的虚拟表示,外科医生在执行外科手术的下一步骤时需要该虚拟表示。外科医生对当前步骤的关注可能看到与外科助手不同的显示信息。
尽管存在许多已知的屏幕显示和警告,但本公开在外科手术期间提供许多新的和独特的增强现实交互式体验。此类增强现实交互式体验包括对手术室内部或外部的外科团队的视觉、听觉、触觉、躯体感觉、嗅觉或其他感官反馈信息。可将叠加在真实世界外科手术环境上的虚拟反馈信息提供给手术室(OR)团队,包括OR内部的人员,包括但不限于例如执刀外科医生、外科医生助手、擦洗人员、麻醉医生和巡回护士等。虚拟反馈信息可在任何数量的显示选项上传送,诸如主OR屏幕显示、AR装置、能量或外科缝合器器械、平板计算机、增强现实眼镜、装置等。
图1示出了计算机实现的交互式外科***1,其包括一个或多个外科***2和基于云的***4。基于云的***4可包括耦接到存储装置5的远程服务器13。每个外科***2包括与云4通信的至少一个外科集线器6。例如,外科***2可包括可视化***8、机器人***10和手持式智能外科器械12,每一者被配置为能够彼此通信并且/或者与集线器6通信。在一些方面,外科***2可包括M个集线器6、N个可视化***8、O个机器人***10和P个手持式智能外科器械12,其中M、N、O和P为大于或等于1的整数。计算机实现的交互式外科***1可被配置为能够在如本文所述的外科手术期间提供增强现实交互式体验。
图2示出了对平躺在外科手术室16中的手术台14上的患者执行外科手术的外科***2的示例。机器人***10在外科手术中用作外科***2的一部分。机器人***10包括外科医生的控制台18、患者侧推车20(外科机器人)和外科机器人集线器22。当外科医生通过外科医生的控制台18或外科医生佩戴的增强现实(AR)装置66观察外科部位时,患者侧推车20可通过患者体内的微创切口来操纵至少一个可移除地耦接的外科工具17。微创手术规程的外科部位的图像(例如,静止图像或实时的流式传输实况图像)可通过医学成像装置24获得。患者侧推车20可操纵成像装置24以将成像装置24取向。开放式外科手术的图像可通过医学成像装置96获得。机器人集线器22处理外科部位的图像以供后续显示在外科医生的控制台18或外科医生佩戴的AR装置66上或显示给外科手术室16中的其他人员。
成像装置24、96或AR装置66的光学部件可包括一个或多个照明源和/或一个或多个镜片。一个或多个照明源可被引导以照明外科场地的多部分。一个或多个图像传感器可接收从外科视野中的组织和器械反射或折射的光。
在各种方面,成像装置24被配置用于微创外科手术中。适用于本公开的成像装置的示例包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞检查镜、十二指镜、肠窥镜、食道-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜。在各种方面,成像装置96被配置用于开放式(侵入式)外科手术中。
在各种方面,可视化***8包括一个或多个成像传感器、一个或多个图像处理单元、一个或多个存储阵列以及一个或多个显示器,该一个或多个显示器相对于无菌区进行策略布置。在一个方面,可视化***8包括用于HL7、PACS和EMR的界面。在一个方面,成像装置24可采用多光谱监测来辨别形貌和底层结构。多光谱图像捕获电磁波谱上的特定波长范围内的图像数据。通过滤波器或对特定波长敏感的器械来分离波长,特定波长包括来自可见光范围之外的频率的光,例如IR和紫外。光谱成像可提取人眼不可见的信息。多光谱监测可在完成外科任务之后重新定位外科视野,以对处理过的组织执行测试。
图2示出了主显示器19定位在无菌区中,以对在手术台14处的操作者可见。可视化塔11定位在无菌区外并且包括彼此背对的第一非无菌显示器7和第二非无菌显示器9。由集线器6引导的可视化***8被配置为能够利用显示器7、9、19来将信息流协调到无菌区内部和外部的操作者。例如,集线器6可使可视化***8显示由非无菌显示器7、9上的成像装置24、96或通过AR装置66记录的外科部位的AR图像,同时保持外科部位在主显示器19或AR装置66上的实时馈送。例如,非无菌显示器7、9可允许非无菌操作者执行与外科手术相关的诊断步骤。
图3示出了与可视化***8、机器人***10和手持式智能外科器械12通信的外科集线器6。集线器6包括集线器显示器35、成像模块38、发生器模块40、通信模块30、处理器模块32、存储阵列34和手术室标测模块33。集线器6还包括排烟模块26和/或抽吸/冲洗模块28。在各种方面,成像模块38包括AR装置66并且处理器模块32包括集成式视频处理器和增强现实建模器(例如,如图10中所示)。模块化光源可适于与各种成像装置一起使用。在各种示例中,可将多个成像装置放置在外科视野中的不同位置处以提供多个视图(例如,无创、微创、侵入式或开放式外科手术)。成像模块38可被配置为能够在成像装置之间切换以提供最佳视图。在各种方面,成像模块38可被配置为能够整合来自不同成像装置的图像并且在如本文所述的外科手术期间提供增强现实交互式体验。
图4示出了包括模块化通信集线器53的外科数据网络51,该模块化通信集线器被配置为能够将位于医疗设施的一个或多个手术室/房间中的模块化装置连接到基于云的***。云54可包括耦接到存储装置55的远程服务器63(图5)。模块化通信集线器53包括与网络路由器61通信的网络集线器57和/或网络交换机59。模块化通信集线器53耦接到本地计算机***60以处理数据。位于手术室中的模块化装置1a-1n可耦接到模块化通信集线器53。网络集线器57和/或网络交换机59可耦接到网络路由器61以将装置1a-1n连接到云54或本地计算机***60。与装置1a-1n相关联的数据可经由路由器传输到基于云的计算机,用于远程数据处理和操纵。手术室装置1a-1n可通过有线信道或无线信道连接到模块化通信集线器53。外科数据网络51环境可用于在如本文所述的外科手术期间提供增强现实交互式体验,并且具体地将外科视野中的增强图像提供给一个或多于一个远程显示器58。
图5示出了计算机实现的交互式外科***50。计算机实现的交互式外科***50在许多方面类似于计算机实现的交互式外科***1。计算机实现的交互式外科***50包括在许多方面类似于外科***2的一个或多个外科***52。每个外科***52包括与可包括远程服务器63的云54通信的至少一个外科集线器56。在一个方面,计算机实现的交互式外科***50包括模块化控制塔23,该模块化控制塔连接到多个手术室装置,诸如智能外科器械、机器人和位于手术室中的其他计算机化装置。如图6中所示,模块化控制塔23包括耦接到计算机***60的模块化通信集线器53。
返回图5,模块化控制塔23耦接到成像模块38(其耦接到内窥镜98)、发生器模块27(其耦接到能量装置99)、排烟器模块76、抽吸/冲洗模块78、通信模块13、处理器模块15、存储阵列16、智能装置/器械21(其任选地耦接到显示器39)和传感器模块29。手术室装置经由模块化控制塔23耦接到云计算资源,诸如服务器63、数据存储装置55和显示器58。机器人集线器72也可连接到模块化控制塔23并且连接到服务器63、数据存储装置55和显示器58。装置/器械21、可视化***58等可经由有线或无线通信标准或协议耦接到模块化控制塔23,如本文所述。模块化控制塔23可耦接到集线器显示器65(例如,监测器、屏幕)以显示接收到的增强图像,包括从成像模块38、装置/器械显示器39和/或其他可视化***58接收的真实外科视野中的所叠加虚拟对象。集线器显示器65还可结合图像和叠加图像来显示从连接到模块化控制塔23的装置接收的数据。
图6示出了包括耦接到模块化控制塔23的多个模块的外科集线器56。模块化控制塔23包括模块化通信集线器53(例如,网络连接性装置)和计算机***60,以提供例如增强外科信息的本地处理、可视化和成像。模块化通信集线器53可以分层配置连接以扩展可连接到模块化通信集线器53的模块(例如,装置)的数量,并将与模块相关联的数据传输到计算机***60、云计算资源或两者。模块化通信集线器53中的网络集线器57/交换机59中的每一者可包括三个下游端口和一个上游端口。上游网络集线器57/交换机59连接到处理器31以提供与云计算资源和本地显示器67的通信连接。与云54的通信可通过有线或无线通信信道进行。
计算机***60包括处理器31和网络接口37。处理器31经由***总线耦接到通信模块41、存储装置45、存储器46、非易失性存储器47和输入/输出接口48。***总线可以是多种类型的总线结构中的任一种,包括使用任意各种可用总线架构的存储器总线或存储器控制器、***总线或外部总线和/或本地总线。
处理器31包括增强现实建模器(例如,如图10中所示)并且可实现为单核或多核处理器,诸如由德州仪器公司(Texas Instruments)提供的商品名为ARM Cortex的那些处理器。在一个方面,处理器可为购自例如德克萨斯器械公司(Texas Instruments)LM4F230H5QR ARM Cortex-M4F处理器核心,其包括256KB的单循环闪存或其他非易失性存储器(高达40MHz)的片上存储器、用于改善40MHz以上的执行的预取缓冲器、32KB单循环序列随机存取存储器(SRAM)、装载有软件的内部只读存储器(ROM)、2KB电可擦除可编程只读存储器(EEPROM)、和/或一个或多个脉宽调制(PWM)模块、一个或多个正交编码器输入(QEI)模拟、具有12个模拟输入信道的一个或多个12位模数转换器(ADC),其细节可见于产品数据表。
***存储器包括易失性存储器和非易失性存储器。基本输入/输出***(BIOS)(包含诸如在启动期间在计算机***内的元件之间传输信息的基本例程,)存储在非易失性存储器中。例如,非易失性存储器可包括ROM、可编程ROM(PROM)、电可编程ROM(EPROM)、EEPROM或闪存。易失存储器包括充当外部高速缓存存储器的随机存取存储器(RAM)。此外,RAM可以多种形式可用,诸如SRAM、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)和直接Rambus RAM(DRRAM)。
计算机***60还包括可移除/不可移除的、易失性/非易失性的计算机存储介质,诸如例如磁盘存储器。磁盘存储器包括但不限于诸如装置如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-60驱动器、闪存存储卡或内存条。此外,磁盘存储器可包括单独地或与其他存储介质组合的存储介质,包括但不限于光盘驱动器诸如光盘ROM装置(CD-ROM)、光盘可记录驱动器(CD-R驱动器)、光盘可重写驱动器(CD-RW驱动器)或数字通用磁盘ROM驱动器(DVD-ROM)。为了有利于磁盘存储装置与***总线的连接,可使用可移除或非可移除接口。
在各种方面,图6的计算机***60、图4至图6的成像模块38和/或可视化***58和/或处理器模块15可包括图像处理器、图像处理引擎、图形处理单元(GPU)、媒体处理器或用于处理数字图像的任何专用数字信号处理器(DSP)。图像处理器可采用具有单个指令、多数据(SIMD)或多指令、多数据(MIMD)技术的并行计算以提高速度和效率。数字图像处理引擎可执行一系列任务。图像处理器可为具有多核处理器架构的芯片上的***。
图7示出了增强现实***263,该***包括被定位在成像模块38与外科集线器显示器67之间的通信路径中的中间信号组合器64。信号组合器64组合从成像模块38和/或AR装置66接收到的音频和/或图像数据。外科集线器56从组合器64接收组合数据并且叠加提供给显示器67的数据,叠加数据显示在该显示器上。成像装置68可以是数字视频摄像机,并且音频装置69可以是麦克风。信号组合器64可包括无线平视显示器适配器,以耦接到被置于显示器67到控制台的通信路径中的AR装置66,从而允许外科集线器56将数据叠加在显示器67。
图8示出了增强现实(AR)***,该***包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。图8示出了由外科医生73佩戴的用以将数据传送到外科集线器56的AR装置66。AR装置66的***信息不包括活动视频。相反,该***信息仅包括装置设置或不具有相同刷新率要求的信号。交互可基于与术前计算机断层扫描(CT)的链接或在外科集线器56中链接的其他数据增强外科医生73的信息。AR装置66可识别结构,例如询问器械是否正接触神经、脉管或粘连。AR装置66可包括术前扫描数据、光学视图、在整个规程中获得的组织询问特性和/或用于提供答案的外科集线器56中的处理。外科医生73可向AR装置66口述注意事项,以与患者数据一起保存在集线器存储装置45中,以供稍后用于报告或随访。
外科医生73佩戴的AR装置66利用音频和视觉信息链接到外科集线器56,以避免对叠加的需要,并且允许围绕视野围边定制显示信息。AR装置66提供来自装置(例如,器械)的信号、回答关于装置设置或与视频链接的位置信息有关的询问,以识别象限或位置。AR装置66具有音频控制和来自AR装置66的音频反馈。AR装置66能够与手术室中的所有其他***进行交互,并且无论外科医生73在何处查看,都具有可用的反馈和交互。例如,AR装置66可从外科医生接收语音或手势发起的命令和询问,并且AR装置66可以包括音频、视觉或触觉触摸的一个或多个模态的形式提供反馈。
图9示出了佩戴AR装置66的外科医生73、患者74,并且可在手术室75中包括相机96。外科医生73佩戴的AR装置66可用于通过增强现实显示器89或通过集线器连接的显示器67向外科医生73呈现叠加在外科视野的实时图像上的虚拟对象。实时图像可包括外科器械77的一部分。虚拟对象对于手术室75内的其他人(例如,外科助手或护士)可能是不可见的,尽管他们也可能佩戴AR装置66。即使另一个人正在使用AR装置66查看手术室75,这个人也可能看不到虚拟对象或能够在与外科医生73共享的增强现实中看到虚拟对象,或者能够看到虚拟对象的修改版本(例如,根据对外科医生73唯一的自定义)或者可能看到不同的虚拟对象。
虚拟对象和/或数据可被配置为能够出现在外科器械77的一部分上或由成像模块38、在微创外科手术期间由成像装置68和/或在开放式外科手术期间由相机96捕获的外科视野中。在例示的示例中,成像模块38是在微创外科手术期间提供外科视野的实时馈送的腹腔镜相机。AR***可呈现固定到真实对象的虚拟对象,而不考虑AR***的一个或多个观察者(例如,外科医生73)的视角。例如,虚拟对象可对手术室75内部的AR***的观察者可见,而对手术室75外部的AR***的观察者不可见。当观察者进入手术室75时,虚拟对象可显示给手术室75外部的观察者。增强图像可显示在外科集线器显示器67或增强现实显示器89上。
AR装置66可包括一个或多个屏幕或镜片,诸如单个屏幕或两个屏幕(例如,用户的每只眼睛一个屏幕)。屏幕可允许光穿过屏幕,使得真实环境的各方面在显示虚拟对象时是可见的。可通过投射光使虚拟对象对外科医生73可见。虚拟对象可表现为具有一定程度的透明度或可为不透明的(即,遮挡真实环境的各方面)。
AR***对于一个或多个观察者来说可为可查看的,并且可包括可用于一个或多个观察者的视图之间的差异,同时将一些方面保持为各视图之间通用。例如,平视显示器可在两个视图之间改变,而虚拟对象和/或数据可固定到两个视图中的真实对象或区域。在不改变至少一个虚拟对象的固定位置的情况下,可在各视图之间改变各方面,诸如对象的颜色、照明或其他改变。
用户可将AR***中呈现的虚拟对象和/或数据视为不透明的或视为包括一定程度的透明度。在一个示例中,用户可诸如通过将虚拟对象从第一位置移动到第二位置来与虚拟对象交互。例如,用户可自己的手移动对象。通过确定手已移动到与对象重合或相邻的位置(例如,使用可安装在AR装置66上的一个或多个相机,诸如AR装置相机79或单独的相机96,并且其可为静态的或可受到控制以移动)并且使对象作为响应而移动,这可在AR***中虚拟地完成。虚拟方面可包括真实世界对象的虚拟表示或可包括视觉效果,诸如照明效果等。AR***可包括管理虚拟对象行为的规则,诸如使虚拟对象经受重力或摩擦,或可包括排除真实世界物理约束(例如,浮动对象、永运等)的其他预定义规则。AR装置66可包括位于AR装置66上的相机79(不与相机96混淆,与AR装置66分离)。AR装置相机79或相机96可包括红外相机、红外滤光器、可见光滤光器、多个相机、深度相机等。AR装置66可将虚拟项投射在真实环境的表示上,从而可由用户查看。
AR装置66可在外科手术期间在手术室75中使用,例如由外科医生73对患者74执行。AR装置66可投射或显示虚拟对象诸如外科手术期间的虚拟对象以增强外科医生的视觉。外科医生73可使用AR装置66、用于AR装置66的遥控器来查看虚拟对象,或者可与虚拟对象交互,例如使用手与虚拟对象或由AR装置66的相机79识别的手势“交互”。虚拟对象可增强外科工具,诸如外科器械77。例如,虚拟对象可表现为(对于通过AR装置66查看虚拟对象的外科医生73)与外科器械77耦接或保持距外科器械固定距离。在另一个示例中,虚拟对象可用于引导外科器械77,并且可表现为固定到患者74。在某些示例中,虚拟对象可对外科视野中的其他虚拟对象或现实世界对象的移动作出反应。例如,当外科医生正在操纵接近虚拟对象的外科器械时,虚拟对象可被改变。
增强现实显示***成像装置38在外科手术过程中捕获外科视野的真实图像。增强现实显示器89、67呈现外科器械77的操作方面在外科视野的真实图像上的叠加。外科器械77包括通信电路231,以经由AR装置66上的通信电路233将操作方面和功能数据从外科器械77传送到AR装置66。尽管外科器械77和AR装置66显示为如箭头B、C所示在电路231、233之间进行RF无线通信,但也可采用其他通信技术(例如,有线、超声、红外等)。叠加与外科器械77的主动可视化的操作方面相关。叠加将外科视野中的组织交互作用的各方面与来自外科器械77的功能数据组合。AR装置66的处理器部分被配置为能够从外科器械77接收操作方面和功能数据,确定与外科器械77的操作相关的叠加,并且将外科视野中的组织方面与来自外科器械77的功能数据组合。增强图像指示关于装置性能考虑事项的警告、不兼容使用的警告、关于不完全捕获的警告。不兼容使用包括组织超出范围条件以及组织在端部执行器的钳口内没有正确地平衡。附加增强图像提供附带事件的指示,包括组织张力的指示和异物检测的指示。其他增强图像指示装置状态叠加和器械指示。
图10示出了根据本公开的至少一个方面的用于使用AR显示器89用信息来增强外科视野图像的***83。***83可用于例如通过使用处理器85来执行下文所述的技术。***83包括AR装置66的可与数据库93通信的一个方面。AR装置66包括处理器85、存储器87、AR显示器89和相机79。AR装置66可包括传感器90、扬声器91和/或触觉控制器92。数据库93可包括图像存储装置94或术前计划存储装置95。
AR装置66的处理器85包括增强现实建模器86。增强现实建模器86可由处理器85用来创建增强现实环境。例如,增强现实建模器86可诸如从相机79或传感器90接收外科视野中器械的图像,并且创建增强现实环境以适配在外科视野的显示图像内。在另一个示例中,物理对象和/或数据可叠加在外科视野和/或外科器械图像上,并且增强现实建模器86可使用物理对象和数据来在增强现实环境中呈现虚拟对象和/或数据的增强现实显示。例如,增强现实建模器86可使用或检测患者外科部位处的器械并且呈现外科器械上的虚拟对象和/或数据和/或由相机79捕获的外科视野中的外科部位的图像。AR显示器89可显示叠加在真实环境上的AR环境。显示器89可使用AR装置66显示虚拟对象和/或数据,诸如显示在AR环境中的固定位置。
AR装置66可包括传感器90,例如红外传感器。相机79或传感器90可用于检测移动,诸如外科医生或其他用户的手势,处理器85可将该移动解释为用户与虚拟目标的尝试或预期交互。处理器85可诸如通过使用相机79接收到的处理信息来识别真实环境中的对象。在其他方面,传感器90可以是触觉、听觉、化学或热传感器,以生成可与各种数据馈送组合的对应信号以创建增强环境。传感器90可包括双耳音频传感器(空间声音)、惯性测量传感器(加速度计、陀螺仪、磁力计)、环境传感器、深度相机传感器、手眼跟踪传感器以及语音命令识别功能。
例如在外科手术期间,AR显示器89可在允许通过AR显示器89查看外科视野时诸如在外科视野内呈现对应于被患者的解剖方面隐藏的物理特征的虚拟特征。虚拟特征可具有对应于物理特征的第一物理位置或取向的虚拟位置或取向。在一个示例中,虚拟特征的虚拟位置或取向可包括从物理特征的第一物理位置或取向的偏移。偏移可包括距增强现实显示器预定距离、从增强现实显示器到解剖方面的相对距离等。
在一个示例中,AR装置66可以是单个AR装置。在一个方面,AR装置66可以是由华盛顿州雷德蒙德的微软公司(Microsoft,Redmond,Wash)制造的HoloLens 2AR装置。该AR装置66包括具有镜片和双耳音频特征(空间声音)的护目镜、惯性测量装置(加速度计、陀螺仪、磁力计)、环境传感器、深度相机和视频相机、手眼跟踪以及语音命令识别功能。它通过使用反射镜在佩戴者眼睛前方引导波导来提供具有高分辨率的改进视野。可通过改变反射镜的角度来放大图像。它还提供眼睛跟踪来识别用户并针对特定用户调节镜片宽度。
在另一个示例中,AR装置66可以是Snapchat Spectacles 3AR装置。该AR装置能够捕获成对图像并且重新创建3D深度映射、添加虚拟效果及重新播放3D视频。该AR装置包括两个HD相机,从而以60fps捕获3D照片和视频,同时四个内置麦克风记录沉浸式的高保真音频。来自两个相机的图像组合以建立围绕用户的真实世界的几何地图,从而提供新的深度感知感觉。照片和视频可以无线方式同步到外部显示装置。
在又一个示例中,AR装置66可以是Google的Glass 2AR装置。该AR装置提供叠加在镜头上(视野外)的惯性测量(加速度计、陀螺仪、磁力计)信息以补充信息。
在另一个示例中,AR装置66可以是Amazon的Echo Frames AR装置。该AR装置没有相机/显示器。麦克风和扬声器连接到Alexa。该AR装置提供比平视显示器更少的功能。
在又一个示例中,AR装置66可以是North(Google)的Focals AR装置。该AR装置提供通知推送/智能手表模拟;惯性测量、信息(天气、日历、消息)的屏幕叠加、语音控制(Alexa)集成。该AR装置提供基本平视显示器功能。
在另一个示例中,AR装置66可以是Nreal AR装置。该AR装置包括空间声音、两个环境相机、照片相机、IMU(加速度计、陀螺仪)、环境光传感器、接近传感器功能。Nebula将应用信息投射在镜片上。
在各种其他示例中,AR装置66可以是以下市售AR装置中的任一者:Magic Leap 1、Epson Moverio、Vuzix Blade AR、ZenFone AR、Microsoft AR眼镜原型、EyeTap,以将与环境光共线的光直接产生到视网膜中。例如,分束器使得由眼睛看到的相同光可用于计算机处理和叠加信息。AR可视化***包括HUD、接触镜片、眼镜、虚拟现实(VR)头戴式耳机、虚拟视网膜显示器、手术室显示器和/或智能接触镜片(仿生镜片)。
用于AR装置66的多用户接口包括虚拟视网膜显示器(诸如直接绘制在视网膜上而非眼睛前方的屏幕上的光栅显示器)、智能电视、智能电话和/或空间显示器(诸如Sony空间显示***)。
其他AR技术可包括例如AR捕获装置和软件应用程序、AR创建装置和软件应用程序以及AR云装置和软件应用程序。AR捕获装置和软件应用程序包括例如Apple Polycam应用程序Ubiquity 6(使用Display.land app的Mirrorworld),用户可扫描并获得真实世界的3D图像(以创建3D模型)。AR创建装置和软件应用程序包括例如Adobe Aero、Vuforia、ARToolKit、Google ARCore、Apple ARKit、MAXST、Aurasma、Zappar、Blippar。AR云装置和软件应用程序包括例如Facebook、Google(世界几何、对象识别、预测数据)、Amazon AR云(商务)、Microsoft Azure、Samsung Project Whare、Niantic、Magic Leap。
态势感知是指外科***的一些方面的根据从数据库和/或器械接收的数据来确定或推断与外科手术相关的信息的能力。该信息可包括正在进行的手术的类型、正在手术的组织的类型或作为手术对象的体腔。利用与外科手术相关的背景信息,外科***可例如改善该外科***控制连接到其的模块化装置(例如,机器人臂和/或机器人外科工具)的方式,并且在外科手术的过程期间向外科医生提供背景信息或建议。
图11示出了态势感知外科手术的时间轴。图11示出了例示性外科手术的时间轴5200以及外科集线器5104可在外科手术的每个步骤从数据源5126接收到的数据导出的上下文信息。时间轴5200描绘了护士、外科医生和其他医疗人员在肺分段切除手术期间将采取的典型步骤,从建立手术室开始到将患者转移到术后恢复室为止。态势感知外科集线器5104在整个外科手术过程中从数据源5126接收数据,包括每次医疗人员利用与外科集线器5104配对的模块化装置5102时生成的数据。外科集线器5104可从配对的模块化装置5102和其他数据源5126接收该数据,并且在接收新数据时不断导出关于正在进行的手术的推论(即,背景信息),诸如在任何给定时间执行手术的哪个步骤。外科集线器5104的态势感知***能够例如记录与用于生成报告的手术相关的数据,验证医疗人员正在采取的步骤,(例如,经由显示屏)提供可能与特定手术步骤相关的数据或提示,基于上下文调节模块化装置5102(例如,激活监测器、调节医学成像装置的FOV或改变超声外科器械或RF电外科器械的能量程度),以及采取本文所述的任何其他此类动作。
第一5202,医院工作人员从医院的EMR数据库中检索患者的EMR。基于在EMR中选择的患者数据,外科集线器5104确定待执行的手术是胸腔手术。
第二5204,工作人员扫描用于规程的进入的医疗用品。外科集线器5104将所扫描的用品与在各种类型的规程中利用的用品列表交叉对比,并确认用品的组合对应于胸腔规程。另外,外科集线器5104还能够确定规程不是楔形规程(因为进入的用品缺乏胸腔楔形规程所需的某些用品,或以其他方式不对应于胸腔楔形规程)。
第三5206,医疗人员经由通信地连接到外科集线器5104的扫描器5128来扫描患者带。然后,外科集线器5104可基于所扫描的数据来确认患者的身份。
第四5208,医务工作人员打开辅助设备。利用的辅助设备可根据外科手术的类型和外科医生待使用的技术而变化,但在此示例性情况下,它们包括排烟器、吹入器和医学成像装置。当激活时,作为其初始化过程的一部分,作为模块化装置5102的辅助设备可以自动与位于模块化装置5102特定附近的外科集线器5104配对。然后,外科集线器5104可通过检测在该术前阶段或初始化阶段期间与其配对的模块化装置5102的类型来导出关于外科手术的背景信息。在该具体示例中,外科集线器5104确定外科手术是基于配对模块化装置5102的该特定组合的VATS规程。基于来自患者的EMR的数据、待在手术中使用的医疗用品的列表以及连接至集线器的模块化装置5102的类型的组合,外科集线器5104通常可推断外科团队将执行的特定手术。一旦外科集线器5104知道正在被执行的特定手术,外科集线器5104就可从存储器或云中检索该手术的步骤,然后交叉引用其随后从所连接的数据源5126(例如,模块化装置5102和患者监测装置5124)接收的数据,以推断外科团队正在执行的外科手术的步骤。
第五5210,工作人员将EKG电极和其他患者监测装置5124附接到患者。EKG电极和其他患者监测装置5124能够与外科集线器5104配对。随着外科集线器5104开始从患者监测装置5124接收数据,外科集线器5104因此确认患者在手术室中。
第六5212,医疗人员诱导患者麻醉。外科集线器5104可基于来自模块化装置5102和/或患者监测装置5124的数据(包括EKG数据、血压数据、呼吸机数据或它们的组合)推断患者处于麻醉下。在第六步5212完成时,肺分段切除手术的术前部分完成,并且手术部分开始。
第七5214,使正在手术的患者的肺部塌缩(同时通气被切换到对侧肺)。外科集线器5104可从呼吸机数据推断出患者的肺已经塌缩。外科集线器5104可推断规程的手术部分已开始,因为其可将患者的肺部塌缩的检测与规程的预期步骤(可先前访问或检索)进行比较,从而确定使肺部塌缩是该特定规程中的手术步骤。
第八5216,***医学成像装置5108(例如,内窥镜),并启动来自该医学成像装置的视频。外科集线器5104通过其与医学成像装置的连接来接收医学成像装置数据(即,静止图像数据或实时的实况流式传输视频)。在接收到医学成像装置数据之后,外科集线器5104可确定外科手术的腹腔镜部分已开始。另外,外科集线器5104可确定正在被执行的特定手术是分段切除术,而不是肺叶切除术(注意,外科集线器5104基于在手术的第二步骤5204处接收到的数据已经排除了楔形手术)。来自医学成像装置124(图2)的数据可用于以多种不同的方式确定与正在被执行的手术的类型相关的背景信息,包括通过确定医学成像装置相对于患者的解剖结构的可视化取向的角度,监测所利用的医学成像装置的数量(即,被激活并与外科集线器5104配对),以及监测所利用的可视化装置的类型。
例如,一种用于执行VATS肺叶切除术的技术将相机放置在隔膜上方的患者胸腔的下前拐角中,而一种用于执行VATS分段切除术的技术将相机相对于分段裂缝放置在前肋间位置。例如,使用模式识别或机器学习技术,可对态势感知***进行训练,以根据患者解剖结构的可视化识别医学成像装置的定位。作为另一个示例,一种用于执行VATS肺叶切除术的技术利用单个医学成像装置,而用于执行VATS分段切除术的另一种技术利用多个相机。作为另一个示例,一种用于执行VATS分段切除术的技术利用红外光源(其可作为可视化***的一部分可通信地耦接到外科集线器)以可视化不用于VATS肺部切除术中的分段裂隙。通过从医学成像装置5108跟踪这些数据中的任何或所有,外科集线器5104因此可确定正在被执行的外科手术的具体类型和/或用于特定类型的外科手术的技术。
第九5218,外科团队开始规程的解剖步骤。外科集线器5104可推断外科医生正处在解剖以调动患者的肺部的过程中,因为其从RF发生器或超声发生器接收到指示能量器械正在被击发的数据。外科集线器5104可将所接收的数据与外科手术的检索步骤交叉引用,以确定在方法中的该点处(即,在先前讨论的手术步骤完成之后)击发的能量器械对应于解剖步骤。
第十5220,外科团队继续进行至规程的结扎步骤。外科集线器5104可推断外科医生正在结扎动脉和静脉,因为其从外科缝合和切割器械接收指示器械正在被击发的数据。与先前步骤相似,外科集线器5104可通过交叉引用来自外科缝合和切割器械的数据的接收与该方法中的检索步骤来导出该推论。
第十一5222,执行规程的分段切除术部分。外科集线器5104推断外科医生正在基于来自外科器械的数据(包括来自钉仓的数据)横切软组织。仓数据可对应于由器械击发的钉的大小或类型。仓数据可针对在不同类型组织中采用的不同类型钉指示被缝合和/或横切的组织的类型。被击发的钉的类型用于软组织或其他组织类型,以使得外科集线器5104能够推断正在执行的分段切除手术。
第十二5224,执行节点解剖步骤。外科集线器5104可基于从发生器接收的指示正在击发RF或超声器械的数据来推断外科团队正在解剖节点并且执行泄漏测试。对于该特定手术,在横切软组织后利用RF或超声器械对应于节点解剖步骤,这允许外科集线器5104做出该推论。应当指出的是,外科医生根据手术中的具体步骤定期在外科缝合/切割器械和外科能量(即,RF或超声)器械之间来回切换,因为不同器械更好地适于特定任务。因此,其中使用缝合/切割器械和外科能量器械的特定序列可指示外科医生正在执行的手术的步骤。在第十二步骤5224完成时,切口被闭合并且规程的术后部分开始。
第十三5226,逆转患者的麻醉。例如,外科集线器5104可基于呼吸机数据(即,患者的呼吸率开始增加)推断出患者正在从麻醉中醒来。
最后,第十四5228,医疗人员从患者移除各种患者监测装置5124。因此,当外科集线器5104丢失EKG、BP和来自患者监测装置5124的其他数据时,该集线器可推断患者正在被转移到恢复室。外科集线器5104可根据从可通信地耦接到外科集线器5104的各种数据源5126接收的数据来确定或推断给定外科手术的每个步骤何时发生。
除了利用来自EMR数据库的患者数据来推断待执行的外科手术的类型之外,如图11所示的时间线5200的第一步骤5202所示,态势感知外科集线器5104也可利用患者数据来生成用于配对的模块化装置5102的控制调节。
本公开描述了用于在增强现实环境中跟踪组织、识别所标记的感兴趣区域以及生成指示感兴趣区域的虚拟元素的方法和***。
物理空间参数的配准
在各个方面,可使用基准标记虚拟地或物理地标记患者以帮助外科医生进行操作。外科手术可能需要患者经历术前基准标记过程。
图12示出了包括多个基准标记的结构表面18000的示例。多个点18010a-d被识别和标记到结构表面18000。诸如远程服务器63(图5)或外科集线器56(图6)的计算***基于目标配准误差(TRE)模型18008来评估结构表面并且分配基准标记18010a-d。TRE模型使用样本数据集来估计基准标记18010a-d的放置。18002示出了结构表面18000的初始视图。18004示出了结构表面18000的TRE模型表示。变换18006示出了结构表面18000的基准标记18010a-d的最终放置。
图13示出了用于将患者的外部结构与基准标记进行表面匹配的过程18020。诸如远程服务器63(图5)或外科集线器56(图6)***的计算***基于表面的数字表示来生成18022表面的初始映射。***使用诸如眼睛和鼻梁的面部识别特征来识别18024多个解剖标志18028,以映射表面和点之间的距离。基于所确定的解剖标志18028之间的距离,***生成18026基准标记18030。
图14示出了用于将患者的内部结构18044与基准标记18042进行表面匹配的过程18040。内部结构显示在输出显示器18046上,该输出显示器允许技术人员使用触针18048标记内部结构18044的区域。基准标记18042可对应于外科手术的路径或位置。
图15至图17示出了用于帮助外科医生进行外科手术的外部外科对准器械。图15示出了立体定向框架18060,图16示出了星形固定平台18080,图17示出了微型台18100。外科集线器56(图6)可记录和分类外部外科辅助装置的尺寸,并且将基准标记分配给外科辅助装置上的多个点。然后,外科集线器56可将外部外科对准器械的基准标记与患者身上的表面标记对准。
在各个方面,外科集线器56(图6)被配置为能够跟踪外科器械12(图1、图2)、21(图5、图6)在手术室16(图2)中的位置和定位。外科器械12、21可包括多个基准标记,该多个基准标记策略性地放置在器械12、21的壳体上以传送器械12、21的特殊参数。基准标记可由有源跟踪***与红外(IR)光源组合使用。另外,外科器械12、21可包括传感器,该传感器指示外科器械12、21何时在使用中以及外科器械12、21何时在患者体内。在一个方面,套管针可包括一个或多个内部患者传感器,该一个或多个内部患者传感器指示装置何时***体腔。一旦套管针确定外科器械12、21在患者的体腔内,套管针便可自动地或手动地检测和跟踪另一外科器械12、21的位置。套管针可包括内部相机***,该内部相机***识别其他外科器械12、21上的基准标记。内部相机***可接收命令以定位端部执行器并且相对于套管针的尖端使用标记来标记端部执行器。该标记提供配准点,该配准点可用于在整个外科手术过程中监测端部执行器的尖端,并且可与呈现在AR装置66(图10)的AR显示器89上的虚拟元素相关联。在端部执行器的尖端可能在内部相机***的视野之外时的情况下,虚拟元素可基于标记连续地显示端部执行器尖端的跟踪位置。
在外科手术之前,根据包括质量、尺寸、长度、形状、相关联的外科手术、用于外科手术的手位置等的多个参数来对所有外科器械12(图1、图2)、21(图5、图6)进行分类。图18示出了用于基于多个配准参数来识别对象的流程图。在各个方面,外科集线器从手术室中的一个或多个对象检测相机接收对象的物理特性。相机提供18122对象的原始成像数据。外科集线器执行18124图像处理以移除图像背面或模糊并且执行边缘检测。一旦外科集线器执行图像处理,外科集线器便将检测到的对象与对象的目录进行比较18126。外科集线器检查18128每个对象的属性,并且确定18130最接近地符合所识别的图像参数的对象。
图19示出了用于基于已知和未知参数的部分信息来对未知外科器械进行分类的流程图18140。对象识别***可由远程服务器63(图5)或外科集线器56(图6)实现。对象识别***可能无法肯定地确定对象,但可能将其缩小到多个候选项。***输入18142部分对象信息,并且使用已知参数来评估对象。如果***确定对象的物理特性,则其可执行18144几何不确定分析。如果***确定对象的几何特性,则***可执行18146物理不确定分析18146。然而,如果***没有足够的信息,则***可能需要手动识别,并且将对象分类为未知18148。
在各个方面,外科集线器接收与手术室或外部环境相关联的空间和物理参数。物理参数可与特定的房间或环境配准。在各个方面,可根据某些特征对外部环境进行分类,诸如无菌或非无菌环境;术前室、手术室或术后室;以及室内的特定设备(例如,MRI、CT扫描器)。
包括外径安装式相机***的套管针保持器械的端口通畅并且增加视野
本公开还描述了集成到套管针中的相机***。相机***允许腹腔镜手术期间内部手术部位的宽视野和基准标记的3D映射。在进入患者体内时,相机***被配置为能够从套管针的远侧端部处的凹陷位置展开。在各个方面,内部相机***被配置为能够保持套管针端口对于外科器械通畅,并且向手术工作人员提供增加的手术环境视野。
图20示出了包括内部相机***18166的套管针18160。内部相机***18166包括使用弹性构件18168连接在一起的多个相机18166a-n。弹性连接件18168允许相机***18166折叠在一起并且穿过限定在套管针中心的通路装配。在各个方面,相机***18166发射非可见光谱中的光,从而允许相机18166a-n检测各种类型的基准标记(例如,IR基准标记)。当内部相机***18166在18160a处展开时,相机***18166附接到套管针18160的远侧端部18162的外径18170。当套管针***患者的体腔以及从患者的体腔中移除时,内部相机***18166处于缩回位置18160b。在缩回位置18160b中,相机***18166凹入并且附接到套管针18160的远侧端部18162的内径18172。
参考图20和图21,图21示出了可重复使用的安装工具18176,该可重复使用的安装工具被构造成能够***套管针18160的近侧端部18164中,围绕套管针18160的外径18170展开和缩回相机***18166。相机***18166通过有线或无线连接件可通信地耦接到外科集线器56(图6)。在无线配置中,每个相机18166a-n可具有其自己的电源(例如,可再充电电池),相机***18166可具有通过可弹性变形的有线连接件连接到每个相机18166a-n的单个外部电源。在有线配置中,可在***套管针18160的同时,将有线连接件从外部***到套管针18160,从而保持套管针18160的内径对于外科器械通畅。相机***18160可通过弹性连接件(在金属套管针的情况下为磁体)或套管针18160的外径上的单独连接件的挤压和摩擦附接到套管针18160的外径。
图21还示出了处于完全压下位置的安装柱塞18174a的轮廓图18178a。套管针18160的锥形远侧端部18158释放相机***18166。柱塞18174b在近侧方向上被拉动,这致使锥形远侧端部18158沿着套管针18160的外径18170推动相机***。当柱塞18174c继续在近侧方向上退回时,相机***18166附接到套管针18160的外径18170。移除可重复使用的安装工具18176,使得可开始腹腔镜外科手术。
用于改善子过程跟踪的具有实时3D模型更新的基于基准标记的术前计算机断层
摄影(CT)扫描
本公开还描述了被配置为能够生成3D模型以供外科医生在患者的内部组织结构中进行导航的***。该***在术前CT扫描中识别和标记感兴趣的目标组织或结构。该***基于CT扫描生成初始3D模型,外科医生使用该初始3D模型来帮助他们对内部结构进行导航。可基于手术中接收的附加数据点来实时地连续更新该3D模型。在一个方面,***可确定距外科器械的距离的接近度,并且更新模型以反映组织移动或组织位置的变化。
在各个方面,***生成具有虚拟元素的内部组织结构的3D渲染,并且在增强现实显示器上显示3D模型。***可生成手术环境的实时馈送或者提供叠加在手术部位的真实世界实时馈送上的虚拟元素。在各个方面,3D模型指示感兴趣区域、要避开的区域。另外,标记可指示需要密封的组织或难以找到的组织,诸如肺静脉和肺动脉。
图22示出了在术前CT扫描中被标记到感兴趣区域的多个基准标记18180。可放置基准标记以在关键结构18182处创建质心。质心值是基于集合中每个基准标记之间的相对距离来确定的。
图23示出了利用多个基准标记来帮助外科医生定位手术部位的腹腔镜外科手术。关键结构18184的术前确定通常是结构位置的紧密近似,但可能不是准确位置。在各个方面,内部相机可与基准标记结合使用以提供具有更新模型或更新基准标记的关键结构18186的实时更新位置。在各个方面,基准标记位于外科器械18190上并且基于其他点之间的关系来帮助提供更新位置18186。外科器械还可包括集成标测传感器18188。
在腹腔镜手术中使用物理标记跟踪组织移动和位置
本公开还描述了用于使用物理标记来标记和跟踪组织移动的各种方法和***。跟踪***包括被配置为能够检测和跟踪物理标记的相机***。在各个方面,物理标记包括磁性墨水、可见光谱下的可见墨水、不可见光谱下的隐显墨水或能够由相机***检测的其他墨水。
图24示出了通过将吲哚菁染料18202注射到患者的血管***中而施加的物理标记。染料18202被光源18204照射,该光源允许相机18206捕获和记录组织18210的血管结构。在一个方面,光源18204可以是荧光光源。相机***18206可使用各种光频率或激光来可视化染料18202。相机***18206被进一步配置为识别墨水的各种重叠路径并且在输出显示器18208上显示3D渲染。在各个方面,脉管***可像指纹一样用于唯一地识别结构并且在其移动时跟踪该结构。另外,术前CT成像可用于帮助***生成该结构的3D图。染料还可用于***官并且在手术人员即将抓住高度血管化的组织时发出警告。图25还示出了示例性组织,该示例性组织注射有染料并且被照射以示出脉管***。
在各个方面,光源18204可发射在可见光谱之外的波长的光,诸如IR。另外,染料18202可包括用作标记的磁性墨水,以区分相机18206的视野之内和之外的感兴趣区域。在一个方面,染料18202可以不可见光谱飞溅喷射到手术区域中,使得身体可容易地吸收染料18202。飞溅产生允许相机18206容易地跟踪组织18210的位置和移动的独特图案。
用于测量解剖或手术事件的手术中非固定物理标记的跟踪
本公开还描述了一种被配置为能够在没有物理固定解剖标记的情况下跟踪组织或解剖结构的***。物理标记通常用于跟踪组织或解剖结构,但存在阻止使用该方法的情况,诸如最近密封的组织。该***使用温度和阻抗来跟踪具有非固定标记的组织。
图26示出了被配置为能够根据探头18302的阻抗测量来监测体腔中的压力或流体的变化的***18300。探头18302耦接到外科器械18304并且基于由体腔18306中的流体和/或气体产生的压力来测量阻抗值。外科集线器56(图6)可耦接到外科器械18304并且被配置为能够确定体腔18306中是否存在压力变化。压力变化指示在体腔18306中存在泄漏。探头18302被配置为能够保持固定间隙以测量潜在泄漏部位18308处的压力变化。
另外,外科集线器56(图6)可通过经由AR内容生成警告来向手术工作人员通知检测到的泄漏。在一个方面,可在锚定到检测到的事件的位置的AR装置66(图10)的AR显示器89上呈现虚拟元素。可使用纯色、闪烁色或半透明色的对比颜色来识别虚拟元素。虚拟元素可附带有识别事件类型和/或事件严重性的文本警告。
图27示出了包括IR相机***18312的红外(IR)热检测***18310,该IR相机***被配置为能够将IR光18314引导到组织18316的治疗区域上并且识别手术环境18304中的温度差。在一个方面,IR相机***18312可被配置为能够根据围绕泄漏的空气的温度变化来识别加压腔中的泄漏的位置。体腔用温度比腹膜腔中的流体更冷或更热的空气加压。IR相机***18312将通过查看比腔体更热或更冷的温度下的气体来观察泄漏。响应于泄漏检测,外科集线器56可向手术工作人员发出通知。
在一个方面,IR相机***18312可确定组织区域最近被密封。密封的组织可处于不同的温度并且允许IR相机***18312将密封的组织区分为敏感的治疗区域。外科集线器56(图6)可呈现叠加在治疗区域顶部上的虚拟元素,以向外科医生指示密封组织最近被处理并且是敏感区域。
基于组织被密封时的预定组织温度阈值来识别密封的组织。组织温度可缓慢冷却,然而,IR相机***18312可使用非固定标记来标记区域,即使在组织温度下降到初始阈值温度以下之后,该非固定标记也被保持。
被配置为能够控制和调节外科器械以防止组织上的过度张力的运动跟踪***
本公开还描述了一种用于防止在组织上施加过度张力的组织跟踪***。该***被配置为能够跟踪施加于特定位置处的组织的指示运动、力和张力的标记。外科集线器56(图6)可连续地监测组织张力和运动参数。外科集线器56可确定特定位置处的组织张力已经达到预定阈值,并且向一个或多个AR装置66(图10)提供通知。
图28示出了采用三个端部执行器18352、18354、18356的外科手术18350,该三个端部执行器被构造成能够抓握和横切组织18360。组织18360最初在两点处被第一端部执行器18352和第二端部执行器18356抓握。AR装置66(图10)可指示端部执行器18352、18356应位于的初始位置。基于施加到组织18360的力来确定第一端部执行器18352和第二端部执行器18356之间的初始距离18358。第二端部执行器18356被构造成能够横切组织18360并且需要第三端部执行器18354来补偿组织张力的增加。
图29示出了沿着组织从第一位置18354a滑动到第二位置18354b的第三端部执行器18354。手术工作人员监测第三端部执行器18354的位置,使得其被适当地定位以补偿张力的增加。在各个方面,当组织18360的张力超过预定张力阈值时,AR装置66(图10)可突出显示该组织。外科医生可重新定位第三端部执行器18354,使得组织18360不再被突出显示并且指示组织张力回到预定阈值内。在各个方面,外科医生可在手柄或操纵杆中接收反馈以指示何时需要重新定位以及何时新位置令人满意。
图30示出了被定位成与第二端部执行器18356相邻的第三端部执行器18354。在通过第二端部执行器横切组织18360时,基于初始距离18358(图28),组织张力将在预定阈值内。
图31示出了采用三个静态夹具18372、18274、18378和被构造成能够在静态夹具18372、18274、18378之间转移组织的动态夹具18376的外科手术18370。第一夹具18372是静态夹具,其被构造成能够保持组织18386的端部并且防止张紧或拉动超出感兴趣区域18382。根据预定距离定位第二夹具18374和第三夹具18378,使得组织保持预定张力。第二夹具18374和第三夹具18378是静态的,但可打开和关闭以在固定距离18380之间拉动新组织18386。第四夹具18376是动态夹具,并且被构造成能够拉动第二夹具18374与第三夹具18378之间的组织18386,并且减小第一夹具18372与第二夹具18374之间的张力。第四夹具18376重新定位组织18386以减小18384处的过度张力,如图形突出显示所指示。AR装置66(图10)可提供类似的突出显示以指示过度的组织张力。
图32示出了用于显示患者体内的手术位置的方法18400的逻辑流程图。根据方法18400,外科集线器56(图6)从位于患者体内的一个或多个相机接收18402视频馈送。外科集线器56识别18404患者体内的一个或更多个物理标记。外科集线器56基于与一个或多个物理标记的关系来确定18406目标位置。外科集线器56生成18408对应于目标位置的虚拟元素。耦接到外科集线器56(图6)的AR装置66(图10)在增强现实(AR)显示器79(图10)上显示18410叠加在视频馈送上的虚拟元素。
在方法18400的一个方面,视频馈送是从至少两个视频馈送拼接在一起的广角视图。在另一方面,根据方法18400,在可见光谱之外的光源的照射下,一个或多个物理标记是可见的。在方法18400的另一方面,一个或多个物理标记是在术前计算机断层摄影(CT)扫描中分配的基准标记。在方法18400的又一方面,目标位置在增强现实(AR)装置66(图10)上被实时地连续更新。
本文所述主题的各种附加方面在以下编号的实施例中陈述:
实施例1:一种外科***,所述外科***包括外科装置,所述外科装置包括:轴向通路,所述轴向通路限定外径和内径;近侧端部;远侧端部,所述远侧端部被构造成能够穿透组织;相机阵列,所述相机阵列包括以具有弹性连接件的环形配置连接的各个相机;可移除的安装触发器,所述可移除的安装触发器被构造成能够使所述相机阵列从所述轴向通路的所述远侧端部的所述内径的第一凹陷位置延伸到第二展开位置,其中,所述相机阵列围绕所述轴向通路的所述远侧端部的所述外径周向地定位;增强现实(AR)装置;和外科集线器,所述外科集线器以可通信的方式耦接到所述相机阵列和所述AR装置,其中,所述外科集线器包括耦接到存储器的控制电路,并且其中,所述控制电路被配置为能够:接收来自所述相机阵列的多个视频馈送;识别所述视频馈送上的物理标记;以及在所述AR显示器上显示所述物理标记。
实施例2:根据实施例1所述的外科***,其中,所述视频馈送是从所述各个相机中的每个相机拼接在一起的广角视图。
实施例3:根据实施例1至2中任一项所述的外科***,其中,所述物理标记在可见光谱之外的光源的照射下可见。
实施例4:根据实施例1至3中任一项所述的外科***,其中,所述物理标记是染料。
实施例5:根据实施例1至4中任一项所述的外科***,其中,所述物理标记是在术前计算机断层摄影(CT)扫描中分配的基准标记。
实施例6:根据实施例1至5中任一项所述的外科***,其中,所述物理标记被配置为能够指示外科手术的目标位置。
实施例7:根据实施例6所述的外科***,其中,所述目标位置在所述AR装置上被实时地连续更新。
实施例8:根据实施例7所述的外科***,其中,基于外科器械和所述物理标记的关系来更新所述目标位置。
实施例9:一种外科装置,所述外科装置包括:相机阵列,所述相机阵列包括以具有弹性连接件的环形配置连接的各个相机,其中,所述相机阵列能够以可通信的方式耦接到外科集线器;细长穿透构件,所述细长穿透构件具有近侧端部和远侧端部,其中,所述远侧端部还包括组织穿透尖端;轴向通路,所述轴向通路穿过所述细长穿透构件和所述组织穿透尖端,并且其中,所述轴向通路的内径的尺寸被设定成能够将所述相机阵列容纳在第一凹陷位置中;和可移除的安装触发器,所述可移除的安装触发器被构造成能够使所述相机阵列从所述细长穿透构件的所述远侧端部的所述内径的第一凹陷位置延伸到第二展开位置,其中,所述相机阵列围绕所述细长穿透构件的所述远侧端部的外径周向地定位。
实施例10:根据实施例9所述的外科装置,其中,所述相机阵列能够通过无线通信协议以可通信的方式与所述外科集线器耦接。
实施例11:根据实施例10所述的外科装置,其中,所述相机阵列由可再充电电池供电。
实施例12:根据实施例9至11中任一项所述的外科装置,其中,所述相机阵列能够通过有线通信协议以可通信的方式耦接到所述外科集线器。
实施例13:根据实施例12所述的外科装置,其中,所述相机阵列由有线外部电源供电,所述有线外部电源包括沿着所述细长穿透构件的所述外径延伸的线。
实施例14:根据实施例9至13中任一项所述的外科装置,其中,所述相机阵列以挤压和摩擦配置附接到所述细长穿透构件的所述远侧端部的所述外径。
实施例15:根据实施例9至14中任一项所述的外科装置,其中,在所述第二展开位置中,所述相机阵列不占用所述轴向通路的所述内径的空间。
实施例16:一种用于显示患者体内的手术位置的方法,所述方法包括:由外科集线器接收来自位于患者体内的相机的视频馈送;由所述外科集线器识别所述患者体内的物理标记;由所述外科集线器基于与所述物理标记的所述关系来确定目标位置;由所述外科集线器生成对应于所述目标位置的虚拟元素;以及由耦接到所述外科集线器的增强现实(AR)装置在AR显示器上显示叠加在所述视频馈送上的所述虚拟元素。
实施例17:根据实施例16所述的方法,其中,所述视频馈送是从至少两个视频馈送拼接在一起的广角视图。
实施例18:根据实施例16至17中任一项所述的方法,其中,所述物理标记在可见光谱之外的光源的照射下可见。
实施例19:根据实施例16至18中任一项所述的方法,其中,所述物理标记是在术前计算机断层摄影(CT)扫描中分配的基准标记。
实施例20:根据实施例16至19中任一项所述的方法,其中,所述目标位置在增强现实(AR)装置上被实时地连续更新。
尽管已举例说明和描述了多个形式,但是申请人的意图并非将所附权利要求的范围约束或限制在此类细节中。在不脱离本公开的范围的情况下,可实现对这些形式的许多修改、变型、改变、替换、组合和等同物,并且本领域技术人员将想到这些形式的许多修改、变型、改变、替换、组合和等同物。此外,另选地,可将与所描述的形式相关联的每个元件的结构描述为用于提供由所述元件执行的功能的器件。另外,在公开了用于某些部件的材料的情况下,也可使用其他材料。因此,应当理解,上述具体实施方式和所附权利要求旨在涵盖属于本发明所公开的形式范围内的所有此类修改、组合和变型。所附权利要求旨在涵盖所有此类修改、变型、改变、替换、修改和等同物。
上述具体实施方式已经由使用框图、流程图和/或示例阐述了装置和/或方法的各种形式。只要此类框图、流程图和/或示例包含一个或多个功能和/或操作,本领域的技术人员就要将其理解为此类框图、流程图和/或示例中的每个功能和/或操作都可以单独和/或共同地通过多种硬件、软件、固件或实际上它们的任何组合来实施。本领域的技术人员将会认识到,本文公开的形式中的一些方面可作为在一台或多台计算机上运行的一个或多个计算机程序(例如,作为在一个或多个计算机***上运行的一个或多个程序),作为在一个或多个处理器上运行的一个或多个程序(例如,作为在一个或多个微处理器上运行的一个或多个程序),作为固件,或作为实际上它们的任何组合全部或部分地在集成电路中等效地实现,并且根据本公开,设计电路和/或编写软件和/或硬件的代码将在本领域技术人员的技术范围内。另外,本领域的技术人员将会认识到,本文所述主题的机制能够作为多种形式的一个或多个程序产品进行分布,并且本文所述主题的例示性形式适用,而不管用于实际进行分布的信号承载介质的具体类型是什么。
用于编程逻辑以执行各种所公开的方面的指令可存储在***中的存储器内,诸如动态随机存取存储器(DRAM)、高速缓存、闪存存储器或其他存储器。此外,指令可经由网络或通过其他计算机可读介质来分发。因此,机器可读介质可包括用于存储或传输以机器(例如,计算机)可读形式的信息的任何机构,但不限于软盘、光学盘、光盘只读存储器(CD-ROM)、和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存存储器、或经由电信号、光学信号、声学信号或其他形式的传播信号(例如,载波、红外信号、数字信号等)在因特网上传输信息时使用的有形的、机器可读存储装置。因此,非暂态计算机可读介质包括适于以机器(例如,计算机)可读的形式存储或传输电子指令或信息的任何类型的有形机器可读介质。
如本文任一方面所用,术语“控制电路”可指例如硬连线电路、可编程电路(例如,计算机处理器,该计算机处理器包括一个或多个单独指令处理内核、处理单元,处理器、微控制器、微控制器单元、控制器、数字信号处理器(DSP)、可编程逻辑装置(PLD)、可编程逻辑阵列(PLA)、场可编程门阵列(FPGA))、状态机电路、存储由可编程电路执行的指令的固件、以及它们的任何组合。控制电路可以集体地或单独地实现为形成更大***的一部分的电路,例如集成电路(IC)、专用集成电路(ASIC)、片上***(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。因此,如本文所用,“控制电路”包括但不限于具有至少一个离散电路的电子电路、具有至少一个集成电路的电子电路、具有至少一个专用集成电路的电子电路、形成由计算机程序配置的通用计算设备的电子电路(如,至少部分地实施本文所述的方法和/或设备的由计算机程序配置的通用计算机,或至少部分地实施本文所述的方法和/或设备的由计算机程序配置的微处理器)、形成存储器设备(如,形成随机存取存储器)的电子电路,和/或形成通信设备(如,调节解调器、通信开关或光电设备)的电子电路。本领域的技术人员将会认识到,可以模拟或数字方式或它们的一些组合实施本文所述的主题。
如本文的任何方面所用,术语“逻辑”可指被配置为能够执行前述操作中的任一者的应用程序、软件、固件和/或电路。软件可体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体现为在存储器装置中硬编码(例如,非易失性)的代码、指令或指令集和/或数据。
如本文任一方面所用,术语“部件”、“***”、“模块”等可指控制电路、计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。
如本文任一方面中所用,“算法”是指导致所期望结果的有条理的步骤序列,其中“步骤”是指物理量和/或逻辑状态的操纵,物理量和/或逻辑状态可(但不一定)采用能被存储、转移、组合、比较和以其他方式操纵的电或磁信号的形式。常用于指这些信号,如位、值、元素、符号、字符、术语、数字等。这些和类似的术语可与适当的物理量相关联并且仅仅是应用于这些量和/或状态的方便的标签。
网络可包括分组交换网络。通信装置可能够使用所选择的分组交换网络通信协议来彼此通信。一个示例性通信协议可包括可能够允许使用传输控制协议/因特网协议(TCP/IP)进行通信的以太网通信协议。以太网协议可符合或兼容电气和电子工程师学会(IEEE)于2008年12月发布的标题为“IEEE 802.3Standard”的以太网标准和/或本标准的更高版本。另选地或附加地,通信装置可能够使用X.25通信协议彼此通信。X.25通信协议可符合或兼容由国际电信联盟电信标准化部门(ITU-T)发布的标准。另选地或附加地,通信装置可能够使用帧中继通信协议彼此通信。帧中继通信协议可符合或兼容由国际电报电话咨询委员会(CCITT)和/或美国国家标准学会(ANSI)发布的标准。另选地或附加地,收发器可能够使用异步传输模式(ATM)通信协议彼此通信。ATM通信协议可符合或兼容ATM论坛于2001年8月发布的名为“ATM-MPLS Network Interworking 2.0”的ATM标准和/或该标准的更高版本。当然,本文同样设想了不同的和/或之后开发的连接取向的网络通信协议。
除非上述公开中另外明确指明,否则可以理解的是,在上述公开中,使用术语如“处理”、“估算”、“计算”、“确定”、“显示”的讨论是指计算机***或类似的电子计算装置的动作和进程,其操纵表示为计算机***的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机***存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。
一个或多个部件在本文中可被称为“被配置为能够”、“可配置为”、“可操作/可操作地”、“适于/可适于”、“能够”、“可适形/适形于”等。本领域的技术人员将会认识到,除非上下文另有所指,否则“被配置为能够”通常可涵盖活动状态的部件和/或未活动状态的部件和/或待机状态的部件。
术语“近侧”和“远侧”在本文中是相对于操纵外科器械的柄部部分的临床医生来使用的。术语“近侧”是指最靠近临床医生的部分,术语“远侧”是指远离临床医生定位的部分。还应当理解,为简洁和清楚起见,本文可结合附图使用诸如“竖直”、“水平”、“上”和“下”等空间术语。然而,外科器械在许多取向和方位中使用,并且这些术语并非是限制性的和/或绝对的。
本领域的技术人员将认识到,一般而言,本文、以及特别是所附权利要求(例如,所附权利要求的正文)中所使用的术语通常旨在为“开放”术语(例如,术语“包括”应解释为“包括但不限于”,术语“具有”应解释为“至少具有”,术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解,如果所引入权利要求表述的具体数目为预期的,则此类意图将在权利要求中明确表述,并且在不存在此类叙述的情况下,不存在此类意图。例如,为有助于理解,下述所附权利要求可含有对介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求。然而,对此类短语的使用不应视为暗示通过不定冠词“一个”或“一种”引入权利要求表述将含有此类引入权利要求表述的任何特定权利要求限制在含有仅一个这样的表述的权利要求中,甚至当同一权利要求包括介绍性短语“一个或多个”或“至少一个”和诸如“一个”或“一种”(例如,“一个”和/或“一种”通常应解释为意指“至少一个”或“一个或多个”)的不定冠词时;这也适用于对用于引入权利要求表述的定冠词的使用。
另外,即使明确叙述引入权利要求叙述的特定数目,本领域的技术人员应当认识到,此种叙述通常应解释为意指至少所叙述的数目(例如,在没有其他修饰语的情况下,对“两个叙述”的裸叙述通常意指至少两个叙述、或两个或更多个叙述)。此外,在其中使用类似于“A、B和C中的至少一者等”的惯例的那些情况下,一般而言,此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如,“具有A、B和C中的至少一者的***”将包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的***)。在其中使用类似于“A、B或C中的至少一者等”的惯例的那些情况下,一般而言,此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如,“具有A、B或C中的至少一者的***”应当包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的***)。本领域的技术人员还应当理解,通常,除非上下文另有指示,否则无论在具体实施方式、权利要求或附图中呈现两个或更多个替代术语的转折性词语和/或短语应理解为涵盖包括所述术语中的一者、所述术语中的任一个或这两个术语的可能性。例如,短语“A或B”通常将被理解为包括“A”或“B”或“A和B”的可能性。
对于所附的权利要求,本领域的技术人员将会理解,其中表述的操作通常可以任何顺序进行。另外,尽管以一个或多个序列出了各种操作流程图,但应当理解,可以不同于所示顺序的其他顺序执行各种操作,或者可同时执行所述各种操作。除非上下文另有规定,否则此类替代排序的示例可包括重叠、交错、中断、重新排序、增量、预备、补充、同时、反向,或其他改变的排序。此外,除非上下文另有规定,否则像“响应于”、“相关”这样的术语或其他过去式的形容词通常不旨在排除此类变体。
值得一提的是,任何对“一个方面”、“一方面”、“一范例”、“一个范例”的提及均意指结合所述方面所述的具体特征部、结构或特征包括在至少一个方面中。因此,在整个说明书的各种位置出现的短语“在一个方面”、“在一方面”、“在一范例中”、“在一个范例中”不一定都指同一方面。此外,具体特征部、结构或特征可在一个或多个方面中以任何合适的方式组合。
本说明书提及和/或在任何申请数据表中列出的任何专利申请,专利,非专利公布或其他公开材料均以引用方式并入本文,只要所并入的材料在此不一致。因此,并且在必要的程度下,本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分,将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。
概括地说,已经描述了由采用本文所述的概念产生的许多有益效果。为了举例说明和描述的目的,已经提供了一个或多个形式的上述具体实施方式。这些具体实施方式并非意图为详尽的或限定到本发明所公开的精确形式。可以按照上述教导内容对本发明进行修改或变型。选择和描述的一个或多个形式是为了说明原理和实际应用,从而使本领域的普通技术人员能够利用适用于预期的特定用途的各种形式和各种修改。与此一同提交的权利要求书旨在限定完整范围。
Claims (20)
1.一种外科***,包括:
外科装置,所述外科装置包括:
轴向通路,所述轴向通路限定外径和内径;
近侧端部;
远侧端部,所述远侧端部被构造成能够穿透组织;
相机阵列,所述相机阵列包括以具有弹性连接件的环形配置连接的各个相机;
可移除的安装触发器,所述可移除的安装触发器被构造成能够使所述相机阵列从所述轴向通路的所述远侧端部的所述内径的第一凹陷位置延伸到第二展开位置,其中,所述相机阵列围绕所述轴向通路的所述远侧端部的所述外径周向地定位;
增强现实(AR)装置;和
外科集线器,所述外科集线器以可通信的方式耦接到所述相机阵列和所述AR装置,其中,所述外科集线器包括耦接到存储器的控制电路,并且其中,所述控制电路被配置为能够:
接收来自所述相机阵列的多个视频馈送;
识别所述视频馈送上的物理标记;以及
在所述AR显示器上显示所述物理标记。
2.根据权利要求1所述的外科***,其中,所述视频馈送是从所述各个相机中的每个相机拼接在一起的广角视图。
3.根据权利要求1所述的外科器械,其中,所述物理标记在可见光谱之外的光源的照射下可见。
4.根据权利要求1所述的外科***,其中,所述物理标记是染料。
5.根据权利要求1所述的外科***,其中,所述物理标记是在术前计算机断层摄影(CT)扫描中分配的基准标记。
6.根据权利要求1所述的外科***,其中,所述物理标记被配置为能够指示外科手术的目标位置。
7.根据权利要求6所述的外科***,其中,所述目标位置在所述AR装置上被实时地连续更新。
8.根据权利要求7所述的外科***,其中,基于外科器械和所述物理标记的关系来更新所述目标位置。
9.一种外科装置,包括:
相机阵列,所述相机阵列包括以具有弹性连接件的环形配置连接的各个相机,其中,所述相机阵列能够以可通信的方式耦接到外科集线器;
细长穿透构件,所述细长穿透构件具有近侧端部和远侧端部,其中,所述远侧端部还包括组织穿透尖端;
轴向通路,所述轴向通路穿过所述细长穿透构件和所述组织穿透尖端,并且其中,所述轴向通路的内径的尺寸被设定成能够将所述相机阵列容纳在第一凹陷位置中;和
可移除的安装触发器,所述可移除的安装触发器被构造成能够使所述相机阵列从所述细长穿透构件的所述远侧端部的所述内径的第一凹陷位置延伸到第二展开位置,其中,所述相机阵列围绕所述细长穿透构件的所述远侧端部的外径周向地定位。
10.根据权利要求9所述的外科装置,其中,所述相机阵列能够通过无线通信协议以可通信的方式与所述外科集线器耦接。
11.根据权利要求10所述的外科装置,其中,所述相机阵列由可再充电电池供电。
12.根据权利要求9所述的外科装置,其中,所述相机阵列能够通过有线通信协议以可通信的方式耦接到所述外科集线器。
13.根据权利要求12所述的外科装置,其中,所述相机阵列由有线外部电源供电,所述有线外部电源包括沿着所述细长穿透构件的所述外径延伸的线。
14.根据权利要求9所述的外科装置,其中,所述相机阵列以挤压和摩擦配置附接到所述细长穿透构件的所述远侧端部的所述外径。
15.根据权利要求9所述的外科装置,其中,在所述第二展开位置中,所述相机阵列不占用所述轴向通路的所述内径的空间。
16.一种用于显示患者体内的手术位置的方法,所述方法包括:
由外科集线器接收来自位于患者体内的相机的视频馈送;
由所述外科集线器识别所述患者体内的物理标记;
由所述外科集线器基于与所述物理标记的所述关系来确定目标位置;
由所述外科集线器生成对应于所述目标位置的虚拟元素;以及
由耦接到所述外科集线器的增强现实(AR)装置在AR显示器上显示叠加在所述视频馈送上的所述虚拟元素。
17.根据权利要求16所述的方法,其中,所述视频馈送是从至少两个视频馈送拼接在一起的广角视图。
18.根据权利要求16所述的方法,其中,所述物理标记在可见光谱之外的光源的照射下可见。
19.根据权利要求16所述的方法,其中,所述物理标记是在术前计算机断层摄影(CT)扫描中分配的基准标记。
20.根据权利要求16所述的方法,其中,所述目标位置在增强现实(AR)装置上被实时地连续更新。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/174,674 | 2021-04-14 | ||
US63/284,326 | 2021-11-30 | ||
US17/688,660 | 2022-03-07 | ||
US17/688,660 US20220331052A1 (en) | 2021-04-14 | 2022-03-07 | Cooperation among multiple display systems to provide a healthcare user customized information |
PCT/IB2022/053375 WO2022219501A1 (en) | 2021-04-14 | 2022-04-11 | System comprising a camera array deployable out of a channel of a tissue penetrating surgical device |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117479896A true CN117479896A (zh) | 2024-01-30 |
Family
ID=89631624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280042407.3A Pending CN117479896A (zh) | 2021-04-14 | 2022-04-11 | 包括可在组织穿透外科装置的通道外展开的相机阵列的*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117479896A (zh) |
-
2022
- 2022-04-11 CN CN202280042407.3A patent/CN117479896A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220331052A1 (en) | Cooperation among multiple display systems to provide a healthcare user customized information | |
JP2024513992A (ja) | 組織貫通外科用デバイスのチャネルの外に展開可能なカメラアレイを備えるシステム | |
WO2022219491A1 (en) | System and method for tracking a portion of the user as a proxy for non-monitored instrument | |
JP2024514884A (ja) | 外科用システムのためのオーバーレイ器具情報の適合及び調整可能性 | |
JP2024517603A (ja) | 手術視野における選択的かつ調節可能な複合現実オーバーレイ | |
JP2024514638A (ja) | 外科用システムのための術中ディスプレイ | |
CN117479896A (zh) | 包括可在组织穿透外科装置的通道外展开的相机阵列的*** | |
US20230404572A1 (en) | Smart circular staplers | |
US20230395250A1 (en) | Customization, troubleshooting, and wireless pairing techniques for surgical instruments | |
CN117461093A (zh) | 基于触发事件来改变外科视野的显示叠加项的***和方法 | |
JP2024513991A (ja) | トリガイベントに基づいて術野のディスプレイオーバーレイを変更するためのシステム及び方法 | |
CN117480569A (zh) | 作为非监测器械的代理来跟踪用户的一部分的***和方法 | |
WO2022219504A1 (en) | Cooperative overlays of interacting instruments which result in both overlays being effected | |
CN117480562A (zh) | 外科视野中选择性和可调节的混合现实叠加 | |
CN118160044A (zh) | 叠加数据和配置的定制 | |
JP2024514640A (ja) | 画面上及び画面外で発生する混合された要素及びアクションを表示するレンダリングされた要素で直接視覚化される混合 | |
CN117441212A (zh) | 用渲染元素将混合直接可视化以显示混合元素以及在屏幕上和在屏幕外正在发生的动作 | |
WO2022219488A1 (en) | Systems and methods for controlling surgical data overlay | |
CN117480563A (zh) | 用于外科***的术中显示器 | |
EP4356396A1 (en) | Customization, troubleshooting, and wireless pairing techniques for surgical instruments | |
WO2023242762A1 (en) | Smart circular staplers | |
CN117546253A (zh) | 协作以增加复杂数据馈送的有效感知的混合现实反馈*** | |
CN117546252A (zh) | 外科***的适应性和可调节性或叠加器械信息 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |