CN106535805B - 用于机器人手术***的增强手术现实环境 - Google Patents
用于机器人手术***的增强手术现实环境 Download PDFInfo
- Publication number
- CN106535805B CN106535805B CN201580041495.5A CN201580041495A CN106535805B CN 106535805 B CN106535805 B CN 106535805B CN 201580041495 A CN201580041495 A CN 201580041495A CN 106535805 B CN106535805 B CN 106535805B
- Authority
- CN
- China
- Prior art keywords
- surgical
- image
- surgical instrument
- robot arm
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002708 enhancing effect Effects 0.000 title claims description 33
- 238000012545 processing Methods 0.000 claims abstract description 74
- 238000001356 surgical procedure Methods 0.000 claims abstract description 45
- 238000001914 filtration Methods 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 22
- 230000003014 reinforcing effect Effects 0.000 claims description 12
- 230000000977 initiatory effect Effects 0.000 claims description 10
- 230000002787 reinforcement Effects 0.000 claims description 10
- 210000004204 blood vessel Anatomy 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000007789 sealing Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 4
- 238000002432 robotic surgery Methods 0.000 claims description 2
- 230000001965 increasing effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 22
- 238000001228 spectrum Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008447 perception Effects 0.000 description 11
- 210000001367 artery Anatomy 0.000 description 9
- 239000012636 effector Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 230000005611 electricity Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000002271 resection Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 210000000626 ureter Anatomy 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000003872 anastomosis Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000000396 iron Nutrition 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000005259 peripheral blood Anatomy 0.000 description 2
- 239000011886 peripheral blood Substances 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 230000010410 reperfusion Effects 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 206010000060 Abdominal distension Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 239000002671 adjuvant Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000010409 ironing Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000004249 mesenteric artery inferior Anatomy 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001235 sensitizing effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Radiology & Medical Imaging (AREA)
- Gynecology & Obstetrics (AREA)
- Endoscopes (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种机器人手术***,其包括:操作控制台,其被配置为操作至少一个机器人手臂;和至少一个驱动电机,其被配置为接收来自操作控制台的输入并基于所述来自操作控制台的输入而控制至少一个机器人手臂。手术器械被联接到至少一个机器人手臂。手术器械被***到患者体内并在手术操作期间捕获患者体内的感兴趣区域的图像。控制器接收图像并应用至少一个图像处理滤波器以识别所述感兴趣区域中的对象的至少一个不可见属性。显示器向用户显示所述图像。
Description
相关申请的交叉引用
本申请要求于2014年7月25日提交的申请号是62/028,984的美国临时专利申请的权益和优先权,该申请的全部公开通过引用并入本文中。
技术领域
本公开涉及用于改善患者的手术预后的手术技术。更具体地,本公开针对用于在执行手术技术的同时增强和加强临床医生的视场的***和方法。
背景技术
微创手术涉及代替使用一个较大的开口而使用多个小切口来执行手术操作。小切口减少了患者的不适并改善了恢复时间。小切口也限制了内部器官、组织和其他物质的可见度。
内窥镜被***到一个或多个切口中,以使临床医生在手术期间更容易看到体内的内部器官、组织和其他物质。这些内窥镜包括联接到显示器的具有光学和/或数字变焦能力的相机,显示器显示如通过相机捕获的体内的器官、组织以及物质的放大视图。现有的内窥镜和显示器,特别是那些在手术机器人***中使用的内窥镜和显示器具有有限的识别在相机的视场内但在显示器上所显示的光谱内不完全可见的状况或对象的能力。
例如,现有的微创和机器人手术工具(包括但不限于内窥镜和显示器)的以下能力有限(如果有的话):在切除后识别组织灌注,在组织内定位不同尺寸的动脉,测量血管密封的有效性,从热特征(heat signature)识别患病的或死亡的组织,在切除后验证适当的功能,区分敏感区域(例如,输尿管)和周围物质(例如,周围血液),以及检测对当前测试不可见的超小泄漏。在一些手术中,或者未实施这些检查,或者实施了更多创伤和/或耗时的测试以检查这些和其他状况和对象。
存在对在手术期间识别在手术相机的视场内但在显示器上所显示的光谱内不完全可见的更大范围的可能状况或对象的需要。
发明内容
机器人手术***可以包括两个以上机器人手臂。每个机器人手臂可以具有两个以上自由度。每个机器人手臂可以包括连接地布置的两个以上构件以提供两个以上自由度。在一些实例下,所述构件可以通过关节、铰链、联接件或联动装置连接。
图像捕获装置可以附接到机器人手臂中的第一机器人手臂的手术组件。图像捕获装置可以被构造为***到患者体内。图像捕获装置还可以被配置为在手术操作期间捕获患者体内的感兴趣区域的图像。
手术器械可以附接到机器人手臂中的第二机器人手臂的手术组件。手术器械可以被构造为***到患者体内。手术器械还可以被配置为在手术操作期间操纵患者体内的组织。
机器人手术***的输入装置可以被配置为在手术操作期间操纵附接到第一机器人手臂的图像捕获装置和/或附接到第二机器人手臂的手术器械。
机器人手术***中的图像处理滤波器可以被配置为从捕获自图像捕获装置的图像以预定空间频率对图像数据滤波,以识别对象的在预定空间频率下对机器人手术***的用户而言不可感知的属性。当所述属性对于用户而言难以感知时,对象的属性可是不可感知的。这在某些情况下可能发生,因为该属性被阻碍、被模糊或是不可见的。
图像处理滤波器可以包括:空间分解滤波器,其被配置为将图像分解为至少两个空间频带;时间滤波器,其被配置为应用于空间频带以产生至少两个时间滤波带;相加器,其被配置为将每个空间频带与时间滤波带中的对应带相加以产生至少两个相应的增强带;以及重构滤波器,其被配置为通过合并增强带来产生增强图像。
机器人手术***中的控制器可以被配置为加强对象的所识别的属性的可感知性。控制器还可以被配置为输出所识别的属性的加强的可感知性,以使得用户更容易感知所识别的属性。
控制器可以包括图形处理器,所述图形处理器被配置为加强所识别的属性的可见表示,并将所加强的可见表示输出到显示器以便显示。控制器可以被配置为放大所滤波的图像数据以加强所识别的属性的可见表示。控制器可以被配置为将具有不可见频率的所滤波的图像数据的至少一部分转变为可见光频率范围中的频率,以加强所识别的属性的可见表示。
控制器可以包括触觉处理器,所述触觉处理器被配置为加强所识别的属性的力反馈表示,并将所加强的力反馈表示输出到输入装置上的触觉装置,所述触觉装置被配置为向用户提供触觉反馈。控制器可以被配置为放大所滤波的图像数据以加强所识别的属性的力反馈表示。
连接到机器人手术***的显示器可以被配置为在手术操作期间显示来自图像捕获装置的图像捕获。
机器人手术***还可以包括控制装置。控制装置可以被配置为识别附接到第二机器人手臂的手术器械,并且基于对手术器械的识别从多个图像处理滤波器中选择图像处理滤波器。
控制装置还可以被配置为在手术操作期间判定附接到第二机器人手臂的手术器械是否在图像捕获装置的视场内。如果手术器械在图像捕获装置的视场内,则控制装置可以被配置为选择所述图像处理滤波器。
机器人手术***还可以具有第三机器人手臂,所述第三机器人手臂具有附接有手术器械的手术组件。控制装置可以被配置为识别附接到第三手臂的手术器械。控制装置还可以被配置为确定附接到第二机器人手臂和第三机器人手臂的手术器械中的哪个出现在图像捕获装置的视场内。控制装置还可以被配置为基于该确定的结果来选择图像处理滤波器。
控制装置还可以被配置为在手术操作期间识别由所识别的手术器械正在执行的任务,并且基于所述正在执行的任务来选择图像处理滤波器。控制装置还可以被配置为在手术操作期间识别由所识别的手术器械正在执行的初始任务,并且基于初始任务初始地选择图像处理滤波器并将图像处理滤波器应用到初始捕获的图像数据。控制装置还可以被配置为在手术操作期间识别由所识别的手术器械正在执行的后续任务,并且基于后续任务选择不同的图像处理滤波器并将不同的图像处理滤波器应用到随后捕获的图像数据。所述任务可以涉及手术器械的特定事件、操作或移动。
例如,控制装置可以被配置为将手术器械以小于阈值的速率的移动与初始任务相关联,并将手术器械以大于阈值的速率的移动与后续任务相关联。作为第二示例,控制装置可以被配置为将手术器械的以第一缩放速率的移动与初始任务相关联,并将手术器械的以不同的缩放因子速率的移动与后续任务相关联。作为第三示例,控制装置可以被配置为将手术器械在第一时间段内的致动与初始任务相关联,并将手术器械在第二时间段内的非致动与后续任务相关联。
一种方法,可以包括在手术操作期间利用图像捕获装置捕获患者体内的感兴趣区域的图像。图像捕获装置可以附接到具有至少两个机器人手臂的手术机器人***中的第一机器人手臂的手术组件。
一种方法还可包括在手术操作期间于手术器械附接到手术操作机器人***中的至少两个机器人手臂中的第二机器人手臂的手术组件之后,在手术操作期间操纵患者体内的手术器械。可以响应于用户操纵手术机器人***的输入装置来操纵手术器械。
一种方法还可以包括以预定空间频率对来自所捕获的图像的图像数据滤波,以识别对象的在预定空间频率下不可感知的属性。
一种方法还可以包括加强对象的所识别的属性的可感知性。
一种方法还可以包括向手术机器人***的用户输出加强的可感知性。对象的所识别的属性的加强的可感知性可以包括脆弱组织的位置。
一种方法还可以包括以输出的与手术器械的操纵有关的加强的可感知性向用户提供附加信息。提供给用户的附加信息可以包括血管密封有效性的可视化和/或异常组织的可视化。提供给用户的附加信息可以包括在机器人手术***的输入装置处响应于用户移动输入装置以在识别为脆弱的组织的位置的预定距离内操纵手术器械而施加的力反馈。
一种非暂时性计算机可读介质可以存储指令,所述指令在由处理装置执行时使处理装置执行一种方法。计算机可读介质可以包括能够以机械装置可读的格式存储数据的材料,其包括但不限于闪存、固态驱动器和光盘。
一种非暂时性计算机可读介质可以存储指令,所述指令在由处理装置执行时使处理装置在手术操作期间以预定空间频率对图像数据滤波以从患者体内的感兴趣区域的图像来识别对象的在预定空间频率下不可感知的属性,所述图像获取自图像捕获装置,所述图像捕获装置附接到手术机器人***的至少两个机器人手臂中的第一机器人手臂的手术组件。
所存储的指令在执行时还可以使处理装置在手术操作期间于手术器械附接到至少两个机器人手臂中的第二机器人手臂的手术组件之后响应于用户操纵手术机器人***的输入装置而在手术操作期间操纵患者体内的手术器械。
所存储的指令在执行时还可以使处理装置加强对象的来自所滤波的图像数据的所识别的属性的可感知性。
所存储的指令在执行时还可以使处理装置向手术机器人***的用户输出加强的可感知性。
所存储的指令在执行时还可以使处理装置以输出的与手术器械的操纵有关的加强的可感知性向用户提供附加信息。
附图说明
根据下文的详细描述并结合附图,本公开的上述和其他方案、特征和优点将变得更加明显,其中:
图1是用于增强手术环境的***的框图;
图2A至图2D是如何可能实现图1的***的示例;
图3是图1的控制器的***框图;
图4是用于增强图像或视频的***的第一框图;
图5是用于增强图像或视频的***的第二框图;
图6是用于增强图像或视频的***的第三框图;
图7是用于增强图像或视频的***的第四框图;以及
图8是机器人手术***的***框图。
具体实施方式
可以分析在手术操作期间从手术相机捕获的图像数据以识别相机视场内的对象的附加的不可感知属性,所述对象可以是不可见的或可见的,但是使人在观看显示在屏幕上的相机图像时难以清楚地看到。可以将各种图像处理技术应用于该图像数据以识别患者体内的不同状况。例如,欧拉图像放大技术可以用于识别捕获图像的不同部分中的光的波长或“颜色”变化。可以进一步分析这些变化以识别再灌注、动脉血流和/或血管类型。
欧拉图像放大还可以用于使图像帧之间的运动或活动对临床医生更可见。在一些实例中,可以向临床医生呈现不同图像帧之间的预定波长的光的测量强度的变化,以使临床医生更加意识到特定感兴趣对象(例如,血液)的运动。
图像代数(image algebra)可用于识别在手术操作期间用于切割组织或其它物质的最佳位置。在一些实例中,图像代数可以包括边缘检测和/或欧拉图像放大以识别最佳切割位置。
高光谱图像分析可用于识别视域范围内的小区域中的微小变化,所述微小变化可以是不可见的或者对于人眼来说难以辨别。这些高光谱图像分析技术可以与欧拉图像放大结合以识别这些区域的具体的一组变化。
图像代数可以与高光谱图像分析结合以识别对象或其他块体(mass)的边缘。图像代数可以包括边缘检测和/或可以与高光谱图像分析和欧拉图像放大二者结合以识别块体的边缘。
红外光可以用于识别患病的、死亡的和/或异常的组织的边界。滤波器可以用于从所捕获的图像数据隔离红外、近红外或其它范围中的一个或多个期望的波长。欧拉图像放大和/或图像代数可以用于分析滤波的图像数据并识别特定的组织边界。
欧拉图像放大、图像代数、高光谱图像分析和滤波技术中的一个或多个可以被包括来作为成像***的部分。这些技术可以使成像***能够提供关于相机视场内的不明显状况和对象的附加信息并加强手术预后。该附加信息可以包括但不限于:识别组织灌注、定位特定尺寸的动脉(诸如较大的动脉)、验证血管密封的有效性、识别异常组织的热特征、验证期望的对象运动(诸如,在死亡组织的边缘缺乏活动或在切除后验证适当的流动)、区分看起来相似的对象(诸如区分输尿管、肠系膜下动脉和/或周围血液)、以及检测小的泄漏(例如,在吻合术后可能发生的泄漏)。
这些技术中的一个或多个可以被包括来作为手术机器人***中的成像***的部分,以向临床医生实时提供关于内窥镜视场内的不明显状况和对象的附加信息。这可以使临床医生能够在手术期间快速识别、避免和/或纠正不期望的情况和状况。例如,临床医生能够在手术期间验证血管已经被适当地密封、血液适当地流动、在吻合术后没有漏气、和/或已经移除了患病组织。然后,如果有需要,临床医生则能够在手术期间纠正这些问题。临床医生还能够识别体内的手术器械应避免接触或额外小心地处置的脆弱的或关键的对象,诸如较大的动脉或输尿管。
本公开针对用于在手术操作期间向临床医生实时提供增强图像的***和方法。本文描述的***和方法将图像处理滤波器应用于所捕获的图像,以经由显示器向临床医生提供增强或加强的图像。在一些实施例中,该***和方法允许在手术操作期间的视频捕获。捕获的视频被实时或准实时地处理,然后作为增强图像显示给临床医生。图像处理滤波器应用于捕获的视频的每个帧。向临床医生提供增强图像或视频允许临床医生识别并解决潜在的不利生理状况,从而减少对额外手术操作的需要以及确保原始手术操作的有效性。
本文所述的实施例使临床医生能够识别接收过多或无效血液的区域、吻合或密封的有效性、用于识别患病组织的器官中的温度变化、用于判定组织是否存活的微小的组织活动以及组织厚度。另外,本文所述的实施例可用于识别切除后的组织灌注、动脉位置,区分不同组织,以及判定漏气。
现转向图1,根据本公开的实施例的用于增强手术环境的***一般性地被示出为100。***100包括具有处理器104和存储器106的控制器102。***100还包括记录静止帧图像(still frame image)或动像的图像捕获装置108(例如,相机)。传感器阵列110向控制器102提供关于手术环境的信息。例如,传感器阵列110包括生物计量传感器,该生物计量传感器能够获取患者的例如脉搏、体温、血压、血氧水平、心律等生物计量数据。传感器阵列110还可以包括高光谱传感器以执行高光谱成像。显示器112在手术操作期间向临床医生显示增强图像。在一些实施例中,控制器102可以经由无线或有线连接与中央服务器(未示出)通信。该中央服务器可以存储一个患者或多个患者的图像,该图像可以利用X射线、计算机断层扫描或磁共振成像来获取。
图2A至图2D描述了图1的***如何在手术环境中实施的示例。如图2A至图2D所示,图像捕获装置108在手术操作期间捕获手术环境的图像。由图像捕获装置108所记录的图像、来自传感器阵列110的数据以及来自中央服务器(未示出)的图像通过控制器102结合以产生增强图像,该增强图像经由显示器112提供给临床医生。如图2A至图2D所示,显示器112可以是投影仪(图2A),激光投影***(图2B),一副眼镜,或监视器(图2D),所述眼镜将图像投影到的一个镜片上(诸如谷歌眼镜(GOOGLE)(由提供))(图2C)、两个镜片上或面罩上。当使用如在图2D中所示的监视器时,增强图像覆盖在由图像捕获装置108获取的患者的图像上。
图3描述了控制器102的***框图。如图3所示,控制器102包括收发器114,收发器114被配置为从图像捕获装置108接收静止帧图像或视频,或者从传感器阵列110接收数据。在一些实施例中,收发器114可以包括经由无线通信协议接收静止帧图像、视频或数据的天线。静止帧图像、视频或数据被提供给处理器104。处理器104包括图像处理滤波器116,图像处理滤波器116处理所接收的静止帧图像、视频或数据以产生增强图像或视频。图像处理滤波器116可以利用分立的部件、软件或其组合来实施。增强图像或视频被提供给显示器112。
现转向图4,可以应用于由收发器114接收的视频的图像处理滤波器的***框图被示出为116A。在图像处理滤波器116A中,利用空间分解滤波器118将所接收的视频的每个帧分解为不同的空间频带S1至SN。空间分解滤波器118采用被称为金字塔(pyramid)的图像处理技术,其中图像经过重复平滑和子采样。
在所述帧经过使用空间分解滤波器118之后,时间滤波器120被应用于所有空间频带S1至SN以产生时间滤波带ST1至STN。时间滤波器120是用于提取一个或多个期望频带的带通滤波器。例如,如果临床医生知道患者的脉搏,则临床医生可以利用用户界面(未示出)设置时间滤波器120的带通频率,以放大对应于患者的脉搏的空间频带。换句话说,该带通滤波器被设置为包括患者的脉搏的狭窄范围,并且应用到所有空间频带S1至SN。只有对应于带通滤波器的所设定范围的空间频带会被隔离或通过。所有时间滤波带ST1至STN由具有增益α的放大器单独地放大。因为时间滤波器隔离或通过期望的空间频带,所以只有期望的空间频带得到放大。然后放大的时间滤波带ST1至STN被加到原始空间频带S1至SN以产生增强带S′1至S′N。然后利用重构滤波器122通过合并增强带S′1到S′N来重构视频的每个帧,以产生增强帧。所有的增强帧被组合以产生增强视频。向临床医生显示的增强视频包括被放大的部分(即,对应于期望的空间频带的部分)以使临床医生能够容易地识别这样的部分。
在一些实施例中,代替使用放大器放大所隔离的时间滤波带,图像处理滤波器116A可以在重构该视频之前使用一种或多种颜色来突出时间滤波带。针对患者的期望部位(例如,血管或神经)采用不同的颜色可以使临床医生更容易识别这种部位的位置。
现转向图5,图像处理滤波器的***框图被示出为116B,该图像处理滤波器可以应用于通过收发器114接收的静止帧图像或视频。如图5所示,输入图像124(即,捕获的图像或来自视频的帧)被输入到图像处理滤波器116B。然后图像处理滤波器116B对输入图像124采用边缘检测算法,并输出突出了在输入图像124中发现的边缘的滤波图像126。
图6描绘了用于产生高光谱图像的***的框图。如图6所示,传感器阵列110包括高光谱传感器128。高光谱传感器128采集一组图像,其中每个图像表示电磁波谱的不同范围。该组图像被发送到图像处理滤波器116C,图像处理滤波器116C采用高光谱算法来组合该组图像以形成三维(3D)高光谱图像立方体。3D高光谱图像立方体被输出到显示器112。
图7描绘了用于产生红外图像的***的框图。如图7所示,红外相机130捕获图像或视频,并将所捕获的图像或视频发送到图像处理滤波器116D。图像处理滤波器116D处理接收到的所捕获的图像或视频,以产生在显示器112上显示的红外图像。
上述的图像处理滤波器(即,图像处理滤波器116A-116D)可以单独地用于识别手术操作期间的身体状况。在一些实施例中,图像处理滤波器116A可以用于识别颜色的变化,以便识别组织灌注或切除后的再灌注、动脉血流、血管类型。图像处理滤波器116A还可用于提高坏死组织的运动识别边缘的可见性或切除后组织的适当的机能。
在一些实施例中,可以组合上述滤波器以辅助临床医生识别不利的身体状况。例如,图像处理滤波器116A和116B可以被组合成识别不同组织的边缘,以确定用于执行任务(例如,切割)的最有效的布置。图像处理滤波器116A和116C可以被组合成识别小区域中的微小变化,例如,无法通过常规方法判定的漏气。图像处理滤波器116A、116B和116C可以被组合以识别块体(例如,肿瘤)的边缘。图像处理滤波器116A、116B和116D可以被组合以识别患病组织的边界。
图像处理滤波器116A、116B、116C和116D可以利用不同的电路来实施,或者它们可以利用基于应用于图像的滤波器来执行不同子例程的单个处理器来实施。
上述实施例还可以集成到机器人手术***中。图8示出了可以包括在机器人手术***1中的各种部件,诸如两个以上的机器人手臂2、3;控制装置4;以及与控制装置4耦合的操作控制台5。操作控制台5可以包括显示装置6,其可以特别地设置为显示三维图像;以及一个或多个手动输入装置7、8,人(未示出)(例如,外科医生)能够通过该手动输入装置在第一操作模式下遥控操纵机器人手臂2、3。
输入装置7、8的移动可以被缩放而使得附接到机器人手臂2、3的手术器械具有与输入装置7、8的移动不同(例如,更小或更大)的对应的移动。比例因子(scale factor)或传动比(gearing ratio)可以是可调节的,使得临床医生可以控制手术器械的操作端的分辨率。
机器人手臂2、3中的每个可以包括通过接头而连接的多个构件和手术组件20,手术组件20可以附接有(例如)诸如(例如)图像捕获装置108(诸如内窥镜)的手术器械或根据本文公开的任何实施例的具有末端执行器200的其它手术器械。手术组件20的远端可以被配置为支撑图像捕获装置108和/或具有末端执行器200的其它手术器械,末端执行器200包括但不限于抓紧器、手术吻合器、手术切割器、手术吻合切割器、线性手术吻合器、线性手术吻合切割器、圆形手术吻合器、圆形手术吻合切割器、手术施夹器、手术夹结扎器、手术夹紧装置、血管扩张装置、管腔扩张装置、手术刀、流体输送装置或任何其它类型的手术器械。这些手术器械中的每个可以被配置为通过机器人手臂2、3经由力传递构件进行致动和操纵。力传递构件可以以各种方式配置为诸如(例如)海波管(hypotube)、推杆、轴或栓系件,并且可以传递诸如(例如)轴向(即,推和拉)力、旋转力的各种力和/或各种扭矩。具有作为关节式运动的末端执行器200的相机的图像捕获装置108(诸如内窥镜)可以包括这种力传递构件。这些力传递构件中的一个或多个可以被构造成控制相机的关节式运动。
机器人手臂2、3可以通过连接到控制装置4的电驱动器来驱动。控制装置4(例如,计算机)被设置成尤其借助计算机程序的方式来触发驱动器,从而使机器人手臂2、3及其手术组件20进而使末端执行器200根据借助手动输入装置7、8所定义的移动来执行期望的移动。控制装置4还可以设置成使其调节机器人手臂2、3的移动和/或驱动器的移动。
控制装置4还可以通信地联接到手术***1的其它部件,包括但不限于手术组件20;显示器6;输入装置7、8;以及联接到机器人手臂2、3的手术器械,诸如图像捕获装置108和具有末端执行器200的器械。控制装置4还可以包括控制器102或被联接到控制器102。控制器102和/或控制装置4可以包括收发器114,收发器114可以被配置为从图像捕获装置108接收静止帧图像或视频,或者从传感器阵列110接收数据。在一些实施例中,收发器114可以包括天线,用于经由无线通信协议来接收静止帧图像、视频或数据。收发器114还可以经由有线连接来接收静止帧图像、视频或数据。该静止帧图像、视频或数据可以被发送到处理器104。处理器104包括图像处理滤波器116,图像处理滤波器116处理所接收的静止帧图像、视频或数据以产生增强图像或视频。处理器104可以包括用于存储正在处理的图像、视频或数据的缓冲器或存储器106。图像处理滤波器116可以利用分立的部件、软件或其组合来实施。增强图像或视频可以被存储和/或发送到显示器6或另一输出设备。
在手术***1中,至少一个图像捕获装置108可以联接到两个以上机器人手臂2、3中的至少第一机器人手臂。图像捕获装置108可以被配置为在手术操作期间***到患者体内并且捕获患者体内的感兴趣区域的图像。所捕获的图像可以显示在显示器6上。
另一手术器械具有被配置为在手术操作期间操纵感兴趣区域中的组织的末端执行器200,该手术器械可以联接到两个以上机器人手臂2、3中的至少第二机器人手臂。
控制器102可以被配置为处理从图像装置108所捕获的图像,并将至少一个图像处理滤波器116(例如,在本申请通篇提到的一种或多种不同方式的滤波器116A至116D)应用于捕获的图像,以识别在手术操作期间的感兴趣区域中的对象的不可感知属性。控制器102可以向临床医生输出在手术操作期间所识别的不可感知属性。该不可感知属性可以以不同的方式输出,包括输出到可以向临床医生显示不可感知属性的显示器6,和/或通过触觉的方式输出使得临床医生可以感觉到不可感知属性。当不可感知属性被输出到显示器时,不可感知属性可以被改变或变换成更加清晰可见的信号,该信号可以被覆盖到捕获的图像的对应部分上并且在显示器上显示给临床医生。
可以附接到机器人手臂2、3的每个器械可以配备有工具类型标识符,诸如,快速响应代码、存储在器械的存储器中的标识符、与工具类型相关联的特定电路配置等等。手术***1可以包括被配置为从附接到机器人手臂2、3的每个器械接收和/或读取工具类型标识符的部件或电路。然后可以使用该信息来选择可以被应用于所捕获的图像的特定的图像处理滤波器116。
工具类型标识符信息可以用于识别利用图像捕获装置108的视场定位的、附接到机器人手臂2、3的手术器械。例如,如果快速响应代码或其它工具类型标识符位于手术器械的、出现在图像装置108的视场内的末端执行器200、轴或其它部件上,则可以分析所捕获的图像数据以根据从图像捕获数据识别出的快速响应代码或其它标识符来识别该手术器械。
在其它情况下,进入图像捕获装置108的视场的手术器械可基于对关于图像捕获装置108(和/或附接有图像装置108的机器人手臂2)与附接到其它机器人手臂3中的一个机器人手臂的器械(和/或附接有该器械的机器人手臂3)的位置信息的比较来识别。可以从每个器械中的或者机器人手臂2、3中的一个或多个位置传感器来获取位置信息。可以采用变换来将来自不同机器人手臂2、3的不同坐标系中的绝对位置信息进行转换,从而可以获取一个机器人手臂2上的图像捕获装置108相对于附接到另一个机器人手臂3的手术器械的相对位置。该相对位置信息可以用于识别附接到另一个机器人手臂3的手术器械是否在图像捕获装置108的视场内。
在其它情况下,一个或多个相机可以用于捕获一个或多个机器人手臂2、3的图像。可以分析来自这些相机的图像数据以识别每个机器人手臂2、3的位置。可以分析该位置信息以判定附接有手术器械的机器人手臂3是否位于图像捕获装置108的视场内。也可以采用用于判定附接有手术器械的机器人手臂3是否位于图像捕获装置108的视场内的其它***和方法。
如果位置信息和/或工具类型标识符指示特定的手术器械处于图像捕获装置108的视场内,则可以自动地选择对应于特定的手术器械的一个或多个图像处理滤波器116。例如,如果电烙式手术器械被识别为处于图像捕获装置108的视场内,则可以自动地选择示出血管密封的有效性的图像处理滤波器116。如果电烙式器械然后被移出视场并且诸如手术刀的切割器械被移入到视场中,则可以作为替代而自动地选择示出大动脉的位置的不同的图像处理滤波器116。
可以根据要执行的任务来自动地选择不同的图像处理滤波器116。例如,如果切割工具处于视场中,并且正以超过预定阈值的速率移动、和/或输入装置7、8的缩放因子(scaling factor)被改变使得手术器械移动得较快,则可以自动地选择示出大动脉的位置的图像处理滤波器116。然而,如果切割工具以较慢的速率移动和/或被触发以有条不紊地切割和/或移除组织,则可以作为替代而采用示出异常组织的图像处理滤波器116。相同的分析可以应用于电烙式工具:如果该工具在预定时段内没有被激活和/或正以超过预定阈值的速率移动,则可以自动地选择示出大动脉的位置的图像处理滤波器116。然而,如果电烙式工具正以较慢的速率移动和/或在预定时段内被激活以有条不紊地切割和/或移除组织,则可以作为替代而采用示出血管密封的有效性或其它期望属性的图像处理滤波器116。
输入装置7、8可以包括触觉件216以向临床医生提供与不可感知属性相关的反馈。例如,可以产生表示组织参数或状况(例如,由于操纵、切割或其它处理而引起的组织阻力、器械对组织的压力、组织温度、组织阻抗等)的输出信号并将其传输到输入装置7、8以向临床医生提供基于不可感知属性而变化的触觉反馈。触觉件216可以向临床医生提供关于可以提高患者安全性的对象的不可感知属性的加强触觉反馈。例如,触觉件216可以经实施以在通过输入装置7、8移动的手术器械进入大动脉或其他脆弱组织的预定距离内时向临床医生提供反馈,以防止对动脉和/脆弱的组织的可能的损伤。触觉件216可以包括振动电机、电活性聚合物、压电装置、静电装置、亚音速声波表面致动装置、反向电振动装置、或能够向用户提供触反馈的任何其它装置。输入装置7、8还可以包括用于脆弱组织操纵或处理的各种不同的致动器,进一步加强临床医生模拟实际操作状况的能力。
本文公开的实施例是本公开的示例,并且可以以各种形式实施。本文公开的具体结构的和功能的细节不应被解释为一种限制,而是作为权利要求的基础并且作为教导本领域技术人员以实际上任何适当地细化结构来以各种方式采用本公开的代表性基础。贯穿附图的描述,相同的附图标记可以指相似或相同的元件。
短语“在实施例中”、“在各实施例中”、“在一些实施例中”或“在其它实施例中”各自可以指代根据本公开的相同或不同实施例中的一个或多个。“A或B”形式的短语表示“(A)、(B)或(A和B)”。“A、B或C中的至少一个”形式的短语表示“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或者(A、B和C)”。临床医生可以指临床医生或诸如医生、护士、技术人员、医疗助理等执行医疗程序的任何医学专业人员。
本文描述的***还可以利用一个或多个控制器来接收各种信息并且变换所接收的信息以产生输出。所述控制器可以包括任何类型的计算设备、计算电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。所述控制器可以包括多个处理器和/或多核中央处理单元(CPU),并且可以包括任何类型的处理器,诸如微处理器、数字信号处理器、微控制器等。所述控制器还可以包括用于存储数据和/或算法以执行一系列指令的存储器。
本文描述的方法、程序、算法或代码中的任一种可以被转换或表示成编程语言或计算机程序。“编程语言”和“计算机程序”包括用于向计算机指定指令的任何语言,并且包括(但不限于)这些语言及其派生:汇编语言、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作***命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、自身指定程序的元语言以及所有的第一代、第二代、第三代、***和第五代计算机语言。还包括数据库和其它数据模式、以及任何其它元语言。对解释的语言、编译的语言或采用编译和解释两者方法的语言不作区分。在程序的编译版本和源版本之间也不作区分。因而,对编程语言可以以多于一种状态(诸如源的、编译的、对象的或链接的)存在的程序的引用是对任何所有这种状态的引用。对程序的引用可以包括实际指令和/或这些指令的意图。
本文描述的方法、程序、算法或代码中的任一种可以包含在一个或多个机器可读介质或存储器上。术语“存储器”可以包括以机器(诸如处理器、计算机或数字处理设备)可读的形式提供(例如,存储和/或传输)信息的机制。例如,存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备或任何其它易失性或非易失性存储器存储设备。其上所包含的代码或指令可以由载波信号、红外信号、数字信号和其它类似方式的信号表示。
应当理解,前面的描述仅仅是对本公开的说明。本领域技术人员可以不偏离本公开来设计各种替代例和变形例。例如,本文所述的任何增强图像可以组合成单个增强图像以显示给临床医生。相应地,本公开旨在涵盖所有这样的替代例、变形例和变化例。参照附图所描述的实施例仅用于示范本公开的某些示例。与上述和/或所附权利要求中所述的大致无异的其它元件、步骤、方法和技术也旨在处于本公开的范围内。
Claims (19)
1.一种机器人手术***,包括:
多个机器人手臂,各自具有多个自由度,并且各自包括连接地布置的多个构件以提供所述多个自由度;
图像捕获装置,其附接到所述机器人手臂中的第一机器人手臂的手术组件,并且被构造为***到患者体内并且在手术操作期间捕获所述患者体内的感兴趣区域的图像;
手术器械,其附接到所述机器人手臂中的第二机器人手臂的手术组件,所述手术器械被构造为***到患者体内并且在所述手术操作期间操纵所述患者体内的组织;
输入装置,其被配置为在所述手术操作期间操纵附接到所述第一机器人手臂的所述图像捕获装置和附接到所述第二机器人手臂的所述手术器械中的至少一个;
图像处理滤波器,其被配置为以预定空间频率对来自所捕获的图像的图像数据滤波,以识别对象的在所述预定空间频率下不可感知的属性;
控制器,其被配置为加强所述对象的所识别的属性的可感知性,并输出所识别的属性的加强的可感知性;和
显示器,其被配置为在所述手术操作期间显示所捕获的图像,
其中所述图像处理滤波器包括:
空间分解滤波器,其被配置为将所述图像分解成多个空间频带;
时间滤波器,其被配置为应用于所述多个空间频带以产生多个时间滤波带;
相加器,其被配置为将所述多个空间频带中的每个与所述多个时间滤波带中的对应带相加以产生多个增强带;和
重构滤波器,其被配置为通过合并所述多个增强带来产生增强图像。
2.根据权利要求1所述的机器人手术***,其中所述控制器包括图形处理器,所述图形处理器被配置为加强所识别的属性的可见表示并将所加强的可见表示输出到所述显示器以便显示。
3.根据权利要求2所述的机器人手术***,其中所述控制器被配置为放大所滤波的图像数据以加强所识别的属性的所述可见表示。
4.根据权利要求2所述的机器人手术***,其中所述控制器被配置为将具有不可见频率的所滤波的图像数据的至少一部分转变为可见光频率范围中的频率,以加强所识别的属性的所述可见表示。
5.根据权利要求1所述的机器人手术***,其中所述控制器包括触觉处理器,所述触觉处理器被配置为加强所识别的属性的力反馈表示,并将所加强的力反馈表示输出到所述输入装置上的触觉装置,所述触觉装置被配置为将触觉反馈提供给用户。
6.根据权利要求5所述的机器人手术***,其中所述控制器被配置为放大所滤波的图像数据以加强所识别的属性的所述力反馈表示。
7.根据权利要求1所述的机器人手术***,进一步包括控制装置,所述控制装置被配置为:
识别附接到所述第二机器人手臂的所述手术器械;并且
基于对所述手术器械的识别从多个图像处理滤波器中选择图像处理滤波器。
8.根据权利要求7所述的机器人手术***,其中所述控制装置进一步被配置为:
在所述手术操作期间判定附接到所述第二机器人手臂的所述手术器械是否在所述图像捕获装置的视场内;并且
如果所述手术器械在所述图像捕获装置的所述视场内,则选择所述图像处理滤波器。
9.根据权利要求8所述的机器人手术***,其中:
所述多个机器人手臂包括第三机器人手臂,所述第三机器人手臂具有附接有手术器械的手术组件;
所述控制装置进一步被配置为识别附接到所述第三机器人手臂的所述手术器械;
所述控制装置进一步被配置为确定附接到所述第二机器人手臂和所述第三机器人手臂的所述手术器械中的哪个出现在所述图像捕获装置的所述视场内;并且
所述控制装置进一步被配置为基于所述确定来选择所述图像处理滤波器。
10.根据权利要求7所述的机器人手术***,其中所述控制装置进一步被配置为:
识别由所识别的手术器械正在执行的任务;并且
在所述手术操作期间基于所述正在执行的任务选择所述图像处理滤波器。
11.根据权利要求7所述的机器人手术***,其中所述控制装置进一步被配置为:
在所述手术操作期间识别由所识别的手术器械正在执行的初始任务;
基于所述初始任务初始地选择所述图像处理滤波器并将所述图像处理滤波器应用到初始捕获的图像数据;
在所述手术操作期间识别由所识别的手术器械正在执行的后续任务;并且
基于所述后续任务选择不同的图像处理滤波器并将不同的图像处理滤波器应用到后续捕获的图像数据。
12.根据权利要求11所述的机器人手术***,其中所述控制装置进一步被配置为将所述手术器械以小于阈值的速率的移动与所述初始任务相关联,并且将所述手术器械以大于所述阈值的速率的移动与所述后续任务相关联。
13.根据权利要求11所述的机器人手术***,其中所述控制装置进一步被配置为将所述手术器械的以所应用的第一缩放速率的移动与所述初始任务相关联,并将所述手术器械的以不同的缩放因子速率的移动与所述后续任务相关联。
14.根据权利要求11所述的机器人手术***,其中所述控制装置进一步被配置为将所述手术器械在第一时间段内的致动与所述初始任务相关联,并将所述手术器械在第二时间段内的非致动与所述后续任务相关联。
15.一种机器人手术***,其包括:
图像捕获装置,其被配置为在手术操作期间捕获患者体内的感兴趣区域的图像,所述图像捕获装置附接到手术机器人***的多个机器人手臂中的第一机器人手臂的手术组件;
手术器械,其附接到所述多个机器人手臂中的第二机器人手臂的手术组件,所述手术器械被构造为***到患者体内并且在所述手术操作期间操纵所述患者体内的组织;
输入装置,其被配置为在所述手术操作期间操纵附接到所述第一机器人手臂的所述图像捕获装置和附接到所述第二机器人手臂的所述手术器械中的至少一个;
图像处理滤波器,其被配置为以预定空间频率对来自所捕获的图像的图像数据滤波,以识别对象的在所述预定空间频率下不可感知的属性;
控制器,其被配置为加强所述对象的所识别的属性的可感知性,并输出所识别的属性的加强的可感知性;以及
显示器,其被配置为向所述手术机器人***的用户输出加强的可感知性,并且以所输出的与所述手术器械的操纵有关的加强的可感知性,向所述用户提供附加信息,
其中所述图像处理滤波器包括:
空间分解滤波器,其被配置为将所述图像分解成多个空间频带;
时间滤波器,其被配置为应用于所述多个空间频带以产生多个时间滤波带;
相加器,其被配置为将所述多个空间频带中的每个与所述多个时间滤波带中的对应带相加以产生多个增强带;以及
重构滤波器,其被配置为通过合并所述多个增强带来产生增强图像。
16.根据权利要求15所述的机器人手术***,其中提供给所述用户的所述附加信息是血管密封有效性的可视化。
17.根据权利要求15所述的机器人手术***,其中提供给所述用户的所述附加信息是异常组织的可视化。
18.根据权利要求15所述的机器人手术***,其中所述对象的所识别的属性的加强的可感知性是脆弱组织的位置,并且提供给所述用户的所述附加信息是在所述机器人手术***的输入装置处响应于所述用户移动所述输入装置以在所述脆弱组织的预定距离内操纵所述手术器械而施加的力反馈。
19.一种存储指令的非暂时性计算机可读介质,所述指令在由处理装置执行时使所述处理装置:
在手术操作期间以预定空间频率对图像数据滤波以从在手术操作期间从图像捕获装置获得的、患者体内的感兴趣区域的图像识别对象的在所述预定空间频率下不可感知的属性,所述图像捕获装置附接到手术机器人***的多个机器人手臂中的第一机器人手臂的手术组件;
在所述手术操作期间于所述手术器械附接到所述多个机器人手臂中的第二机器人手臂的手术组件之后,响应于用户操纵所述手术机器人***的输入装置,在所述手术操作期间操纵所述患者体内的手术器械;
加强所述对象的来自通过图像处理滤波器所滤波的图像数据的所识别的属性的可感知性;
向所述手术机器人***的用户输出加强的可感知性;并且
以所输出的与所述手术器械的操纵有关的加强的可感知性,向所述用户提供附加信息,
其中所述图像处理滤波器进行的滤波包括以下步骤:
将所述图像分解成多个空间频带;
将时间滤波器应用于所述多个空间频带以产生多个时间滤波带;
将所述多个空间频带中的每个与所述多个时间滤波带中的对应带相加以产生多个增强带;以及
通过合并所述多个增强带来产生增强图像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910501040.7A CN110215279B (zh) | 2014-07-25 | 2015-07-20 | 用于机器人手术***的增强手术现实环境 |
CN201910156185.8A CN110074863B (zh) | 2014-07-25 | 2015-07-20 | 用于机器人手术***的增强手术现实环境 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462028984P | 2014-07-25 | 2014-07-25 | |
US62/028,984 | 2014-07-25 | ||
PCT/US2015/041085 WO2016014385A2 (en) | 2014-07-25 | 2015-07-20 | An augmented surgical reality environment for a robotic surgical system |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910156185.8A Division CN110074863B (zh) | 2014-07-25 | 2015-07-20 | 用于机器人手术***的增强手术现实环境 |
CN201910501040.7A Division CN110215279B (zh) | 2014-07-25 | 2015-07-20 | 用于机器人手术***的增强手术现实环境 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106535805A CN106535805A (zh) | 2017-03-22 |
CN106535805B true CN106535805B (zh) | 2019-06-18 |
Family
ID=55163940
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580041495.5A Expired - Fee Related CN106535805B (zh) | 2014-07-25 | 2015-07-20 | 用于机器人手术***的增强手术现实环境 |
CN201910501040.7A Expired - Fee Related CN110215279B (zh) | 2014-07-25 | 2015-07-20 | 用于机器人手术***的增强手术现实环境 |
CN201910156185.8A Expired - Fee Related CN110074863B (zh) | 2014-07-25 | 2015-07-20 | 用于机器人手术***的增强手术现实环境 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910501040.7A Expired - Fee Related CN110215279B (zh) | 2014-07-25 | 2015-07-20 | 用于机器人手术***的增强手术现实环境 |
CN201910156185.8A Expired - Fee Related CN110074863B (zh) | 2014-07-25 | 2015-07-20 | 用于机器人手术***的增强手术现实环境 |
Country Status (4)
Country | Link |
---|---|
US (3) | US10251714B2 (zh) |
EP (1) | EP3179947B1 (zh) |
CN (3) | CN106535805B (zh) |
WO (1) | WO2016014385A2 (zh) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106535805B (zh) | 2014-07-25 | 2019-06-18 | 柯惠Lp公司 | 用于机器人手术***的增强手术现实环境 |
WO2016014384A2 (en) * | 2014-07-25 | 2016-01-28 | Covidien Lp | Augmented surgical reality environment |
JP6432770B2 (ja) | 2014-11-12 | 2018-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
US10013808B2 (en) | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
EP3364851A4 (en) * | 2015-10-22 | 2019-05-15 | Covidien LP | SYSTEMS AND METHODS FOR AMPLIFYING CHANGES IN A REGION OF INTEREST IN A SURGICAL ENVIRONMENT |
US20190088162A1 (en) * | 2016-03-04 | 2019-03-21 | Covidien Lp | Virtual and/or augmented reality to provide physical interaction training with a surgical robot |
EP3433041B1 (en) * | 2016-03-21 | 2023-10-11 | Sigma Additive Solutions, Inc. | Layer-based defect detection using normalized sensor data |
US10638944B2 (en) * | 2017-02-22 | 2020-05-05 | Covidien Lp | Methods of determining tissue viability |
CN107133941A (zh) * | 2017-04-18 | 2017-09-05 | 重庆金山医疗器械有限公司 | 一种无线胶囊内窥镜图像突出血管奇变以及凸起部位的显示方法 |
US11583356B2 (en) * | 2017-05-26 | 2023-02-21 | Covidien Lp | Controller for imaging device |
WO2019036007A1 (en) * | 2017-08-16 | 2019-02-21 | Covidien Lp | SYSTEMS AND METHODS FOR ENHANCING SURGICAL IMAGES AND / OR VIDEOS |
EP3672505A4 (en) * | 2017-08-21 | 2021-02-17 | Relign Corporation | ARTHROSCOPY DEVICES AND METHODS |
US20200337798A1 (en) * | 2017-11-20 | 2020-10-29 | Medi Plus Inc. | Medical safety system |
US11406255B2 (en) * | 2018-01-03 | 2022-08-09 | Koninklijke Philips N.V. | System and method for detecting abnormal tissue using vascular features |
US20190254753A1 (en) | 2018-02-19 | 2019-08-22 | Globus Medical, Inc. | Augmented reality navigation systems for use with robotic surgical systems and methods of their use |
US10933526B2 (en) * | 2018-04-23 | 2021-03-02 | General Electric Company | Method and robotic system for manipulating instruments |
CN209790012U (zh) * | 2018-07-31 | 2019-12-17 | 深圳市精锋医疗科技有限公司 | 可调节操作臂的从操作设备组件及手术机器人 |
JP7376569B2 (ja) * | 2018-07-31 | 2023-11-08 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | ロボット操作手術器具の位置を追跡システムおよび方法 |
WO2020055707A1 (en) * | 2018-09-14 | 2020-03-19 | Covidien Lp | Surgical robotic systems and methods of tracking usage of surgical instruments thereof |
GB2577718B (en) * | 2018-10-03 | 2022-08-24 | Cmr Surgical Ltd | Feature identification |
GB2577719B (en) * | 2018-10-03 | 2023-04-26 | Cmr Surgical Ltd | Navigational aid |
EP4039167A1 (en) | 2018-10-26 | 2022-08-10 | Intuitive Surgical Operations, Inc. | Mixed reality systems and methods for indicating an extent of a field of view of an imaging device |
US11443501B2 (en) * | 2018-12-05 | 2022-09-13 | Verily Life Sciences Llc | Robotic surgical safety via video processing |
US10758309B1 (en) | 2019-07-15 | 2020-09-01 | Digital Surgery Limited | Methods and systems for using computer-vision to enhance surgical tool control during surgeries |
CN110830746A (zh) * | 2019-11-15 | 2020-02-21 | 安徽埃克索医疗机器人有限公司 | 一种基于视频通话和增强现实技术远程手术协助*** |
US11992373B2 (en) | 2019-12-10 | 2024-05-28 | Globus Medical, Inc | Augmented reality headset with varied opacity for navigated robotic surgery |
US11464581B2 (en) | 2020-01-28 | 2022-10-11 | Globus Medical, Inc. | Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums |
US11382699B2 (en) | 2020-02-10 | 2022-07-12 | Globus Medical Inc. | Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery |
US11207150B2 (en) | 2020-02-19 | 2021-12-28 | Globus Medical, Inc. | Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment |
US11607277B2 (en) | 2020-04-29 | 2023-03-21 | Globus Medical, Inc. | Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery |
US11382700B2 (en) | 2020-05-08 | 2022-07-12 | Globus Medical Inc. | Extended reality headset tool tracking and control |
US11510750B2 (en) | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
US11153555B1 (en) | 2020-05-08 | 2021-10-19 | Globus Medical Inc. | Extended reality headset camera system for computer assisted navigation in surgery |
US11896323B2 (en) | 2020-09-01 | 2024-02-13 | Aibolit Technologies, Llc | System, method, and computer-accessible medium for automatically tracking and/or identifying at least one portion of an anatomical structure during a medical procedure |
US11737831B2 (en) | 2020-09-02 | 2023-08-29 | Globus Medical Inc. | Surgical object tracking template generation for computer assisted navigation during surgical procedure |
US11937891B2 (en) * | 2020-10-06 | 2024-03-26 | Asensus Surgical Us, Inc. | Systems and methods of controlling surgical robotic system using eye-tracking |
WO2022154847A1 (en) | 2021-01-12 | 2022-07-21 | Emed Labs, Llc | Health testing and diagnostics platform |
US11615888B2 (en) | 2021-03-23 | 2023-03-28 | Emed Labs, Llc | Remote diagnostic testing and treatment |
US11929168B2 (en) | 2021-05-24 | 2024-03-12 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
US11373756B1 (en) | 2021-05-24 | 2022-06-28 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
US12042241B2 (en) | 2021-03-31 | 2024-07-23 | Moon Surgical Sas | Co-manipulation surgical system having automated preset robot arm configurations |
US11812938B2 (en) | 2021-03-31 | 2023-11-14 | Moon Surgical Sas | Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments |
US11844583B2 (en) | 2021-03-31 | 2023-12-19 | Moon Surgical Sas | Co-manipulation surgical system having an instrument centering mode for automatic scope movements |
US11819302B2 (en) | 2021-03-31 | 2023-11-21 | Moon Surgical Sas | Co-manipulation surgical system having user guided stage control |
CA3212211A1 (en) | 2021-03-31 | 2022-10-06 | David Paul Noonan | Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery |
US11832909B2 (en) | 2021-03-31 | 2023-12-05 | Moon Surgical Sas | Co-manipulation surgical system having actuatable setup joints |
WO2022271668A1 (en) | 2021-06-22 | 2022-12-29 | Emed Labs, Llc | Systems, methods, and devices for non-human readable diagnostic tests |
US12014829B2 (en) | 2021-09-01 | 2024-06-18 | Emed Labs, Llc | Image processing and presentation techniques for enhanced proctoring sessions |
US11832910B1 (en) | 2023-01-09 | 2023-12-05 | Moon Surgical Sas | Co-manipulation surgical system having adaptive gravity compensation |
US11986165B1 (en) | 2023-01-09 | 2024-05-21 | Moon Surgical Sas | Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6351571B1 (en) * | 1998-12-14 | 2002-02-26 | Eastman Kodak Company | Uniform convolution algorithm for frequency decomposition of image regions |
US20040243147A1 (en) | 2001-07-03 | 2004-12-02 | Lipow Kenneth I. | Surgical robot and robotic controller |
US20030179308A1 (en) * | 2002-03-19 | 2003-09-25 | Lucia Zamorano | Augmented tracking using video, computed data and/or sensing technologies |
US7979157B2 (en) * | 2004-07-23 | 2011-07-12 | Mcmaster University | Multi-purpose robotic operating system and method |
US8073528B2 (en) * | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
EP1938274A2 (en) * | 2005-09-12 | 2008-07-02 | D.V.P. Technologies Ltd. | Medical image processing |
US9718190B2 (en) * | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
US8155479B2 (en) * | 2008-03-28 | 2012-04-10 | Intuitive Surgical Operations Inc. | Automated panning and digital zooming for robotic surgical systems |
WO2009121775A2 (de) | 2008-04-01 | 2009-10-08 | Bauhaus-Universität Weimar | Verfahren und beleuchtungsvorrichtung zur optischen kontrastverstärkung |
US8167793B2 (en) | 2008-04-26 | 2012-05-01 | Intuitive Surgical Operations, Inc. | Augmented stereoscopic visualization for a surgical robot using time duplexing |
DE102008041709A1 (de) * | 2008-08-29 | 2010-03-04 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Medizinischer Arbeitsplatz und Bedienvorrichtung zum manuellen Bewegen eines Roboterarms eines medizinischen Arbeitsplatzes |
CN101404088B (zh) * | 2008-11-05 | 2011-10-26 | 华中科技大学 | Ct图像重建的方法及*** |
ES2341079B1 (es) | 2008-12-11 | 2011-07-13 | Fundacio Clinic Per A La Recerca Biomedica | Equipo para vision mejorada por infrarrojo de estructuras vasculares,aplicable para asistir intervenciones fetoscopicas, laparoscopicas y endoscopicas y proceso de tratamiento de la señal para mejorar dicha vision. |
CN105342705A (zh) * | 2009-03-24 | 2016-02-24 | 伊顿株式会社 | 利用增强现实技术的手术机器人***及其控制方法 |
EP2489033A4 (en) | 2009-10-15 | 2017-01-25 | Apple Inc. | Systems and methods for tracking natural planar shapes for augmented reality applications |
BR112012011422B1 (pt) * | 2009-11-13 | 2020-09-29 | Intuitive Surgical Operations, Inc | Sistema cirúrgico minimamente invasivo |
US20110135170A1 (en) | 2009-12-09 | 2011-06-09 | Capso Vision, Inc. | System and method for display speed control of capsule images |
WO2011134083A1 (en) * | 2010-04-28 | 2011-11-03 | Ryerson University | System and methods for intraoperative guidance feedback |
US9211058B2 (en) | 2010-07-02 | 2015-12-15 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
US9506882B2 (en) | 2011-01-18 | 2016-11-29 | Texas Instruments Incorporated | Portable fluoroscopy system with spatio-temporal filtering |
TWI459325B (zh) | 2011-05-13 | 2014-11-01 | Altek Corp | 數位影像處理裝置及其處理方法 |
US9123155B2 (en) | 2011-08-09 | 2015-09-01 | Covidien Lp | Apparatus and method for using augmented reality vision system in surgical procedures |
WO2013118065A1 (en) | 2012-02-06 | 2013-08-15 | Biooptico Ab | Camera arrangement and image processing method for quantifying tissue structure and degeneration |
US20130328867A1 (en) | 2012-06-06 | 2013-12-12 | Samsung Electronics Co. Ltd. | Apparatus and method for providing augmented reality information using three dimension map |
CN106535805B (zh) * | 2014-07-25 | 2019-06-18 | 柯惠Lp公司 | 用于机器人手术***的增强手术现实环境 |
WO2016014384A2 (en) * | 2014-07-25 | 2016-01-28 | Covidien Lp | Augmented surgical reality environment |
-
2015
- 2015-07-20 CN CN201580041495.5A patent/CN106535805B/zh not_active Expired - Fee Related
- 2015-07-20 US US15/327,066 patent/US10251714B2/en active Active
- 2015-07-20 CN CN201910501040.7A patent/CN110215279B/zh not_active Expired - Fee Related
- 2015-07-20 EP EP15824688.4A patent/EP3179947B1/en active Active
- 2015-07-20 WO PCT/US2015/041085 patent/WO2016014385A2/en active Application Filing
- 2015-07-20 CN CN201910156185.8A patent/CN110074863B/zh not_active Expired - Fee Related
-
2019
- 2019-04-05 US US16/375,937 patent/US10588705B2/en active Active
-
2020
- 2020-03-13 US US16/818,450 patent/US11096749B2/en active Active
Non-Patent Citations (1)
Title |
---|
Motion magnification for endoscopic surgery;A. Jonathan McLeod等;《PROGRESS IN BIOMEDICAL OPTICS AND IMAGING,SPIE-INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》;20140312;第9036卷;说明书第90360C-1页至90360C-8页 |
Also Published As
Publication number | Publication date |
---|---|
WO2016014385A3 (en) | 2016-05-19 |
US10251714B2 (en) | 2019-04-09 |
EP3179947A2 (en) | 2017-06-21 |
CN110074863A (zh) | 2019-08-02 |
US11096749B2 (en) | 2021-08-24 |
WO2016014385A2 (en) | 2016-01-28 |
CN110215279B (zh) | 2022-04-15 |
US20200205913A1 (en) | 2020-07-02 |
CN106535805A (zh) | 2017-03-22 |
EP3179947B1 (en) | 2019-06-26 |
US10588705B2 (en) | 2020-03-17 |
CN110074863B (zh) | 2021-11-02 |
US20180200004A1 (en) | 2018-07-19 |
EP3179947A4 (en) | 2018-03-28 |
US20190231453A1 (en) | 2019-08-01 |
CN110215279A (zh) | 2019-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106535805B (zh) | 用于机器人手术***的增强手术现实环境 | |
US11080854B2 (en) | Augmented surgical reality environment | |
JP6709796B2 (ja) | 手術室及び手術部位認識 | |
US20210077220A1 (en) | Systems and methods for removing occluding objects in surgical images and/or video | |
CN108271345B (zh) | 用于检测表面下的血液的***和方法 | |
CN108135670A (zh) | 用于检测灌注中逐步变化的手术*** | |
CN108135456A (zh) | 用于放大手术环境中所关注区域中的改变的***和方法 | |
JP2020531095A (ja) | 外科手術画像および/または映像を強調するためのシステムおよび方法 | |
US20230404572A1 (en) | Smart circular staplers | |
EP4355228A1 (en) | Smart circular staplers | |
JP2024514640A (ja) | 画面上及び画面外で発生する混合された要素及びアクションを表示するレンダリングされた要素で直接視覚化される混合 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190618 |