CN105193503A - 增强的手术实践环境*** - Google Patents

增强的手术实践环境*** Download PDF

Info

Publication number
CN105193503A
CN105193503A CN201510338081.0A CN201510338081A CN105193503A CN 105193503 A CN105193503 A CN 105193503A CN 201510338081 A CN201510338081 A CN 201510338081A CN 105193503 A CN105193503 A CN 105193503A
Authority
CN
China
Prior art keywords
image
surgical
enhancing
environmental system
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510338081.0A
Other languages
English (en)
Other versions
CN105193503B (zh
Inventor
迈克尔·英曼松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN105193503A publication Critical patent/CN105193503A/zh
Application granted granted Critical
Publication of CN105193503B publication Critical patent/CN105193503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0804—Counting number of instruments used; Instrument detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0804—Counting number of instruments used; Instrument detectors
    • A61B2090/0805—Counting number of instruments used; Instrument detectors automatically, e.g. by means of magnetic, optical or photoelectric detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及增强的手术实践环境***和方法。所述***包括图像捕获设备以捕获手术环境的图像。至少一个生物特征传感器从患者处获取生物特征数据。控制器包括配置为存储多个解剖图像的存储器以及处理器。处理器接收捕获的图像、生物特征数据或来自多个解剖图像的一个或多个解剖图像中的至少一个，并且从捕获的图像、生物特征数据或一个或多个解剖图像中的至少一个中生成增强的图像。显示设备显示增强的图像。

Description

增强的手术实践环境***
相关申请的交叉引用
本申请要求2014年6月18日提交的序号为62/013,604的美国临时专利申请的权益和优先权，其全部公开内容通过引用合并于此。
技术领域
本公开涉及改善患者手术效果的微创手术技术。更具体地，本公开针对实行微创手术技术的同时增强和提高临床医生视野的***和方法。
背景技术
与传统手术操作中典型地需要较大开口相比较，今天，通过皮肤上的小开口来实行许多手术操作，以努力降低对患者造成的创伤并减少复原时间。这种操作已知为“微创”操作。在微创操作的过程中，穿过其来操纵手术器械的相对小的开口的特性，和/或皮下组织结构的存在，均可能遮蔽对目标手术部位的直接视线。因而，限制了临床医生的视野、直观方位和对空间的理解。因此，需要改善视野并结合高级的和补充的信息来帮助临床医生。
发明内容
在本公开的实施例中，提供了增强的手术实践环境***。所述***包括：图像捕获设备，其配置为捕获手术环境的图像；以及至少一个生物特征传感器，其配置为从患者处获取生物特征数据。***还包括具有配置为存储多个解剖图像的存储器和处理器的控制器。所述处理器接收所捕获的图像、生物特征数据或来自多个解剖图像的一个或多个解剖图像中的至少一个，并且从所捕获的图像、生物特征数据或一个或多个解剖图像中的至少一个生成增强的图像。显示设备显示增强的图像。
在某些方案中，显示设备是投影仪、基于激光的***或监视器。在其他方案中，显示设备包括具有至少一个透镜的框架以及配置为将增强的图像投映到透镜上的投影仪。
在方案中，图像捕获设备是摄像机。
在本文所述的某些方案中，增强的图像包括器官或身体结构。
在其他方案中，控制器确定手术工具的相对于患者的位置或方位并且增强的图像包括手术工具的布置在患者体内的部分的虚拟图像。手术工具的位置或方位基于由图像捕获设备所捕获的手术工具的图像来确定，或者手术工具的位置或方位由手术工具所提供的数据来确定。由手术工具所提供的数据包括加速度计数据或陀螺仪数据。
在其他方案中，图像捕获设备捕获手术环境中的物体的图像。处理器基于物体的图像来确定物体的相对于患者的位置。增强的图像包括物体的放大表示并且显示设备在患者身上于由处理器所确定的位置处显示放大表示。在其他方案中，控制器接收来自物体的位置信号并且处理器基于所接收的位置信号来确定物体的位置。增强的图像包括物体的放大表示并且显示设备在患者身上于由处理器所确定的位置处显示放大表示。
在方案中，从x-射线、计算的断层扫描或磁共振成像数据中获取多个解剖图像。解剖图像由处理器处理以加强解剖图像的一部分。解剖图像的加强部分通过显示设备在患者身上显示。解剖图像的加强部分可包括热图。
在某些方案中，生物特征数据包括患者的一个或多个生命体征。一个或多个生命体征的虚拟表示包括在增强的图像中。虚拟表示的颜色基于一个或多个生命体征的值来改变。
在某些方案中，增强的图像包括手术计划，其包括切割路径、切口位置、植入物位置或备注中的至少一个。
在其他方案中，***包括手术设备并且增强的图像包括手术设备的状态。
在某些方案中，所捕获的图像包括第一次切割的方向和大小并且处理器基于第一次切割的方向和大小以及存储在存储器中的多个解剖图像来确定第二次切割的期望切割路径和距离。增强的图像包括表示第二次切割的方向和大小的图像。
在其他方案中，图像捕获设备捕获第一图像和第二图像。控制器基于第一图像和第二图像之间的差别来确定对象是否已移动。控制器在增强的图像中使对象加亮以显示于显示器上。
在其他方案中，存储器存储在手术操作过程中待使用的多个工具以及对于多个工具的使用顺序。控制器基于来自图像捕获设备的图像确定多个工具之中已使用的工具。控制器基于对于多个工具的使用顺序和已经使用的工具来确定多个工具之中将使用的工具。控制器在增强的图像中使待使用的工具加亮。
在本公开的另一实施例中，提供了用于增强手术环境的图像的方法。所述方法包含从存储器中获取解剖图像数据并在患者身上显示解剖图像。选择解剖图像中的关注区域，使其加亮并显示。
在某些方案中，可以处理和显示解剖图像。
在本公开的又一实施例中，提供了用于增强手术环境的图像的另一种方法。所述方法包含捕获图像数据并在图像数据中识别手术设备和手术设备相对于患者的第一位置。包括在第一位置的手术设备的增强的图像被显示在患者身上。
在某些方案中，移动手术设备并且计算手术设备的相对于患者的第二位置。在患者身上于第二位置处显示手术设备。
在本公开的又一实施例中，提供了用于增强手术环境的图像的方法，其包含捕获图像数据并在图像数据中识别物体和物体的相对于患者的第一位置。包括代表物体的标志的增强的图像于第一位置处显示在患者身上。
在某些方案中，当物体已移动时，计算物体的相对于患者的第二位置且在患者身上于第二位置显示标志。当还没有从患者身上移除物体时，显示器在从患者身上移除物体之前继续在患者身上显示标志。
在又一个实施例中，提供了用于增强手术环境的图像的方法。所述方法包含从患者处获取生物特征数据并确定生物特征数据何时处于预定范围内。显示了包括生物特征数据的增强的图像，其中，当生物特征数据处于预定范围内时生物特征数据以第一颜色显示，而当生物特征数据在预定范围之外时生物特征数据以第二颜色显示。
生物特征数据是脉冲、体温、血压、血氧水平或心律中的至少一个。
在又一个实施例中，提供了用于增强手术环境的图像的方法。所述方法包含从手术设备获取设备状态并确定设备状态何时处于预定范围内。显示了包括设备状态的增强的图像，其中，当设备状态处于预定范围内时设备状态以第一颜色显示，而当设备状态在预定范围之外时设备状态以第二颜色显示。
设备状态是发射范围、剩余设备寿命、电池电量、组织厚度或组织阻抗中的至少一个。
在下文中参考附图更详细地描述本公开的示例性实施例的进一步细节和方案。
附图说明
当结合附图时，根据下面的详细描述，本公开的上述及其他方案、特征和优点将变得更加明显，在附图中：
图1是依据本公开的实施例的用于增强手术环境的***的***框图；
图2A至图2D是依据本公开的实施例如何可以实现图1的***的示例；
图3示出了依据本公开实施例的增强的图像；
图4是示出用于获取图3的增强图像的过程的流程图；
图5示出了依据本公开另一个实施例的增强的图像；
图6是示出用于获取图5的增强图像的过程的流程图；
图7示出了依据本公开另一个实施例的增强的图像；
图8是示出用于获取图7的增强图像的过程的流程图；
图9示出了依据本公开的另一个实施例的叠加在腹腔镜检查影像上的增强的图像；
图10示出了依据本公开的另一个实施例的叠加在患者身上的增强的图像；
图11示出了依据本公开的另一个实施例的增强的图像；
图12是示出用于获取图11的增强图像的过程的流程图；
图13示出了依据本公开的另一个实施例的增强的图像；以及
图14是示出用于获取图13的增强图像的过程的流程图。
具体实施方式
在下文中参考附图描述本公开的具体实施例；然而，应该理解的是，所公开的实施例只是公开的示例，且可以采用各种形式来具体体现。没有详细地描述众所周知的功能或结构以避免让不必要的细节使得本公开难于理解。因此，本文所公开的具体结构和功能的细节不应被解释为限制，而只是作为权利要求书的依据以及作为教导本领域的技术人员在实际上任何适当的具体结构中不同地应用本公开的有代表性的依据。相同的附图标记在整个附图的说明中指代相似或完全相同的元件。
本说明书可以使用短语“在实施例中”，“在一些实施例中”，“在某些实施例中”或“在其他实施例中”，其均可以指的是依据本公开的一个或多个相同或不同的实施例。为了本说明书的目的，“A或B”形式的短语意指“(A)，(B)或(A和B)”。为了本说明书的目的，“A，B或C中的至少一个”形式的短语意指“(A)，(B)，(C)，(A和B)，(A和C)，(B和C)或(A，B和C)”。
术语“临床医生”指的是实行涉及使用本文所述实施例的医疗操作的任何医疗专业人员(即，医生、外科医生、护士等)。如附图所示和下面整个说明书所述，正如提及关于手术器械的相对定位时传统的，术语“近侧”或“尾端”指的是装置的更靠近临床医生的端部，术语“远侧”或“前端”指的是装置的更远离临床医生的端部。
本文所述的***还可以使用一个或多个控制器来接收各种信息并转换所接收到的信息来产生输出。控制器可包括任何类型的计算设备、计算电路或任何类型的能够执行一系列存储在存储器中的指令的处理器或处理电路。控制器可包括多个处理器和/或多核的中央处理器(CPU)并可包括任何类型的处理器，例如微处理器、数字信号处理器、微控制器等。控制器还可包括存储器以存储数据和/或算法来执行一系列指令。
任何本文所述的方法、程序、算法或代码可以被变换为编程语言或计算机程序，或以编程语言或计算机程序来表示。“编程语言”和“计算机程序”是用于对计算机指定指令的任何语言，且包括(但并不限于)以下这些语言及其衍生物：汇编程序、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作***命令语言、Pascal、Perl、PL1、脚本语言、VisualBasic、其本身指定程序的元语言和所有第一、第二、第三、第四和第五代计算机语言。还包括的是数据库和其他数据架构，以及任何其他的元语言。为了本定义的目的，在解译、编译的语言之间不进行区分，或者使用既编译又解译的语言。为了本定义的目的，在程序的编译版本和源代码版本之间不进行区分。因此，参考其中编程语言能以多于一个的状态(例如源代码、编译、目标码或链接)存在的程序，是参考任何一种和所有这样的状态。定义还包含实际的指令和这些指令的意图。
任何本文所述的方法、程序、算法或代码可以包含在一个或多个机器可读的介质或存储器中。术语“存储器”可包括提供(例如，存储和/或发送)诸如处理器、计算机或数字处理设备的机器可读形式的信息的机构。例如，存储器可包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备或任何其他易失性或非易失性存储器存储设备。包含在其上的代码或指令可以由载波信号、红外信号、数字信号以及由其他类似信号来表示。
本公开针对在微创手术操作过程中给临床医生提供增强的手术实践环境的***和方法。本文所述的***与方法利用捕获的图像数据、解剖的图像数据和/或生物特征数据，经由显示器向临床医生提供增强的或加强的图像。向临床医生提供增强的图像致使提高了灵巧性、提高了空间理解力、存在在保持健康组织不受损害的同时更有效地移除组织的可能性、改善了孔口布局、提高了跟踪性、减少了患者体内物体的遗失以及缩短了手术操作的持续时间。
转到图1，根据本公开的实施例的用于增强手术环境的***主要显示为100。***100包括具有处理器104和存储器106的控制器102。***100还包括记录静止帧图像或活动图像的图像捕获设备108，例如摄像机。传感器阵列110给控制器102提供关于手术环境的信息。例如，传感器阵列110包括能够获取诸如脉搏、体温、血压、血氧水平、心律等的患者的生物特征数据的生物特征传感器。显示器112在手术操作过程中向临床医生显示增强的图像。控制器102经由无线或有线连接与中央服务器114进行通信。可替换地，控制器102可在手术操作之前与中央服务器114进行通信。服务器114存储可以使用x-射线、计算的断层扫描或磁共振成像获取的一个患者的图像或多个患者的图像。
图2A至图2D示出了在手术环境中如何实现图1的***的示例。如图2A至图2D所示，图像捕获设备108在手术操作过程中捕获手术环境的图像。由图像捕获设备108记录的图像、来自传感器阵列110的数据和来自服务器114的图像被控制器102结合以生成经由显示器112向临床医生提供的增强的图像。如图2A至图2D所示，显示器112可以是投影仪(图2A)、激光投影***(图2B)、投映图像到其中一个透镜上的诸如谷歌眼镜(GOOGLE)(由(谷歌)提供)的一副眼镜(图2C)或监视器(图2D)。当使用如图2D所示的监视器时，增强的图像叠加在由图像捕获设备108获取的患者的图像上。
图1的***100可以用来在手术操作过程中叠加患者的解剖图像，如图3所示。因为微创手术使用小切口和孔口来获得进入人体内部结构，所以临床医生的视野往往会被阻碍。图1的***可以用来显示人体内部结构的位置以增大临床医生的视野并提供最佳的孔口布局。
图4示出了用于在患者身上叠加患者图像的示意过程。在步骤S200中，从存储器106或服务器114获取解剖图像数据。在许多情况下，存储器106可以在手术操作之前从服务器114获取解剖图像。控制器102从图像捕获设备108接收患者的图像数据并使那个解剖图像与患者的位置对准。可以基于使患者的外部身体结构与解剖图像相配或使用放置在解剖图像中和患者身上的基准标记来实行对准。然后在步骤S202中显示器112在患者身上显示解剖图像。在步骤S204中，控制器102确定临床医生是否想要使关注区域加亮。图像捕获设备108捕获临床医生的手势并且控制器102基于手势确定临床医生所选择的关注区域。如果临床医生选择了关注区域，则过程进行至步骤S206，在步骤S206中，关注区域被加亮然后在步骤S202中再次显示图像。如果临床医生没有选择关注区域，则过程进行至步骤S208，在步骤S208中，控制器102确定临床医生是否想处理图像。处理图像可以涉及放大/缩小特定区域或在2维或3维空间中处理图像的方位。关于放大/缩小，临床医生可以做简单的手势，其由图像捕获设备108捕获并由控制器102解译来放大/缩小。关于处理图像的方位，临床医生可以使用简单的手势或临床医生可以调整患者处于不同的方位。图像捕获设备108将捕获手势的图像或在新方位上的患者的图像并向控制器102提供图像。在步骤S210中，控制器102根据手势或患者方位处理图像并向显示器112提供处理后的图像。然后过程返回至步骤S202，在步骤S202中显示图像。如果控制器102确定图像不需要处理，则过程进行至步骤S212，在步骤S212中，控制器确定手术操作是否完成。如果手术操作未完成，则过程返回至步骤S202并继续显示解剖图像。如果操作完成，则过程结束。
图1的***100还可以用来显示因为插进患者身体而被遮蔽在临床医生的视野之外的手术设备的一部分，如图5所示。图6是示出用于在患者身上显示手术设备的过程的流程图。过程在步骤S300开始，在步骤S300中，图像捕获设备108捕获手术环境的图像。然后在步骤S302中控制器102识别手术环境内的一个或多个手术设备。手术设备的识别包括将设备的配置文件与存储在存储器106中的配置文件进行匹配。在一些实施例中，设备可包括由控制器102认可的2维或3维的条形码。控制器102还确定手术设备的相对于患者的第一位置。然后控制器102发送手术设备的图像以显示在显示器112上。在步骤S304中，基于第一位置将手术设备的图像与手术设备对准且在患者的外表面上显示插进患者身体的手术设备的一部分。在步骤S306中，控制器102基于来自图像捕获设备108的图像确定手术设备是否已移动。如果手术设备没有移动，则过程返回至步骤S304并继续在第一位置显示手术设备。如果手术设备已移动，则过程进行至步骤S308，在步骤S308中，计算手术设备的相对于患者的第二位置。在步骤S310中，在患者身上于第二位置处显示手术设备。如果在步骤S312中控制器102确定手术操作没有完成，则过程进行至步骤S314，在步骤S314中，手术设备的第二位置被存储为第一位置。然后过程返回至步骤S304以在第一位置显示手术设备。否则，如果手术操作完成，则过程结束。
在一些实施例中，手术设备的位置和方位由手术设备提供的加速度计数据或陀螺仪数据来提供，而不是由图像捕获设备108捕获的图像来提供。
在过去，已经有许多这样的例子：临床医生在操作结束并且所有的开口都已经封闭后在患者体内留下异物或物体，例如海绵、纱布、工具等。这曾在患者康复中导致并发症。因此，图1的实施例可以用来减少或消除落在患者体内的异物或物体的数量。具体地，***100可以如图7所示跟踪物体并提供包括手术环境中的所有物体的位置的增强的图像。可以使用放大可见的标志400来显示物体。
图8是示出用于获得并跟踪一个物体或多个物体的方法的流程图。过程在步骤S402开始，在步骤S402中，图像捕获设备108捕获手术环境的图像。在步骤S404中，控制器102确定在捕获的图像中是否有物体。如果在图像中没有物体，则过程返回至步骤S402。如果在图像中有物体，则然后在步骤S406中控制器102识别手术环境内的(多个)物体。物体的识别包括将设备的配置文件与存储在存储器106中的配置文件进行匹配。在一些实施例中，设备可包括由控制器102认可的2维或3维的条形码。控制器102还确定物体的相对于患者的第一位置。然后控制器102发送物体的图像以显示在显示器112上。在步骤S408中，基于第一位置将物体的图像与患者对准并显示物体的图像。在步骤S410中，控制器102基于来自图像捕获设备108的图像确定物体是否已移动。如果物体没有移动，则过程返回至步骤S408并且继续在第一位置显示物体。如果物体已移动，则过程进行至步骤S412，在步骤S412中，计算物体的相对于患者的第二位置。在步骤S414中，在患者身上于第二位置处显示物体。如果在步骤S416中控制器102确定物体还没有移除，则过程进行至步骤S418，在步骤S418中第二位置被设置为第一位置且在步骤S408中在第一位置显示物体。如果已移除物体，则过程进行至步骤S420，在步骤S420中，控制器102确定手术操作是否完成。如果操作没有完成，则过程于是返回至步骤S402。否则，如果手术操作完成，则过程结束。
如图9和图10所示，***100还可用来叠加诊断数据到患者身上。图9示出了使用腹腔镜检查影像叠加的数据，而图10示出了在外部显示的数据。在一些实施例中，过去的诊断结果可叠加到患者身上。在其他实施例中，x-射线、CT扫描和MRI图像可以在手术操作之前进行解译。解译后的图像存储在服务器114中并在手术操作之前传送至存储器106。解译后的图像可以被彩色编码以制成热图，例如，癌组织的热图。然后临床医生可实时查看图像以允许临床医生识别任何癌已扩散的区域从而增加移除癌变组织的功效。这使得能够增加可以保存的良好组织的数量。
如图11所示，***100还可用来在增强的图像中显示生物特征数据。例如，增强的图像可包括从传感器阵列110获取的患者的脉搏和血压。如果生物特征数据处于正常范围内，例如，如图11所示的血压，生物特征数据可以用第一颜色，例如绿色来加亮。如果生物特征数据在正常范围之外，例如图11所示的脉搏，生物特征数据可以用第二颜色，例如红色来加亮。
图12示出了描述用于显示生物特征数据的过程的流程图。在步骤S500中，传感器阵列110从患者处获取生物特征数据并向控制器102提供生物特征数据。然后在步骤S502中，控制器102确定生物特征数据是否处于可接受的范围内。如果生物特征数据处于可接受的范围内，则过程进行至步骤S504，在步骤S504中，生物特征数据以第一颜色，例如绿色显示。如果生物特征数据不在可接受的范围内，则过程进行至步骤S506，在步骤S506中，生物特征数据以第二颜色，例如红色显示。在步骤S504和步骤S506之后，在步骤S508中控制器确定手术操作是否完成。如果手术操作没有完成，于是过程返回至步骤S500。否则，如果手术操作完成，则过程结束。
如图13所示，***100还可用来在增强的图像中显示手术设备状态。例如，如果设备的状态处于可接受的范围内，则增强的图像可以用第一颜色，例如绿色使设备加亮。如果设备在正常范围之外，则设备可以用第二颜色，例如红色来加亮。设备的状态可包括，但并不限于，发射范围、剩余设备寿命、电池电量、组织厚度、组织阻抗等。
图14示出了描述用于显示状态的过程的流程图。在步骤S600中，传感器阵列110从手术设备获取状态并向控制器102提供状态。然后在步骤S602中控制器102确定状态是否处于可接受的范围之内。如果状态处于可接受的范围内，则过程进行至步骤S604，在步骤S604中，手术设备以第一颜色，例如绿色显示。如果状态不在可接受的范围内，则过程进行至步骤S606，在步骤S606中，手术设备以第二颜色，例如红色显示。在步骤S604和步骤S606之后，在步骤S608中控制器确定手术操作是否完成。如果操作没有完成，于是过程返回至步骤S600。否则，如果手术操作完成，则过程结束。
在本公开的其它实施例中，存储器106可以存储在手术操作过程中将要使用的手术计划。手术计划可包括目标区域、切割路径、在手术操作过程中要使用的工具以及这些工具的使用顺序。基于手术计划，增强的图像可以给临床医生提供数据来协助临床医生。例如，在一些实施例中，临床医生可进行第一次切割。基于第一次切割的大小和方向，以及来自解剖图像的数据，控制器可为临床医生在增强的图像上加亮进行第二次切割和后面的切割的路径。在其他实施例中，如果切割相当大，则控制器102将建议实行操作所必需的再装载尺寸(reloadsize)和再装载的次数(numberofreloads)。
此外，在一些实施例中，控制器可基于来自图像捕获设备108的图像确定已经使用手术计划的多个工具中的哪个工具。然后控制器102将检查手术计划以确定临床医生下一步将使用哪个工具。然后控制器102在手术环境的图像中定位该工具并在相应的增强的图像中使该工具加亮。因而，当临床医生需要工具时允许擦洗技术人员能够准备好下一个工具。
控制器102还可在增强的图像中使处于不断变化的区域加亮。图像捕获设备108捕获第一图像和第二图像，其发送给控制器102。然后，控制器102确定第二图像中的区域是否已从第一图像中的相应区域改变。如果区域已改变，则控制器102在增强的图像中使相应的区域加亮同时在增强的图像中使其他的区域变暗。因此，临床医生可专注在加亮的区域上。
应理解的是，前面的描述仅是对本公开的说明。可以由本领域的技术人员在不偏离本公开的情况下设想出各种替换例和改进例。例如，本文所述的任何一个增强的图像均可以组合成单个增强的图像以显示给临床医生。因此，本公开旨在包含所有这样的替换例、改进例和变化例。仅提供参考附图描述的实施例以证实本公开特定的示例。与上述和/或在所附权利要求书中的元件、步骤、方法和技术没有实质不同的其他元件、步骤、方法和技术也旨在处于本公开的范围之内。

Claims (22)

1.一种增强的手术实践环境***，包括：
图像捕获设备，其配置为捕获手术环境的图像；
至少一个生物特征传感器，其配置为从患者处获取生物特征数据；
控制器，包括：
存储器，其配置为存储多个解剖图像；
处理器，其配置为：(i)接收所捕获的手术环境的图像、所述生物特征数据或来自所述多个解剖图像中的一个或多个解剖图像中的至少一个；并且(ii)从所捕获的手术环境的图像、所述生物特征数据或所述一个或多个解剖图像中的至少一个中生成增强的图像；以及
显示设备，其配置为显示所述增强的图像。
2.根据权利要求1所述的增强的手术实践环境***，其中，所述显示设备是投影仪。
3.根据权利要求1所述的增强的手术实践环境***，其中，所述显示设备包括：
框架；
至少一个透镜；以及
投影仪，其配置为将所述增强的图像投映到透镜上。
4.根据权利要求1所述的增强的手术实践环境***，其中，所述控制器确定手术工具的相对于患者的位置或方位。
5.根据权利要求4所述的增强的手术实践环境***，其中，所述增强的图像包括所述手术工具的布置在患者体内的部分的虚拟图像。
6.根据权利要求4所述的增强的手术实践环境***，其中，所述手术工具的所述位置或方位基于由所述图像捕获设备捕获的所述手术工具的图像来确定。
7.根据权利要求4所述的增强的手术实践环境***，其中，所述手术工具的所述位置或方位由所述手术工具提供的数据来确定。
8.根据权利要求7所述的增强的手术实践环境***，其中，由所述手术工具提供的所述数据包括加速度计数据或陀螺仪数据。
9.根据权利要求1所述的增强的手术实践环境***，其中，所述处理器基于所述手术环境的图像来确定物体的相对于患者的位置。
10.根据权利要求9所述的增强的手术实践环境***，其中，所述增强的图像包括所述物体的放大表示，并且所述显示设备在所述患者身上于由所述处理器确定的位置处显示所述物体的放大表示。
11.根据权利要求1所述的增强的手术实践环境***，其中，所述控制器配置为接收来自物体的位置信号。
12.根据权利要求11所述的增强的手术实践环境***，其中，所述处理器基于所接收到的位置信号来确定所述物体的位置。
13.根据权利要求12所述的增强的手术实践环境***，其中，所述增强的图像包括所述物体的放大表示，并且所述显示设备在患者身上于由所述处理器确定的所述位置处显示所述物体的放大表示。
14.根据权利要求1所述的增强的手术实践环境***，其中，从x-射线、计算的断层扫描或磁共振成像数据中获取所述多个解剖图像。
15.根据权利要求14所述的增强的手术实践环境***，其中，所述解剖图像由所述处理器处理以加强所述解剖图像的一部分。
16.根据权利要求15所述的增强的手术实践环境***，其中，所述解剖图像的加强部分通过所述显示设备在患者身上显示。
17.根据权利要求16所述的增强的手术实践环境***，其中，所述解剖图像的加强部分包括热图。
18.根据权利要求1所述的增强的手术实践环境***，其中，所述增强的图像包括手术计划，其包括切割路径、切口位置、植入物位置或备注中的一个或多个。
19.根据权利要求1所述的增强的手术实践环境***，包括手术设备，其中所述增强的图像包括所述手术设备的状态。
20.根据权利要求1所述的增强的手术实践环境***，其中，所捕获的所述手术环境的图像包括第一次切割的方向和大小并且所述处理器基于：(i)所述第一次切割的所述方向和大小；以及(ii)存储在所述存储器中的所述多个解剖图像，来确定第二次切割的期望切割路径和距离。
21.根据权利要求20所述的增强的手术实践环境***，其中，所述增强的图像包括表示所述第二次切割的方向和大小的图像。
22.根据权利要求1所述的增强的手术实践环境***，其中，所述图像捕获设备捕获手术环境的第一图像和手术环境的第二图像，
其中，所述控制器基于所述第一图像和所述第二图像之间的差别来确定对象是否已移动，以及
其中，所述控制器在所述增强的图像中使所述对象加亮以显示于所述显示器上。
CN201510338081.0A 2014-06-18 2015-06-17 增强的手术实践环境*** Active CN105193503B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462013604P 2014-06-18 2014-06-18
US62/013,604 2014-06-18
US14/709,800 2015-05-12
US14/709,800 US20150366628A1 (en) 2014-06-18 2015-05-12 Augmented surgical reality environment system

Publications (2)

Publication Number Publication Date
CN105193503A true CN105193503A (zh) 2015-12-30
CN105193503B CN105193503B (zh) 2019-11-08

Family

ID=54868598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510338081.0A Active CN105193503B (zh) 2014-06-18 2015-06-17 增强的手术实践环境***

Country Status (4)

Country Link
US (1) US20150366628A1 (zh)
EP (1) EP3138526B1 (zh)
CN (1) CN105193503B (zh)
AU (1) AU2015202805B2 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106344151A (zh) * 2016-08-31 2017-01-25 北京市计算中心 一种手术定位方法及***
CN108024833A (zh) * 2016-06-30 2018-05-11 直观外科手术操作公司 用于在图像引导过程期间显示引导信息的图形用户界面
CN108701429A (zh) * 2016-03-04 2018-10-23 柯惠Lp公司 提供与手术机器人进行物理交互训练的虚拟和/或增强现实
CN111329554A (zh) * 2016-03-12 2020-06-26 P·K·朗 用于手术的装置与方法
CN111655184A (zh) * 2018-01-10 2020-09-11 柯惠Lp公司 用于放置手术端口的引导
TWI727725B (zh) * 2020-03-27 2021-05-11 台灣骨王生技股份有限公司 手術導航系統及其成像方法
WO2022206408A1 (zh) * 2021-04-01 2022-10-06 上海复拓知达医疗科技有限公司 增强现实信息显示装置、方法、可读存储介质及设备
US11612384B2 (en) 2016-06-30 2023-03-28 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
US11937880B2 (en) 2017-04-18 2024-03-26 Intuitive Surgical Operations, Inc. Graphical user interface for monitoring an image-guided procedure

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
WO2017039348A1 (en) * 2015-09-01 2017-03-09 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
US11386556B2 (en) 2015-12-18 2022-07-12 Orthogrid Systems Holdings, Llc Deformed grid based intra-operative system and method of use
WO2017151904A1 (en) * 2016-03-04 2017-09-08 Covidien Lp Methods and systems for anatomical image registration
CA3016346A1 (en) 2016-03-21 2017-09-28 Washington University Virtual reality or augmented reality visualization of 3d medical images
US10806516B2 (en) * 2016-06-20 2020-10-20 General Electric Company Virtual 4D stent implantation path assessment
US20180082480A1 (en) * 2016-09-16 2018-03-22 John R. White Augmented reality surgical technique guidance
CA3049662A1 (en) 2017-01-16 2018-07-19 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
AU2018236172B2 (en) 2017-03-13 2021-03-04 Zimmer, Inc. Augmented reality diagnosis guidance
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
US11348257B2 (en) 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
EP3533408B1 (en) * 2018-02-28 2023-06-14 Siemens Healthcare GmbH Method, system, computer program product and computer-readable medium for temporarily marking a region of interest on a patient
EP3813713A4 (en) * 2018-05-10 2022-01-26 Live Vue Technologies Inc. SYSTEM AND PROCEDURE TO ASSIST A USER DURING A SURGICAL PROCEDURE
WO2019245862A1 (en) * 2018-06-19 2019-12-26 Tornier, Inc. Visualization of intraoperatively modified surgical plans
US11471151B2 (en) 2018-07-16 2022-10-18 Cilag Gmbh International Safety logic for surgical suturing systems
US11540794B2 (en) 2018-09-12 2023-01-03 Orthogrid Systesm Holdings, LLC Artificial intelligence intra-operative surgical guidance system and method of use
US11589928B2 (en) 2018-09-12 2023-02-28 Orthogrid Systems Holdings, Llc Artificial intelligence intra-operative surgical guidance system and method of use
GB2612246B (en) * 2018-10-03 2023-08-30 Cmr Surgical Ltd Automatic endoscope video augmentation
US12008721B2 (en) 2018-10-26 2024-06-11 Intuitive Surgical Operations, Inc. Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
IT201800011117A1 (it) 2018-12-14 2020-06-14 Marco Farronato Sistema e metodo per la visualizzazione di un sito anatomico in realta' aumentata
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
EP3712900A1 (en) 2019-03-20 2020-09-23 Stryker European Holdings I, LLC Technique for processing patient-specific image data for computer-assisted surgical navigation
US11647982B2 (en) * 2019-09-18 2023-05-16 International Business Machines Corporation Instrument utilization management
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
EP4091174A1 (en) * 2020-01-15 2022-11-23 Intuitive Surgical Operations, Inc. Systems and methods for providing surgical assistance based on operational context
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US20210298863A1 (en) * 2020-03-27 2021-09-30 Trumpf Medizin Systeme GmbH & Co. KG. Augmented reality for a surgical system
US11832883B2 (en) 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US20220020219A1 (en) * 2020-07-15 2022-01-20 Orthosoft Ulc Augmented reality bone landmark display
EP3944832A1 (de) * 2020-07-30 2022-02-02 Ellicut UG (haftungsbeschränkt) System und verfahren zur erzeugung von schnittlinien
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
WO2022192585A1 (en) 2021-03-10 2022-09-15 Onpoint Medical, Inc. Augmented reality guidance for imaging systems and robotic surgery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03284254A (ja) * 1990-03-30 1991-12-13 Shimadzu Corp 手術用ヘッドアップディスプレイ
US20050195587A1 (en) * 2004-03-08 2005-09-08 Moctezuma De La Barrera Jose L. Enhanced illumination device and method
US20120059249A1 (en) * 2002-11-19 2012-03-08 Medtronic Navigation, Inc. Navigation System for Cardiac Therapies
US20130038707A1 (en) * 2011-08-09 2013-02-14 Tyco Healthcare Group Lp Apparatus and Method for Using Augmented Reality Vision System in Surgical Procedures

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9405299D0 (en) * 1994-03-17 1994-04-27 Roke Manor Research Improvements in or relating to video-based systems for computer assisted surgery and localisation
US6317616B1 (en) * 1999-09-15 2001-11-13 Neil David Glossop Method and system to facilitate image guided surgery
US7635390B1 (en) * 2000-01-14 2009-12-22 Marctec, Llc Joint replacement component having a modular articulating surface
DE10033723C1 (de) * 2000-07-12 2002-02-21 Siemens Ag Visualisierung von Positionen und Orientierung von intrakorporal geführten Instrumenten während eines chirurgischen Eingriffs
DE10333543A1 (de) * 2003-07-23 2005-02-24 Siemens Ag Verfahren zur gekoppelten Darstellung intraoperativer sowie interaktiv und iteraktiv re-registrierter präoperativer Bilder in der medizinischen Bildgebung
WO2006086223A2 (en) * 2005-02-08 2006-08-17 Blue Belt Technologies, Inc. Augmented reality device and method
US8442281B2 (en) * 2006-04-28 2013-05-14 The Invention Science Fund I, Llc Artificially displaying information relative to a body
WO2007136784A2 (en) * 2006-05-17 2007-11-29 Nuvasive, Inc. Surgical trajectory monitoring system and related methods
US20080004533A1 (en) * 2006-06-30 2008-01-03 General Electric Company Optical imaging systems and methods
US9055883B2 (en) * 2007-05-16 2015-06-16 General Electric Company Surgical navigation system with a trackable ultrasound catheter
ES2608820T3 (es) * 2008-08-15 2017-04-17 Stryker European Holdings I, Llc Sistema y método de visualización del interior de un cuerpo
WO2010102197A2 (en) * 2009-03-05 2010-09-10 Cynosure, Inc. Thermal surgical monitoring
US8504136B1 (en) * 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
EP2524280A1 (en) * 2010-01-14 2012-11-21 BrainLAB AG Controlling a surgical navigation system
EP2452649A1 (en) * 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality
JP2015505679A (ja) * 2011-10-09 2015-02-26 クリア・ガイド・メディカル・リミテッド・ライアビリティ・カンパニーＣｌｅａｒ Ｇｕｉｄｅ Ｍｅｄｉｃａｌ，ＬＬＣ 超音波画像を融合することによる介入現場画像ガイダンス
US20130211232A1 (en) * 2012-02-01 2013-08-15 The Johns Hopkins University Arthroscopic Surgical Planning and Execution with 3D Imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03284254A (ja) * 1990-03-30 1991-12-13 Shimadzu Corp 手術用ヘッドアップディスプレイ
US20120059249A1 (en) * 2002-11-19 2012-03-08 Medtronic Navigation, Inc. Navigation System for Cardiac Therapies
US20050195587A1 (en) * 2004-03-08 2005-09-08 Moctezuma De La Barrera Jose L. Enhanced illumination device and method
US20130038707A1 (en) * 2011-08-09 2013-02-14 Tyco Healthcare Group Lp Apparatus and Method for Using Augmented Reality Vision System in Surgical Procedures

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701429A (zh) * 2016-03-04 2018-10-23 柯惠Lp公司 提供与手术机器人进行物理交互训练的虚拟和/或增强现实
CN111329554A (zh) * 2016-03-12 2020-06-26 P·K·朗 用于手术的装置与方法
CN111329554B (zh) * 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法
CN108024833A (zh) * 2016-06-30 2018-05-11 直观外科手术操作公司 用于在图像引导过程期间显示引导信息的图形用户界面
US11612384B2 (en) 2016-06-30 2023-03-28 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
US11819284B2 (en) 2016-06-30 2023-11-21 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
CN106344151A (zh) * 2016-08-31 2017-01-25 北京市计算中心 一种手术定位方法及***
US11937880B2 (en) 2017-04-18 2024-03-26 Intuitive Surgical Operations, Inc. Graphical user interface for monitoring an image-guided procedure
CN111655184A (zh) * 2018-01-10 2020-09-11 柯惠Lp公司 用于放置手术端口的引导
CN111655184B (zh) * 2018-01-10 2024-01-02 柯惠Lp公司 用于放置手术端口的引导
TWI727725B (zh) * 2020-03-27 2021-05-11 台灣骨王生技股份有限公司 手術導航系統及其成像方法
WO2022206408A1 (zh) * 2021-04-01 2022-10-06 上海复拓知达医疗科技有限公司 增强现实信息显示装置、方法、可读存储介质及设备

Also Published As

Publication number Publication date
AU2015202805B2 (en) 2019-06-20
EP3138526A1 (en) 2017-03-08
CN105193503B (zh) 2019-11-08
US20150366628A1 (en) 2015-12-24
EP3138526B1 (en) 2018-09-19

Similar Documents

Publication Publication Date Title
CN105193503A (zh) 增强的手术实践环境***
US20220192776A1 (en) Augmented Reality Viewing and Tagging For Medical Procedures
EP2637593B1 (en) Visualization of anatomical data by augmented reality
JP6481269B2 (ja) 出力制御方法、画像処理装置、出力制御プログラムおよび情報処理装置
US20130250081A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
JP2019511931A (ja) 輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ
KR102630074B1 (ko) 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법
CN107865692B (zh) 外科手术和介入计划中用于检测胸膜受侵的***和方法
JP2018514340A (ja) ２ｄ／２．５ｄ腹腔鏡画像データまたは２ｄ／２．５ｄ内視鏡画像データを３ｄボリュメトリック画像データに位置合わせするための方法とシステム
Hussain et al. Augmented reality for inner ear procedures: visualization of the cochlear central axis in microscopic videos
KR102146672B1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
KR20190080706A (ko) 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치
JP2024041891A (ja) コンピュータプログラム、学習モデルの生成方法、及び支援装置
US20230200625A1 (en) Systems and methods of computer-assisted landmark or fiducial placement in videos
JP2019505271A (ja) 投影データセットの提供
KR101864411B1 (ko) 수술보조 영상 표시방법 및 프로그램
EP3782529A1 (en) Systems and methods for selectively varying resolutions
Zampokas et al. Real‐time stereo reconstruction of intraoperative scene and registration to preoperative 3D models for augmenting surgeons' view during RAMIS
JP5366622B2 (ja) 医用画像観察システム
DeLisi et al. Image‐guided transorbital procedures with endoscopic video augmentation
KR20140124456A (ko) Oct 영상과 심장 삼차원 영상의 정합을 통한 심장 수술 내비게이션 시스템 및 방법
CA2892298A1 (en) Augmented surgical reality environment system
KR101940706B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
Khare Global registration for image-guided bronchoscopy
CN115461782A (zh) 用于配准外科手术空间的视觉表示的***和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant