CN113853151A - 用于在手术期间定向远程相机的用户界面元件 - Google Patents

用于在手术期间定向远程相机的用户界面元件 Download PDF

Info

Publication number
CN113853151A
CN113853151A CN201980093242.0A CN201980093242A CN113853151A CN 113853151 A CN113853151 A CN 113853151A CN 201980093242 A CN201980093242 A CN 201980093242A CN 113853151 A CN113853151 A CN 113853151A
Authority
CN
China
Prior art keywords
camera
reference view
patient
computer program
program product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980093242.0A
Other languages
English (en)
Inventor
瓦西里·叶夫根耶维奇·布哈林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecotifer Surgical Co
Activ Surgical Inc
Original Assignee
Ecotifer Surgical Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecotifer Surgical Co filed Critical Ecotifer Surgical Co
Publication of CN113853151A publication Critical patent/CN113853151A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Gynecology & Obstetrics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Endoscopes (AREA)

Abstract

提供了用于在手术期间定向远程相机的用户界面元件。在各种实施方式中，从位于内窥镜工具远端的一个或多个相机接收患者体腔内部的图像。接收相机的位置信息和/或定向信息。基于位置信息和/或定向信息生成指示解剖模型上的相机的视场的参考视图。将参考视图与图像结合显示给用户。

Description

用于在手术期间定向远程相机的用户界面元件
相关申请的交叉引用
本申请要求于2018年12月28日提交的美国临时专利申请第62/786,003号的权益，其全部内容通过引用并入本文。
背景技术
本公开的各实施方式涉及机器人和内窥镜手术，并且更具体地，涉及用于在手术期间定向远程相机的用户界面元件。
发明内容
根据本公开的各实施方式，提供了用于在外科手术期间定向相机的方法和计算机程序产品。在各种实施方式中，执行一种方法，其中从一个或多个相机接收患者体腔内部的图像。接收一个或多个相机的位置信息。基于位置信息生成指示一个或多个相机在解剖模型上的视野的参考视图。将参考视图结合图像显示给用户。
在各种实施方式中，可以接收相机的定向信息，并且基于定向信息，可以生成指示相机在解剖模型上方向的方向指示符。在各种实施方式中，方向指示符可以与参考视图结合显示给用户。在各种实施方式中，方向指示符包括箭头。在各种实施方式中，相机包括被配置为传输位置信息的绝对位置传感器。在各种实施方式中，绝对位置传感器包括一个或多个编码器。在各种实施方式中，绝对位置传感器包括光学跟踪***。在各种实施方式中，相机包括被配置为传输定向信息的绝对定向传感器。在各种实施方式中，绝对定向传感器包括一个或多个编码器。在各种实施方式中，绝对定向传感器包括光学跟踪***。在各种实施方式中，解剖模型包括通用图谱。在各种实施方式中，解剖模型包括简化的图示。
在各种实施方式中，解剖模型包括患者的成像。在各种实施方式中，从图片存档和通信***(PACS)接收成像。在各种实施方式中，成像包括计算机断层扫描(CT)、磁共振成像(MRI)、X射线、超声和数字成像中的至少一种。在各种实施方式中，在医疗程序期间实时更新患者的成像。在各种实施方式中，在医疗程序期间实时更新患者的参考视图。在各种实施方式中，该方法还包括将相机的坐标空间配准到患者的坐标空间，将相机的坐标空间配准到解剖模型的坐标空间；并接收相机的深度信息。在各种实施方式中，相机的位置信息是通过视觉里程计确定的。在各种实施方式中，参考视图的显示包括将参考视图叠加在图像上。在各种实施方式中，参考视图的显示在主显示器上显示图像时在补充显示器上显示参考视图。在各种实施方式中，参考视图包括指示参考视图的子区域的帧，其中该子区域对应于视野。
在各种实施方式中，提供了一种***，其包括被配置为对患者体腔内部进行成像的数字相机、显示器、以及包括计算机可读存储介质的计算节点，该计算机可读存储介质具有体现在其中的程序指令。程序指令可由计算节点的处理器执行以使得处理器执行一种方法，其中从一个或多个相机接收患者体腔内部的图像。接收一个或多个相机的位置信息。基于位置信息生成指示一个或多个相机在解剖模型上的视野的参考视图。将参考视图结合图像显示给用户。
在各种实施方式中，可以接收相机的定向信息，并且基于定向信息，可以生成指示相机在解剖模型上方向的方向指示符。在各种实施方式中，方向指示符可以与参考视图结合显示给用户。在各种实施方式中，方向指示符包括箭头。在各种实施方式中，相机包括被配置为传输位置信息的绝对位置传感器。在各种实施方式中，绝对位置传感器包括一个或多个编码器。在各种实施方式中，绝对位置传感器包括光学跟踪***。在各种实施方式中，相机包括被配置为传输定向信息的绝对定向传感器。在各种实施方式中，绝对定向传感器包括一个或多个编码器。在各种实施方式中，绝对定向传感器包括光学跟踪***。在各种实施方式中，解剖模型包括通用图谱。在各种实施方式中，解剖模型包括简化的图示。
在各种实施方式中，解剖模型包括患者的成像。在各种实施方式中，从图片存档和通信***(PACS)接收成像。在各种实施方式中，成像包括计算机断层扫描(CT)、磁共振成像(MRI)、X射线、超声和数字成像中的至少一种。在各种实施方式中，在医疗程序期间实时更新患者的成像。在各种实施方式中，在医疗程序期间实时更新患者的参考视图。在各种实施方式中，该方法还包括将相机的坐标空间配准到患者的坐标空间，将相机的坐标空间配准到解剖模型的坐标空间；并接收相机的深度信息。在各种实施方式中，相机的位置信息是通过视觉里程计确定的。在各种实施方式中，参考视图的显示包括将参考视图叠加在图像上。在各种实施方式中，参考视图的显示在主显示器上显示图像时在补充显示器上显示参考视图。在各种实施方式中，参考视图包括指示参考视图的子区域的帧，其中该子区域对应于视野。
在各种实施方式中，提供了一种***，其包括被配置为对患者体腔内部进行成像的数字相机、显示器、以及包括计算机可读存储介质的计算节点，该计算机可读存储介质具有体现在其中的程序指令。程序指令可由计算节点的处理器执行以使得处理器执行一种方法，其中从一个或多个相机接收患者体腔内部的图像。接收一个或多个相机的位置信息。基于位置信息生成指示一个或多个相机在解剖模型上的视野的参考视图。将参考视图结合图像显示给用户。
在各种实施方式中，可以接收相机的定向信息，并且基于定向信息，可以生成指示相机在解剖模型上方向的方向指示符。在各种实施方式中，方向指示符可以与参考视图结合显示给用户。在各种实施方式中，方向指示符包括箭头。在各种实施方式中，相机包括被配置为传输位置信息的绝对位置传感器。在各种实施方式中，绝对位置传感器包括一个或多个编码器。在各种实施方式中，绝对位置传感器包括光学跟踪***。在各种实施方式中，相机包括被配置为传输定向信息的绝对定向传感器。在各种实施方式中，绝对定向传感器包括一个或多个编码器。在各种实施方式中，绝对定向传感器包括光学跟踪***。在各种实施方式中，解剖模型包括通用图谱。在各种实施方式中，解剖模型包括简化的图示。
在各种实施方式中，解剖模型包括患者的成像。在各种实施方式中，从图片存档和通信***(PACS)接收成像。在各种实施方式中，成像包括计算机断层扫描(CT)、磁共振成像(MRI)、X射线、超声和数字成像中的至少一种。在各种实施方式中，在医疗程序期间实时更新患者的成像。在各种实施方式中，在医疗程序期间实时更新患者的参考视图。在各种实施方式中，该方法还包括将相机的坐标空间配准到患者的坐标空间，将相机的坐标空间配准到解剖模型的坐标空间；并接收相机的深度信息。在各种实施方式中，相机的位置信息是通过视觉里程计确定的。在各种实施方式中，参考视图的显示包括将参考视图叠加在图像上。在各种实施方式中，参考视图的显示在主显示器上显示图像时在补充显示器上显示参考视图。在各种实施方式中，参考视图包括指示参考视图的子区域的帧，其中该子区域对应于视野。
附图说明
图1描绘了根据本公开的实施方式的用于机器人手术的***。
图2示出了根据本公开的实施方式的示例性显示。
图3示出了根据本公开的实施方式的第二示例性显示。
图4示出了根据本公开的实施方式的第三示例性显示。
图5图示了根据本公开的实施方式的定向内窥镜的方法。
图6描绘了示例性图片存档和通信***(PACS)。
图7描绘了根据本公开的实施方式的计算节点。
具体实施方式
内窥镜是一种被照亮的光学仪器，通常是用于查看身体内部的细长的管状仪器(一种管道镜)。内窥镜可用于检查内部器官以用于诊断或手术目的。专用器械以其目标解剖结构命名，例如，膀胱镜(膀胱)、肾镜(肾)、支气管镜(支气管)、关节镜(关节)、结肠镜(结肠)、腹腔镜(腹部或骨盆)。
腹腔镜手术通常在腹腔镜的帮助下使用小切口(通常为0.5-1.5cm)在腹部或骨盆中进行。这种微创技术的优点是众所周知的，与开放手术相比，包括由于较小的切口引起的疼痛减轻、出血较少和恢复时间较短。
通过单个腹腔镜可获得的图像通常是二维的，这对可能的手术范围施加了某些限制。此外，腹腔镜手术中使用的工具通常具有有限的运动范围，这使得在受限空间内工作变得困难。
机器人手术类似于腹腔镜手术，因为其也使用小切口、相机和各种手术器械。然而，外科医生不是直接握住和操纵手术器械，而是使用控制器来远程操纵具有一个或多个手术器械的机器人。控制台为外科医生提供高清图像，从而提高准确性和视野。
在机器人辅助的微创手术的情况下，外科医生不是直接移动器械，而是使用远程操纵器，或者手术工具是计算机控制的。远程操纵器是一种远程操纵器，其允许外科医生执行与给定手术相关联的正常运动。机器人手臂使用末端执行器和机械手执行这些运动，以对患者进行手术。在计算机控制***中，外科医生使用计算机来控制机械臂及其末端执行器。
机器人手术的一个优点是外科医生不必直接观察手术部位，实际上根本不需要出现在手术室中。然而，当通过控制台查看手术部位时，外科医生与该手术部位的几何形状是隔离的。特别是，由于视野有限，其可能会在方向和比例方面迷失方向。
图像控制台可以提供三维、高清晰度和放大的图像。各种电子工具可用于进一步帮助外科医生。这些包括视觉放大(例如，使用大屏幕以提高能见度)和稳定性(例如，由于机械或人手抖动引起的振动的机电阻尼)。还可以提供以专门的虚拟现实培训工具的形式模拟器，以提高医生的手术熟练程度。
然而，随着图像被进一步操纵，外科医生进一步与手术部位的几何形状隔离并且可能变得迷失方向。
为了帮助在手术期间向外科医生提供定向，本公开的各种实施方式在数字显示器中提供导航插图。导航插图提供当前视图相对于解剖模型的位置。此外，一些实施方式提供参考方向的指示，例如，向上。
参考图1，根据本公开示出了示例性机器人手术设置。机械臂101在腹部103内部署内窥镜102。通过内窥镜102收集数字图像。在一些实施方式中，数字图像由内窥镜尖端处的一个或多个数字相机捕获。在一些实施方式中，数字图像由从内窥镜尖端延伸到别处的一个或多个数字相机的一个或多个光纤元件捕获。
数字图像被提供给计算节点104，在那里它被处理并且然后被显示在显示器105上。
在各种实施方式中，内窥镜102包括一个或多个位置和定向传感器，例如，磁力计、陀螺仪和/或测距仪。在一些实施方式中，臂101的每个关节的位置被跟踪，从而允许计算节点104计算内窥镜102的位置和定向。在一些实施方式中，内窥镜102被配置为除了图像之外还提供深度数据。基于传感器输出和/或关节位置，计算节点104确定范围相对于手术对象的位置和定向。然后可以将该位置与解剖模型相关联。如下所述，可以基于深度数据、图像识别/图谱配准和/或患者到公共坐标系的配准来执行与解剖模型的相关。
这样，计算节点104可以生成用于显示的相机位置和定向的指示。
使用各种方法来确定相机的视野覆盖在解剖结构的哪个部分上。在一些实施方式中，患者被配准到提供相机坐标的相同空间。在这样的实施方式中，例如，根据每个机器人关节的布置确定的相机位置然后与公共坐标空间中的患者相关。在一些实施方式中，由相机捕获的图像被解释以识别视野中的解剖结构。这样，可以相对于参考模型确定视野。
参照图2，根据本公开提供了示例性显示器。图像201是从手术部位内的相机传输的。在各种实施方式中，相机可以设置在内窥镜工具的远端处。基于相机的位置和定向，还提供了示意图202。视图202包括例如躯干的解剖模型。帧203在模型上突出显示图像201的范围。在各种实施方式中，当相机移出并看到解剖结构的更大部分时，该帧调整大小以反映相机的视野。
参照图3，根据本公开提供了第二示例性显示器。图像301是从手术部位内的相机传输的。基于相机的位置和定向，还提供了示意图302。视图302包括例如躯干的解剖模型。帧303在模型上突出显示图像301的范围。在各种实施方式中，当相机移出并看到解剖结构的较大部分时，该帧调整大小以反映相机的视野。箭头304表示相机相对于解剖模型的方向。
在各种实施方式中，外科医生可以锁定图像301以保持相对于患者的放弃方向。这样，相机的旋转不会导致图像旋转。
应当理解，图2至图3中的布置是示例性的，并且可以在各种实施方式中使用相机视图和参考/示意图的其他布置。例如，参考视图可以显示在与包含相机视图的主显示器分开的补充显示器上。在另一示例中，参考视图显示为主相机视图的插图。在另一示例中，外科医生可以例如通过触摸界面在主相机视图内定位参考视图和调整参考视图的大小。
参照图4，根据本公开提供了第三显示器。图像401从手术部位内部(例如，在接受腹腔镜手术的患者的腹部内部)的相机传输。基于相机的位置和/或定向，还提供示意图402。视图402包括例如躯干的解剖模型。帧403在模型上突出显示图像401的范围。当相机移出并看到更大的解剖结构部分时，该帧调整大小以反映相机的视野。箭头404指示相机相对于解剖模型的方向。
在各种实施方式中，解剖模型可以包括通用图谱。在各种实施方式中，通用图谱可以是寻求近似各种组织、器官、身体结构等的形状、位置和相对位置的人体解剖结构的通用表示。在各种实施方式中，解剖模型可以是简化的一个或多个解剖对象(例如，心脏、肺、肠、膀胱等)的图形表示。在各种实施方式中，简化的图形表示可以是卡通。在各种实施方式中，简化的图形表示可以包括基本形状以表示解剖对象(例如，心脏)的各种结构。例如，心脏可以表示为具有表示四个主要血管(即，主动脉、腔静脉、肺动脉和肺静脉)的四个圆柱管的空心盒或球体。
在各种实施方式中，解剖模型可以包括来自患者的成像。在各种实施方式中，可以从PACS检索成像。在各种实施方式中，成像可以包括任何合适的2D成像(例如，数字成像、X射线、CT、MRI、超声等)。在各种实施方式中，成像可以包括基于任何合适的2D成像技术的3D重建(例如，一系列2D MRI切片)。在各种实施方式中，可以在医疗程序期间实时更新患者的成像。例如，可以实时捕获患者的成像(例如，使用荧光透视、术中CT等)并且可以基于实时成像更新解剖模型。例如，如果外科医生将组织或器官从术前成像中表示的原始位置移出(例如，以便外科医生可以进入下面的结构)，实时成像将更新解剖模型中的移位的组织或器官的位置，以提高模型准确性。
在各种实施方式中，可以使用绝对位置(即，位置)和绝对定向来确定相机的位置(例如，三维坐标)和/或定向(例如，3D旋转)。例如，相机可以安装在具有一个或多个编码器的机械臂上以确定相机的绝对位置和/或绝对定向。在另一示例中，可以用本领域已知的合适的光学跟踪***来跟踪相机。
在各种实施方式中，绝对位置可以经由RF三角测量(例如，时间延迟或相位延迟)来确定。在各种实施方式中，即使在操作***关闭并重新开启时(例如，在断电期间)，相机的位置也可以是已知的。在各种实施方式中，相机可以包括磁导航***。在各种实施方式中，相机可以包括磁传感器。在各种实施方式中，磁场发生器可以放置在手术部位之外(例如，在手术台下方)。
在各种实施方式中，可以使用相对位置(即，位移)和相对定向来确定相机的位置(例如，三维坐标)和/或定向(例如，3D旋转)。例如，相机可以配备惯性测量单元以确定相机的相对位置和/或相对定向。
在各种实施方式中，可以使用以下传感器中的一种或多种来确定相机的位置：绝对编码器、电容位移传感器、涡流传感器、霍尔效应传感器、增量编码器、电感传感器、激光多普勒、振动计(光学)、线性编码器、线性可变差动变压器(LVDT)、光学编码器、光电二极管阵列、磁编码器、压电换能器(压电)、电位器、接近传感器(光学)、旋转编码器(角度)、弦电位器，和/或超声波传感器。
在各种实施方式中，内窥镜可包括应变传感器以确定例如内窥镜的曲率。在各种实施方式中，内窥镜可包括光学应变仪，例如布拉格纤维。
在各种实施方式中，相机的坐标空间可以与患者和/或解剖模型的坐标空间配准。在各种实施方式中，相机的坐标空间与患者和/或解剖模型的坐标空间的配准可以使用校准矩阵来配准。在各种实施方式中，校准矩阵可以通过最小均方(LMS)算法来确定。在各种实施方式中，校准矩阵可以通过卡尔曼滤波器确定。
在各种实施方式中，可以通过使用解剖标志将相机的坐标空间配准到患者和/或模型的坐标空间。在各种实施方式中，如果使用绝对相机位置，则可以通过从外部将相机指向患者并识别界标(例如，诸如髋骨和/或胸骨的骨界标)来将相机配准到患者和/或模型。在各种实施方式中，可以在模型中识别相同的界标。在各种实施方式中，可以识别不同的界标以对齐模型和患者的坐标空间。例如，一个(或多个)解剖标志可用于对齐相机和患者的坐标空间，而不同的(一个或多个)解剖标志可用于对齐相机和模型的坐标空间。在各种实施方式中，可以以绝对单位报告相机的后续位置。在各种实施方式中，绝对单位可以被变换到患者坐标空间和/或模型坐标空间。
在各种实施方式中，如果使用相对相机位置，类似于绝对位置方法，可以通过将相机指向一个或多个解剖标志来将相机配准到患者和/或模型。在各种实施方式中，一个或多个解剖标志被选择为更靠近预期手术部位(例如，肝脏、食道裂孔、肾脏等)。在各种实施方式中，可以从初始配准位置连续跟踪相机的相对位置。在各种实施方式中，相机的相对位置可以被转换为患者和/或模型坐标空间。
在各种实施方式中，可以使用视觉里程计来确定相机的位置和/或定向信息。在各种实施方式中，可以分析来自一个或多个相机的一个或多个图像帧(例如，顺序图像)以确定该一个或多个相机的位置和/或定向信息。在各种实施方式中，可以在单眼设置中执行视觉里程计。在各种实施方式中，可以在立体设置中执行视觉里程计(例如，相对于彼此具有已知位置的两个相机)。在各种实施方式中，可以根据一个或多个校准标记来校准一个或多个相机。在各种实施方式中，校准标记可以包括例如一个或多个已知测量、已知距离处的一个或多个物体和/或一个或多个已知角旋转。在各种实施方式中，可以在执行外科手术之前(例如，在***体腔之前)将相机校准到校准标记。在各种实施方式中，可以使用基于特征的方法通过提取图像特征点并在图像序列中跟踪它们来执行视觉里程计。在各种实施方式中，可以使用直接方法来执行视觉里程计，其中图像序列中的像素强度被直接用作视觉输入。在各种实施方式中，可以使用基于特征和直接方法的混合方法来执行视觉里程计。在各种实施方式中，可以使用惯性测量单元来执行视觉里程计。
在各种实施方式中，可以使用以下算法步骤来执行视觉里程计。在第一步中，可以使用单相机、立体相机或全向相机获取输入图像。在第二步中，可以执行图像校正，其中应用图像处理技术来去除镜头失真等。在第三步中，可以执行特征检测以定义兴趣算子，并跨帧匹配特征并构建光流场。在特征检测中，可以使用相关性来建立两个图像的对应关系，而不是长期的特征跟踪。可以执行特征提取和相关。可以构建光流场(例如，Lucas-Kanade方法)。在第四步中，检查流场向量是否存在潜在的跟踪错误并去除异常值。在第五步中，根据光流估计相机运动。相机运动的估计可以通过(1)用于状态估计分布维护的卡尔曼滤波器来执行；或(2)基于两个相邻图像之间的重投影误差最小化成本函数的特征的几何和3D属性(例如，这可以通过数学最小化或随机采样来完成)。在第六步中，可以执行跟踪点的周期性重新填充以保持整个图像的覆盖。在各种实施方式中，可以执行直接或基于外观的视觉里程计技术，其将传感器空间中的误差直接最小化并且随后避免特征匹配和提取。在各种实施方式中，称为“视觉里程计”的另一种视觉里程计方法可以通过使用相位相关而不是提取特征来估计图像之间的平面旋转平移来执行。
在各种实施方式中，一个或多个相机可以从场景中的一个或多个标记确定位置和/或深度。在各种实施方式中，一个或多个标记可以包括解剖标志、人工标记(例如，染料标记)、手术工具(例如，缝合线)等。
在各种实施方式中，一个或多个相机可以将一个或多个图像帧合成(例如，拼接)为全景图片。在各种实施方式中，可以基于从一个或多个图像帧生成的全景图片来调整解剖模型上的突出显示帧(例如，尺寸增加或尺寸减小)。
现在参考图5，示出了根据本公开的实施方式的用于在外科手术期间定向相机的方法。在401处，从相机接收体腔内部的图像。在402处，接收相机的位置信息。在403处，基于位置信息生成指示解剖模型上的相机的视野的参考视图。在404处，参考视图与图像结合显示给用户。
本公开的各种实施方式可适用于胃肠(GI)导管(例如内窥镜)中的用户。特别地，内窥镜可以包括雾化喷雾器、红外源、相机***和光学器件、一个或多个机械臂和/或图像处理器。
在各种实施方式中，这里描述的***可以在运行时配置。在各种实施方式中，一个或多个患者图像(例如，DICOM图像)可以在外科手术之前被预加载。在各种实施方式中，患者图像可以从PACS加载。在各种实施方式中，可以保存用户偏好。在各种实施方式中，可以在特定用户登录***时加载用户偏好。
图片存档和通信***(PACS)是一种医学成像***，其提供对来自多种模态的图像的存储和访问。在许多医疗保健环境中，电子图像和报告通过PACS以数字方式传输，因此无需手动归档、检索或传输胶片封套。PACS图像存储和传输的标准格式是DICOM(医学数字成像和通信)。非图像数据，例如扫描文档，可以使用各种标准格式(例如，封装在DICOM中的PDF(便携式文档格式))合并。
电子健康记录(EHR)或电子病历(EMR)可以指以数字格式对以电子方式存储的患者和人群健康信息的***化收集。这些记录可以在不同的医疗保健环境中共享，并且可能超出上述PACS中可用的信息。记录可以通过网络连接的、企业范围的信息***或其他信息网络和交换来共享。EHR可能包括一系列数据，包括人口统计、病史、用药和过敏、免疫状态、实验室测试结果、放射学报告、放射学图像、生命体征、年龄和体重等个人统计数据以及账单信息。
EHR***可以被设计为存储数据并跨时间捕获患者的状态。通过这种方式，消除了追踪患者以前的纸质病历的需要。此外，EHR***可以帮助确保数据准确易读。由于数据是集中的，因此可以降低数据复制的风险。由于数字信息是可搜索的，因此在提取医疗数据以检查患者可能的趋势和长期变化时，EMR可能更有效。EHR和EMR的泛采用也可能促进基于人群的病历研究。
健康级别7或HL7是指一组国际标准，用于在各种医疗保健提供者使用的软件应用之间传输临床和管理数据。这些标准侧重于应用层，即OSI模型中的第7层。医院和其他医疗保健提供者组织可能具有许多不同的计算机***，用于从计费记录到患者跟踪的所有内容。理想情况下，所有这些***在收到新信息或希望检索信息时都可以相互通信，但这种方法的采用并不普遍。这些数据标准旨在让医疗机构能够轻松共享临床信息。这种交换信息的能力可能有助于最大限度地减少医疗保健的可变性和医疗保健在地理上孤立的趋势。
在各种***中，提供了PACS、电子病历(EMR)、医院信息***(HIS)、放射信息***(RIS)或报告储存库之间的连接。以这种方式，可以摄取来自EMR的记录和报告以进行分析。例如，除了摄取和存储HL7订单和结果消息之外，还可以使用ADT消息，或者可以通过产品特定机制直接查询EMR、RIS或报告存储库。此类机制包括用于相关临床信息的快速健康互操作性资源(FHIR)。还可以通过接收各种HL7 CDA文件(例如，连续性护理文件(CCD))来获得临床数据。除了标准方法之外，还可以采用各种附加的专有或站点定制的查询方法。
参考图6，示例性PACS 600由四个主要组件组成。诸如计算机断层扫描(CT)601、磁共振成像(MRI)602或超声(US)603的各种成像模态601…609向***提供图像。在一些实施方式中，图像在被存储在档案612中之前被传输到PACS网关611。档案612提供图像和报告的存储和检索。工作站621…629提供解释和查看档案612中的图像。在一些实施方式中，安全网络用于在***的组件之间传输患者信息。在一些实施方式中，工作站621…629可以是基于网络的查看器。PACS传递对图像、解释和相关数据的及时有效访问，消除了传统基于胶片的图像检索、分发和显示的缺点。
PACS可以处理来自各种医学成像仪器的图像，例如X射线平片(PF)、超声(US)、磁共振(MR)、核医学成像、正电子发射断层扫描(PET)、计算机断层扫描(CT)、内窥镜检查(ES)、***X光检查(MG)、数字放射照相(DR)、计算机放射照相(CR)、组织病理学或眼科。然而，PACS不限于预先确定的图像列表，并且支持超出常规成像来源的临床领域，例如放射学、心脏病学、肿瘤学或胃肠病学。
不同的用户可能对整个PACS***有不同的看法。例如，放射科医师通常可以访问查看站，而技术人员通常可以访问QA工作站。
在一些实施方式中，PACS网关611包括质量保证(QA)工作站。QA工作站提供了检查点，以确保患者人口统计数据是正确的以及研究的其他重要属性。如果研究信息是正确的，则图像被传递到档案612用于存储。中央存储设备，档案612，存储图像，并且在一些实施方式中，存储报告、测量和与图像一起驻留的其他信息。
一旦图像被存储到档案612，就可以从读取工作站621…629访问它们。读取工作站是放射科医生审查患者研究并制定其诊断的地方。在一些实施方式中，报告包被绑定到读取工作站以帮助放射科医师口述最终报告。各种报告***可以与PACS集成，包括那些依赖于传统口述的***。在一些实施方式中，CD或DVD创作软件被包括在工作站621…629中以刻录患者研究以分发给患者或转诊医师。
在一些实施方式中，PACS包括用于工作站621…629的基于网络的接口。可以通过因特网或广域网(WAN)访问此类网络界面。在一些实施方式中，连接安全由VPN(虚拟专用网络)或SSL(安全套接字层)提供。客户端软件可以包括ActiveX、JavaScript或Java Applet。PACS客户端也可以是完整的应用，其利用它们在网络环境之外执行的计算机的全部资源。
PACS内的通信通常通过医学数字成像和通信(DICOM)提供。DICOM提供了处理、存储、打印和传输医学成像信息的标准。它包括文件格式定义和网络通信协议。通信协议是一种应用协议，它使用TCP/IP在***之间进行通信。DICOM文件可以在能够接收DICOM格式的图像和患者数据的两个实体之间交换。
DICOM将信息分组为数据集。例如，包含特定图像的文件通常在文件中包含患者ID，因此永远不会错误地将图像与此信息分开。DICOM数据对象由许多属性组成，包括诸如姓名和患者ID的项目，以及包含图像像素数据的特殊属性。因此，主对象本身没有标题，而是包括属性列表，包括像素数据。包含像素数据的DICOM对象可能对应于单个图像，也可能包含多个帧，从而允许存储电影循环或其他多帧数据。DICOM支持封装在单个DICOM对象中的三维或四维数据。像素数据可以使用多种标准进行压缩，包括JPEG、无损JPEG、JPEG 2000和行程编码(RLE)。LZW(zip)压缩可用于整个数据集或仅用于像素数据。
现在参考图7，示出了计算节点的示例的示意图。计算节点10仅是合适的计算节点的一个示例并且不旨在暗示对此处描述的实施方式的使用范围或功能的任何限制。无论如何，计算节点10能够实现和/或执行上文阐述的任何功能。
在计算节点10中存在计算机***/服务器12，其与许多其他通用或专用计算***环境或配置一起操作。可适用于计算机***/服务器12的众所周知的计算***、环境和/或配置的示例包括但不限于个人计算机***、服务器计算机***、瘦客户端、胖客户端、手持或膝上型设备、多处理器***、基于微处理器的***、机顶盒、可编程消费电子、网络PC、小型计算机***、大型计算机***和包括任何上述***或设备的分布式云计算环境等。
计算机***/服务器12可以在由计算机***执行的计算机***可执行指令(例如，程序模块)的一般上下文中描述。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算机***/服务器12可以在分布式云计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机***存储介质中。
如图7所示，计算节点10中的计算机***/服务器12以通用计算设备的形式示出。计算机***/服务器12的组件可以包括但不限于一个或多个处理器或处理单元16、***存储器28和将包括***存储器28的各种***组件耦合到处理器16的总线18。
总线18代表任何多种类型的总线结构中的一种或多种，包括存储器总线或存储器控制器、***总线、加速图形端口和使用任何多种总线架构的处理器或本地总线。作为示例而非限制，此类架构包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线、***组件互连(PCI)总线、快速***组件互连(PCIe)和高级微控制器总线架构(AMBA)。
计算机***/服务器12通常包括各种计算机***可读介质。这种介质可以是计算机***/服务器12可访问的任何可用介质，并且它包括易失性和非易失性介质、可移动和不可移动介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机***/服务器12还可以包括其他可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为示例，可以提供存储***34用于从不可移动、非易失性磁介质(未示出并且通常称为“硬盘驱动器”)读取和写入。尽管未示出，但是可以提供用于读取和写入可移动非易失性磁盘(例如“软盘”)的磁盘驱动器，以及用于读取或写入可移动非易失性光盘(例如，CD-ROM、DVD-ROM或其他光学介质)的光盘驱动器。在这种情况下，每个都可以通过一个或多个数据媒体接口连接到总线18。如下文将进一步描绘和描述的，存储器28可以包括至少一个程序产品，该程序产品具有一组(例如，至少一个)程序模块，该程序模块被配置为执行本公开的实施方式的功能。
具有一组(至少一个)程序模块42的程序/实用程序40以及操作***、一个或多个应用、其他程序模块和程序数据可以作为示例而非限制存储在存储器28中。操作***、一个或多个应用、其他程序模块和程序数据中的每一个或它们的一些组合，可以包括联网环境的实施方式。程序模块42通常执行如本文所述的实施方式的功能和/或方法。
计算机***/服务器12还可以与一个或多个外部设备14通信，例如键盘、定点设备、显示器24等；使用户能够与计算机***/服务器12交互的一个或多个设备；和/或使计算机***/服务器12能够与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)。这种通信可以通过输入/输出(I/O)接口22发生。然而，计算机***/服务器12可以经由网络适配器20与一个或多个网络通信，例如局域网(LAN)、通用广域网(WAN)、和/或公共网络(例如，因特网)。如所描绘的，网络适配器20经由总线18与计算机***/服务器12的其他组件通信。应当理解，虽然未示出，但是其他硬件和/或软件组件可与计算机***/服务器12结合使用。示例包括但不限于：微代码、设备驱动程序、冗余处理单元、外部磁盘驱动器阵列、RAID***、磁带驱动器和数据存档存储***等。
本公开可以实现为***、方法和/或计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本公开的方面的计算机可读程序指令的计算机可读存储介质(或介质)。
计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非详尽列表包括以下：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器唯一存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)、记忆棒、软盘、机械编码设备，例如穿孔卡或凹槽中记录有指令的凸起结构，以及前述的任何合适组合。此处使用的计算机可读存储介质不应被解释为瞬态信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，光脉冲通过光缆)或通过电线传输的电信号。
本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本公开的操作的计算机可读程序指令可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或以一种或多种编程语言的任意组合编写的任一来源代码或目标代码，包括面向对象的编程语言，例如，Smalltalk、C++等，以及传统的过程编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上以及部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用因特网服务提供商通过因特网)。在一些实施方式中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行本公开的方面。
在此参考根据本公开的实施方式的方法、装置(***)和计算机程序产品的流程图和/或框图来描述本公开的方面。应当理解，流程图和/或框图的每个块，以及流程图和/或框图中的块的组合可以由计算机可读程序指令来实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以生产机器，使得经由计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现流程图和/或框图框或框中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理装置和/或其他设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括制造物品，其包括实现流程图和/或框图框或框中指定的功能/动作的方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图框中指定的功能/动作。
图中的流程图和框图示出了根据本公开的各种实施方式的***、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图或框图中的每个框可表示模块、段或指令的一部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中标注的功能可以不按照图中标注的顺序发生。例如，根据所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者有时可以以相反的顺序执行这些框。还将注意，框图和/或流程图的每个框，以及框图和/或流程图中的框的组合，可以由执行指定功能或动作的基于专用硬件的***来实现或者执行专用硬件和计算机指令的组合。
本公开的各种实施方式的描述是出于说明的目的而呈现的，但并不旨在穷举或限于所公开的实施方式。在不脱离所描述实施方式的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说将是显而易见的。选择此处使用的术语以最好地解释实施方式的原理、实际应用或对市场中所发现技术的技术改进，或者使本领域普通技术人员能够理解此处公开的实施方式。

Claims (63)

1.一种方法，包括：
从相机接收患者体腔内部的图像；
接收所述相机的位置信息；
基于所述位置信息，生成指示所述相机在解剖模型上的视野的参考视图；
将所述参考视图结合所述图像显示给用户。
2.根据权利要求1所述的方法，还包括：
接收所述相机的定向信息；
基于所述定向信息，生成指示所述相机在解剖模型上方向的方向指示符；
将所述方向指示符结合所述参考视图显示给所述用户。
3.根据权利要求2所述的方法，其中所述方向指示符包括箭头。
4.根据权利要求1所述的方法，其中所述相机包括被配置为传输所述位置信息的绝对位置传感器。
5.根据权利要求4所述的方法，其中所述绝对位置传感器包括一个或多个编码器。
6.根据权利要求4所述的方法，其中所述绝对位置传感器包括光学跟踪***。
7.根据权利要求2所述的方法，其中所述相机包括被配置为传输所述定向信息的绝对定向传感器。
8.根据权利要求7所述的方法，其中所述绝对定向传感器包括一个或多个编码器。
9.根据权利要求7所述的方法，其中所述绝对定向传感器包括光学跟踪***。
10.根据权利要求1所述的方法，其中所述解剖模型包括通用图谱。
11.根据权利要求1所述的方法，其中所述解剖模型包括简化的图示。
12.根据权利要求1所述的方法，其中所述解剖模型包括所述患者的成像。
13.根据权利要求12所述的方法，其中所述成像是从图片存档和通信***(PACS)接收的。
14.根据权利要求12所述的方法，其中所述成像包括计算机断层扫描(CT)、磁共振成像(MRI)、X射线、超声和数字成像中的至少一种。
15.根据权利要求12所述的方法，其中在医疗程序期间实时更新所述患者的所述成像。
16.根据权利要求15所述的方法，其中在所述医疗程序期间实时更新所述患者的所述参考视图。
17.根据权利要求1所述的方法，还包括：
将所述相机的坐标空间配准到所述患者的坐标空间；
将所述相机的所述坐标空间配准到所述解剖模型的坐标空间；以及
接收所述相机的深度信息。
18.根据权利要求17所述的方法，其中通过视觉里程计确定所述相机的位置信息。
19.根据权利要求1所述的方法，其中所述参考视图的所述显示包括将所述参考视图叠加在所述图像上。
20.根据权利要求1所述的方法，其中所述参考视图的所述显示包括在主显示器上显示所述图像时在补充显示器上显示所述参考视图。
21.根据权利要求1所述的方法，其中所述参考视图包括指示所述参考视图的子区域的帧，所述子区域对应于所述视野。
22.一种***，包括：
数字相机，所述数字相机被配置为对患者的体腔内部进行成像；
显示器；
包括计算机可读存储介质的计算节点，所述计算机可读存储介质具有体现在其中的程序指令，所述程序指令可由所述计算节点的处理器执行以使得所述处理器执行一种方法，所述方法包括：
从所述相机接收所述患者的所述体腔内部的图像；
接收所述相机的位置信息；
基于所述位置信息，生成指示所述相机在解剖模型上的视野的参考视图；
将所述参考视图结合所述图像显示在所述显示器上。
23.根据权利要求22所述的***，还包括：
接收所述相机的定向信息；
基于所述定向信息，生成指示所述相机在解剖模型上方向的方向指示符；
将所述方向指示符结合所述参考视图显示给所述用户。
24.根据权利要求23所述的***，其中所述方向指示符包括箭头。
25.根据权利要求22所述的***，还包括被配置为传输所述位置信息的绝对位置传感器。
26.根据权利要求25所述的***，其中所述绝对位置传感器包括一个或多个编码器。
27.根据权利要求25所述的***，其中所述绝对位置传感器包括光学跟踪***。
28.根据权利要求23所述的***，还包括被配置为传输所述定向信息的绝对定向传感器。
29.根据权利要求28所述的***，其中所述绝对定向传感器包括一个或多个编码器。
30.根据权利要求28所述的***，其中所述绝对定向传感器包括光学跟踪***。
31.根据权利要求22所述的***，其中所述解剖模型包括通用图谱。
32.根据权利要求22所述的***，其中所述解剖模型包括简化的图示。
33.根据权利要求22所述的***，其中所述解剖模型包括所述患者的成像。
34.根据权利要求33所述的***，其中所述成像是从图片存档和通信***(PACS)接收的。
35.根据权利要求33所述的***，其中所述成像包括计算机断层扫描(CT)、磁共振成像(MRI)、X射线、超声和数字成像中的至少一种。
36.根据权利要求33所述的***，其中在医疗程序期间实时更新所述患者的所述成像。
37.根据权利要求36所述的***，其中在所述医疗程序期间实时更新所述患者的所述参考视图。
38.根据权利要求22所述的***，还包括：
将所述相机的坐标空间配准到所述患者的坐标空间；
将所述相机的所述坐标空间配准到所述解剖模型的坐标空间；以及
接收所述相机的深度信息。
39.根据权利要求38所述的***，其中通过视觉里程计确定所述相机的位置信息。
40.根据权利要求22所述的***，其中所述参考视图的所述显示包括将所述参考视图叠加在所述图像上。
41.根据权利要求22所述的***，其中所述参考视图的所述显示包括在主显示器上显示所述图像时在补充显示器上显示所述参考视图。
42.根据权利要求22所述的***，其中所述参考视图包括指示所述参考视图的子区域的帧，所述子区域对应于所述视野。
43.一种用于在外科手术期间定向相机的计算机程序产品，所述计算机程序产品包括具有体现在其中的程序指令的计算机可读存储介质，所述程序指令可由处理器执行以使得所述处理器执行一种方法，所述方法包括：
从所述相机接收所述患者的体腔内部的图像；
接收所述相机的位置信息；
基于所述位置信息，生成指示所述相机在解剖模型上的视野的参考视图；
将所述参考视图结合所述图像显示给用户。
44.根据权利要求43所述的计算机程序产品，还包括：
接收所述相机的定向信息；
基于所述定向信息，生成指示所述相机在解剖模型上方向的方向指示符；
将所述方向指示符结合所述参考视图显示给所述用户。
45.根据权利要求44所述的计算机程序产品，其中所述方向指示符包括箭头。
46.根据权利要求43所述的计算机程序产品，其中所述相机包括被配置为传输所述位置信息的绝对位置传感器。
47.根据权利要求46所述的计算机程序产品，其中所述绝对位置传感器包括一个或多个编码器。
48.根据权利要求46所述的计算机程序产品，其中所述绝对位置传感器包括光学跟踪***。
49.根据权利要求44所述的计算机程序产品，其中所述相机包括被配置为传输所述定向信息的绝对定向传感器。
50.根据权利要求49所述的计算机程序产品，其中所述绝对定向传感器包括一个或多个编码器。
51.根据权利要求49所述的计算机程序产品，其中所述绝对定向传感器包括光学跟踪***。
52.根据权利要求43所述的计算机程序产品，其中所述解剖模型包括通用图谱。
53.根据权利要求43所述的计算机程序产品，其中所述解剖模型包括简化的图示。
54.根据权利要求43所述的计算机程序产品，其中所述解剖模型包括所述患者的成像。
55.根据权利要求54所述的计算机程序产品，其中所述成像是从图片存档和通信***(PACS)接收的。
56.根据权利要求54所述的计算机程序产品，其中所述成像包括计算机断层扫描(CT)、磁共振成像(MRI)、X射线、超声和数字成像中的至少一种。
57.根据权利要求54所述的计算机程序产品，其中在医疗程序期间实时更新所述患者的所述成像。
58.根据权利要求57所述的计算机程序产品，其中在所述医疗程序期间实时更新所述患者的所述参考视图。
59.根据权利要求43所述的计算机程序产品，还包括：
将所述相机的坐标空间配准到所述患者的坐标空间；
将所述相机的所述坐标空间配准到所述解剖模型的坐标空间；以及
接收所述相机的深度信息。
60.根据权利要求59所述的计算机程序产品，其中通过视觉里程计确定所述相机的位置信息。
61.根据权利要求43所述的计算机程序产品，其中所述参考视图的所述显示包括将所述参考视图叠加在所述图像上。
62.根据权利要求43所述的计算机程序产品，其中所述参考视图的所述显示包括在主显示器上显示所述图像时在补充显示器上显示所述参考视图。
63.根据权利要求43所述的计算机程序产品，其中所述参考视图包括指示所述参考视图的子区域的帧，所述子区域对应于所述视野。
CN201980093242.0A 2018-12-28 2019-12-27 用于在手术期间定向远程相机的用户界面元件 Pending CN113853151A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862786003P 2018-12-28 2018-12-28
US62/786,003 2018-12-28
PCT/US2019/068756 WO2020140042A1 (en) 2018-12-28 2019-12-27 User interface elements for orientation of remote camera during surgery

Publications (1)

Publication Number Publication Date
CN113853151A true CN113853151A (zh) 2021-12-28

Family

ID=71127317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093242.0A Pending CN113853151A (zh) 2018-12-28 2019-12-27 用于在手术期间定向远程相机的用户界面元件

Country Status (7)

Country Link
US (1) US20220020160A1 (zh)
EP (1) EP3902458A4 (zh)
JP (1) JP2022516474A (zh)
KR (1) KR20210144663A (zh)
CN (1) CN113853151A (zh)
CA (1) CA3125166A1 (zh)
WO (1) WO2020140042A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076447B2 (ja) 2016-11-24 2022-05-27 ユニヴァーシティ オブ ワシントン ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060258938A1 (en) * 2005-05-16 2006-11-16 Intuitive Surgical Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US20080013809A1 (en) * 2006-07-14 2008-01-17 Bracco Imaging, Spa Methods and apparatuses for registration in image guided surgery
CN105596005A (zh) * 2009-03-26 2016-05-25 直观外科手术操作公司 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的***
US20170347868A1 (en) * 2016-06-07 2017-12-07 Alexander Martin Zoellner Monitoring and treatment of gastrointestinal conditions
US20180338806A1 (en) * 2017-05-24 2018-11-29 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060258938A1 (en) * 2005-05-16 2006-11-16 Intuitive Surgical Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US20080013809A1 (en) * 2006-07-14 2008-01-17 Bracco Imaging, Spa Methods and apparatuses for registration in image guided surgery
CN105596005A (zh) * 2009-03-26 2016-05-25 直观外科手术操作公司 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的***
US20170347868A1 (en) * 2016-06-07 2017-12-07 Alexander Martin Zoellner Monitoring and treatment of gastrointestinal conditions
US20180338806A1 (en) * 2017-05-24 2018-11-29 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system

Also Published As

Publication number Publication date
US20220020160A1 (en) 2022-01-20
CA3125166A1 (en) 2020-07-02
EP3902458A1 (en) 2021-11-03
JP2022516474A (ja) 2022-02-28
WO2020140042A1 (en) 2020-07-02
KR20210144663A (ko) 2021-11-30
EP3902458A4 (en) 2022-09-21

Similar Documents

Publication Publication Date Title
JP7277967B2 (ja) 超音波画像データの三次元撮像およびモデリング
EP1783691B1 (en) Method and apparatus for integrating three-dimensional and two dimensional monitors with medical diagnostic imaging workstations
JP5683065B2 (ja) 容積式位置揃えのための改良型システム及び方法
CN107106241B (zh) 用于对外科器械进行导航的***
EP4131165A1 (en) Augmented reality patient positioning using an atlas
US9918798B2 (en) Accurate three-dimensional instrument positioning
US20210290317A1 (en) Systems and methods for tracking a position of a robotically-manipulated surgical instrument
EP2452649A1 (en) Visualization of anatomical data by augmented reality
US20220012954A1 (en) Generation of synthetic three-dimensional imaging from partial depth maps
Wang et al. Current trends in three-dimensional visualization and real-time navigation as well as robot-assisted technologies in hepatobiliary surgery
US20220020160A1 (en) User interface elements for orientation of remote camera during surgery
US20050285853A1 (en) 3D display system and method
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
US20230114385A1 (en) Mri-based augmented reality assisted real-time surgery simulation and navigation
KR20240055167A (ko) 이미지-기반 프로브 포지셔닝
EP3328305B1 (en) Microscope tracking based on video analysis
US20240206973A1 (en) Systems and methods for a spinal anatomy registration framework
US11877809B2 (en) Using a current workflow step for control of medical data processing
US20230145531A1 (en) Systems and methods for registering visual representations of a surgical space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination