CN110248618B - 用于在计算机辅助手术中显示患者数据的方法及*** - Google Patents

用于在计算机辅助手术中显示患者数据的方法及*** Download PDF

Info

Publication number
CN110248618B
CN110248618B CN201780067251.3A CN201780067251A CN110248618B CN 110248618 B CN110248618 B CN 110248618B CN 201780067251 A CN201780067251 A CN 201780067251A CN 110248618 B CN110248618 B CN 110248618B
Authority
CN
China
Prior art keywords
patient
image
display device
display
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780067251.3A
Other languages
English (en)
Other versions
CN110248618A (zh
Inventor
E·格雷格森
S·科庞
T·弗朗
E·戴利
R·斯坦顿
A·哈里斯
P·西布林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobius Imaging LLC
Original Assignee
Mobius Imaging LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobius Imaging LLC filed Critical Mobius Imaging LLC
Publication of CN110248618A publication Critical patent/CN110248618A/zh
Application granted granted Critical
Publication of CN110248618B publication Critical patent/CN110248618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0431—Portable apparatus, e.g. comprising a handle or case
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及用于执行包含机器人辅助手术在内的计算机辅助图像引导手术的方法及***。一种显示图像数据的方法包含：在手持式显示装置上显示患者的图像数据；使用运动跟踪***跟踪所述手持式显示装置；及响应于所述手持式显示装置的位置及定向的变化修改所显示的所述图像数据。另外实施例包含手持式显示装置、机器人臂上的显示装置的无菌壳及用于使用固定到患者的多个参考标记装置执行图像引导手术的方法及***。

Description

用于在计算机辅助手术中显示患者数据的方法及***
相关申请案
本申请案主张2016年9月9日申请的第62/385,552号美国临时申请案的优先权权益，所述美国申请案的全部内容以引用的方式并入本文中。
背景技术
计算机辅助手术过程，其可包含图像引导手术及机器人手术，近年来获得了越来越多的关注。这些过程包含将通常使用手术前或手术中医学成像(例如，x射线计算机断层扫描(CT)或磁共振(MR)成像)获得的患者的解剖的“虚拟”三维数据集成到手术区域中的患者及/或其它对象(例如，手术仪器、机器人操纵器或末端执行器)的实际位置。这些过程可用于帮助外科医生规划手术过程且还可在手术过程的进程期间向外科医生提供相关反馈。一直需要改进计算机辅助手术***的安全性及易用性。
发明内容
各种实施例包含用于执行计算机辅助图像引导手术(包含机器人辅助手术)的方法及***。
实施例包含显示图像数据的方法，其包含：在手持式显示装置的显示屏幕上显示患者的图像数据；跟踪所述手持式显示装置相对于所述患者的位置及定向中的至少一者；及响应于所述手持式显示装置相对于所述患者的所述位置及定向中的至少一者的变化修改所述显示屏幕上所显示的所述图像数据的至少一部分。
另外实施例包含显示图像数据的方法，其包含：在显示屏幕上显示患者的图像数据；跟踪机器人臂的末端执行器相对于所述患者的位置及定向中的至少一者；及响应于所述末端执行器相对于所述患者的所述位置及定向中的至少一者的变化修改所述显示屏幕上所显示的所述图像数据的至少一部分。
另外实施例包含手持式显示装置的无菌壳，其包含：第一部分，其界定所述壳的第一表面，所述第一部分具有所述第一表面中的窗口区，所述窗口区经设定大小及塑形以对应于手持式显示装置的显示屏幕；第二部分，其界定所述壳与所述第一表面相对的第二表面，所述第一部分及所述第二部分界定用于接纳手持式显示装置的壳体，所述第一及第二部分具有经啮合以将手持式显示装置固定在所述壳体内的对应配合特征；及多个标记，其安装到所述第一部分及所述第二部分中的至少一者且以经预先确定的几何图案安置以使所述壳的所述位置及所述定向中的至少一者能够被运动跟踪***跟踪，所述第一部分及所述第二部分具有足够的刚性以防止所述多个标记的相对移动。
另外实施例包含机器人臂的显示装置，其包含波状观察表面，其围绕所述机器人臂的连杆构件的外部***的至少50％延伸，所述显示装置在所述观察表面上显示患者的图像数据。
另外实施例包含一种机器人臂，其具有安装到所述臂上的不同位置的多个显示装置，其中每一显示装置可选择性地显示不同指示物以指示所述臂的特定部分是否可在手引导模式中移动。
另外实施例包含一种机器人臂，其具有定位在所述臂的部分上的至少一个显示装置，其中所述至少一个显示装置经配置以提供所述机器人臂的所述部分可在手引导模式中移动的方向的指示。
另外实施例包含用于使用固定到患者的多个参考标记装置执行图像引导手术的方法，所述方法包含：使用成像装置获得患者图像；在与固定到所述患者上的第一位置的第一参考标记装置相关联的第一患者坐标***中配准所述患者图像的至少一第一部分；将所述患者图像的至少一第二部分配准到与固定到所述患者上的第二位置的第二参考标记装置相关联的第二患者坐标***；及在图像引导手术***中，基于与所述第一及第二位置的接近度，在配准到所述第一患者坐标***的患者图像的显示与配准到所述第二患者坐标***的患者图像的显示之间做出选择。
另外实施例包含用于使用固定到患者的多个参考标记装置执行图像引导手术的方法，所述方法包含：使用成像装置获得患者图像；使用运动跟踪***跟踪固定到所述患者上的第一位置的第一参考标记装置及固定到所述患者上的第二位置的第二参考标记装置；及在图像引导手术***中，基于所述第一参考标记装置及所述第二参考标记装置两者的跟踪数据，显示对应于所述患者上的第三位置的一或多个患者图像及由所述运动跟踪***跟踪的对象的姿势的图形描绘。
另外实施例包含用于使用固定到患者的多个参考标记装置执行图像引导手术的方法，所述方法包含：使用成像装置获得患者图像；将患者图像配准到患者坐标***；在所述患者坐标***中，使用图像引导手术***显示所述患者图像及由运动跟踪***跟踪的对象的姿势图形描绘；使用所述运动跟踪***检测固定到所述患者上的第一位置的第一参考标记装置与固定到所述患者上的第二位置的第二参考标记装置之间的相对运动；确定所述检测到的相对运动是否与解剖移动一致；及响应于确定所述检测到的相对运动与解剖移动一致基于所述解剖移动的估计更新所述患者图像及所述对象的所述姿势的所述图形描绘的显示。
另外实施例包含一种图像引导手术***，其包含固定到患者内的不同位置的多个微创参考标记。
附图说明
从结合附图进行的本发明的以下详细描述，本发明的其它特征及优点将显而易见，其中：
图1是根据实施例的用于执行机器人辅助图像引导手术的***的透视图。
图2展示用于执行机器人辅助图像引导手术的***的替代实施例，所述***在从成像***的机架延伸的臂上具有运动跟踪***的光学感测装置。
图3是说明用于执行患者图像数据的配准以进行图像引导手术的方法的过程流程图。
图4是示意性地说明根据实施例的图像引导手术的***的框图。
图5说明根据实施例的图像引导手术***中的显示装置的显示屏幕。
图6A到6C示意性地说明根据实施例的基于机器人臂的末端执行器的检测到的位置及/或定向在图像引导手术***中显示患者图像的方法。
图7A到7F示意性地说明根据实施例的基于手持式显示装置的检测到的位置及/或定向在图像引导手术***中显示患者图像的方法。
图8A到8F说明根据实施例的手持式显示装置的无菌壳。
图9说明根据实施例的机器人臂，所述机器人臂在其上具有显示装置。
图10A是具有附接到其的多个参考标记装置的患者的脊柱的横截面侧视图。
图10B说明根据实施例的微创参考标记装置。
图11A是说明使用固定到患者的多个参考标记装置执行图像引导手术的方法的过程流程图。
图11B是说明使用固定到患者的多个参考标记装置执行图像引导手术的另一实施例方法的过程流程图。
图11C是说明使用固定到患者的多个参考标记装置执行图像引导手术的另一实施例方法的过程流程图。
图12示意性地说明可用于执行各种实施例的计算装置。
具体实施方式
将参考附图详细地描述各种实施例。在可能的情况下，贯穿图式将使用相同的参考数字来指代相同或相似部件。对特定实例及实施方案进行的参考是出于说明的目的，且不希望限制本发明或权利要求书的范围。
图1说明根据各种实施例的用于执行计算机辅助图像引导手术的***100。在此实施例中，***100包含成像装置103、运动跟踪***105及用于执行机器人辅助手术过程的机器人臂101。机器人臂101可包括多接头臂，其包含由接头连接的多个连杆，所述接头具有致动器及任选编码器以使连杆能够响应于来自机器人控制***的控制信号相对于彼此旋转、弯曲及/或平移。机器人臂101在一个端处可被固定到支撑结构且在机器人臂101的另一端处具有末端执行器102。
成像装置103可用于获得患者200的诊断图像，患者200可为人类或动物患者。在实施例中，成像装置103可为x射线计算机断层扫描(CT)成像装置。患者200可处在成像装置103的中心孔107内，且x射线源及检测器可围绕孔107旋转以获得患者200的x射线图像数据(例如，原始x射线投影数据)。收集到的图像数据可使用合适的处理器(例如，计算机)处理以执行对象的三维重建。在其它实施例中，成像装置103可包括x射线荧光镜成像装置、磁共振(MR)成像装置、正电子发射断层扫描(PET)成像装置、单光子发射计算机断层扫描(SPECT)或超声成像装置中的一或多者。在实施例中，可在手术前(即，在执行手术过程前)、在手术中(即，在手术过程期间)或在手术后(即，在手术过程后)通过将患者200定位在成像装置103的孔107内获得图像数据。在图1的***100中，此可通过在患者200之上移动成像装置103以执行扫描来完成同时患者200可保持静止。
根据各种实施例的可使用的的x射线CT成像装置的实例描述于例如第8,118,488号美国专利、第2014/0139215号美国专利申请公开案、第2014/0003572号美国专利申请公开案、第2014/0265182号美国专利申请公开案及第2014/0275953号美国专利申请公开案中，全部所述案的全部内容以引用方式并入本文中。在图1中展示的实施例中，患者200可位于其上的患者支撑件60(例如，手术台)被固定到成像装置103，例如经由安装到成像装置103的基座20的柱50。包含至少一个成像组件的成像装置103的部分(例如，O形成像机架40)可沿基座20的长度在轨23上平移以执行对患者200的成像扫描，且可远离患者200平移到移开位置以对患者200执行手术过程。
可在各种实施例中使用的实例成像装置103是由默比乌斯成像技术有限责任公司(Mobius Imaging,LLC)制造且由AG大脑实验室(Brainlab,AG)分销的手术中CT***。也可利用其它成像装置。举例来说，成像装置103可为未附接到患者支撑件60的移动CT装置，且可转动或以其它方式在患者200及支撑件60之上移动以执行扫描。移动CT装置的实例包含来自三星电子有限公司(Samsung Electronics Co.,Ltd.)的/>CT扫描仪及来自美敦力公司(Medtronic,plc)的/>手术成像***。成像装置103也可为C-arm x射线荧光镜检查装置。在其它实施例中，成像装置103可为固定孔成像装置，且患者200可移动到所述装置的孔中，在图1中所展示的手术支撑件60上或在经配置以滑入及滑出孔的单独患者台上。此外，尽管图1中展示的成像装置103在手术室内经定位靠近患者200，但成像装置103可经定位远离手术室，例如在另一房间或建筑物中(例如，在医院放射科室中)。
图1中展示的运动跟踪***105包含多个标记装置119、202、115及光学传感器装置111。存在用于随着对象在三维空间内移动跟踪对象的位置(包含位置及/或定向)的各种***及技术。此类***可包含固定到待跟踪的对象的多个有源或无源标记及检测由标记发射或从标记反射的辐射的感测装置。空间的3D模型可基于由感测装置检测到的信号在软件中构建。
图1的实施例中的运动跟踪***105包含多个标记装置119、202及315及包含两个或两个以上相机(例如，IR相机)的立体光学传感器装置111。光学传感器装置111可包含一或多个辐射源(例如，二极管环)，其将辐射(例如，IR辐射)导引到手术视野中，其中辐射可由标记装置119、202及315反射且可由相机接收。标记装置119、202、315可各自包含三个或三个以上(例如，四个)反射球体，运动跟踪***105可使用所述反射球体为标记装置119、202及315中的每一者构建坐标***。计算机113可耦合到传感器装置111且可使用例如三角测量技术确定标记装置119、202、115中的每一者与相机之间的变换。共同坐标***中的手术空间的3D模型可使用由计算机113实施的运动跟踪软件生成且连续更新。在实施例中，计算机113还可从成像装置103接收图像数据且可使用所属领域中所已知的图像配准技术将所述图像数据配准到与运动跟踪***105共同的坐标***。在实施例中，参考标记装置115(例如，参考弧)可刚性地附接到所关注解剖部位中的地标(例如，夹紧或以其它方式附接到患者解剖的骨部)以使所关注解剖部位能够被运动跟踪***105连续跟踪。额外标记装置119可附接到手术工具104以使能够在共同坐标***内跟踪工具104。另一标记装置202可刚性地附接到机器人臂101，例如在机器人臂101的末端执行器102上，以使能够使用运动跟踪***105跟踪机器人臂101及末端执行器102的位置。计算机113还可包含软件，所述软件经配置以在机器人臂101的接头坐标与运动跟踪***105的共同坐标***之间执行变换，这可使能够相对于患者200控制机器人臂101的末端执行器102的位置及定向。
除上文描述的无源标记装置之外，运动跟踪***105可替代地利用可包含可发射由光学传感器装置111检测到的辐射的辐射发射器(例如，LED)的有源标记装置。附接到特定对象的每一有源标记装置或有源标记装置集可以经预先确定的频闪模式(例如，具有经调制脉冲宽度、脉冲速率、时隙及/或振幅)及/或波长发射辐射，这可使不同对象能够被运动跟踪***105唯一地识别及跟踪。可相对于患者固定一或多个有源标记装置，例如经由粘合膜或罩固定到患者的皮肤。额外有源标记装置可固定到手术工具104及/或机器人臂101的末端执行器102以允许相对于患者跟踪这些对象。
在另外实施例中，标记装置可为无源标记装置，其可包含莫尔(moiré)图案，其可使能够使用莫尔相位跟踪(MPT)技术使用单个相机跟踪无源标记装置在三维空间中的位置及定向。每一莫尔图案标记还可包含唯一识别符或代码，其可使能够唯一地识别及跟踪相机视野内的不同对象。基于MPT的跟踪***的实例可从威斯康星州的密尔沃基的Metria创新公司(Metria Innovation Inc.of Milwaukee,Wisconsin)购得。还可利用其它跟踪技术，例如计算机视觉***及/或磁基跟踪***。
图2说明替代实施例，其中光学传感器装置111包含安装到在患者200手术区域上方延伸的臂209的多个相机207。臂209可安装到成像装置103且可以可伸缩方式伸展/缩回以调整传感器装置111的位置。臂209还可使传感器装置111能够相对于臂209及/或成像装置103枢转(例如，经由一或多个球形接头213)。臂209可使用户能够调整传感器装置111的位置以使相机207清楚地看到手术视野同时避开障碍物。臂209可使能够调整传感器装置111的位置及/或定向且接着在成像扫描或手术过程期间将传感器装置111的位置及/或定向锁定到适当位置。光学传感器装置111在臂209上的定位还可使相机207能够更容易地观察及跟踪标记211，标记211可定位在成像装置103上，例如定位在机架40的外表面上，可在患者图像的自动配准期间使用标记211，如下文进一步描述。
***100还可包含显示装置121，如图1中示意性地说明。显示装置121可显示由成像装置103获得的患者的解剖的图像数据。显示装置121可便于规划手术过程，例如通过使外科医生能够界定患者身体中的一或多个目标位置及/或到患者身体中的路径或轨迹以***手术工具以达到目标位置同时最小化对患者的其它组织或器官的损害。由运动跟踪***105跟踪的一或多个对象的位置及/或定向可在显示装置121上展示，且可以叠加图像数据的方式展示。在图1的实施例中，显示装置121定位在移动推车120上。用于控制显示装置121的操作的计算机113还可容置在推车120内。在实施例中，计算机113可耦合到光学传感器装置111且还可为运动跟踪***105执行全部或部分处理(例如，跟踪计算)。替代地，一或多个单独计算机可执行运动跟踪处理，且可经由有线或无线通信链路将跟踪数据发送到推车120上的计算机113。举例来说，运动跟踪***105的一或多个单独计算机可定位在成像***103上。
如图1到2中展示，机器人臂101可固定到成像装置103，例如在支撑元件215(例如，弯曲轨)上，支撑元件215可在成像装置103的O形机架40的外表面之上同中心地延伸。在实施例中，光学感测装置111安装到其的臂209(参见图2)可安装到相同或类似支撑元件215(例如，弯曲轨)作为机器人臂101。在其它实施例中，机器人臂101可固定到成像装置103的任何其它部分，例如直接安装到机架40。替代地，机器人臂101可安装到患者支撑件60或柱50、手术室中的墙壁、天花板或地板的任何者或单独推车。虽然在图1及2中展示单个机器人臂101，但应理解，可利用两个或两个以上机器人臂101。另外，计算机辅助手术方法或***的各种实施例可包含不使用机器人臂101的图像引导或导航支持的手术。
图3是说明配准患者图像的方法300的过程流程图。计算机辅助手术技术通常利用在进行手术治疗时使表示将对其进行手术的患者的解剖的部分的数据集与患者的位置相关的过程。患者的位置可基于第二图像数据集确定，所述第二图像数据集可包含来自上文所描述的运动跟踪***105的实时相机图像。这些数据集之间的相关性在计算上可使用软件完成，且可称为“患者配准”。图3的配准方法300可使用一或多个计算装置实施，例如图1中展示的计算机113。
在方法300的框301中，可使用成像装置获得患者的解剖的第一图像数据集，所述成像装置例如图1及2中展示的成像装置103。第一图像数据集可为三维数据集(例如，3D CT断层扫描重建、3D MRI数据集等)，其表示患者的解剖的至少一部分，包含将对其进行手术的内部解剖及/或结构(即，患者的解剖的手术相关部分)。第一图像数据集可以电子方式存储在存储器中。第一图像数据集可呈任何合适的形式，例如呈符合医学数字成像及通信(DICOM)标准的文件格式。
在方法300的框303中，可使用运动跟踪***获得患者及周围患者空间的第二图像数据集，所述运动跟踪***例如图1及2中展示的运动跟踪***105。第二图像数据集可指示患者的当前位置及/或定向。第二图像数据集可包含标记装置的至少一个图像，其可使用光学感测装置111(例如，相机207)获得。由光学感测装置111检测到的标记装置(例如，参考弧115)可与患者的解剖的手术相关部分成已知固定关系。运动跟踪***105可确定标记装置115与光学感测装置111之间的变换(例如，使用众所周知的三角测量技术)，且可借此确定感测装置111(例如，相机207位置)与患者的解剖的手术相关部分之间的变换。运动跟踪***105可类似地确定其它标记装置(例如，图1中的标记装置119及202)中的每一者与光学感测装置111之间的变换。接着，可将被跟踪的标记115、119及202中的每一者放置在共同坐标***内。在实施例中，共同坐标***可具有相对于患者的解剖的手术相关部分固定的原始或零点，且也可称为患者坐标***。
在方法300的框305中，可将第一图像数据集经配准到与第二图像数据集共同的坐标***(例如，患者坐标***)。此可包含执行刚性变换以将第一图像数据集的每一像素或体素映射成共同坐标***的对应3D坐标(即，x,y,z坐标)。可利用用于配准多个图像数据集的数种技术。在x射线CT成像数据的配准过程的一个非限制性实例中，预扫描校准过程可用于精确地(例如，在1mm内)计算x射线机架40的等中心与光学感测装置111之间的变化。一组标记211(例如，3个或3个以上，例如4到6个标记)可被提供在机架40的表面上，如图2中展示。标记211可在光学感测装置111的视野内以使机架40的位置能够被运动跟踪***105跟踪。具有固定到其的标记装置(例如，类似于图1及2中的标记装置115)的校准体模(为了清楚起见未展示)可被放置在患者支撑件60上，使得标记装置也在光学感测装置111的视野内。运动跟踪***105可确定由标记211界定的机架40的坐标***与光学感测装置111的坐标***之间的变换，以及由体模上的标记装置界定的体模坐标***与光学感测装置111的坐标***之间的变换。这些变换可用于确定机架到体模变换。接着，可使用成像装置103扫描体模。可从成像数据容易地识别的一组元素(例如，x射线可见珠)可定位在体模中，其中体模坐标***内的这些元素的几何形状可为先前已知的。算法可用于分析x射线图像数据以识别关于对应于机架40的等中心的图像数据的中心点的x射线可见元素。因此，x射线可见元素可定位在在x射线机架40的等中心处具有原点的坐标***中，且可计算所述等中心及体模与机架40上的等中心及标记211之间的转变。
在患者200的后续扫描期间，可确定患者200相对于成像装置103的等中心的位置及定向(即，通过跟踪标记211在机架40上的位置(其相对于等中心是已知的)及患者参考弧115(其相对于患者解剖的手术相关部分是已知的))。此可使在扫描期间获得的图像数据能够被配准到患者坐标***中。
在替代实施例中，可以足够的准确度知晓光学感测装置111相对于成像***103的位置，使得使用成像***103获得的患者的解剖的图像数据集可被配准于患者的共同坐标***中而运动跟踪***105无需跟踪成像***103的位置或定向。在实施例中，可能不需要或不使用如图2中所展示的成像***103的机架40上的单独标记211。在一些实施例中，光学感测装置111相对于成像***103的机架40的等中心的位置(例如，图1及2中所展示的相机207中的每一者的位置)可为已知的，例如经由可在工厂处或在***的安装或预校准期间执行的校准过程。机架40及/或光学感测装置111可包含键控特征(例如，高精度螺栓图案)，其中光学感测装置111附接到机架40以确保感测装置111在机架40上的位置保持准确地固定。在其中相机207可相对于机架40移动的实施例中，高精度编码器可精确地记录及校正相机位置/定向相对于机架40的等中心的任何变化。在成像扫描期间，光学感测装置111可跟踪患者200相对于相机位置的位置及定向，其与成像装置103的等中心成已知固定几何关系。在扫描期间获得的图像数据可因此被配准到患者的共同坐标***中而无需首先对体模执行校准扫描，如上文所描述。
在方法300的框307中，可在共同坐标***中显示来自第一图像数据集的患者的解剖的图像与从第二图像数据集导出的一或多个特征的叠加。图像可显示在合适的显示装置上，例如图1中展示的显示装置121。患者的解剖的图像可包含三维图像数据集的2D切片(例如，断层扫描重建)及/或全部或部分所述图像数据集的3D体积再现。在实施例中，使用多个成像装置或成像模态获得的图像可融合且显示在共同坐标***中。举例来说，患者的内部解剖的第一图像数据集可为x射线CT扫描。患者的内部解剖的另一图像数据集，例如MRI扫描，可与x射线CT数据组合且在显示装置121上显示。MRI扫描数据可使用如上文所描述的类似配准过程被配准到共同坐标***中。替代地或另外，用于匹配可从两个图像数据集识别的地标或基准点的算法可用于合并所述数据集以显示。
从第二图像数据集导出的可叠加患者的解剖的图像显示的一或多个特征可包含工具104、末端执行器102或由运动跟踪***105跟踪的另一对象的图形描绘。所述图形描绘可为基于工具104、末端执行器102或其它对象的已知几何形状。所述图形描绘可为对象的实际大小及形状的再现或可为对象的选择特征的描绘，例如对象的尖端的位置及/或对象的定向。所述图形描绘还可指示由对象界定的轨迹(例如，从对象的尖端延伸到患者的射线)及/或可基于被跟踪的一或多个对象的位置及/或定向界定的患者的解剖内的目标点。在各种实施例中，工具104可为指针。工具104还可为手术仪器，例如针、套管、用于夹持或切割的工具、电极、植入物、钻头、螺钉、螺丝刀、辐射源、药物及内窥镜。在实施例中，机器人臂101的末端执行器102可包含可经配置以固持一或多个工具的中空管或套管，例如手术仪器，且可在其***到患者身体中时用于引导仪器。替代地，末端执行器102本身可为或可包含可***到患者身体中的仪器。
运动跟踪***105可从光学感测装置111重复地获取新图像，且光学感测装置111的视野内的对象的相对位置及/或定向可在每次从光学感测装置111获取新图像时更新。显示装置121可经更新以反映共同坐标***内对象的位置及/或定向的任何变化(例如，相对于患者参考弧115)，其可包含添加额外图形元素以描绘在光学感测装置111的视野内移动的新对象及当对象不再处于光学感测装置111的视野内时移除对象的图形描绘。在一些实施例中，光学感测装置111可包含机动化***以使相机207的位置及/或定向能够移动以将手术区域维持在相机207的视野的中心内。
图4是根据实施例的图像引导手术***400的组件框图。***400可使用一或多个计算装置实施，例如图1中展示的计算机113。***400可操作地耦合到第一显示装置121，其可包含固定到推车120或手术室内的其它结构(例如，墙壁、天花板、地板、成像装置等)的监视器。***400还可可操作地耦合到至少一个额外显示装置401，其可为手持式计算装置，如下文更详细描述。***400还可包含音频输入/输出组件403，其可包含用于输出可听信号(例如，音频指令、警告等)的扬声器或其它输出组件及/或用于接收可由***400解译的音频输入(例如，语音命令)的麦克风或其它输入组件。***400可至少部分经实施于软件中且可为基于图像引导手术工具包(IGSTK)、可视化工具包(VTK)及洞察分段及注册工具包(ITK)开发框架中的一或多者。
***400可经配置以接收及存储由成像装置103收集到的成像数据407(例如，DICOM数据)。成像数据407可从成像装置103直接接收或可从另一源(例如远程服务器)检索。成像数据407可为在手术过程之前获得的成像数据(例如，手术前图像数据)及/或在手术过程期间获得的成像数据(例如，手术中图像数据)。在实施例中，***400可经配置以显示由成像装置103收集到的最当前图像数据407。图像数据407可根据配准方法(例如上文参考图3描述的方法300)被配准到与来自运动跟踪***105的跟踪数据409共同的坐标***。
***400还可从运动跟踪***105接收跟踪数据409。***400可经配置以从运动跟踪***105重复地读取跟踪数据，其指示患者及由运动跟踪***105跟踪的任何其它对象的当前位置/定向。***400可以大于100Hz(例如，240Hz)的频率(例如，刷新率)读取跟踪数据。在实施例中，来自运动跟踪***105的跟踪数据可包含使***400能够从跟踪数据内识别特定对象的数据。举例来说，每一标记装置(例如，图1中的标记装置115、202及119)可包含唯一特性(例如，反射标记的唯一几何图案、有源标记的唯一闪光图案等)以使能够识别标记装置。标记装置的这些唯一特性可由***400向特定对象或工具配准(例如，与数据库中的特定对象或工具相关联)。标记装置的唯一特性可被预配准于***400中及/或可在手术过程的进程期间配准到特定对象或工具。***400还可包含可与(例如，数据库中的)特定对象或工具相关联的图形元素库。***400可在共同坐标***中与显示器121、401上的图像数据一起显示与被运动跟踪***105跟踪的对象或工具相关联的图形元素。
***400可包含用户接口组件，其可控制***信息及/或图形用户接口元素在显示器121及401上的显示。***400可进一步处理及实施从用户接口装置接收到的用户命令。用户接口装置可包含例如可与显示装置121、401集成的触摸屏用户接口。在实施例中，用户接口装置可替代地或另外包含按钮、键盘、操纵杆、鼠标、触摸垫等中的一或多者，其可定位在显示装置121、401及/或工作站(例如，定位在推车120上的工作站)上。在实施例中，用户接口装置还可包含可接收可由***(例如，使用语音辨识软件)解译的语音命令的麦克风(例如，音频输入/输出组件403)。经由一或多个用户输入装置接收到的用户命令可使用户能够控制***400的各种功能，例如改变在显示器121、401上展示的内容(例如，显示不同图像数据集、显示图像数据集内的不同切片及/或不同3D再现、放大或缩小图像、显示不同菜单选项、返回到主屏幕等)。在实施例中，用户命令可使用户能够在患者的解剖内设置一或多条轨迹及/或目标位置。***400可将用户定义的轨迹或目标位置的位置及/或定向存储在共同坐标***内，且可在显示器121、401上显示此类轨迹或目标位置的图形表示。
由***400接收到的用户命令还可包含用于控制其它组件(例如成像装置103、运动跟踪***105及/或机器人臂101)的操作的命令。举例来说，对于机器人辅助手术过程，用户命令可包含将机器人臂101移动到特定位置及/或定向的指令。移动机器人臂101的指令可为基于用户与在显示装置121、401上显示的患者的解剖的图像数据的交互。举例来说，用户可使用显示装置121、401定义相对于患者的解剖的特定轨迹，且可发送使机器人臂101移动的指令使得机器人臂101的末端执行器102沿定义的轨迹定位。
机器人控制***405可控制一或多个机器人臂101的移动。机器人控制***405可接收指示机器人臂101的当前参数的传感器数据(例如，机器人位置、接头角度、测量的轴力、电机电流)且可发送电机控制信号以驱动臂101的移动。在实施例中，运动跟踪***105可跟踪机器人臂101的位置(例如，经由图1中所展示的末端执行器102上的标记装置202)以确定末端执行器102在患者的共同坐标***内的位置。可使用图像引导手术***400、运动跟踪***105及/或机器人控制***405执行的控制环路可连续读取跟踪数据及机器人参数数据且可将指令发送到机器人控制***405以致使机器人臂101移动到所要位置及定向。
在各种实施例中，显示装置121可为主显示装置(例如，监视器)，其可通过有线或无线链路连接到图像引导手术***400。在一个实施例中，***400可经由合适的视频数据接口(例如，HDMI接口)将视频数据流式传输到显示装置121，且还可经由单独数据连接(例如，USB连接)与显示装置交换其它信号。
在各种实施例中，显示装置401可为手持式计算装置。如本文使用，“手持式计算装置”及“手持式显示装置”可互换地使用以指代平板计算机、智能电话、悬吊式控制器(pendant controller)、蜂窝电话、个人数字助理(PDA)、上网本、电子阅读器、膝上型计算机、掌上计算机、可穿戴式计算机及类似便携式电子装置中的任一者或全部者，其包含耦合到显示屏幕的可编程处理器及存储器且可包含使得能够在显示屏幕上显示信息(包含患者信息及/或图像)的硬件及/或软件。手持式计算装置通常还包含天线，其耦合到电路(例如，收发器)以实现经由网络的无线通信。手持式计算或显示装置可以足够紧凑且轻量的结构为特征以使用户能够使用一只手或两只手容易地抓握、操纵及操作装置。手持式显示装置401通常可比主显示装置121(例如，监视器)更小且更轻，且可在某些实施例中称之为副显示装置。在一些实施例中，显示装置401可为显示装置121的镜像，且可显示与显示装置121上展示的信息相同的全部或部分信息。替代地，显示装置401可显示与显示装置121上展示的信息不同的信息。在一些实施例中，可省略显示装置121，且手持式显示装置401可为可操作地连接到图像引导手术***400的唯一显示装置。在此情况中，显示装置401可称为主显示装置。此外，尽管在图4中展示单个手持式显示装置401(即，平板计算机)，但应理解，多个手持式显示装置401可同时连接到***400且与***400一起使用。
手持式显示装置401可通过有线或无线通信链路耦合到图像引导手术***400。在一个实施例中，手持式显示装置401可经由无线通信接口与***400通信。***400可例如经由无线局域网(WLAN)连接(包含IEEE 801.11(例如，WiFi))连接流式传输数字视频数据(例如，高清视频)以在手持式显示装置401上显示。***400还可经由无线连接与手持式显示装置401交换其它信号(例如，来自***400的控制信号及/或在显示装置401上的用户接口(例如触摸屏)处接收到的用户命令)。***400及显示装置401可经由任何合适的无线协议或标准通信，例如经由IEEE 802.15x(例如，)连接。
根据各种实施例的图像引导手术***400可提供用于显示患者信息的多种模式。举例来说，第一显示模式可包含在对应于横切患者的解剖平面(例如，轴向、矢状、冠状平面)的多个二维切片中显示3D图像数据集(例如，x射线CT、MRI、声波图、PET或SPECT图像数据集)。这在图5中展示的显示装置的屏幕截图中进行说明。显示装置可为显示装置121(例如，监视器)或图4中所展示的手持式显示装置401。在此实例中，显示屏幕500在显示屏幕500的四个象限中说明四个不同患者图像。三个象限(即，显示屏幕500的左上、右上及左下象限)描绘CT图像数据的不同二维切片501、503、505。第四象限(即，显示屏幕500的左下象限)包含3D体积再现507，其说明解剖特征(例如，骨结构或其它离散内部解剖特征)的“虚拟”视图。二维切片501、503、505分别对应于贯穿患者200沿轴向、矢状及冠状平面截取的视图。这在图6A中示意性地进行说明，图6A说明平躺在支撑表面60的患者200的部分(即，沿患者或图6A中的z轴)。轴向切片501描绘在x-y平面601中(即，横向于患者或z轴)贯穿患者的横截面。贯穿患者200的任何任意轴向切片501可在显示屏幕500上展示。在一个实施例中，显示屏幕500可显示默认轴向切片501，其可对应于穿过经重建体积的中心的切片。矢状切片503描绘在y-z平面603中(即，分离患者200的右侧及左侧)贯穿患者200的横截面，如图6A中展示。经重建体积内的任何任意矢状切片503可在显示屏幕500上展示。在一个实施例中，显示屏幕500可显示默认矢状切片503，其可对应于正中矢状切片(即，穿过患者的中线)或穿过经重建体积的中心的切片。冠状切片505描绘在x-z平面605中(即，平行于患者台60且分离患者200的前侧及背侧)贯穿患者200的横截面，如图6A中展示。经重建体积内的任何任意冠状切片505可在显示屏幕500上展示。在一个实施例中，显示屏幕500可显示默认冠状切片505，其可对应于正中冠状切片(即，横切患者200的前半部及后半部)或穿过经重建体积的中心的切片。在一些实施例中，显示的默认冠状切片505可为基于图像数据中或在y轴方向上处于特定高度(例如，处于距患者台60的特定距离及/或距患者的顶部的深度)的平面中的特定解剖特征(例如，穿过针对脊柱手术的患者的脊柱的部分)。
显示屏幕500还可显示说明每一切片501、503、505相对于显示屏幕500上展示的其它切片的关系的图形元素。举例来说，如图5中展示，轴向切片501图像数据可包含交叉图案515的叠加，其展示轴向切片501与对应于显示屏幕500上展示的矢状切片503及冠状切片505的平面的相交。可显示叠加矢状切片503及冠状切片505中的图像数据的显示的类似交叉图案515。显示屏幕500还可包含被运动跟踪***105跟踪的其它对象或工具的图形表示或再现。在图5的实例中，在显示屏幕500的右下象限中展示工具509的图形表示。工具509的图形表示可说明工具相对于3D体积再现507中描绘的解剖特征的位置及定向。可在2D切片图像501、503及505中显示类似图形元素以说明一或多个对象相对于患者的位置及/或定向。
应理解，图5中展示的四象限视图是在显示装置121、401上显示患者信息的一个可能实施方案。其它可能显示模式是可能的。举例来说，不同于说明来自患者图像数据集(例如，经重建体积)的多个不同图像(例如，切片)，显示屏幕500可仅展示的单个图像(例如，单个轴向切片501、单个矢状切片503或单个冠状切片505或单个3D体积再现507)。显示屏幕500可说明对应于不同解剖平面的仅两个切片(例如，轴向及矢状、轴向及冠状或矢状及冠状切片)，或可说明单个切片以及3D体积再现。在一些实施例中，显示屏幕500可说明对应于相同解剖平面的多个二维切片(例如，穿过经重建体积的不同截面截取的多个轴向、矢状及/或冠状切片)及/或从不同角度观察到的多个3D体积再现。显示屏幕500的不同图像及显示模式可为可基于用户选择定制的，所述用户选择可经由用户输入装置及/或用户语音命令做出。在实施例中，用户能够选择(例如，滚动)不同患者图像，例如循序地说明穿过经重建体积的不同截面截取的多个轴向、矢状及/或冠状切片，或循环地说明从不同角度观察的多个3D体积再现。用户还可具有控制图像放大率的能力，例如通过从显示屏幕500上展示的图像的特定部分放大或缩小。用户可使用用户输入装置、语音命令及/或经由单独工具(例如指针装置)来控制用于显示的患者图像的选择。
在各种实施例中，可响应于机器人臂101相对于患者200的位置及定向中的至少一者的变化修改显示装置121、401上显示的图像数据的至少一部分。这在图6B中示意性地进行说明，图6B说明定位在患者200之上的机器人臂101的末端执行器102。末端执行器102可具有标记装置202，其使末端执行器102能够被运动跟踪***105的光学感测装置111跟踪，如上文描述。另一标记装置115可固定到患者200使得可跟踪末端执行器102相对于患者坐标***的位置及/或定向。运动跟踪***105可确定末端执行器102的部分在患者坐标***内的位置，所述部分例如末端执行器的尖端607(例如，套管609或其它工具固持器的尖端)，其可与标记装置202具有已知固定几何关系。显示装置121、401的显示屏幕500可基于末端执行器102的尖端607的检测到的位置显示患者图像数据集(例如，三维断层扫描重建)的不同部分。
在图6B的实施例中，举例来说，显示屏幕500可描绘对应于末端执行器102的尖端607相对于患者200的轴向位置(例如，在z轴方向上沿患者200的长度的尖端607的位置)的图像数据集的二维轴向切片611。随着机器人臂101相对于患者200移动，显示屏幕500可经更新以展示对应于末端执行器102的尖端607相对于患者200的当前位置的轴向切片611。
类似地，显示屏幕500可描绘对应于末端执行器102的尖端607相对于患者200的矢状位置(例如，在x轴方向上沿患者200的宽度的尖端607的位置)的图像数据集的二维矢状切片613。随着机器人臂101相对于患者200移动，显示屏幕500可经更新以展示对应于末端执行器102的尖端607相对于患者200的当前位置的矢状切片613。
显示屏幕500还可基于末端执行器102的尖端607相对于患者200的位置描绘二维冠状切片615。在一个实施例中，显示屏幕500可描绘从尖端607的位置偏移(即，在y轴方向上)经预先确定距离d的图像数据集的冠状切片615。偏移距离d可为用户可调整参数。随着机器人臂101相对于患者200移动，显示屏幕500可经更新以展示对应于偏移经预先确定距离d的尖端607的位置的冠状切片。
在另外实施例中，显示屏幕500可基于末端执行器102的尖端607的检测到的位置及定向显示患者图像数据集(例如，三维断层扫描重建)的倾斜二维切片。这通过图6C示意性地进行说明。末端执行器102的尖端607可相对于患者200具有高达六个自由度-即，沿x、y及z轴的位移以及围绕这些轴的俯仰、横摆及滚动旋转。运动跟踪***105可确定末端执行器102的尖端607相对于患者坐标***的位置(即，位移)及定向(即，旋转)两者。在实施例中，显示屏幕500可参考末端执行器102的尖端607的位置及定向两者通过患者图像数据集显示二维切片。在实施例中，显示屏幕500可基于上文参考图6B所描述的末端执行器102的尖端607的位置通过图像数据集显示轴向、矢状及冠状切片，其中切片中的每一者可基于末端执行器102的尖端607的定向相对于患者200的解剖平面旋转。
这通过图6C示意性地进行说明，图6C展示定位在患者200之上且相对于患者200旋转的末端执行器102。在此实施例中，由末端执行器102的套管609界定的轨迹在一或多个旋转自由度中旋转到相对于患者200的倾斜角度。在此实例中，穿过患者200的倾斜“冠状”切片可对应于垂直于从末端执行器102的尖端607沿由套管609界定的轨迹向前投射的射线617且从尖端607偏移经预先确定距离d的平面619。如在图6B的实施例中，偏移距离d可为用户可调整参数。射线617可进一步界定(分别地)倾斜“轴向”及“矢状”切片的平面621及623的相交点，其可彼此正交且正交于倾斜“冠状”切片的平面619。换一种方式陈述，末端执行器102的尖端607可界定末端执行器坐标***，其具有沿射线617的方向朝向患者延伸的第一轴(例如，y′轴)及在垂直于所述第一轴的平面中从尖端607延伸的互相垂直的第二及第三轴(例如，z′及x′轴)，其中倾斜“轴向”、“矢状”及“冠状”切片的平面621、629及619可为基于末端执行器坐标***相对于患者坐标***的位置及旋转。分别对应于平面621、629及619的倾斜“轴向”、“矢状”及/或“冠状”切片可在显示屏幕500上展示。
随着机器人臂101相对于患者200移动，显示屏幕500可经更新以基于末端执行器102相对于患者200的当前位置及定向展示倾斜轴向、矢状及/或冠状切片。
在各种实施例中，三个图像平面(即，轴向、矢状及冠状)的相交点可与患者身体内的目标位置重合。外科医生可使用显示面板500作为“虚拟切割工具”以浏览患者图像体积的各种切片/视图及识别及选择进行手术治疗的目标部位。在实施例中，外科医生可通过相对于患者200移动机器人臂101来浏览患者图像体积的各种视图，如上文参考图6B及6C论述。显示面板500还可使外科医生能够可视化从患者皮肤表面通过患者解剖延伸到目标位置的多个轨迹或路径。在图6C的实施例中，例如，外科医生可通过在集中在患者200内的特定目标点上的虚拟球形表面之上移动机器人臂101的末端执行器102的尖端607观察多个平面中的一组轨迹。如上文论述，从末端执行器102的尖端607向前投射的射线617可界定显示屏幕500上展示的多个图像切片之间的相交点，且可进一步界定通过患者200的唯一轨迹。距末端执行器102的尖端607的经预先确定位移距离d可界定沿唯一轨迹的目标位置。
用户(例如，外科医生)可能够设置患者200内的一或多个目标位置及/或轨迹。可存在多种方法来设置目标位置或目标轨迹。举例来说，外科医生可通过如上文所论述那样移动机器人臂101或通过使用另一工具(例如，指针装置)浏览患者图像数据的不同视图。替代地，外科医生可直接操纵所显示的图像数据及与所显示的图像数据交互以识别特定目标或轨迹，例如使用工作站计算机。特定目标点或轨迹可由***400响应于输入事件设置，所述输入事件可包含例如语音命令、触摸屏接口上的触摸事件及/或用户接口装置上的输入(例如，键盘输入、鼠标点击、按钮按下等)。在实施例中，外科医生可通过与显示装置(例如显示装置121及/或401)上显示的图像数据交互来设置目标位置及/或轨迹。举例来说，外科医生可通过选择显示装置121、401的显示屏幕500上的一或多个点界定患者200中的目标点及/或轨迹(例如，使用触笔、光标或鼠标指针标记点或触摸屏用户接口上的触摸)。为了界定轨迹，例如，用户可选择图像数据中的两个或两个以上点(例如，患者皮肤上的目标点及入口点)。在实施例中，用户可能够使用任何合适的用户接口装置对所选择的目标点及/或轨迹进行精细调整。多个目标点及/或轨迹可经设置及保存于存储器中(例如，在图4中所说明的图像引导手术***400中)，其中每一目标点及/或轨迹可与唯一识别符(例如，文件名称)相关联地保存。
在实施例中，显示屏幕500可显示叠加对应于由用户设置的一或多个目标位置及/或轨迹的图像数据的图形元素。举例来说，可将定义的目标位置说明为图像数据中可识别的圆点或点，其可在显示屏幕500上进行颜色编码及/或标记以实现容易可视化。替代地或另外，可将界定的轨迹描绘为图像数据中可识别的线或线段，其可类似地被颜色编码及/或标记。如上文论述，显示屏幕500还可显示与被运动跟踪***105跟踪的特定工具或对象(包含侵入性手术工具或仪器)相关联的图形元素。在实施例中，显示屏幕500可随着手术仪器***到患者200中而描绘手术仪器的至少一部分(例如，尖端)，这可使外科医生能够随着仪器沿界定的轨迹及/或朝向患者200中的界定的目标位置前进而跟踪仪器的前进。
在机器人辅助手术***的各种实施例中，机器人臂101可在数种不同操作模式中操作。举例来说，机器人臂101可在手引导模式中操作，其中机器人臂101的移动可基于由用户施加于臂的力进行控制(例如，使用到图4中所展示的机器人控制***405的扭矩及/或力感测反馈)。机器人臂101还可在自主模式中操作，其中机器人臂101响应于来自机器人控制***405的控制信号移动到特定姿势(例如，根据机器人运动规划算法及/或响应于来自单独用户控制器装置(例如操纵杆控制器)的信号)。机器人臂101还可在静态或制动模式中操作，其中机器人臂101可保持特定姿势且不移动。在一些实施例中，机器人臂101还可在各种额外模式中操作，其可为上文描述的模式的组合。举例来说，机器人臂101可在混合模式中操作，其中机器人臂101(或其部分)可通过手引导来移动以进行臂的某些移动(例如，沿某些方向或定向)，但可为刚性的(例如，制动)及/或提供对臂的其它移动的增加的阻力。
机器人臂101的各种操作模式可帮助执行手术过程，例如微创脊柱手术过程或各种其它类型的整形外科、神经外科、心胸外科及一般手术过程。举例来说，外科医生可在手引导模式中在患者200之上移动机器人臂101以导致显示屏幕500显示患者图像体积的各种视图或切片，如上文参考图6B及6C论述。基于显示屏幕500上显示的图像数据，用户可使用语音命令或另一输入事件设置特定目标位置及/或轨迹，如上文描述。在一些实施例中，响应于用户设置目标位置或轨迹，机器人臂101可经配置以保持其当前姿势，其中端执行器102的尖端607沿经预先确定轨迹指向患者身体内的目标位置。替代地，目标位置及/或轨迹可使用另一方法界定(例如，使用指针装置或经由用户与显示装置121、401交互)，及/或目标位置/轨迹可先前被设置及存储在存储器中。响应于使机器人臂101去到目标位置或轨迹的用户命令，机器人臂101可经配置以自主地移动到一姿势，其中末端执行器的尖端607沿经预先确定轨迹指向目标位置。
在一些实施例中，当机器人臂101沿设置轨迹指向目标位置时，机器人臂101可维持刚性或固定姿势以使外科医生能够通过套管609沿设置轨迹将仪器或工具***到患者200的身体中。替代地或另外，机器人臂101可在混合或顺承模式中操作，使得机器人臂101可在所有其它运动可被制动时在有限运动范围中进行手引导(例如，沿设置轨迹朝向或远离患者200)。在一些实施例中，机器人臂101可用增加的阻力及/或减小的速度围绕初始设置轨迹进行手引导，以使外科医生对所述轨迹的位置及/或定向进行精细调整。在其它实施例中，机器人臂101可响应于施加于臂上的力实现相对于设置轨迹的一定程度的顺承或移动，但可经配置以当所施加的力被释放时“迅速返回”到初始设置轨迹。在另外实施例中，外科医生可设置患者内的目标位置而无需指定用于到达目标的特定轨迹，且机器人臂101可在有限运动范围内实现手引导，使得末端执行器102的尖端607总是沿与患者身体中的设置目标位置相交的轨迹指向。以此方式，外科医生可能够识别通过患者到达目标位置的最优路径。在又另外实施例中，机器人臂101可实现机器人臂的至少一部分在至少一有限运动范围内的手引导，同时机器人控制***405可控制机器人臂101进行补偿移动(例如，基于机器人臂101的逆运动学)以沿设置轨迹相对于患者维持末端执行器102的尖端607。举例来说，此可使外科医生能够使机器人臂101的部分为其让路，同时使末端执行器102相对于患者200维持在固定位置及/或定向。
患者200内的目标位置及/或轨迹可在共同坐标***中界定，如上文所述，其可相对于刚性地固定到附近解剖特征(例如，骨结构)的标记装置115(即，患者参考弧)固定。运动跟踪***105可检测患者200的任何移动，且机器人控制***405可控制机器人臂101补偿检测到的任何患者移动且维持末端执行器102的尖端607沿共同坐标***中的设置轨迹指向。此外，当指示机器人臂101移动到或返回到可能先前在患者200处于初始位置时已设置的特定轨迹时，机器人臂101可相对于患者的解剖的手术相关部分移动或返回到所述相同轨迹，即使患者200随后已从初始位置移动。
在另外实施例中，可响应于显示装置401相对于患者200的位置及定向的至少一者的变化修改显示装置121及/或401上显示的图像数据的至少一部分。在实施例中，运动跟踪***105可跟踪显示装置的位置及/或定向。显示装置401可为上文所描述的手持式显示装置。手持式显示装置401可具有固定到其的一或多个标记装置701，如图7A中所示意性说明，其可使运动跟踪***105能够在手持式显示装置401处于运动跟踪***105的范围内(例如，在光学感测装置111的视野内，如图7B中展示)时跟踪手持式显示装置401的位置及/或定向。一或多个标记装置701可与手持式显示装置401上的特定点P成已知固定几何关系。特定点P可界定手持式显示装置401的坐标***。点P可沿装置401的边缘或中线处于手持式显示装置401上的任何任意位置，例如装置401的中心，或处于装置401的拐角。在实施例中，手持式显示装置401的坐标***可包含平行于装置401的长度及宽度维度延伸的两个互相垂直的轴(例如，z′及x′轴)及垂直于装置401的主表面延伸的第三轴(例如，y′轴)。
在实施例中，运动跟踪***105可确定手持式显示装置401的至少一部分在患者坐标***内的位置，例如装置401上的特定点P的位置。显示装置401的显示屏幕500可基于手持式显示装置401的至少一部分的检测到的位置显示患者图像数据集(例如，三维断层扫描重建)的不同部分。在实施例中，显示屏幕500可当装置401移动到特定区域中(例如在患者200之上或在与患者手术部位的经预先确定接近度内)时基于手持式显示装置401的检测到的位置开始显示患者数据。在实施例中，每当装置401在运动跟踪***105的范围内(例如，在视野内)时，显示屏幕500就可基于手持式显示装置401的检测到的位置显示患者数据。在实施例中，手持式显示装置401的检测到的位置及/或定向还可至少部分确定一或多个额外显示装置(例如图1中所展示的固定监视器121)上展示的患者图像。一或多个额外显示装置121可镜像手持式显示装置401上展示的患者图像的显示。
在图7B的实施例中，显示屏幕500可描绘对应于手持式显示装置401的部分(例如，点P)相对于患者200的轴向位置的图像数据集的二维轴向切片711。随着手持式显示装置401相对于患者200移动(例如，沿患者在z轴方向上的长度上下移动)，显示屏幕500可经更新以展示对应于手持式显示装置401相对于患者200的当前位置的轴向切片711。
显示屏幕500还可描绘对应于手持式显示装置401的部分(例如，点P)相对于患者200的矢状位置的图像数据集的二维矢状切片713。随着手持式显示装置401相对于患者200移动(例如，沿患者在x轴方向上的宽度左右移动)，显示屏幕500可经更新以展示对应于手持式显示装置401相对于患者200的当前位置的矢状切片713。
显示屏幕500还可基于手持式显示装置401的部分(例如，点P)相对于患者200的位置描绘图像数据集的二维冠状切片715。在一个实施例中，显示屏幕500可描绘从手持式显示装置401的部分(即，点P)的位置偏移经预先确定距离d的图像数据集的冠状切片715。偏移距离d可为用户可调整参数。随着手持式显示装置401相对于患者200移动(例如，沿y轴方向朝向或远离患者)，显示屏幕500可经更新以展示对应于手持式显示装置401偏移经预先确定距离d的当前位置的冠状切片。
显示屏幕500还可描绘三维体积再现，其说明从手持式显示装置401的当前位置及/或定向(即，点P)所观察的解剖特征(例如，骨结构或其它离散内部解剖特征)的“虚拟”视图，其中“虚拟”视图可基于手持式显示装置401的移动更新。
在另外实施例中，显示屏幕500可基于手持式显示装置401的检测到的位置及定向显示患者图像数据集(例如，三维断层扫描重建)的倾斜二维切片。这通过图7C示意性地进行说明。在各种实施例中，显示屏幕500可基于显示器401的坐标***相对于患者坐标***的位置及定向通过患者图像数据集显示二维切片(例如，轴向、矢状及/或冠状切片)。换句话来说，倾斜“轴向”切片可为在显示器401的坐标***的x′-y′平面717中截取的患者图像数据集的横截面，倾斜“矢状”切片可为在显示器401的坐标***的y′-z′平面中截取的患者图像数据集的横截面，且倾斜“冠状”切片可为平行于显示401的坐标***的x′-z′平面721且沿y′轴方向偏移经预先确定偏移距离d的平面中的患者图像数据集的横截面。
在各种实施例中，用户(例如，外科医生)可在患者手术部位之上及周围移动手持式显示装置401以提供到患者的解剖中的“虚拟窗”。用户可在患者200之上手动固持及移动手持式显示装置401，及/或手持式显示装置401可安装到可定位在患者200之上的可移动臂。可移动臂是可手动移动的及/或可为机器人臂。在实施例中，手持式显示装置401的显示面板500上展示的三个图像平面(即，轴向、矢状及冠状)的相交点可与患者身体内的目标位置重合。因此，用户可使用手持式显示装置401作为“虚拟切割工具”以浏览患者图像体积的各种切片/视图及识别及选择进行手术治疗的目标部位。用户可操纵手持式显示装置401以显示从患者皮肤表面通过患者解剖延伸到目标位置的多个轨迹或路径。用户可如上文论述那样经由与显示装置401的直接用户交互(例如，经由装置401上的触摸屏或触笔输入)及/或经由语音命令或上文论述的技术中的任何者界定一或多个轨迹。
手持式显示装置401(例如，平板、智能电话等)可包含用于获得照片及/或视频图像的相机(例如，数码相机)。相机可为后向式的(即，在装置401与显示屏幕500相反的侧上)。显示装置401可使能够在装置的显示屏幕500上展示从相机获得的图像，包含实时视频图像。在一些实施例中，显示屏幕500可显示叠加患者的实时视频图像的患者图像数据集(例如，患者的解剖的三维断层扫描重建)的至少一部分。在各种实施例中，显示屏幕500可基于相机相对于患者身体的位置显示患者图像数据集的不同部分。
图7D到7E说明具有后向式相机(由732示意性地说明)的手持式显示装置401，手持式显示装置401经配置以在显示屏幕500上显示由相机732获得的患者200的图像。在此实施例中，显示装置401包含可使用多个附接机构附接到显示装置401的多个标记730(例如，反射球体)。标记730可使显示装置401能够被运动跟踪***105跟踪，如上文描述。在此实施例中，标记730沿显示装置401的第一边缘附接使得用户(未展示)可通过其它边缘或在其它边缘之间牢固地抓握及固持显示装置401而不会从运动跟踪***105的光学传感器装置111的视野遮挡标记730。
运动跟踪***105可跟踪手持式显示装置401的位置及定向。患者200上的一或多个额外标记731可使能够确定显示装置401相对于患者200的位置及定向。患者标记731可进一步实现在共同坐标***中配准患者图像(例如，CT及/或MRI数据)，如上文论述。在实施例中，来自相机732的图像(例如，实时视频图像)可与说明从手持式显示装置401的当前位置及/或定向所观察的解剖特征(例如，骨结构或其它离散内部解剖特征)的“虚拟”视图的三维体积再现叠加。可由显示装置401及/或另一装置(例如，图1中展示的计算机113)上的处理器执行的校准过程可用于将三维体积再现匹配到相机732的视野，使得由相机获得的患者200的图像可通过从相同相机位置所观察的下伏解剖特征的再现扩增。
这在图7D中进行说明，图7D展示手持式显示装置401经定位使得患者200的部分在相机732的视野内。显示屏幕500展示由对应内部解剖(以体模展示)的三维体积再现734叠加的患者200的视频图像。体积再现可随着手持式显示装置401相对于患者200移动而更新以便描绘从经更新相机位置所观察的对应内部解剖。这在图7E中进行说明，图7E展示随着手持式显示装置401沿患者200的长度移动的经更新三维体积再现735。在实施例中，手持式显示装置401的显示屏幕500上展示的经扩增图像可在一或多个额外显示屏幕上经镜像，例如图1中所展示的监视显示器121。
在一些实施例中，用户可能够使经叠积图像数据(例如，3D体积再现734)相对于显示屏幕500上展示的相机图像(例如，实时视频图像)更加透明或更不透明。显示屏幕500(例如，触摸屏显示器)上的滑块735或类似图形接口元素可用于调整3D体积再现相对于相机图像的相对透明度，如图7F中展示。
可在手术过程之前、期间及/或之后使用例如图7D到7F中展示的手持式显示装置401以向外科医生提供到患者的解剖中的“虚拟”窗，如上文描述。替代地或另外，例如图7D到7F中展示的手持式装置401可通过提供用于浏览患者及观察下伏解剖的动态工具用于诊断目的。手持式装置401可用作患者的解释性辅助。在一些实施例中，患者标记731可固定在患者200的皮肤表面上(例如，经由粘合剂或其它构件)且可包含x射线不透明beebee或图像数据中可识别的其它元素以使能够将图像数据配准到运动跟踪***105的坐标***。
上文所描述的手持式显示装置401可定位在手术无菌域内或移动到手术无菌域中。因为典型的手持式电子装置，例如平板计算机，不是无菌的或可灭菌的，所以手持式显示装置401可放置在经灭菌外壳内，例如无菌帘或袋。然而，手术环境中使用的典型的无菌袋或覆盖物可不利地影响手持式计算装置的功能性，例如通过遮挡显示屏幕的视图、干扰用户输入组件(例如触摸屏用户接口)及/或干扰装置的运动跟踪。无菌袋或覆盖物还可使装置更难以由用户固持及操纵。
图8A到8E说明根据实施例的手持式显示装置401的无菌壳800。图8A是壳800的前视图，且图8B是壳800的后视图。如图8C的透视图中展示，壳800可具有蚌壳式设计，其中第一部分801通过铰链部分805连接到第二部分803。第一部分801及第二部分803可在铰链部分805上折叠以将手持式显示装置401围封在第一部分801与第二部分803之间。当第一部分801及第二部分803被折叠在一起时，第一部分801及第二部分803的介接表面可界定壳800的内部壳体807。在实施例中，内部壳体807可经设计尺寸以对应于其中接纳的手持式显示装置401的尺寸。第一部分801的外表面可界定壳800的前表面802，且第二部分803的外表面可界定壳800的后表面804。
壳800可由无菌透明材料制成，例如塑料，且成本相对较低。在实施例中，壳800可为一次性使用的一次性组件。在其它实施例中，壳800可为可重新灭菌的(例如，可高压灭菌)，且可为可重用组件。在实施例中，壳可经定制设计以结合特定手持式显示装置(例如，平板计算机、悬吊式控制器等)使用。
在各种实施例中，壳800可具有集成式标记装置以使壳800及手持式显示装置401能够被运动跟踪***跟踪，如上文描述。在一个实施例中，多个标记809(例如，IR反射球体)可安装到壳800。在实施例中，标记809可被围封在壳800内且可形成可被运动跟踪***跟踪的阵列图案。替代地或另外，单独标记阵列图案可附接到壳800的外部。如图8C中展示，壳800可具有多个内部袋811，其可经设定大小及塑形以接纳球形反射标记809。袋811可经安置在壳800***，且可具有不对称图案使得当从壳800的前部802及背部804观察时标记阵列可具有不同几何形状。代替反射球体，标记809还可为平坦(例如，圆盘形)反射标记，其可定位在壳800内或附接到壳800的外表面。
壳800可具有足够刚性的构造以防止标记809相对于彼此及手持式显示装置401移动。壳的前表面802可包含基本上平坦窗区812，其涵盖手持式显示装置401的显示屏幕。窗区812可为足够刚性的以在通过窗区812观看显示屏幕时抑制失真，且可相对较薄以实现通过壳800对显示装置进行触摸屏控制。在一些实施例中，窗区812可具有防眩光及/或抗反射涂层以最小化例如来自头顶手术灯的外部反射的影响。在一些实施例中，当通过运动跟踪***105确定壳800及显示装置401接近患者手术部位时，可将信号发送到控制器以控制光源(例如，头顶手术灯)以致使所述光源修改房间照明(例如，调暗或改变灯的焦点)以使能够更清楚地观看显示。
壳800的第一部分801及第二部分803可具有配合部分813(例如，突部、棘爪等)，其可配合在一起以将壳800固持在闭合位置中。壳800还可包含额外锁定机构815，其可经固定在壳800之上以将壳800固持在闭合位置中。如图8D及8E中展示，锁定机构815可包含滑块816，其可被***在壳800的***之上且沿着迹线818滑动以在手术过程期间确保壳800不会意外地打开。在一些实施例中，锁定机构815还可使壳800能够安装到单独支撑元件。举例来说，如图8D及8E中展示，滑块816的上部可包含突部819，当突部819被***到支撑元件上的可释放闩锁构件821中时，突部819可用作闩锁部分(例如，冲击板)。可释放闩锁构件821可类似于交通工具中的安全带带扣那样起作用。支撑元件可包含一或多个特征823，其可与壳800的后表面804上的对应特征826(参见图8B)配合。举例来说，支撑元件可包含环构件823，其可配合于壳800的后表面804中形成的弧形棘爪826内。可利用用于将壳800安装到支撑件的其它机构。含有手持式显示装置400的壳800可由用户容易地从支撑元件移除，且可容易地重新附接到支撑元件。在实施例中，壳800的后表面804可具有手柄827，其可为后表面804中的模制特征，以有助于用户容易地抓握及操纵壳800及显示装置401。
图8F说明无菌壳800内的手持式显示器401，其安装到可调整支撑件850(例如，鹅颈管、平衡臂或枢转臂支架)。手持式显示装置401的支撑件850可附接到患者台60，例如通过将支撑件901安装到手术侧轨。支撑件850可附接到任何其它组件，例如单独推车、成像装置103、机器人臂101，或可从头顶结构(例如，头顶灯)悬吊。在一个实施例中，一或多个手持式显示装置401可从延伸于患者200的手术区域上方的臂209悬吊，臂209还可支撑运动跟踪***的光学传感器装置111。
在一些实施例中，至少一个显示装置900可被提供在机器人臂101上，如图9中说明。至少一个显示装置900可任选地显示与机器人臂101的操作相关的状态及***信息，且还可用于显示患者信息，包含使用成像装置103获得的成像数据以及来自图像引导手术***400的手术导航数据。图像数据可包含三维图像数据集(例如，断层扫描重建)的2D切片及/或全部或部分所述图像数据集的3D体积再现。显示装置900上显示的图像可包含显示装置119及/或401上可显示的全部或部分图像，如上文描述。因此，机器人臂101上的至少一个显示装置900可为显示装置119及/或401的镜像。图像可经重新格式化以配合于显示装置900中。在其它实施例中，显示装置900上显示的图像可不同于单独固定显示器(例如，监视器119)或手持式显示装置401上展示的图像。在实施例中，多个显示装置900可被提供在机器人臂101的不同区段上。每一显示装置可显示相同或不同图像(例如，每一显示器900可显示三维图像数据集的不同2D切片)。显示器900可进一步包含用户接口组件(例如，触摸屏接口、按钮等)，其可使用户能够控制显示装置900上展示的内容及/或控制机器人臂101的功能或操作。
机器人臂101可为铰接式机器人，其具有多个旋转接头901，在接头901之间具有连杆构件903。在许多情况中，连杆构件903围绕其***(即，圆周)可具有大体上曲线或圆柱形形状。在实施例中，至少一个显示装置900可定位在机器人臂101的一或多个连杆构件903上。在一些实施例中，显示装置900可包含波状观察表面，其可围绕连杆构件903的***延伸。特定来说，波状观察表面905可围绕连杆构件903的***的至少50％延伸，例如连杆构件903的***的50％到100％之间(例如，60％到90％)。
在实施例中，显示装置900可包含多个平板显示拼块，其安置在连杆构件903的***周围且经成角以接近连杆构件903的外表面的轮廓。个别拼块可经控制以显示在多个拼块之上延伸的连续图像的部分，在邻近拼块之间具有较窄竖框(例如，<1mm)。每一拼块在围绕连杆构件903的***延伸的方向上可具有小于2英寸的尺寸(例如，大约1英寸)。显示装置900可利用任何合适的显示技术，例如LCD显示器、LED显示器、OLED显示器或前或后投影显示器。
在一些实施例中，全部或部分的显示装置900可形成在弯曲或柔性衬底上，所述衬底遵循连杆部分903的外表面的轮廓。显示装置900可为例如弯曲或柔性衬底上的有机发光二极管(OLED)显示器。在实施例中，显示装置900可包括耦合到液晶显示(LCD)介质的柔性衬底上的有机薄膜晶体管(OTFT)有源矩阵，例如FlexEnable有限公司的WO 2015/177539中揭示，所述案以引用方式并入本文中。在实施例中，显示装置900可包括反射式显示器，其在弯曲或柔性衬底上具有电泳显示介质(例如，电子墨水)。
在一些实施例中，用于将电力提供到显示装置900及与显示装置900交换数据的一或多个连接可定位在连杆构件903的外表面上。显示装置900可经按扣在连杆构件之上或经粘附到连杆构件(例如，使用粘合剂及/或机械紧固件)且经***到机器人臂101上的连接器(例如，USB端口)中。替代地，显示装置900可永久安装到机器人臂101或与机器人臂101整体集成。到显示装置900的用于电力及数据的线连接可延伸穿过机器人臂101的内部。在一些实施例中，显示装置900可包含收发器电路，其实现与单独计算机装置(例如，图像引导手术***400)的无线通信。显示装置900可为内部电池电源，且可能无需单独电力连接。
在实施例中，手术帘(为了清楚起见未展示)可被提供在机器人臂101之上以在机器人臂101与手术区域之间提供无菌屏障。安装到机器人臂101的显示装置900可为可透过所述帘观察的，所述帘可由透明材料制成。在一些实施例中，为了改进显示装置900的可视性，所述帘可经粘附到显示装置900的观察表面或以其它方式抵靠显示装置900的观察表面保持平坦。所述帘可经由粘合剂或机械紧固件、热收缩所述帘或使用吸取力粘附到显示装置900的观察表面。举例来说，所述帘可使用静电吸附力保持抵靠显示装置900。举例来说，嵌入于机器人臂101及/或显示装置900上的电介质材料中的电极可用于抵靠观察表面抓住帘(例如，类似于半导体晶片处理中使用的静电吸盘)。
在一些实施例中，一或多个显示装置900可定位在手术帘上且可在帘被放置在机器人臂101之上时附接到机器人臂101。所述帘及定位在其上的一或多个显示装置900可为一次性使用的一次性组件。
如上所述，机器人臂101的连杆构件903可连接到一或多个旋转接头901。在机器人臂101的操作期间，每一连杆构件903及安装在其上的任何显示装置900可因此在一或多个方向上具有旋转自由度。在一些情况中，此可干扰观察显示装置900，例如其中观察表面经旋转到相对于观察者的不同定向使得观察表面对观察者不再可见。在实施例中，可操作地耦合到显示装置900的控制器可经配置以检测显示装置900相对于观察位置905的旋转运动且可响应于检测到的旋转运动修改显示装置900上展示的至少一个图像。控制器可修改显示装置900上展示的至少一个图像，使得当显示装置900位于其上的机器人臂101的部分相对于观察位置906旋转时显示装置900对处于观察位置906中的观察者仍可见。在一些实施例中，观察位置906可为手术区域上方及接近手术区域的位置(例如，在手术区域5米内，例如在2米内，例如，在1米内)，其中用户(例如，外科医生)可在手术过程期间观察显示装置900。观察位置906可任选地由用户预设(例如，以适应用户的高度及/或用户在过程期间将所处的位置，例如在手术台60的特定侧上)，例如通过手动调整显示设置直到可清楚地观察所关注信息。显示装置900可在显示装置900的第一部分907上显示至少一个图像使得可从观察位置905清楚地看到至少一个图像。举例来说，第一部分907可为向上面朝用户的连杆构件903的***周围的显示装置的片段。从观察位置905不能清楚地观察的显示装置900的第二部分909(例如，面向下及/或远离用户的显示装置900的片段)可能不显示任何图像。
在实施例中，显示装置900的控制器可基于机器人臂101的当前接头参数及臂101的基座912处的已知重力向量911检测显示装置900的定向(参见图8F)。至少一个图像可基于显示装置900的检测到的定向显示。举例来说，对于围绕机器人臂101的连杆构件903的全部或基本上全部***延伸的显示装置900，显示装置900可在连杆构件903面对重力向量911的部分上显示至少一个图像(即，使得可从观察位置905看到图像)。在实施例中，在连杆构件903的面向重力向量911的方向的部分上可能不显示图像。替代地或另外，显示装置900的定向可使用定位在显示装置900或机器人臂101上的惯性测量单元(IMU)(例如，加速度计及/或陀螺仪)或使用来自运动跟踪***105的数据确定。
在实施例中，控制器可基于机器人臂101的接头参数及机器人臂101的已知动力学确定显示装置900相对于观察位置905的旋转运动。替代地或另外，显示装置900的旋转运动可基于来自IUM或来自运动跟踪***105的信号确定。响应于显示装置900的旋转运动，控制器可修改显示装置900上展示的至少一个图像，使得一个图像对处于观察位置905中的观察者仍可见。举例来说，至少一个图像可在显示装置900的表面上滚动使得至少一个图像继续面向观察位置905。在实施例中，显示装置900可任选地也将至少一个图像重新定向在显示屏幕上使得图像相对于观察位置905维持初始定向。
在实施例中，机器人臂101上的至少一个显示装置可指示机器人臂101的操作状态。举例来说，机器人臂101上的至少一个显示装置可提供机器人臂101的当前操作模式的指示，例如手引导模式、自主模式、静态(制动)模式或例如上文论述的任何其它操作模式。机器人臂101的操作模式可如上文所描述显示在显示装置900上，或可显示在单独显示装置913上，单独显示装置913可为围绕机器人臂101延伸的LED灯管。操作模式可通过显示可容易地察觉及理解的指示物显示，例如机器人臂101的当前操作模式的颜色编码指示。
在各种实施例中，多个显示装置900及/或913可定位在机器人臂101的可相对于彼此移动的多个部分上，例如定位在多个连杆构件903上。在一些实施例中，机器人臂101可在混合操作模式中操作，使得机器人臂101的至少一个部分在手引导模式中可由用户移动，而所述臂的另一部分可在制动或增加阻力的模式中。举例来说，机器人臂101可呈一姿势使得臂101的末端执行器102相对于患者200维持特定轨迹。在一些情况中，可期望移动机器人臂101的部分(例如，给外科医生让路)同时相对于患者200将末端执行器102维持在经预先确定轨迹中。使用机器人臂101的已知逆运动学，机器人控制***可确定可安全地移动机器人臂101的哪些部分同时存在足够的补偿移动以使末端执行器102能够相对于患者200维持经预先确定轨迹。多个显示装置900及/或913可显示不同指示物(例如，不同颜色)以指示是否可在手引导模式中移动臂101的特定部分。举例来说，臂101的第一部分(例如，第一连杆构件903)上的显示器900、913可显示第一颜色(例如，绿色)以指示可经由手引导移动臂101的所述部分。臂101的第二部分(例如，不同连杆构件)上的显示可显示第二颜色(例如，红色)以指示无法经由手引导移动臂101的所述部分。在一些实施例中，显示器900、913可显示额外指示物(例如，黄色)以指示特定部分将要进入制动或锁定模式，例如当臂移动成一定配置时使得机器人臂101将不再能够相对于患者200将末端执行器102维持在经预先确定轨迹中及/或当将达到机器人臂101的接头极限时。
替代地或另外，机器人臂101的部分上的显示器900、913可提供可通过手引导移动所述臂的部分的方向的指示。举例来说，如图9中展示，连杆构件903上的显示器913可在显示器913的第一部分915上显示指示物(例如，第一颜色)以指示可在第一方向(通过箭头917指示)上移动(即，手引导)连杆构件903。显示器913可在显示器913的第二部分919上显示第二指示物(例如，第二颜色)，或可不显示指示物，以指示连杆构件903在其它方向上被制动。举例来说，显示器900、913可显示第一颜色(例如，绿色)以指示其中机器人臂101或其部分903可在手引导模式中被推动的方向。显示器900、913可任选地显示第二颜色(例如，红色)以指示机器人臂101被制动且不能进行手引导的方向。例如，这可在机器人臂101处于混合模式中使得机器人臂101可在有限范围内或在有限方向上进行手引导(例如，沿相对于患者200的特定轨迹)但以其它方式被制动时使用。
另外实施例包含使用多个患者参考标记装置执行图像引导手术的方法。如上文论述，参考标记装置115(例如，参考弧)可刚性地附接到所关注解剖部位中的地标(例如，夹紧或以其它方式附接到患者的解剖的骨部)以使所关注解剖部位能够被运动跟踪***105连续跟踪。在图像引导手术过程期间，相关解剖的诊断成像数据可基于参考标记装置115的位置及定向配准到患者坐标***，参考标记装置115可被运动跟踪***105连续跟踪。一般来说，诊断成像数据的患者配准的准确性在最靠近参考标记装置115的附接点的解剖的部分处可为最大的。配准的准确性可在从参考标记装置115的附接点离开时进一步减小。此可能是由于患者的解剖相对于参考标记装置115粘附到其的解剖特征的小移动，所述小移动可在离开粘附点时进一步渐增地产生更大相对位移。因此，对于在大面积患者解剖内需要治疗的复杂手术过程，例如涉及多个椎体节的脊柱手术，典型的工作流程可包含执行多个成像扫描及患者配准，其中患者参考标记装置115被移除且在每一连续扫描及配准步骤前以手术方式重新附接到患者的解剖的不同部分。此可极大地增加手术过程的持续时间及复杂性。
图10A说明使用固定到患者200的多个参考标记装置1001、1003的实施例图像引导手术过程。图10A示意性地说明患者的解剖的横截面侧视图，且特定来说，示意性说明患者的下(腰)脊柱区域。在实施例中，多个参考标记装置1001、1003附接到患者的解剖的不同位置1002、1004。每一参考标记装置1001、1003可刚性地附接到不同骨结构，例如椎骨的部分(例如，椎棘突1006)。附接位置1002、1004可分隔开2英寸或2英寸以上(例如2到5英寸)的距离，且可分隔开4到6英寸(包含约5英寸)，且在一些实施例中，可分隔开6英寸或6英寸以上。对于脊柱手术过程，附接位置1002、1004可定位在脊柱的不同椎体节上，其可分隔开至少一个介入椎体节，且优选地分离开大于一个(例如，2到5个)介入椎体节。不同椎体节可为腰椎、胸椎及/或颈椎椎体节。附接位置1002、1004也可定位在不同解剖结构上。举例来说，第一附接位置1002可为在椎骨结构上，且第二附接位置1004可为在不同骨结构上，例如骨盆的髂嵴。尽管图10A中展示两个参考标记装置1001、1003附接到患者，但应理解，在各种实施例中，两个以上参考标记装置可附接到患者的不同部分。
每一参考标记装置1001、1003可包含细长构件，其在一个端处具有用于附接到患者的机构。举例来说，参考标记装置1001可包含夹持件，其经配置以附接到椎骨的椎棘突。参考标记装置1001、1003的第二端可在患者200的皮肤1008外延伸。标记阵列(例如，呈几何形状阵列的多个反射球体)可附接到标记装置1001、1003的第二端以使能够使用运动跟踪***103跟踪标记装置1001、1003。
在一些实施例中，参考标记装置1001、1003可为微创参考标记装置。在图10B中展示微创标记装置的实例。微创标记装置1001可包含具有相对较小直径的细长构件(例如，杆)1010，所述较小直径例如小于约8mm(例如，4到7mm)，包含约6mm。细长构件1010可为中空管。在实施例中，细长构件1010可由在图像数据中可见的材料制成，例如碳纤维。在x射线CT数据的情况中，细长构件1010可用作在CT图像中可见的基准点，且可由外科医生使用以验证配准准确性，如下文进一步论述。螺纹螺钉1012可定位在细长构件1010的一个端处以附接到患者的解剖中的结构，且标记阵列1014可附接到相对端。细长构件1010还可包含一或多个额外锚点1016，其可在螺钉1012被螺合到患者的骨中时掘入到周围骨中以帮助将标记装置1001粘附到患者时。螺纹螺钉可具有大约等于或小于杆1010的最大直径。在实施例中，螺丝刀可通过细长构件1010的中空内部***以与螺纹螺钉1012啮合以将标记装置1001粘附到患者的解剖的部分。
在微创标记装置的各种实施例中，***到患者中的参考标记装置的部分可具有比常规参考标记装置小的轮廓，其通常包含用于粘附到骨结构的夹紧构件。在实施例中，微创参考标记装置1001、1003可通过小开口或切口***于患者的皮肤中，且螺纹螺钉可直接螺合到患者的骨中。围绕手术区域附接多个(例如，2、3、4或4个以上)此类标记装置可提供冗余，使得如果一个标记装置不能刚性地固定或变松，那么手术导航的准确性的任何损失可由一或多个额外标记装置补偿。标记装置1001、1003还可用于验证患者配准的准确性。配准可变为不准确的，例如，如果标记装置1001、1003变松或被意外碰撞，从而导致其在手术过程期间改变其相对于患者的位置。在实施例中，外科医生可利用一或多个标记装置1001、1003作为基准点以在手术过程期间周期性地检查配准准确性。此可包含例如使用被运动跟踪***105跟踪的仪器(例如，指针1050或触笔，参见图10A)以验证标记装置1001、1003在给定时间的实际位置对应于在患者图像中可见的标记装置1001、1003的位置。此可包含例如使用指针1050触摸突出到患者的皮肤外的标记装置1001、1003的部分或沿所述部分跟踪及/或沿由标记装置1001、1003的细长构件1010界定的轨迹定位指针1050以确保在初始配准之后标记装置1001、1003不会相对于患者移动。使用指针1050测量的标记装置1001、1003的位置与患者图像中可见的标记装置1001、1003的位置之间的偏差可指示患者配准不再准确。
在实施例中，与可能需要宽度大于12mm的开口以使能够将标记装置***到患者的骨中且夹紧到患者的骨上的常规参考标记装置相比，微创参考标记装置与可能需要穿过患者的皮肤及肌肉的宽度小于10mm的开口以将标记装置***及固定到骨。在一些实施例中，微创参考标记装置在装置的尖端上可包含尖点或锋利的刀片使得标记装置本身可用于执行穿过患者的皮肤的切开。在一些实施例中，微创标记装置可为一次性使用的一次性组件。
图11A是说明使用固定到患者的多个参考标记装置执行图像引导手术的实施例方法1100的过程流程图。方法1100可使用图像引导手术***执行，例如上文参考图4描述的***400。在实施例中，多个参考标记装置可为图10A所展示的参考标记装置1001、1003，且可为图10B中所展示的微创参考标记装置。在其它实施例中，参考标记装置可为常规(即，非微创)标记装置。在方法1100的框1101中，可使用成像装置获得患者图像，例如图1及2中展示的成像装置103。患者图像可为三维图像数据集(例如，3D CT断层扫描重建、3D MRI数据集等)，其表示患者的解剖的至少一部分，包含将对其进行手术的内部解剖及/或结构(即，患者的解剖的手术相关部分)。在实施例中，三维图像数据集可通过执行成像扫描获得，例如CT图像扫描。三维图像数据集可为患者的内部解剖的体积的表示，其中解剖体积可具有大于6英寸(例如，6到12英寸)且优选地大于约12英寸(例如，12到36英寸)的至少一个尺寸。在实施例中，至少一个尺寸可为沿着成像扫描(例如，x射线CT图像扫描)的方向的轴向尺寸。三维图像数据集可通过在执行患者的扫描(即，沿患者的长度相对于患者移动成像机架)同时获得成像数据来获得。扫描可包含参考标记装置1001、1003中的每一者附接到其的解剖特征。
在框1103中，可将患者图像的至少一第一部分配准到基于固定到患者200上的第一位置1002的第一参考标记装置1001的第一患者坐标***。举例来说，患者图像(例如，三维图像数据集)的至少一部分可使用例如上文参考图3描述的患者配准方法配准到可基于第一参考标记装置1001的第一患者坐标***(即，图10中的P1)。在实施例中，整个患者图像数据集可被配准到第一患者坐标***P1。替代地，仅部分患者图像数据集可被配准到第一患者坐标***。举例来说，对于三维体积重建图像数据集，在轴向方向上接近患者200上的第一位置1002的体积的子集可被配准到第一患者坐标***。
在框1105中，可将患者图像的至少一第二部分配准到可基于固定到患者200上的第二位置1004的第二参考标记装置1003的第二患者坐标***。举例来说，患者图像(例如，三维图像数据集)的至少一部分可使用例如上文参考图3描述的患者配准方法配准到基于第二参考标记装置1003的第二患者坐标***(即，图10中的P2)。在实施例中，整个患者图像数据集可被配准到第二患者坐标***P2。替代地，仅部分患者图像数据集可被配准到第二患者坐标***。举例来说，对于三维体积重建图像数据集，在轴向方向上接近患者200上的第二位置1004的体积的子集可被配准到第二患者坐标***。
在框1107中，图像引导手术***400可基于与患者200上的第一位置1002及第二位置1004的接近度，在在图像引导手术***400中显示配准到第一患者坐标***的患者图像与在图像引导手术***400中显示配准到第二患者坐标***的患者图像之间做出选择。特定来说，当所述***在与患者200上的第二位置1004相比更接近第一位置1002的患者的解剖的部分中导航时图像引导手术***400可显示被配准到第一患者坐标***的患者图像，且当所述***在与接近患者200上的第一位置1002相比更接近第二位置1004的患者的解剖的部分中导航时图像引导手术***400可显示被配准到第二患者坐标***的患者图像。
图像引导手术***400可显示配准到第一患者坐标***的患者图像与图像元素的叠加或叠积，所述图像元素展示被运动跟踪***105跟踪的一或多个对象(例如，工具、仪器及机器人臂的末端执行器)的位置及/或定向。一或多个对象的位置及/或定向可展示在第一患者坐标***内，这可基于被运动跟踪***105跟踪的第一参考标记装置1001的当前位置及/或定向。
图像引导手术***400可显示配准到第二患者坐标***的患者图像与图像元素的叠加或叠积，所述图像元素展示被运动跟踪***105跟踪的一或多个对象(例如，工具、仪器及机器人臂的末端执行器)的位置及/或定向。一或多个对象的位置及/或定向可展示在第二患者坐标***内，这可基于被运动跟踪***105跟踪的第二参考标记装置1003的当前位置及/或定向。
在实施例中，图像引导手术***400可响应于检测到的用户动作在在第一患者坐标***中显示患者图像及运动跟踪数据与在第二患者坐标***中显示患者图像及运动跟踪数据之间做出选择。举例来说，用户可使用指针装置1050(参见图10)以触摸第一参考标记装置1001或第二参考标记装置1003，这可导致***400在相应第一与第二患者坐标***之间做出选择。指针装置对参考标记装置1001、1003的触摸可由运动跟踪***105检测。替代地，***400可响应于指针装置在与另一参考标记装置相比更接近一个参考标记装置的患者的部分上被移动或触碰所述部分而在第一患者坐标***与第二患者坐标***之间做出选择。另外，如上文参考图6A到6C及7A到7C论述，在一些实施例中，图像引导手术***400可基于机器人末端执行器102及/或手持式显示装置401的位置显示患者图像。在实施例中，患者图像及运动跟踪数据可基于机器人末端执行器102及/或手持式显示装置401到第一参考标记装置1001或第二参考标记装置1003的相对接近度而在第一患者坐标***或第二患者坐标***中显示。在另外实施例中，图像引导手术***400可响应于用户输入装置处的用户输入在在第一患者坐标***中显示患者图像及运动跟踪数据与在第二患者坐标***中显示患者图像及运动跟踪数据之间做出选择。
方法1100的实施例可通过在最靠近手术治疗的位置的患者参考帧中选择性地显示患者图像及运动跟踪数据(例如，工具/仪器姿势的图形描绘)提供图像引导手术的经改进准确度及速度，且因此可在治疗时更准确地表示患者的实际情况。多个图像引导手术治疗可使用配准到不同患者参考帧的相同患者图像数据集在患者的不同区域中执行而无需执行单独图像扫描及/或患者参考标记在每一治疗之间的放置，这可改进工作流程且极大地减少手术时间。
还可监测多个患者参考标记装置以检测参考标记装置在手术过程期间的相对运动。在方法1100的任选框1109中，可由运动跟踪***105检测第一参考标记装置1001与第二参考标记装置1003之间的相对运动。检测到的相对运动可指示标记装置1001、1003变松或被意外碰撞，从而导致其在手术过程期间改变其相对于患者的位置。检测到的相对运动还可指示第一参考标记装置1001附接到其的患者的解剖的部分1002已相对于第二参考标记转置1003附接到其的患者的解剖的部分1004移动。举例来说，位置1002与1004之间的椎骨中的一或多者的相对位置可能已在手术过程期间移位。在任一情况中，标记装置1001、1003的相对移动可具有足够的量值使得患者配准中的一者或两者可能不再能够准确地表示当前患者情况。在任选框1111中，当标记1001与1003之间的检测到的相对运动超过阈值时，可通知用户(例如，经由可听及/或可视警告)。在一些实施例中，阈值可为1与2mm之间。阈值可为可调整参数，且在实施例中，可为预期手术部位与一或两个标记1001及1003的距离的函数。在一些实施例中，阈值可为零，使得由运动跟踪***105检测到的标记1001与1003之间的任何相对运动可触发向用户通知。
响应于标记1001与1003之间的检测到的相对运动超过阈值的通知，用户可执行经更新成像扫描且配准如上文所论述配准到第一及第二患者坐标***的经更新患者图像。替代地，用户可选择用配准到一或两个患者坐标***的患者图像继续所述过程。
在一些实施例中，图像引导手术***400可确定参考标记装置1001、1003之间的检测到的相对运动是一个参考标记装置1001、1003相对于患者已移动的结果。举例来说，参考标记装置1001、1003中的一者可被意外碰撞或可变松，从而导致其相对于其所附接到的患者200上的位置1002、1004移动。参考标记装置1001、1003已移动的确定可基于特定参考标记装置1001、1003移动了阈值距离及/或在特定方向上移动，而至少另一参考标记装置1001、1003未相对于运动跟踪***105的相机位置移动。此可指示特定参考标记装置已相对于患者移动，与参考标记装置1001、1003附接到其的患者的解剖的部分1002、1004的相对移动相对。在一些实施例中，***400可向用户提供参考标记1001、1003中的一者已移动的通知。用户可使用标记装置1001、1003作为基准点验证特定参考标记装置1001、1003已移动，如上文论述。举例来说，用户可使用指针1050触摸或跟踪标记装置1001、1003及/或沿标记装置1001、1003的轨迹定位指针1050以验证参考标记1003、1005是否已移动，其中使用指针1050测量的标记装置1001、1003的位置与患者图像中可见的标记装置1001、1003的位置之间的偏差可指示特定标记装置1001、1003已移动。
在一些实施例中，当参考标记装置1001、1003中的一者相对于患者已移动时，用户可执行配准校正。可在无需使用成像装置103重新扫描患者的情况下执行配准校正。举例来说，用户可确认已相对于患者移动的标记装置1001是否仍刚性地附接到患者，且如果有必要的话，可重新附接标记装置1001。接着，已移动的标记1001的坐标***的变换可经调整使得其返回到是准确的。此调整可基于相对于被确定为未相对于患者移动的一或多个参考标记装置1003移动的参考标记装置1001的检测到的运动，包含任何旋转运动。
图11B是说明使用固定到患者的多个参考标记装置1001、1003及患者图像的混合或插值配准执行图像引导手术的另一实施例方法1150的过程流程图。如上所述，患者图像数据集(例如，体积数据集)可描绘在手术过程期间不维持刚性的患者的解剖的体积。因此，如果患者的解剖在手术期间弯曲、移位或以其它方式变形，那么基于参考标记装置1001、1003的患者坐标***中的工具或仪器的跟踪位置可能会失去准确性。各种实施例可通过在基于固定到患者上的不同位置的多个患者参考标记装置的混合或插值患者参考坐标***内显示患者图像及跟踪工具/仪器来改进图像引导手术***的准确性。
方法1150的框1151可对应于方法1100的框1101，且可包含使用成像装置获得患者图像，例如成像装置103。在框1153中，运动跟踪***105可跟踪固定到患者上的第一位置1002的第一参考标记装置1001及固定到患者上的第二位置1004的第二参考标记装置1003。在脊柱手术的实例中，例如，第一参考标记装置1001可固定到患者的脊柱的第一椎体节上的第二位置1002，且第二参考标记装置1003可固定到患者的脊柱的第二椎体节上的第二位置1004。
在框1155中，图像引导手术***400可基于第一参考标记装置1001及第二参考标记装置1003两者的跟踪数据在混合或插值患者参考坐标***中显示对应于患者的第三位置的一或多个患者图像。可显示患者图像与图形元素的叠加或叠积，图形元素的叠加或叠积展示被运动跟踪***105跟踪的一或多个对象(例如，工具、仪器及机器人臂的末端执行器)的位置及/或定向，其中一或多个对象可被展示在混合或插值患者坐标***内。患者的第三位置可为例如第一参考标记装置1001及第二参考标记装置1003附接到其的椎体节之间的介入椎体节。对应于第三位置的患者图像可包含来自三维数据集(例如，3D CT重建)的介入椎体节的一或多个轴向切片。
在实施例中，患者图像及仪器/工具姿势可显示在混合或插值参考坐标***中，所述混合或插值参考坐标***可以相距第一参考标记装置1001及第二参考标记装置1003的距离进行加权。可利用其它插值(即，加权)技术。在一些实施例中，混合或插值参考坐标***可至少部分基于所关注解剖特征的数学及/或物理建模。在一个实例中，患者的脊柱可使用三次样条插值建模，其中用于样条的一组控制点可参考扫描数据中的所关注椎体节界定。样条的控制点中的至少两者可参考可固定到患者的脊柱的不同椎体节的第一参考标记装置1001及第二参考标记装置1003界定。此可使这些控制点能够在手术期间被运动跟踪***105跟踪。拟合算法可用于基于使用运动跟踪***105跟踪的控制点的相对位置的检测到的变化估计手术期间介入椎体节的位置及/或定向的变化。此估计可由图像引导手术***400使用以生成用于在混合或插值患者参考坐标***中显示患者图像及工具/仪器姿势的校正系数。在另外实施例中，所关注解剖的物理结构可基于图像数据的分析进行建模。举例来说，在脊柱手术的情况中，患者脊柱的结构，包含所关注椎体节中的每一者的物理关系，及任选地患者脊柱的各种运动(例如，弯曲、扭转运动、压缩及/或拉伸)，可基于患者图像数据集(例如，CT数据)的分析进行建模。此建模可连同患者参考标记装置1001、1003中的每一者的跟踪位置使用以生成合适的校正以在手术过程期间在混合或插值患者参考坐标***中显示患者图像及工具姿势。
图11C说明使用固定到患者的多个参考标记装置1001、1003执行图像引导手术的另一实施例方法1160。方法1160的框1161可对应于方法1100的框1101，且可包含使用成像装置获得患者图像，例如成像装置103。在框1163中，可使用患者配准方法将患者图像配准到患者坐标***，例如参考图3描述。在一些实施例中，患者图像可配准到基于相应第一参考标记装置1001及第二参考标记装置1003的多个患者坐标***，例如上文参考图11A描述。在框1165中，可在患者参考坐标***中显示患者图像及工具/仪器姿势。患者参考坐标***可基于第一参考标记装置1001及第二参考标记装置1003的一个跟踪位置，如参考图11A描述，或可在基于参考标记装置1001、1003两者的跟踪位置的混合或插值坐标***中显示，如参考图11B描述。
在框1167中，运动跟踪***105可检测固定到患者上的第一位置1002的第一参考标记装置1001与固定到患者上的第二位置1004的第二参考标记装置1003之间的相对运动。如上文论述，参考标记装置1001、1003之间的相对运动可为由于患者的解剖在手术期间的移位(例如，在脊柱手术的情况中的脊柱的弯曲、扭转、压缩及/或拉伸)，或可为参考标记装置1001、1003相对于患者移动的移动的结果。任一情况都可导致失去配准准确性。然而，通常，与通过患者的解剖的自然移动相比，配准准确性的更大的损失将由参考标记装置相对于其在患者上的附接点移动而造成，例如通过意外碰撞造成。
在确定框1169中，图像引导手术***400可确定参考标记装置1001、1003的检测到的运动是否与解剖移动一致。换句话来说，***400可确定检测到的运动是否更可能是由于手术期间的解剖的移位或是由于参考标记装置1001、1003相对于患者的移动。所述确定可基于所关注解剖部位(例如，脊柱)的软件建模及/或可基于一组经预先确定的边界条件，其可界定可在手术过程期间发生的解剖的可能或很可能的移动。在一个非限制性实例中，***400可在检测到的运动对应于在解剖上不可能的移动(例如，在人类脊柱的情况中，这将导致太大弯曲半径，将导致多个刚性结构的叠积，例如椎骨等)时确定参考标记装置1001、1003的检测到的特定移动与解剖移动不一致。响应于确定检测到的运动与解剖移动不一致(即，确定框1169＝“否”)，在框1171中***400可通知用户(例如，经由可听及/或可视警告)。通知可指示参考标记装置1001、1003中的一者很可能已移动且配准可能不再足够准确。
响应于确定检测到的运动与解剖移动一致(即，确定框1169＝“是”)，在框1173中***400可基于对应于参考标记装置1001及1003的检测到的相对运动的解剖移动的估计更新患者图像及工具姿势的显示。所述估计可使用所关注解剖特征(例如，脊柱的椎体节)的数学及/或物理模型确定，如上文参考图11B描述。
图12是对执行及实施上文描述的各种实施例有用的计算装置1300的***框图。举例来说，计算装置1300可执行图像引导手术***400的功能。虽然将计算装置1300说明为膝上型计算机，但提供计算机装置1300的功能能力的计算装置可被实施为工作站计算机、嵌入式计算机、桌上型计算机、服务器计算机或手持式计算机(例如，平板、智能电话等)。典型的计算装置1300可包含耦合到电子显示器1304的处理器1301、扬声器1306及存储器1302，存储器1302可为易失性存储器，也可为非易失性存储器(例如，磁盘驱动器)。当实施为膝上型计算机或桌上型计算机时，计算装置1300还可包含耦合到处理器1301的软盘驱动器、光盘(CD)或DVD光盘驱动器。计算装置1300可包含天线1310、多媒体接收器1312、收发器1318及/或耦合到处理器1301以用于发送及接收电磁辐射、连接到无线数据链路及接收数据的通信电路。计算装置1300还可包含相机1320，其耦合到处理器1301以用于获得可任选地在显示1304上展示的照片及/或视频图像。手持式计算装置(例如，平板、智能电话)可包含呈后向式配置的相机1320以用于显示实时视频图像，如上文关于图7D及7E论述。另外，计算装置1300可包含网络存取端口1324，其耦合到处理器1301以用于建立与网络(例如，耦合到服务提供商网络的LAN等)的数据连接。膝上型计算机或桌上型计算机1300通常还包含用于接收用户输入的键盘1314及鼠标垫1316。
前述方法描述仅提供作为说明性实例且不希望需要或暗示各种实施例的步骤必须按呈现的顺序执行。如所属领域的技术人员应了解，前述实施例中的步骤顺序可按任何顺序执行。例如“此后”、“接着”、“接下来”等的词语不一定都希望限制步骤的顺序；这些词语可用于通过方法的描述引导读者。此外，例如，以单数形式(例如使用冠词“一(a/an)”或“所述”)对权利要求元件的任何参考不应被解释为将元件限制为单数形式。
结合本文揭示的实施例描述的各种说明性逻辑块、模块、电路及算法步骤可经实施为电子硬件、计算机软件或其组合。为了清楚地说明硬件与软件的此可互换性，各种说明性组件、块、模块、电路及步骤已在上文依据功能性进行描述。此功能性是被实施为硬件还是被实施为软件取决于特定应用及强加于整体***上的设计约束。技术人员可针对每一特定应用以不同方式实施描述的功能性，但此类实施方案决策不应被解译为导致背离本发明的范围。
结合本文揭示的方面描述的用于实施各种说明性逻辑、逻辑块、模块及电路的硬件可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文描述的功能的其任何组合来实施或执行。通用处理器可为微处理器，但替代地，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可被实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器或任何其它此配置。替代地，一些步骤或方法可由专用于给定功能的电路执行。
在一或多个示范性方面中，描述的功能可经实施于硬件、软件、固件或其任何组合中。如果实施于软件中，那么功能可作为一或多个指令或代码存储在非暂时性计算机可读媒体上。本文揭示的方法或算法的步骤可体现在执行的处理器可执行软件模块中，所述软件模块可驻存在非暂时性计算机可读媒体上。非暂时性计算机可读媒体包含有助于计算机程序从一个地方转送到另一地方的计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。通过实例而非限制，此类非暂时性计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于承载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。如本文使用，磁盘及光盘(disc)包含光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常磁性地再现数据，而光盘用激光光学地再现数据。上述内容的组合也应包含在非暂时性计算机可读存储媒体的范围内。另外，方法或算法的操作可作为代码及/或指令的一个或任何组合或集合驻存在机器可读媒体及/或计算机可读媒体上，所述代码及/或指令可并入到计算机程序产品中。
提供所揭示方面的前述描述以使所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易地明白对这些方面的各种修改，且在不背离本发明的范围的情况下，本文定义的一般原理可应用到其它方面。因此，本发明不希望限制于本文展示的方面，而是应符合与本文揭示的原理及新型特征一致的最广范围。

Claims (12)

1.一种被配置用于在计算机辅助手术中显示患者数据的***，包括：
x射线成像装置，其被配置用于获得图像以生成患者图像；
包括光学感测装置的运动跟踪***，所述光学感测装置具有视野；
第一参考标记装置，其将被固定到患者的第一位置并且限定第一坐标***；
第二参考标记装置，其将被固定到患者的第二位置并且限定第二坐标***；
显示屏幕，其被配置用于显示所述患者图像；和
控制器，其***作地耦合到所述x射线成像装置、所述运动跟踪***和所述显示屏幕，所述控制器被配置用于：
将所述患者图像的至少一第一部分配准到与被固定到第一位置的第一参考标记装置相关联的第一坐标***；
将所述患者图像的至少一第二部分配准到与被固定到第二位置的第二参考标记装置相关联的第二坐标***；
基于所述显示屏幕与第一位置和第二位置的接近度，在所述显示屏幕上显示被配准到第一坐标***的患者图像的所述第一部分或被配准到第二坐标***的患者图像的所述第二部分。
2.根据权利要求1所述的***，进一步包括一或多个对象，所述一或多个对象被所述运动跟踪***跟踪。
3.根据权利要求2所述的***，其中所述控制器被进一步配置用于：
当在所述***的与第二位置相比更接近第一位置的部分中导航所述一或多个对象时，显示被配准到第一坐标***的患者图像；并且
当在所述***的与第一位置相比更接近第二位置的部分中导航所述一或多个对象时，显示被配准到第二坐标***的患者图像。
4.根据权利要求2或3所述的***，其中被配准到第一坐标***和/或第二坐标***的患者图像被显示为与图像元素的叠加，所述图像元素展示被运动跟踪***跟踪的所述一或多个对象的位置及/或定向。
5.根据权利要求4所述的***，其中所述一或多个对象包括工具。
6.根据权利要求4所述的***，其中所述一或多个对象包括仪器。
7.根据权利要求4所述的***，其中所述一或多个对象包括机器人臂的末端执行器。
8.根据权利要求2或3所述的***，其中所述显示屏幕被进一步配置用于：
基于被运动跟踪***跟踪的第一参考标记装置的当前位置及/或定向，在所述第一坐标***内展示所述一或多个对象的位置及/或定向；和/或
基于被运动跟踪***跟踪的第二参考标记装置的当前位置及/或定向，在所述第二坐标***内展示所述一或多个对象的位置及/或定向。
9.根据权利要求2或3所述的***，其中所述控制器被进一步配置用于：
利用所述运动跟踪***检测所述第一参考标记装置与所述第二参考标记装置之间的相对移动；及
当所检测到的相对移动大于阈值时通知用户。
10.根据权利要求2或3所述的***，其中所述控制器被进一步配置用于：
验证患者图像的配准以确定第一参考标记装置或第二参考标记装置中的一个是否已相对于所述第一位置和/或第二位置移动；及
响应于确定第一参考标记装置和/或第二参考标记装置中的一个已相对于所述第一位置和/或第二位置移动而执行配准校正。
11.根据权利要求10所述的***，其中所述第一参考标记装置及所述第二参考标记装置在所述患者图像中是可见的，且使用所述第一参考标记装置及所述第二参考标记装置中的至少一者作为基准点来验证所述患者图像的配准。
12.根据权利要求11所述的***，其中在无需重新扫描所述患者以获得额外患者图像的情况下执行所述配准校正。
CN201780067251.3A 2016-09-09 2017-09-08 用于在计算机辅助手术中显示患者数据的方法及*** Active CN110248618B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662385552P 2016-09-09 2016-09-09
US62/385,552 2016-09-09
PCT/US2017/050733 WO2018049196A1 (en) 2016-09-09 2017-09-08 Methods and systems for display of patient data in computer-assisted surgery

Publications (2)

Publication Number Publication Date
CN110248618A CN110248618A (zh) 2019-09-17
CN110248618B true CN110248618B (zh) 2024-01-09

Family

ID=61562812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780067251.3A Active CN110248618B (zh) 2016-09-09 2017-09-08 用于在计算机辅助手术中显示患者数据的方法及***

Country Status (4)

Country Link
US (4) US10653495B2 (zh)
EP (1) EP3509527A4 (zh)
CN (1) CN110248618B (zh)
WO (1) WO2018049196A1 (zh)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
CA2918879A1 (en) 2013-07-24 2015-01-29 Centre For Surgical Invention & Innovation Multi-function mounting interface for an image-guided robotic system and quick release interventional toolset
AU2015414802B2 (en) * 2015-11-19 2020-12-24 Eos Imaging Method of preoperative planning to correct spine misalignment of a patient
AU2017231889A1 (en) * 2016-03-10 2018-09-27 Body Vision Medical Ltd. Methods and systems for using multi view pose estimation
WO2018024322A1 (en) * 2016-08-02 2018-02-08 Brainlab Ag Solid-joint deformation-model verification
WO2018049196A1 (en) 2016-09-09 2018-03-15 GYS Tech, LLC d/b/a Cardan Robotics Methods and systems for display of patient data in computer-assisted surgery
EP3528735A4 (en) * 2016-10-21 2020-04-29 Mobius Imaging LLC METHODS AND SYSTEMS FOR SETTING TARGET PATHWAYS AND LOCATIONS FOR IMAGE-GUIDED SURGERY
EP3545675A4 (en) 2016-11-24 2020-07-01 The University of Washington CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS
US10635930B2 (en) * 2017-02-24 2020-04-28 Siemens Healthcare Gmbh Patient position control for scanning
US10839956B2 (en) * 2017-03-03 2020-11-17 University of Maryland Medical Center Universal device and method to integrate diagnostic testing into treatment in real-time
EP3664741B1 (en) 2017-08-11 2023-02-22 Mobius Imaging LLC Apparatus for attaching a reference marker to a patient
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
JP2020531965A (ja) * 2017-08-30 2020-11-05 コンペディア ソフトウェア アンド ハードウェア デベロップメント リミテッドＣｏｍｐｅｄｉａ Ｓｏｆｔｗａｒｅ Ａｎｄ Ｈａｒｄｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｌｔｄ． 支援型の拡張現実
EP3691545A4 (en) 2017-10-04 2022-02-16 Mobius Imaging, LLC SYSTEMS AND METHODS FOR PERFORMING SIDE ACCESS SPINAL SURGERY
CA2983780C (en) 2017-10-25 2020-07-14 Synaptive Medical (Barbados) Inc. Surgical imaging sensor and display unit, and surgical navigation system associated therewith
US11071595B2 (en) * 2017-12-14 2021-07-27 Verb Surgical Inc. Multi-panel graphical user interface for a robotic surgical system
US10473919B2 (en) * 2017-12-29 2019-11-12 Konica Minolta Laboratory U.S.A., Inc. Portable 3D scanning system for 3D surface reconstruction
KR20200136931A (ko) * 2018-03-01 2020-12-08 아우리스 헬스, 인코포레이티드 매핑 및 내비게이션을 위한 방법 및 시스템
US20190310819A1 (en) * 2018-04-10 2019-10-10 Carto Technologies, LLC Augmented reality image display systems and methods
WO2019204699A1 (en) * 2018-04-19 2019-10-24 GYS Tech, LLC d/b/a Cardan Robotics Methods and systems for controlling a surgical robot
CN110384555B (zh) * 2018-04-19 2021-03-12 中国科学院深圳先进技术研究院 基于远端中心运动机构的持镜手术机器人
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US20190336093A1 (en) * 2018-05-02 2019-11-07 Epica International, Inc. System for performing robotic surgery
WO2019222228A1 (en) * 2018-05-15 2019-11-21 The Regents Of The University Of California System and method for automated image-guided robotic intraocular surgery
DE102018211381B4 (de) * 2018-07-10 2021-01-28 Siemens Healthcare Gmbh Gültigkeit eines Bezugssystems
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
US11789099B2 (en) * 2018-08-20 2023-10-17 Children's Hospital Medical Center System and method for guiding an invasive device
AU2019336235A1 (en) * 2018-09-07 2021-04-29 Uptake Technologies, Inc. Computer system and method for recommending an operating mode of an asset
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11304623B2 (en) 2018-12-25 2022-04-19 Biosense Webster (Israel) Ltd. Integration of medical imaging and location tracking
US11080816B2 (en) * 2019-01-28 2021-08-03 Ying Ji Image measuring and registering method
US11426242B2 (en) * 2019-01-30 2022-08-30 Medtronic Navigation, Inc. System and method for registration between coordinate systems and navigation of selected members
US11911110B2 (en) * 2019-01-30 2024-02-27 Medtronic Navigation, Inc. System and method for registration between coordinate systems and navigation of selected members
EP3692939B1 (en) 2019-02-07 2021-07-14 Stryker European Operations Limited Surgical systems for facilitating tissue treatment
US11553969B1 (en) * 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
JP7183085B2 (ja) * 2019-03-14 2022-12-05 株式会社東芝 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置
CN109998683A (zh) * 2019-05-06 2019-07-12 路迎 一种图像引导手术导航装置
US11832892B2 (en) 2019-07-10 2023-12-05 Mako Surgical Corp. Navigation systems for communicating tracker status conditions
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11672607B2 (en) * 2019-08-14 2023-06-13 Warsaw Orthopedic, Inc. Systems, devices, and methods for surgical navigation with anatomical tracking
GB2586601B (en) * 2019-08-27 2022-10-12 Zeta Motion Ltd Determining object pose from image data
WO2021061960A1 (en) * 2019-09-24 2021-04-01 Nuvasive, Inc. Systems and methods for three-dimensional navigation of objects
US20210121238A1 (en) * 2019-10-24 2021-04-29 Acclarent, Inc. Visualization system and method for ent procedures
US20210121244A1 (en) * 2019-10-28 2021-04-29 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for locating patient features
US20230355315A1 (en) * 2020-02-28 2023-11-09 8Chili, Inc. Surgical navigation system and applications thereof
DE102020204115A1 (de) * 2020-03-30 2021-06-02 Siemens Healthcare Gmbh Medizingerät mit einer Lichtquelle und Verfahren zum Ausgeben eines Lichtsignals an einem Medizingerät
EP3896653A1 (en) * 2020-04-15 2021-10-20 Stryker European Operations Limited Technique for determining a position of one or more imaged markers in an image coordinate system
CN111388087A (zh) * 2020-04-26 2020-07-10 深圳市鑫君特智能医疗器械有限公司 手术导航***及执行手术导航方法的计算机与存储介质
US20230186574A1 (en) * 2020-05-11 2023-06-15 Intuitive Surgical Operations, Inc. Systems and methods for region-based presentation of augmented content
US20210369366A1 (en) * 2020-05-29 2021-12-02 Canon U.S.A., Inc. Robotic endoscope controller with detachable monitor
CN115835830A (zh) * 2020-06-09 2023-03-21 史赛克雷宾格尔有限公司 用于计算机辅助干预的空间感知显示器
CN111956327B (zh) * 2020-07-27 2024-04-05 季鹰 图像测量与配准方法
CN112291390B (zh) * 2020-10-28 2022-05-06 Oppo广东移动通信有限公司 显示装置的装配方法、装配装置以及存储介质
CN112515695B (zh) * 2020-12-02 2024-05-10 上海西门子医疗器械有限公司 Ct机***及其状态监测方法
JP2022092831A (ja) * 2020-12-11 2022-06-23 セイコーエプソン株式会社 ソフトウェアスイッチプログラム、選択肢の選択方法および情報処理装置
US20220198665A1 (en) * 2020-12-21 2022-06-23 Medtronic Navigation, Inc. Systems and methods for monitoring one or more anatomical elements
US11295460B1 (en) 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
WO2022170201A1 (en) * 2021-02-08 2022-08-11 Medtronic Navigation, Inc Systems and methods for intraoperative re-registration
CN113017857B (zh) * 2021-02-25 2022-12-20 上海联影医疗科技股份有限公司 定位方法、装置、计算机设备和存储介质
US11457883B1 (en) 2021-04-09 2022-10-04 Pulmera, Inc. Medical imaging systems and associated devices and methods
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11847809B2 (en) * 2021-07-12 2023-12-19 Mazor Robotics Ltd. Systems, devices, and methods for identifying and locating a region of interest
WO2023004303A1 (en) * 2021-07-20 2023-01-26 Pulmera, Inc. Image guidance for medical procedures
EP4122387A1 (de) * 2021-07-21 2023-01-25 Siemens Healthcare GmbH Magnetresonanzvorrichtung mit einer patientendarstellungseinheit
EP4388734A1 (en) * 2021-08-18 2024-06-26 Augmedics Ltd. Stereoscopic display and digital loupe for augmented-reality near-eye display
US12016642B2 (en) 2021-09-08 2024-06-25 Proprio, Inc. Constellations for tracking instruments, such as surgical instruments, and associated systems and methods
US20230240753A1 (en) * 2022-02-02 2023-08-03 Mazor Robotics Ltd. Systems and methods for tracking movement of an anatomical element
WO2023154301A2 (en) 2022-02-08 2023-08-17 Mobius Imaging, Llc Resilient drape assemblies with guides for use with surgical robots
WO2024018368A2 (en) * 2022-07-18 2024-01-25 Augmedics Ltd. Calibration and registration of pre-operative and intraoperative images
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6314310B1 (en) * 1997-02-14 2001-11-06 Biosense, Inc. X-ray guided surgical location system with extended mapping volume
US8682413B2 (en) * 2006-11-15 2014-03-25 General Electric Company Systems and methods for automated tracker-driven image selection
US9436993B1 (en) * 2015-04-17 2016-09-06 Clear Guide Medical, Inc System and method for fused image based navigation with late marker placement

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5823958A (en) * 1990-11-26 1998-10-20 Truppe; Michael System and method for displaying a structural data image in real-time correlation with moveable body
EP0918491B1 (en) * 1997-01-24 2003-06-04 Koninklijke Philips Electronics N.V. Image display system
WO2001062173A2 (en) * 2000-02-25 2001-08-30 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatuses for maintaining a trajectory in sterotaxi for tracking a target inside a body
DE20101723U1 (de) 2001-02-01 2001-04-26 Wiedner, Klaus, Dipl.-Kfm., 90768 Fürth Brille mit Federanordnung
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US7319897B2 (en) 2002-12-02 2008-01-15 Aesculap Ag & Co. Kg Localization device display method and apparatus
FR2852226B1 (fr) * 2003-03-10 2005-07-15 Univ Grenoble 1 Instrument medical localise a ecran orientable
US7203277B2 (en) * 2003-04-25 2007-04-10 Brainlab Ag Visualization device and method for combined patient and object image data
US7835778B2 (en) * 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
US7272498B2 (en) 2004-09-30 2007-09-18 Scenera Technologies, Llc Method for incorporating images with a user perspective in navigation
DE102004054867B4 (de) 2004-11-12 2018-03-29 Deutsches Zentrum für Luft- und Raumfahrt e.V. Mit sensorischer Intelligenz ausgestatteter Roboter
WO2006075331A2 (en) * 2005-01-13 2006-07-20 Mazor Surgical Technologies Ltd. Image-guided robotic system for keyhole neurosurgery
WO2007014470A2 (en) * 2005-08-01 2007-02-08 Resonant Medical Inc. System and method for detecting drifts in calibrated tracking systems
US8672922B2 (en) 2005-12-20 2014-03-18 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
WO2008039389A1 (en) * 2006-09-22 2008-04-03 U-Systems, Inc. Thick-slice processing and display of information from a volumetric ultrasound scan of a chestwardly compressed breast
EP1923015B1 (de) 2006-10-17 2009-07-08 BrainLAB AG Markernavigationssystem zum Erfassen und Darstellen der Lage von Markereinrichtungen
EP2165215B1 (de) * 2007-05-24 2014-05-07 SurgicEye GmbH Bilderzeugungsapparat und -methode zur nuklearbildgebung
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
JP5154961B2 (ja) 2008-01-29 2013-02-27 テルモ株式会社 手術システム
US8253778B2 (en) * 2008-03-21 2012-08-28 Takahashi Atsushi Three-dimensional digital magnifier operation supporting system
US20090306499A1 (en) 2008-06-09 2009-12-10 Mako Surgical Corp. Self-detecting kinematic clamp assembly
EP2455038B1 (de) * 2008-10-21 2015-04-01 Brainlab AG Integration von chirurgischem Instrument und Anzeigevorrichtung zur Unterstützung der bildgeführten Chirurgie
US8118488B2 (en) 2009-01-05 2012-02-21 Mobius Imaging, Llc Mobile medical imaging system and methods
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
CA2684192C (en) * 2009-10-30 2017-09-19 Crosswing Inc. Apparatus and method for robotic display choreography
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
EP3263058A1 (en) 2010-06-28 2018-01-03 Brainlab AG Generating images for at least two displays in image-guided surgery
EP2452649A1 (en) * 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality
WO2013053397A1 (en) 2011-10-13 2013-04-18 Brainlab Ag Medical tracking system comprising multi-functional sensor device
DE102011121708A1 (de) * 2011-12-20 2013-06-20 Surgiceye Gmbh Bilderzeugungsapparat und -Methode zur Nuklearbildgebung
EP2861148B1 (en) 2012-06-14 2020-08-19 Mobius Imaging, LLC Vertical scan imaging system
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
WO2013192598A1 (en) * 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US20170172669A1 (en) 2012-06-21 2017-06-22 Globus Medical, Inc. System and method for a surveillance marker in robotic-assisted surgery
WO2014005049A1 (en) 2012-06-28 2014-01-03 Gregerson Eugene A Method and system for x-ray ct imaging
WO2014012013A1 (en) * 2012-07-12 2014-01-16 Agnihotri Jahanvi Systems, devices, and methods for providing handheld electronic devices in sterile environments
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
CA2902550A1 (en) * 2013-02-26 2014-09-04 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US20140276001A1 (en) * 2013-03-15 2014-09-18 Queen's University At Kingston Device and Method for Image-Guided Surgery
WO2014143796A2 (en) 2013-03-15 2014-09-18 Mobius Imaging, Llc Mobile x-ray imaging system
EP2967470B1 (en) 2013-03-15 2020-10-21 Mobius Imaging, Llc Caster system for mobile apparatus
CA2906414C (en) * 2013-03-15 2016-07-26 Synaptive Medical (Barbados) Inc. Systems and methods for navigation and simulation of minimally invasive therapy
JP6611612B2 (ja) * 2013-03-15 2019-11-27 シナプティヴ メディカル （バルバドス） インコーポレイテッド 外科データのイントラモーダル同期化
EP3035884B1 (en) * 2013-08-13 2022-11-23 Regents of the University of Minnesota Computer visualization of anatomical items
US9283048B2 (en) * 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
JP6509906B2 (ja) * 2014-01-06 2019-05-08 ボディ・ビジョン・メディカル・リミテッドＢｏｄｙ Ｖｉｓｉｏｎ Ｍｅｄｉｃａｌ Ｌｔｄ． 医療機器の作動方法
GB2526325B (en) 2014-05-21 2020-06-17 Flexenable Ltd Display device
EP3193766A1 (en) 2014-09-18 2017-07-26 KB Medical SA Robot-mounted user interface for interacting with operation room equipment
KR20160036715A (ko) * 2014-09-25 2016-04-05 삼성디스플레이 주식회사 표시 장치
GB201501157D0 (en) * 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
GB2534359A (en) * 2015-01-15 2016-07-27 Corin Ltd System and method for patient implant alignment
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10111658B2 (en) * 2015-02-12 2018-10-30 Covidien Lp Display screens for medical devices
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
US9949798B2 (en) * 2016-01-06 2018-04-24 Ethicon Endo-Surgery, Llc Methods, systems, and devices for controlling movement of a robotic surgical system
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US9675319B1 (en) * 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
WO2017216372A1 (en) 2016-06-17 2017-12-21 Medtronic Bakken Research Center B.V. Interactive placement of anatomical atlas structures in patient images
GB2568426B (en) * 2016-08-17 2021-12-15 Synaptive Medical Inc Methods and systems for registration of virtual space with real space in an augmented reality system
WO2018049196A1 (en) 2016-09-09 2018-03-15 GYS Tech, LLC d/b/a Cardan Robotics Methods and systems for display of patient data in computer-assisted surgery
US11071590B2 (en) 2017-04-14 2021-07-27 Stryker Corporation Surgical systems and methods for facilitating ad-hoc intraoperative planning of surgical procedures
EP3810012A1 (en) 2018-06-19 2021-04-28 Tornier, Inc. Mixed reality-aided education using virtual models or virtual representations for orthopedic surgical procedures
EP3692939B1 (en) 2019-02-07 2021-07-14 Stryker European Operations Limited Surgical systems for facilitating tissue treatment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6314310B1 (en) * 1997-02-14 2001-11-06 Biosense, Inc. X-ray guided surgical location system with extended mapping volume
US8682413B2 (en) * 2006-11-15 2014-03-25 General Electric Company Systems and methods for automated tracker-driven image selection
US9436993B1 (en) * 2015-04-17 2016-09-06 Clear Guide Medical, Inc System and method for fused image based navigation with late marker placement

Also Published As

Publication number Publication date
EP3509527A4 (en) 2020-12-30
US10653495B2 (en) 2020-05-19
US11141237B2 (en) 2021-10-12
US20210378783A1 (en) 2021-12-09
US20200268473A1 (en) 2020-08-27
CN110248618A (zh) 2019-09-17
US11737850B2 (en) 2023-08-29
EP3509527A1 (en) 2019-07-17
US20230355347A1 (en) 2023-11-09
WO2018049196A1 (en) 2018-03-15
US20180185113A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
CN110248618B (zh) 用于在计算机辅助手术中显示患者数据的方法及***
CN111417354B (zh) 用于机器人辅助手术的方法及***
CN111417352B (zh) 用于设定图像引导式外科手术的轨迹和目标位置的方法和***
US11950858B2 (en) Systems for performing computer assisted surgery
US11896318B2 (en) Methods and systems for controlling a surgical robot
US11944390B2 (en) Systems and methods for performing intraoperative guidance
US20180325610A1 (en) Methods for indicating and confirming a point of interest using surgical navigation systems
US20220378526A1 (en) Robotic positioning of a device
US20230368418A1 (en) Accuracy check and automatic calibration of tracked instruments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200701

Address after: Massachusetts, USA

Applicant after: MOBIUS IMAGING, LLC

Address before: Massachusetts, USA

Applicant before: Gys Technology Co.,Ltd. (Business Name Cartan robot)

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant