CN110832544B - 用于导航的基于图像的分支检测和映射 - Google Patents

用于导航的基于图像的分支检测和映射 Download PDF

Info

Publication number
CN110832544B
CN110832544B CN201880044524.7A CN201880044524A CN110832544B CN 110832544 B CN110832544 B CN 110832544B CN 201880044524 A CN201880044524 A CN 201880044524A CN 110832544 B CN110832544 B CN 110832544B
Authority
CN
China
Prior art keywords
instrument
openings
image
opening
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880044524.7A
Other languages
English (en)
Other versions
CN110832544A (zh
Inventor
里特维克·乌马拉内尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Auris Health Inc
Original Assignee
Auris Surgical Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Auris Surgical Robotics Inc filed Critical Auris Surgical Robotics Inc
Publication of CN110832544A publication Critical patent/CN110832544A/zh
Application granted granted Critical
Publication of CN110832544B publication Critical patent/CN110832544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B46/00—Surgical drapes
    • A61B46/10—Surgical drapes specially adapted for instruments, e.g. microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B50/00—Containers, covers, furniture or holders specially adapted for surgical or diagnostic appliances or instruments, e.g. sterile covers
    • A61B50/10—Furniture specially adapted for surgical or diagnostic appliances or instruments
    • A61B50/13—Trolleys, e.g. carts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00—Operating tables; Auxiliary appliances therefor
    • A61G13/02—Adjustable operating tables; Controls therefor
    • A61G13/04—Adjustable operating tables; Controls therefor tiltable around transverse or longitudinal axis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00—Operating tables; Auxiliary appliances therefor
    • A61G13/02—Adjustable operating tables; Controls therefor
    • A61G13/08—Adjustable operating tables; Controls therefor the table being divided into different adjustable sections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00—Operating tables; Auxiliary appliances therefor
    • A61G13/10—Parts, details or accessories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00—Operating tables; Auxiliary appliances therefor
    • A61G13/10—Parts, details or accessories
    • A61G13/12—Rests specially adapted therefor; Arrangements of patient-supporting surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/0233—Pointed or sharp biopsy instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00039—Electric or electromagnetic phenomena other than conductivity, e.g. capacity, inductivity, Hall effect
    • A61B2017/00044—Sensing electrocardiography, i.e. ECG
    • A61B2017/00048—Spectral analysis
    • A61B2017/00053—Mapping
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00477—Coupling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/005—Auxiliary appliance with suction drainage system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/007—Auxiliary appliance with irrigation system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2210/00—Devices for specific treatment or diagnosis
    • A61G2210/50—Devices for specific treatment or diagnosis for radiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Urology & Nephrology (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

腔网络内的器械的导航可以包括基于图像的分支检测和基于图像的分支映射。基于图像的分支检测可以包括在图像内识别与腔网络的一个或更多个分支相关联的一个或更多个开口。基于图像的分支映射可以包括将检测到的一个或更多个开口映射到腔网络的相应分支。映射可以包括将开口的特征与一组预期开口的特征进行比较。可以根据映射的开口确定器械的位置状态估计，这可以有利于腔网络的导航。

Description

用于导航的基于图像的分支检测和映射
技术领域
本公开内容一般地涉及用于医疗器械的导航的***和方法，并且更具体地涉及用于受导航机器人控制的医疗器械的基于图像的分支检测和映射。
背景技术
医疗过程例如内窥镜检查(例如，支气管镜检查)可以涉及进入并可视化患者的腔(例如，气道)的内部以用于诊断和/或治疗目的。在过程期间，柔性管状工具或器械例如内窥镜可以被***到患者身体内。在一些情况下，第二器械可以通过内窥镜被传递至被识别为用于诊断和/或治疗的组织部位。
支气管镜检查是允许医生检查患者肺中的气道例如支气管和细支气管的内部状况的医疗过程。在医疗过程期间，可以将被称为支气管镜的细薄柔性的管状工具或器械***患者的口腔中，并且朝向被识别为用于随后诊断和治疗的组织部位通过患者的喉部向下传递进入他或她的肺气道。支气管镜可以具有向组织部位提供通路的腔(“工作通道”)，并且导管和各种医疗工具可以通过工作通道***到组织部位。
在某些医疗过程中，可以使用手术机器人***来控制手术工具的***和/或操作。手术机器人***可以包括至少一个机器人臂或其他器械定位装置，该器械定位装置包括用于在过程期间控制手术工具的定位的操纵器组件。
发明内容
机器人使能医疗***可以用于执行各种医疗过程，包括微创过程诸如腹腔镜检查过程，以及无创过程诸如内窥镜检查过程。在内窥镜检查过程中，机器人使能医疗***可用于执行支气管镜检查、输尿管镜检查、胃肠病学等。在这样的过程期间，医生和/或计算机***可以将医疗器械导航通过患者的腔网络。腔网络可以包括多个分支的腔(例如在支气管网络中或肾网络中)，或者单个腔(例如胃肠道)。机器人使能医疗***可以包括用于引导(或协助引导)医疗器械通过腔网络的导航***。
本公开内容的实施方式涉及用于基于图像的分支检测和映射的***和技术。基于图像的分支检测和映射可以有助于导航通过腔网络。基于图像的分支检测可以包括在使用器械上的成像装置捕获的图像内识别与腔网络的一个或更多个分支相关联的一个或更多个开口。基于图像的分支映射可以包括将检测到的一个或更多个开口映射到腔网络的相应分支。这些***和技术可以用于确定或估计器械在腔网络中的位置。本公开内容的***、方法和装置各自都具有若干创新方面，本公开内容的***、方法和装置中的没有单独一个独自地负责本文中公开的期望属性。
因此，第一方面涉及非暂态计算机可读存储介质，在非暂态计算机可读存储介质上存储有指令，指令在被执行时使装置的处理器至少进行如下步骤：确定位于腔网络的当前分支内的器械的位置状态估计；至少部分地基于位置状态估计和腔网络的术前模型确定一组预期后续分支；使用位于器械上的成像装置捕获当前分支的图像；在图像内检测将腔网络的后续分支连接到当前分支的多个开口，；将检测到的所述多个开口的一个或更多个特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到一组预期后续分支中的一个分支；以及至少部分地基于该比较，提供更新的位置状态估计。
第一方面还可以以任意组合包括以下特征中的一个或更多个特征：(a)其中更新的位置状态估计包括位置状态估计为正确的概率；(b)其中部分地基于检测到的所述多个开口的一个或更多个特征与一组预期后续分支之间的比较来确定概率；(c)其中部分地基于检测到的所述多个开口的一个或更多个特征与一组预期后续分支匹配的程度来确定概率；(d)其中更新的位置状态估计包括器械将被移动到哪个后续分支内的估计；(e)其中指令在被执行使装置的处理器确定检测到的所述多个开口中的哪个开口更靠近图像的中心；(f)其中更新的位置状态估计包括器械将被移动到被确定为更靠近图像的中心的开口内的概率；(g)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中更新的位置状态估计包括滚动的估计为正确的概率，其中概率通过将图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定；(h)其中所位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中指令在被执行时使装置的处理器通过将图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定滚动的校正估计；(i)其中指令在被执行时使装置的处理器确定检测到的开口的一个或更多个特征；(j)其中一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；(k)其中指令在被执行时使装置的一个或更多个处理器从术前模型获得与一组预期后续分支有关的信息，其中信息包括开口的形心、开口的轮廓以及连接两个开口的形心的向量中至少之一；(l)其中指令在被执行时使装置的处理器通过以下方式将检测到的多个开口的一个或更多个特征与一组预期后续分支进行比较：对于检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的一个或更多个特征和与一组预期后续分支有关的信息进行匹配，其中最高匹配用于将该检测到的开口映射到预期后续分支之一；(m)其中指令在被执行时使装置的处理器通过以下方式检测图像内的多个开口：生成图像的像素强度值的直方图；分析直方图以识别图像内的多个开口；和/或(n)其中分析直方图包括识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；将中点的第一侧的像素分类为开口。
第二方面涉及用于对患者的腔网络进行导航的机器人***，该机器人***包括：器械，该器械具有被配置成***到腔网络中的细长本体以及位于细长本体的末端部分上的成像装置；附接于器械的器械定位装置，该器械定位装置被配置成移动器械通过腔网络；上面存储有可执行指令的至少一个计算机可读存储器；一个或更多个处理器，所述一个或更多个处理器与至少一个计算机可读存储器通信并且被配置成执行指令以使***至少进行如下步骤：确定位于腔网络的当前分支内的器械的位置状态估计；至少部分地基于初始状态估计和腔网络的术前模型确定一组预期后续分支；使用位于器械上的成像装置捕获腔网络的当前分支的图像；在图像内检测将腔网络的后续分支连接到当前分支的多个开口；将检测到的多个开口的特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到预期后续分支之一；以及至少部分地基于比较，提供更新的位置状态估计。
第二方面还可以以任意组合包括以下特征的一个或更多个：(a)其中器械包括内窥镜；(b)其中器械定位装置包括机器人臂；(c)其中腔网络包括肺的支气管网络、胃肠道或者肾脏的肾网络；(d)其中更新的位置状态估计包括位置状态估计为正确的概率；(e)部分地基于检测到的多个开口的特征与一组预期后续分支之间的比较来确定概率；(f)其中概率是部分地基于检测到的多个开口的特征与一组预期后续分支匹配的程度来确定；(g)其中更新的位置状态估计包括器械将被移动到哪个后续分支内的估计；(h)其中指令在被执行时使一个或更多个处理器确定检测到的多个开口中的哪个开口更靠近图像的中心；(i)其中更新的位置状态估计包括器械将被移动到被确定为更靠近图像的中心的开口内的概率；(j)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中更新的位置状态估计包括滚动的估计为正确的概率，其中通过将所述图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定概率；(k)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中指令在被执行时使一个或更多个处理器通过将图像内检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定滚动的校正估计；(l)其中指令在被执行时使一个或更多个处理器确定检测到的开口的一个或更多个特征；(m)一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；(n)其中指令在被执行时使装置的一个或更多个处理器从术前模型获得与一组预期后续分支相关的信息，其中信息包括开口形心、开口轮廓以及连接两个开口的形心的向量中至少之一；(o)其中指令在被执行时使一个或更多个处理器通过以下方式将检测到的多个开口的一个或更多个特征与一组预期后续分支进行比较：对于检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的一个或更多个特征和与一组预期后续分支有关的信息进行匹配，其中最高匹配用于将该检测到的开口映射到预期后续分支之一；(p)其中指令在被执行时使一个或更多个处理器通过以下方式检测图像内的多个开口：生成图像的像素强度值的直方图；分析直方图以识别图像内的多个开口；和/或(q)其中分析直方图包括：识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；以及将中点的第一侧的像素分类为开口。
第三方面涉及用于对腔网络进行导航的方法，该方法包括：将器械***到腔网络的当前分支中；接收器械的位置状态估计；至少部分地基于初始状态估计和腔网络的术前模型确定一组预期后续分支；使用位于器械上的成像装置捕获当前分支的图像；分析图像以检测将后续分支连接到当前分支的多个开口；将检测到的多个开口的特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到预期后续分支之一；以及至少部分地基于该比较，提供更新的位置状态估计。
第三方面还可以以任意组合包括以下特征的一个或更多个：(a)其中器械包括内窥镜；(b)其中器械定位装置包括机器人臂；(c)其中腔网络包括肺的支气管网络、胃肠道或者肾脏的肾网络；(d)其中更新的位置状态估计包括位置状态估计为正确的概率；(e)其中部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支之间的比较来确定概率；(f)其中部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支匹配的程度来确定概率；(g)其中更新的位置状态估计包括器械将被移动到哪个后续分支内的估计；(h)其中还包括确定检测到的多个开口中的哪个开口更靠近图像的中心；(i)其中更新的位置状态估计包括器械将被移动到被确定为更靠近图像的中心的开口内的概率；(j)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中更新的位置状态估计包括滚动的估计为正确的概率，该方法还包括：将所述图像内的检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定概率；(k)其中位置状态估计包括器械绕器械的纵向轴线的滚动的估计，并且其中该方法还包括：通过将图像内检测到的开口的取向与基于术前模型的一组预期后续分支的预期取向进行比较来确定滚动的校正估计；(l)确定检测到的开口的一个或更多个特征；(m)其中一个或更多个特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；(n)从术前模型获得与一组预期后续分支相关的信息，其中信息包括开口形心、开口轮廓以及连接两个开口的形心的向量中至少之一；(o)其中将检测到的多个开口的特征与一组预期后续分支进行比较包括：对于检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的一个或更多个特征和与一组预期后续分支有关的信息进行匹配，其中最高匹配用于将该检测到的开口映射到预期后续分支之一；(p)其中检测图像内的多个开口包括：生成图像的像素强度值的直方图；以及分析直方图以识别图像内的多个开口；和/或(q)其中分析直方图包括识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；将中点的第一侧的像素分类为开口。
第四方面涉及用于识别腔网络的分支的开口的方法，该方法包括使用位于分支内的成像装置捕获腔网络的分支的内部的图像；生成图像的像素强度值的直方图；以及将低于阈值的像素识别为指示图像内的开口。
第四方面还可以以任意组合包括以下特征的一个或更多个：(a)基于直方图确定阈值；(b)其中确定阈值包括识别直方图内的至少两个峰值；识别至少两个峰值之间的中点；并且将阈值设置为等于中点的强度值；(c)对于图像内的识别的开口中的每个开口，确定开口的形心；(d)对于图像内的识别的开口中的每个开口，确定开口的轮廓；(e)将图像中的识别的开口的数目与坏帧检测器阈值进行比较；以及如果识别的开口的数目超过坏帧检测器阈值：则捕获分支的内部的第二图像；以及分析第二图像以确定第二图像内的开口；(f)其中腔网络是肺的支气管网络、胃肠道或肾脏的肾网络。
附图说明
下文将结合附图描述所公开的方面，提供附图是为了说明而不是限制所公开的方面，其中，相同的标记表示相同的元件。
图1示出了被布置成用于诊断和/或治疗性支气管镜检查过程的基于推车的机器人***的实施方式。
图2描绘了图1的机器人***的另外方面。
图3示出了被布置成用于输尿管镜检查的图1的机器人***的实施方式。
图4示出了被布置成用于血管过程的图1的机器人***的实施方式。
图5示出了被布置成用于支气管镜检查过程的基于台的机器人***的实施方式。
图6提供了图5的机器人***的替选视图。
图7示出了被配置成收放机器人臂的示例***。
图8示出了被配置成用于输尿管镜检查过程的基于台的机器人***的实施方式。
图9示出了被配置成用于腹腔镜检查过程的基于台的机器人***的实施方式。
图10示出了具有俯仰或倾斜调整的图5至图9的基于台的机器人***的实施方式。
图11提供了图5至图10的基于台的机器人***的台与柱之间的接口的详细图示。
图12示出了示例性器械驱动器。
图13示出了具有成对的器械驱动器的示例性医疗器械。
图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。
图15描绘了示出根据示例实施方式的定位***的框图，该定位***估计图1至图10的机器人***的一个或更多个元件的位置，例如图13和图14的器械的位置。
图16示出了对腔网络进行导航的器械的示例。
图17示出了用于机器人控制的手术***的示例性命令控制台。
图18示出了医疗器械的实施方式的末端。
图19描绘了示出用于基于图像的分支检测和映射的示例方法的流程图。
图20示出了腔网络的分支的内部的示例性图像。
图21描绘了示出用于基于图像的分支检测的示例性方法的流程图。
图22示出了像素强度值的示例性直方图。
图23A和图23B示出了说明基于图像的分支检测的示例性图像。
图24描绘了示出用于基于图像的分支检测的示例性方法的流程图。
图25示出了腔网络的简化视图。
图26描绘了示出用于基于图像的分支映射的示例性方法的流程图。
图27A至图27C示出了用于基于图像的分支映射的方法中的示例性步骤。
图28示出了说明基于图像的分支预测的示例性图像。
图29描绘了示出用于基于图像的分支检测和映射的示例性方法的流程图。
具体实施方式
1.概述。
本公开内容的各方面可以被集成到机器人使能医疗***中，该机器人使能医疗***能够执行各种医疗过程，包括微创过程诸如腹腔镜检查，以及无创过程诸如内窥镜检查。在内窥镜检查过程中，该***可以执行支气管镜检查、输尿管镜检查、胃镜检查等。
除了执行广泛的过程之外，***还可以提供另外的益处，例如增强成像和引导以帮助医生。此外，***可以为医生提供如下能力：在不需要笨拙的手臂运动和定位的情况下，从人体工程学位置执行过程。此外，***还可以向医生提供如下能力：以改进的易用性来执行过程，使得***的器械中的一个或更多个器械可以由单个用户控制。
出于说明的目的，下面将结合附图来描述各种实施方式。应当理解的是，所公开的概念的许多其他实现是可能的，并且利用所公开的实现可以获得各种优点。本文包含标题以用于参考并帮助定位各个部分。这些标题并非旨在限制相对于其所描述的概念的范围。这种概念可以适用于整个说明书。
A.机器人***-推车。
取决于具体过程，可以以各种方式配置机器人使能医疗***。图1示出了被布置成用于诊断和/或治疗支气管镜检查过程的基于推车的机器人使能***10的实施方式。在支气管镜检查期间，***10可以包括推车11，推车11具有一个或更多个机器人臂12，以将医疗器械(例如可操纵的内窥镜13，其可以是用于支气管镜检查的过程专用支气管镜)递送至自然孔口进入点(即，在本示例中为定位在台上的患者的口腔)，以递送诊断和/或治疗工具。如图所示，推车11可以被定位在患者的上躯干附近，以便提供至进入点的入径。类似地，机器人臂12可以被致动以相对于进入点定位支气管镜。当利用胃镜(一种用于胃肠(GI)过程的专用内窥镜)执行GI过程时，也可以利用图1中的装置。图2更详细地描述了推车的示例性实施方式。
继续参照图1，一旦推车11被合适地定位，机器人臂12就可以自动地、手动地或以其组合的方式将可操纵内窥镜13***到患者身体内。如图所示，可操纵内窥镜13可以包括至少两个伸缩部分，例如内引导件部分和外护套部分，每个部分耦接至来自该组器械驱动器28的单独的器械驱动器，每个器械驱动器耦接至单独的机器人臂的末端。便于将引导件部分与护套部分同轴对准的器械驱动器28的这种线性布置产生“虚拟轨道”29，“虚拟轨道”29可以通过将一个或更多个机器人臂12操纵到不同角度和/或位置而在空间中重新定位。在图中使用虚线描绘了本文描述的虚拟轨道，并且因此虚线不描绘***的任何物理结构。器械驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩，或者使内窥镜13相对于患者前进或缩回。虚拟轨道29的角度可以基于临床应用或医生偏好来调整、平移和枢转。例如，在支气管镜检查中，所示的虚拟轨道29的角度和位置代表了在使医生接近内窥镜13与使由于内窥镜13弯曲到患者的口腔中而产生的摩擦最小化之间的折衷。
可以使用来自机器人***的精确命令在***之后沿着患者的气管和肺引导内窥镜13，直到到达目标目的地或手术部位。为了增强通过患者的肺网络的导航和/或到达期望的目标，内窥镜13可以***纵成从外护套部分伸缩地延伸内引导件部分，以获得增强的接合和更大的弯曲半径。使用单独的器械驱动器28还允许引导件部分和护套部分彼此独立地被驱动。
例如，内窥镜13可以被引导以将活检针递送至目标，例如，患者肺内的病变或结节。可以沿着工作通道部署沿着内窥镜的长度延伸的针以获得要由病理学家分析的组织样本。根据病理学结果，可以沿着内窥镜的工作通道部署附加工具以用于附加活检。在识别出结节是恶性的之后，内窥镜13可以通过内窥镜递送工具以切除潜在的癌组织。在一些情况下，诊断和治疗处理可能需要在单独的过程中递送。在那些情况下，内窥镜13也可以用于递送基准物以“标记”目标结节的位置。在其他情况下，诊断和治疗处理可以在相同的过程期间被递送。
***10还可以包括可移动塔30，该可移动塔30可以经由支持线缆连接至推车11以向推车11提供控制、电子、流控学、光学、传感器和/或电力的支持。将这样的功能性放置在塔30中允许可以由操作医生和他/她的工作人员更容易地调整和/或重新定位的更小形状因子的推车11。此外，推车/台与支持塔30之间的功能性的分配减轻了手术室的混乱并且有利于改善临床工作流程。虽然推车11可以定位成靠近患者，但是塔30可以收放在远程位置以在过程期间不挡道。
在上述机器人***的支持中，塔30可以包括基于计算机的控制***的(一个或多个)部件，基于计算机的控制***例如在诸如永久性磁存储驱动器、固态驱动器等的非暂态计算机可读存储介质内存储计算机程序指令。这些指令的执行——无论该执行在塔30中还是在推车11中发生——都可以控制整个***或其(一个或多个)子***。例如，当由计算机***的处理器执行时，指令可以使机器人***的部件致动相关的托架和臂安装件，致动机器人臂，并且控制医疗器械。例如，响应于接收到控制信号，机器人臂的关节中的马达可以将臂定位成特定姿势。
塔30还可以包括泵、流量计、阀控制器和/或流体入口，以便向可以通过内窥镜13部署的***提供受控的冲洗和抽吸能力。这些部件也可以使用塔30的计算机***来控制。在一些实施方式中，冲洗和抽吸能力可以通过(一个或更多个)单独的线缆直接递送至内窥镜13。
塔30可以包括电压和浪涌保护器，电压和浪涌保护器被设计成向推车11提供经滤波和保护的电力，从而避免在推车11中放置电力变压器和其他辅助电力部件，从而得到更小、更加可移动的推车11。
塔30还可以包括用于遍及机器人***10部署的传感器的支持设备。例如，塔30可以包括用于检测、接收和处理从遍及机器人***10的光学传感器或摄像装置接收到的数据的光电子设备。与控制***结合，这样的光电子设备可以用于生成实时图像以显示在遍及***部署的任何数量的控制台(包括在塔30中的)中。类似地，塔30还可以包括用于接收和处理从部署的电磁(EM)传感器接收到的信号的电子子***。塔30还可以用于容置和定位EM场发生器，以用于医疗器械中或医疗器械上的EM传感器的检测。
除了在***的其余部分中可用的其他控制台(例如，安装在推车顶部的控制台)之外，塔30还可以包括控制台31。控制台31可以包括用于医生操作员的用户接口和显示屏，例如触摸屏。***10中的控制台通常被设计成提供机器人控制以及过程的术前信息和实时信息，例如，内窥镜13的导航和定位信息。当控制台31不是医生可用的唯一控制台时，控制台31可以由诸如护士的第二操作者使用，以监测患者的健康或生命体征以及***的操作，以及提供过程专用数据，例如，导航和定位信息。在其他的实施方式中，控制台30容置在与塔30分离的物体中。
塔30可以通过一个或更多个线缆或连接(未示出)耦接至推车11和内窥镜13。在一些实施方式中，来自塔30的支持功能可以通过单个线缆被提供至推车11，从而简化手术室并且使手术室不杂乱。在其他实施方式中，特定功能性可以耦接在单独的线缆和连接中。例如，尽管可以通过单个电力线缆向推车提供电力，但也可以通过单独的线缆提供对控制、光学、流控和/或导航的支持。
图2提供了图1所示的基于推车的机器人使能***的推车的实施方式的详细图示。推车11通常包括细长的支承结构14(通常称为“柱”)、推车基部15和在柱14的顶部的控制台16。柱14可以包括用于支承一个或更多个机器人臂12(图2中示出三个)的部署的一个或更多个托架，例如托架17(替选地“臂支架”)。托架17可以包括可单独配置的臂安装件，该臂安装件沿着竖直轴旋转以调整机器人臂12的基部，以相对于患者更好地定位。托架17还包括托架接口19，其允许托架17沿着柱14竖直平移。
托架接口19通过诸如槽20的槽连接至柱14，所述槽被定位在柱14的相对侧以引导托架17的竖直平移。槽20包含用于将托架定位和保持在相对于推车基部15的各种竖直高度处的竖直平移接口。托架17的竖直平移允许推车11调整机器人臂12的可达范围以满足各种台高度、患者尺寸和医生偏好。类似地，托架17上的可单独配置的臂安装件允许机器人臂12的机器人臂基部21以各种配置成角度。
在一些实施方式中，槽20可以补充有槽盖，槽盖与槽表面齐平且平行，以防止在托架17竖直平移时灰尘和流体进入柱14的内部腔室和竖直平移接口。可以通过位于槽20的竖直顶部和底部附近的成对弹簧卷轴来部署槽盖。盖盘绕在卷轴内直到被部署成随着托架17竖直地上下平移而从盖的盘绕状态延伸和缩回。当托架17向卷轴平移时，卷轴的弹簧加载提供了将盖缩回到卷轴中的力，同时当托架17平移远离卷轴时也保持紧密密封。盖可以使用例如托架接口19中的托架连接至托架17，以确保盖在托架17平移时适当地延伸和缩回。
柱14可以在内部包括诸如齿轮和马达的机构，所述机构被设计成使用竖直对准的导螺杆以响应于响应用户输入(例如，来自控制台16的输入)而生成的控制信号而以机械化方式平移托架17。
机器人臂12通常可以包括由一系列连杆23分开的机器人臂基部21和端部受动器22，上述一系列连杆23由一系列关节24连接，每个关节包括独立的致动器，每个致动器包括独立可控马达。每个独立可控关节表示机器人臂可用的独立自由度。臂12中的每一个具有七个关节，因此提供七个自由度。多个关节引起多个自由度，从而允许“冗余”自由度。冗余自由度允许机器人臂12使用不同的连杆位置和关节角度将它们各自的端部受动器22定位在空间中的特定位置、取向和轨迹处。这允许***从空间中的期望点定位和引导医疗器械，同时允许医生将臂关节移动到远离患者的临床有利位置，以产生更好的接近，同时避免臂碰撞。
推车基部15在地板上平衡柱14、托架17和臂12的重量。因此，推车基部15容置较重的部件，例如电子器件、马达、电源以及使得推车能够移动和/或固定的部件。例如，推车基部15包括允许推车在过程之前容易地在手术室中移动的可滚动的轮形脚轮25。在到达适当位置之后，脚轮25可以使用轮锁固定，以在过程期间将推车11保持在适当位置。
定位在柱14的竖直端部的控制台16允许用于接收用户输入的用户接口和显示屏(或两用装置，例如触摸屏26)两者向医生用户提供术前和手术中数据两者。触摸屏26上的潜在术前数据可以包括从术前计算机化断层层析成像(CT)扫描得出的术前计划、导航和映射数据和/或来自术前患者面谈的注释。显示器上的手术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计，例如呼吸、心率和/或脉搏。控制台16可以被定位和倾斜，以允许医生从柱14的与托架17相对的侧面接近控制台。从该位置，医生可以在从推车11后面操作控制台16的同时观察控制台16、机器人臂12和患者。如所示出的，控制台16还包括用于帮助操纵和稳定推车11的手柄27。
图3示出了被布置成用于输尿管镜检查的机器人使能***10的实施方式。在输尿管镜检查过程中，推车11可以被定位成将输尿管镜32——即，被设计成横穿患者的尿道和输尿管的过程专用内窥镜——递送至患者的下腹部区域。在输尿管镜检查中，可以期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如所示出的，推车11可以在台的脚部处对准，以允许机器人臂12定位输尿管镜32，以用于直接线性进入患者的尿道。从台的脚部，机器人臂12可以沿着虚拟轨道33将输尿管镜32通过尿道直接***患者的下腹部。
在***尿道中之后，使用与支气管镜检查中类似的控制技术，输尿管镜32可以被导航到膀胱、输尿管和/或肾中以用于诊断和/或治疗应用。例如，可以使用沿着输尿管镜32的工作通道部署的激光或超声碎石装置将输尿管镜32引导到输尿管和肾中以打碎积聚的肾结石。在碎石完成之后，可以使用沿着输尿管镜32部署的网篮移除所得到的结石碎片。
图4示出了类似地被布置成用于血管过程的机器人使能***的实施方式。在血管过程中，***10可以被配置成使得推车11可以将诸如可操纵导管的医疗器械34递送至患者腿部的股动脉中的进入点。股动脉呈现用于导航的较大直径以及到患者心脏的相对较少迂回和曲折路径两者，这简化了导航。如在输尿管镜检查过程中，推车11可以被定位成朝向患者的腿和下腹部，以允许机器人臂12提供直接线性进入患者的大腿/髋部区域中的股动脉进入点的虚拟轨道35。在***动脉后，可以通过平移器械驱动器28来引导和***医疗器械34。替选地，推车可以被定位在患者的上腹部周围，以到达替选的血管进入点，例如，肩部和腕部附近的颈动脉和臂动脉。
B.机器人***-台。
机器人使能医疗***的实施方式还可以结合患者的台。通过移除推车，台的结合减少了手术室内的主要设备的量，这允许对患者的更好的进入。图5示出了被布置成用于支气管镜检查过程的这样的机器人使能***的实施方式。***36包括用于在地板上支承平台38(示出为“台”或“床”)的支承结构或柱37。与基于推车的***非常相似，***36的机器人臂39的端部受动器包括器械驱动器42，器械驱动器42被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长医疗器械，例如图5中的支气管镜40。在实践上，可以通过将发射器和检测器放置在台38周围来在患者的上腹部区域上方放置用于提供荧光透视成像的C形臂。
图6提供了出于讨论的目的而没有患者和医疗仪器的***36的替选视图。如所示出的，柱37可以包括在***36中示出为环形形状的一个或更多个托架43，一个或更多个机器人臂39可以基于上述一个或更多个托架43。托架43可以沿着在柱37的长度上延伸的竖直柱接口44平移以提供不同的有利点，机器人臂39可以从这些有利点被定位成到达患者。(一个或多个)托架43可以使用定位在柱37内的机械马达绕柱37旋转，以允许机器人臂39接近台38的多个侧面，诸如例如患者的两侧。在具有多个托架的实施方式中，托架可以单独地定位在柱上，并且可以独立于其他托架而平移和/或旋转。虽然托架43不需要围绕柱37或者甚至无需是圆形的，但所示的环形形状有利于托架43绕柱37的旋转，同时保持结构平衡。托架43的旋转和平移允许***将诸如内窥镜和腹腔镜的医疗器械对准到患者上的不同进入点中。在其他的实施方式中(未示出)，***36可以包括病人的台或床，该病人的台或床具有沿其延伸的杆或轨道形式的可调节臂支撑件。一个或更多个机器人臂39(例如，通过带有肘关节的肩部)可以附接到可以垂直调节的可调节臂支撑件。通过提供垂直调节，机器人臂39有利地能够紧凑地收放在病人的台或床下方，并且随后在过程中被升起。
臂39可以通过包括一系列关节的一组臂安装件45安装在托架上，上述一系列关节可以单独地旋转和/或可伸缩地延伸，以向机器人臂39提供附加的可配置性。另外，臂安装件45可以被定位在托架43上，使得当托架43适当地旋转时，臂安装件45可以被定位在台38的相同侧(如图6中所示)，定位在台38的相对侧(如图9中所示)，或者定位在台38的相邻侧(未示出)。
柱37在结构上提供用于台38的支承以及用于托架的竖直平移的路径。在内部，柱37可以配备有用于引导托架的竖直平移的导引螺杆以及基于导引螺杆使所述托架的平移机械化的马达。柱37还可以将电力和控制信号传送至托架43和安装在托架43上的机器人臂39。
台基部46起到与图2中示出的推车11中的推车基部15类似的作用，容置较重的部件以平衡台/床38、柱37、托架43和机器人臂39。台基部46还可以并入刚性脚轮以用于在过程期间提供稳定性。从台基部46的底部部署的脚轮可以在基部46的两侧沿相对方向延伸，并且当***36需要被移动时缩回。
继续图6，***36还可以包括塔(未示出)，该塔在台与塔之间分配***36的功能性以减小台的形状因子和体积。如在先前公开的实施方式中，塔可以向台提供各种支持功能，例如处理、计算和控制能力、电力、流控和/或光学以及传感器处理。塔还可以是可移动的，以被定位成远离患者，以改善医生的接近并且使手术室不杂乱。另外，将部件放置在塔中能够实现在台基部中有更多的储存空间，以用于机器人臂的潜在收放。塔还可以包括主控器或控制台，该主控器或控制台提供用于用户输入的诸如键盘和/或悬架式操纵台的用户接口以及用于手术前和手术中信息诸如实时成像、导航和跟踪信息的显示屏(或触摸屏)二者。在一些实施方式中，塔还可以包含用于注气法要使用的气罐的保持器。
在一些实施方式中，台基部可以将机器人臂在不使用时收放并存放。图7示出了基于台的***的实施方式中的收放机器人臂的***47。在***47中，托架48可以竖直平移到基部49中以将机器人臂50、臂安装件51和托架48收放在基部49内。基部盖52可以被平移和缩回地打开以绕柱53展开托架48、臂安装件51和臂50，以及被关闭以收放托架48、臂安装件51和臂50，以在不使用它们时保护它们。基部盖52可以用膜54沿着所述基部盖52的开口的边缘密封，以防止在关闭时灰尘和流体进入。
图8示出了被配置成用于输尿管镜检查过程的机器人使能的基于台的***的实施方式。在输尿管镜检查中，台38可以包括用于将患者定位成与柱37和台基部46成偏角的转动部分55。转动部分55可以绕枢转点(例如，位于患者头部下方)旋转或枢转，以便将转动部分55的底部部分定位成远离柱37。例如，转动部分55的枢转使C形臂(未示出)能够定位在患者的下腹部上方，而不与台38下方的柱(未示出)竞争空间。通过绕柱37旋转托架35(未示出)，机器人臂39可以沿着虚拟轨道57将输尿管镜56直接***到患者的腹股沟区域中以到达尿道。在输尿管镜检查中，镫58也可以固定至台38的转动部分55，以在过程期间支承患者的腿的位置并且实现对患者的腹股沟区域的畅通的进入。
在腹腔镜检查过程中，通过患者的腹壁中的(一个或多个)小切口，微创器械可以***到患者的解剖结构中。在一些实施方式中，微创器械包括细长的刚性构件，例如轴，该刚性构件用于进入患者内的解剖结构。在患者的腹腔膨胀之后，通常称为腹腔镜的器械可以被定向成执行外科任务，例如抓握、切割、切除、缝合等。图9示出了被配置成用于腹腔镜检查过程的机器人使能的基于台的***的实施方式。如图9中所示，***36的托架43可以被旋转并且竖直调整成将成对的机器人臂39定位在台38的相对侧上，使得可以使用臂安装件45将器械(诸如腹腔镜)59定位成穿过患者的两侧上的小切口以到达他/她的腹腔。
为了适应腹腔镜检查过程，机器人使能台***还可以将平台倾斜成期望的角度。图10示出了具有俯仰或倾斜调整的机器人使能医疗***的实施方式。如图10中所示，***36可以适应台38的倾斜，以将台的一部分定位在比另一部分距地面更远的距离处。另外，臂安装件45可以旋转以匹配倾斜，使得臂39与台38保持相同的平面关系。为了适应更陡的角度，柱37还可以包括伸缩部分60，该伸缩部分60允许柱37的竖直延伸以防止台38接触地板或与基部46碰撞。
图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可以被配置成以多个自由度改变台38相对于柱37的俯仰角。俯仰旋转机构61可以通过将正交轴线1、2定位在柱-台接口处来实现，每个轴线由单独的马达3、4响应于电俯仰角命令而致动。沿一个螺杆5的旋转将实现在一个轴线1上的倾斜调整，而沿另一个螺杆6的旋转将实现沿另一个轴线2的倾斜调整。在一些实施方式中，球形接头可用于以多个自由度改变台38相对于柱37的俯仰角。
例如，当试图将台定位成头低脚高(Trendelenburg)位置，即，将患者的下腹部定位在比患者的下腹部距地板更高的位置处以用于下腹部手术时，俯仰调整特别有用。头低脚高位置使患者的内部器官通过重力滑向他/她的上腹部，从而清理腹腔以使微创工具进入并执行下腹部手术过程，例如腹腔镜***切除术。
C.器械驱动器和接口。
***的机器人臂的端部受动器包括：(i)器械驱动器(替选地称为“器械驱动机构”或“器械装置操纵器”)，其结合了用于致动医疗器械的机电装置；以及(ii)可移除或可拆卸的医疗器械，其可以没有诸如马达的任何机电部件。该二分法可能由如下因素驱使：对医疗过程中使用的医疗器械进行消毒的需要；以及由于昂贵的资本设备的复杂机械组件和敏感电子器件而无法对昂贵的资本设备进行充分消毒。因此，医疗器械可以被设计成从器械驱动器(以及因此从***)拆卸、移除和互换，以用于由医生或医生的工作人员进行单独的消毒或处置。相比之下，器械驱动器不需要被改变或消毒，并且可以被覆盖(drape)以进行保护。
图12示出了示例器械驱动器。定位在机器人臂的末端处的器械驱动器62包括一个或更多个驱动单元63，所述一个或更多个驱动单元63被布置有平行轴线以经由驱动轴64向医疗器械提供受控的扭矩。每个驱动单元63包括：用于与器械相互作用的单独的驱动轴64；用于将马达轴旋转转换成期望扭矩的齿轮头65；用于生成驱动扭矩的马达66；用于测量马达轴的速度并且向控制电路***提供反馈的编码器67；以及用于接收控制信号并致动驱动单元的控制电路68。每个驱动单元63被独立地控制和机动化，器械驱动器62可以向医疗器械提供多个(如图12中所示为四个)独立的驱动输出。在操作中，控制电路68将接收控制信号，将马达信号发送至马达66，将如由编码器67测量的得到的马达速度与期望速度进行比较，并且调制马达信号以生成期望的扭矩。
对于需要无菌环境的过程，机器人***可以结合位于器械驱动器与医疗器械之间的驱动接口，例如连接至无菌披盖(drape)的无菌适配器。无菌适配器的主要目的是将来自器械驱动器的驱动轴的角运动传递至器械的驱动输入，同时保持驱动轴与驱动输入之间的物理分离并且因此保持无菌性。因此，示例无菌适配器可以包括旨在与器械驱动器的驱动轴和器械上的驱动输入配合的一系列旋转输入和输出。连接至无菌适配器的包括薄的柔性材料例如透明或半透明塑料的无菌披盖被设计成覆盖资本设备，例如器械驱动器、机器人臂和推车(在基于推车的***中)或台(在基于台的***中)。该披盖的使用将允许资本设备被定位在患者附近，同时仍然位于不需要消毒的区域(即，非无菌区)中。在无菌披盖的另一侧，医疗器械可以与在需要消毒的区域(即无菌区)中的患者对接。
D.医疗器械。
图13示出了具有成对的器械驱动器的示例医疗器械。与被设计成用于与机器人***一起使用的其他器械一样，医疗器械70包括细长轴71(或细长体)和器械基部72。由于其用于由医生进行的手动交互的预期设计而也被称为“器械手柄”的器械基部72通常可以包括例如容座、滑轮或卷轴的可旋转的驱动输入73，其被设计成与驱动输出74配合，该驱动输出74延伸穿过机器人臂76的末端处的器械驱动器75上的驱动接口。当物理连接、闩锁和/或耦接时，器械基部72的配合的驱动输入73可以与器械驱动器75中的驱动输出74共享旋转的轴线，以允许扭矩从驱动输出74传递至驱动输入73。在一些实施方式中，驱动输出74可以包括花键，所述花键被设计成与驱动输入73上的容座配合。
细长轴71被设计成通过例如如在内窥镜检查中的解剖结构开口或腔或者通过例如如在腹腔镜检查中的微创切口来递送。细长轴66可以是柔性的(例如，具有类似于内窥镜的特性)或刚性的(例如，具有类似于腹腔镜的特性)，或者包含柔性部分和刚性部分两者的定制组合。当被设计成用于腹腔镜检查时，刚性细长轴的末端可以被连接至端部受动器和诸如抓握器或剪刀的手术工具或医疗器械，上述端部受动器从由具有至少一个自由度的U形夹形成的有关节的腕部延伸，上述手术工具或医疗器械可以当驱动输入响应于从器械驱动器75的驱动输出74接收到的扭矩而旋转时基于来自腱部的力来致动。当被设计成用于内窥镜检查时，柔性细长轴的末端可以包括可操纵或可控制的弯曲段，该弯曲段可以基于从器械驱动器75的驱动输出74接收到的扭矩而被接合和弯曲。
使用沿着轴71的腱部沿着细长轴71传送来自器械驱动器75的扭矩。这些单独的腱部例如牵引线可以单独地锚定至器械手柄72内的单独的驱动输入73。从手柄72，腱部沿着细长轴71顺着一个或更多个牵引腔引导锚定在细长轴71的末端部分处，或者锚定在细长轴的末端部分的腕部中。在诸如腹腔镜检查、内窥镜检查或混合过程中，这些腱部可以被耦接至末端安装的端部受动器例如腕部、抓握器或剪刀。在这样的布置下，施加在驱动输入73上的扭矩会将张力传递至腱部，从而使端部受动器以某种方式致动。在一些实施方式中，在手术过程期间，腱部可以使关节围绕轴线旋转，从而使端部受动器在一个方向或另一个方向上移动。可替选地，腱部可以连接至细长轴71的末端处的抓握器的一个或更多个钳口，其中来自腱部的张力使抓握器闭合。
在内窥镜检查中，腱部可以经由粘合剂、控制环或其他机械固定件耦接至沿细长轴71(例如，在末端处)定位的弯曲或接合段。当固定地附接至弯曲段的末端时，将沿着腱部传送施加在驱动输入73上的扭矩，从而使较软的弯曲段(有时被称为可接合段或区域)弯曲或接合。沿非弯曲段，可以有利的是，使各个牵引腔盘旋或螺旋，所述牵引腔沿内窥镜轴的壁(或在内窥镜轴的壁内部)引导各个腱部，以平衡由牵引线中的张力产生的径向力。为了特定目的，可以改变或设计盘旋的角度和/或其间的间隔，其中，更紧的盘旋在负载力下呈现更小的轴压缩，而更小的盘旋量在负载力下得到更大的轴压缩，而且呈现有限弯曲。在范围(spectrum)的另一端，牵引腔可以平行于细长轴71的纵向轴线定向以允许在期望的弯曲或可接合段中的受控接合。
在内窥镜检查中，细长轴71容置多个部件以辅助机器人过程。轴可以包括工作通道，用于将手术工具(或医疗器械)、冲洗和/或抽吸部署至轴71的末端处的手术区域。轴71还可以容纳线和/或光纤以向远侧尖端处的光学组件/从远侧尖端处的光学组件传递信号，该光学组件可以包括光学摄像机。轴71还可以容纳光纤，以将来自位于近端的光源例如发光二极管的光传播至轴的末端。
在器械70的末端处，远侧尖端还可以包括用于将用于诊断和/或治疗、冲洗和抽吸的工具递送至手术部位的工作通道的开口。远侧尖端还可以包括用于捕获内部解剖空间的图像的摄像机例如纤维镜或数码摄像机的端口。相关地，远侧尖端还可以包括用于在使用摄像机时照亮解剖空间的光源的端口。
在图13的示例中，驱动轴轴线以及因此驱动输入轴线与细长轴的轴线正交。然而，该布置使细长轴71的滚动操纵性复杂化。当腱部从驱动输入73延伸出并且进入细长轴71内的牵引腔时，在保持驱动输入73静止的同时沿细长轴71的轴线滚动细长轴71会导致腱部的不期望的缠结。所得到的这样的腱部的缠结可能扰乱旨在在内窥镜检查过程期间预测柔性细长轴的运动的任何控制方法。
图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。如所示地，圆形器械驱动器80包括四个驱动单元，其中四个驱动单元的驱动输出81在机器人臂82的端部处平行对准。驱动单元及其各自的驱动输出81被容置在器械驱动器80的旋转组件83中，该旋转组件83由组件83内的驱动单元之一驱动。响应于由旋转的驱动单元提供的扭矩，旋转组件83沿圆形轴承旋转，该圆形轴承将旋转组件83连接至器械驱动器的非旋转部分84。可以通过电接触将电力和控制信号从器械驱动器80的非旋转部分84传达至旋转组件83，所述电接触可以通过由电刷滑环连接(未示出)的旋转来保持。在其他实施方式中，旋转组件83可以响应于单独的驱动单元，该单独的驱动单元集成至不可旋转部分84中并且因此不平行于其他驱动单元。旋转机构83允许器械驱动器80使驱动单元及其各自的驱动输出81作为单个单元围绕器械驱动器轴线85旋转。
与先前公开的实施方式一样，器械86可以包括细长轴部分88和器械基部87(出于讨论的目的，被示出为具有透明的外壳)，该器械基部87包括被配置成接收器械驱动器80中的驱动输出81的多个驱动输入89(例如，容座、滑轮和卷轴)。与先前公开的实施方式不同，器械轴88从器械基部87的中心延伸，其中器械轴88的轴线基本上平行于驱动输入89的轴线，而不是如图13的设计中那样正交。
当耦接至器械驱动器80的旋转组件83时，包括器械基部87和器械轴88的医疗器械86与旋转组件83结合围绕器械驱动器轴线85旋转。由于器械轴88被定位在器械基部87的中心处，因此当附接时器械轴88与器械驱动器轴线85同轴。因此，旋转组件83的旋转使器械轴88围绕其自身的纵向轴线旋转。此外，当器械基部87与器械轴88一起旋转时，连接至器械基部87中的驱动输入89的任何腱部在旋转期间都不会缠结。因此，驱动输出81、驱动输入89和器械轴88的轴线的平行结构在不会使任何控制腱部缠结的情况下允许轴旋转。
E.导航和控制。
传统的内窥镜检查可以涉及使用荧光检查(例如，如可以通过C形臂递送的)以及其他形式的基于辐射的成像模式，以向操作医生提供腔内指导。相比之下，由本公开内容设想的机器人***可以提供基于非辐射的导航和定位装置，以减少医生暴露于辐射并且减少手术室内的设备的量。如本文所使用的，术语“定位”可以指确定和/或监测对象在参考坐标系中的位置。可以单独地或组合地使用诸如手术前映射、计算机视觉、实时EM跟踪和机器人命令数据的技术以实现无辐射操作环境。在仍使用基于辐射的成像模式的其他情况下，可以单独地或组合地使用手术前映射、计算机视觉、实时EM跟踪和机器人命令数据，以对仅通过基于辐射的成像模式获得的信息进行改进。
图15是示出了根据示例实施方式的估计机器人***的一个或更多个元件的位置例如器械的位置的定位***90的框图。定位***90可以是被配置成执行一个或更多个指令的一个或更多个计算机装置的组。计算机装置可以由以上讨论的一个或更多个部件中的处理器(或多个处理器)和计算机可读存储器来体现。通过示例的方式而非限制，计算机装置可以在图1中所示的塔30、图1至图4中所示的推车、图5至图10中所示的床等中。
如图15中所示，定位***90可以包括定位模块95，该定位模块95处理输入数据91至94以生成医疗器械的远侧尖端的位置数据96。位置数据96可以是表示器械的末端相对于参考系的位置和/或取向的数据或逻辑。参考系可以是相对于患者的解剖结构或相对于已知的对象例如EM场发生器(参见以下关于EM场发生器的讨论)的参考系。
现在更详细地描述各个输入数据91至94。可以通过使用一组低剂量CT扫描来完成手术前映射。手术前CT扫描被重建为三维图像，这些三维图像例如，作为患者的内部解剖结构的剖面图的“切片”被视觉化。当整个分析时，可以生成用于患者的解剖结构例如患者肺网络的解剖腔、空间和结构的基于图像的模型。可以从CT图像确定和近似诸如中心线几何形状的技术，以开发患者的解剖结构的三维体积，该三维体积被称为模型数据91(当仅使用手术前CT扫描生成时也被称为“手术前模型数据”)。中心线几何形状的使用在美国专利申请第14/523,760号中讨论，其全部内容并入本文中。网络拓扑模型也可以从CT图像中得到，并且特别适合于支气管镜检查。
在一些实施方式中，器械可以配备有摄像机以提供视觉数据(或图像数据)92。定位模块95可以处理视觉数据以实现一个或更多个基于视觉(或基于图像)的位置跟踪模块或特征。例如，手术前模型数据可以与视觉数据92结合使用，以实现对医疗器械(例如，内窥镜或通过内窥镜的工作通道的器械前进)的基于计算机视觉的跟踪。例如，使用手术前模型数据91，机器人***可以基于内窥镜的行进的期望路径从模型来生成期望的内窥镜图像的库，每个图像链接至模型内的位置。在手术中，该库可以由机器人***参考，以将在摄像机(例如，在内窥镜的末端处的摄像机)处捕获的实时图像与图像库中的图像进行比较，以辅助定位。
其他基于计算机视觉的跟踪技术使用特征跟踪来确定摄像机的运动，并且因此确定内窥镜的运动。定位模块95中的一些特征可以识别手术前模型数据91中的与解剖腔对应的圆形几何结构并且跟踪那些几何结构的改变以确定哪个解剖腔被选择，以及跟踪摄像机的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的方法或技术。
光流(另一种基于计算机视觉的技术)可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断摄像机移动。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。通过在多次迭代中比较多个帧，可以确定摄像机(以及因此内窥镜)的移动和位置。
定位模块95可以使用实时EM跟踪来生成内窥镜在全局坐标系中的实时位置，该实时位置可以与由手术前模型表示的患者的解剖结构配准。在EM跟踪中，包括嵌入在医疗器械(例如，内窥镜工具)中的一个或更多个位置和取向中的一个或更多个传感器线圈的EM传感器(或***)测量由定位在已知位置处的一个或更多个静态EM场发生器创建的EM场的变化。由EM传感器检测到的位置信息被存储为EM数据93。EM场发生器(或发送器)可以靠近患者放置，以创建嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流，可以对该小电流进行分析以确定EM传感器与EM场发生器之间的距离和角度。这些距离和取向可以在手术中与患者解剖结构(例如，手术前模型)“配准”，以确定将坐标系中的单个位置与患者的解剖结构的手术前模型中的位置对准的几何变换。一旦被配准，医疗器械的一个或更多个位置(例如，内窥镜的远侧尖端)中的嵌入式EM***可以提供医疗器械通过患者的解剖结构的进展的实时指示。
机器人命令和运动学数据94也可以由定位模块95使用以为机器人***提供定位数据96。可以在手术前校准期间确定由接合命令产生的装置俯仰和横摆。在手术中，这些校准测量可以与已知的***深度信息结合使用，以估计器械的位置。可替选地，这些计算可以结合EM、视觉和/或拓扑建模进行分析，以估计医疗器械在网络内的位置。
如图15所示，多个其他输入数据可以由定位模块95使用。例如，尽管在图15中未示出，但是利用形状感测光纤的器械可以提供形状数据，定位模块95可以使用该形状数据来确定器械的位置和形状。
定位模块95可以以(一个或多个)组合使用输入数据91至94。在一些情况下，这样的组合可以使用概率方法，其中定位模块95向根据输入数据91至94中的每个确定的位置分配置信度权重。因此，在EM数据可能不可靠的情况下(如可能是存在EM干扰的情况)，由EM数据93确定的位置的置信度可能降低，并且定位模块95可能更侧重地依赖于视觉数据92和/或机器人命令和运动学数据94。
如以上所讨论的，本文讨论的机器人***可以被设计成结合以上技术中的一个或更多个的组合。基于塔、床和/或推车的机器人***的基于计算机的控制***可以将计算机程序指令存储例如在诸如永久性磁存储驱动器、固态驱动器等的非暂时计算机可读存储介质内，所述计算机程序指令在执行时使***接收并分析传感器数据和用户命令，生成整个***的控制信号并且显示导航和定位数据，例如器械在全局坐标系、解剖图等内的位置。
2.腔网络的导航。
上面讨论的各种机器人***可以用于执行各种医疗过程，例如内窥镜检查过程和腹腔镜检查过程。在某些过程期间，医疗器械例如机器人控制的医疗器械被***到患者身体内。在患者身体内，器械可以位于患者的腔网络内。如本文所使用的，术语腔网络是指体内的任何腔结构，无论是包括多个腔或分支(例如，如在肺或血管中的多个分支腔)，还是单个腔或分支(例如，在胃肠道中)。在过程期间，器械可以移动(例如，导航、引导、驱动等)通过腔网络至一个或更多个关注的区域。通过***的器械的移动可以由上面讨论的导航或定位***90来辅助，该导航或定位***90可以向控制机器人***的医生提供关于器械的位置信息。
图16示出了患者的示例腔网络130。在所示的实施方式中，腔网络130是患者肺的气道150的支气管网络(即腔、分支)。尽管所示的腔网络130是患者肺中的气道的支气管网络，但是本公开内容不仅仅限于所示的示例。本文描述的机器人***和方法可以用于导航任何类型的腔网络，例如支气管网络、肾网络、心血管网络(例如动脉和静脉)、胃肠道、尿道等。
如图所示，腔网络130包括以分支结构布置的多个腔150。通常，腔网络130包括三维结构。为了便于说明，图16将腔网络130表示为二维结构。这不应该被解释为以任何方式将本公开内容限制于二维腔网络。
图16还示出了位于腔网络130内的医疗器械的示例。医疗器械被导航通过腔网络130至关注的区域(例如，结节155)，以用于诊断和/或治疗。在所示的示例中，结节155位于气道150的边缘处，但是根据患者和过程，关注的区域可以位于腔网络130内的任何地方。
在示出的示例中，医疗器械包括内窥镜115。内窥镜115可以包括护套120和引导件145。在一些实施方式中，护套120和引导件145可以以可伸缩的方式布置。例如，引导件145可以可滑动地位于护套120的工作通道内。护套120可以具有第一直径，并且护套120的末端不能被定位成通过结节155周围的更小直径的气道150。因此，引导件145可以被配置成从护套120的工作通道延伸到结节155的剩余距离。引导件145可以具有腔，器械例如活检针、细胞学刷和/或组织取样钳可以通过该腔而被传递到结节155的目标组织部位。在这样的实现方式中，护套120的末端和引导件145的末端都可以设置有EM器械传感器(例如，图18中的EM器械传感器305)，用于跟踪护套120的末端和引导件145的末端在气道150内的位置。护套120和引导件145的这种可伸缩的布置可以允许内窥镜115的更薄设计，并且可以在经由护套120提供结构支撑的同时改善内窥镜115的弯曲半径。
在其他实施方式中，内窥镜115的总直径可以足够小以在没有可伸缩装置的情况下到达边缘，或者内窥镜115的总直径可以足够小以接近边缘(例如，在2.5cm至3cm内)从而通过不可操纵的导管来部署医疗器械。通过内窥镜115部署的医疗器械可以配备有EM器械传感器(例如，图18中的EM器械传感器305)，并且下面描述的基于图像的分支检测和映射导航技术可以应用于这样的医疗器械。
如图所示，为了到达结节155，必须通过腔网络的腔或分支150来导航或引导器械(例如，内窥镜)。操作员(例如医生)可以控制机器人***以将器械导航到结节155。操作员可以提供用于控制机器人***的输入。
图17示出了示例性命令控制台200，该命令控制台200可以与本文描述的机器人***的一些实现方式一起使用。操作员可以提供用于控制机器人***的输入，例如，经由命令控制台200将器械导航或引导到关注的区域例如结节155。命令控制台200可以以很多种布置或配置来实施。在所示示例中，命令控制台200包括：控制台基座201、显示器202(例如，监视器)以及一个或更多个控制模块(例如，键盘203和操纵杆204)。用户205(例如，操作员或医生)可以使用命令控制台200从人体工程学位置远程地控制医疗机器人***(例如，参照图1至图15描述的***)。
显示器202可以包括：电子监视器(例如，LCD显示器、LED显示器、触敏显示器)、虚拟现实观看装置(例如，护目镜或眼镜)和/或其他显示装置。在一些实施方式中，显示器202中的一个或更多个器显示例如由定位***90(例如，图15)确定的关于器械的位置信息。在一些实施方式中，显示器202中的一个或更多个器显示患者腔网络130的术前模型。位置信息可以叠加在术前模型上。显示器202还可以显示从位于腔网络130内的器械上的相机或另外的感测装置接收的图像信息。在一些实施方式中，器械的模型或表示与术前模型一起显示，以帮助指示手术或医疗过程的状况。
在一些实施方式中，控制台基座201包括：中央处理单元(CPU或处理器)、存储单元(计算机可读存储器)、数据总线和相关联的数据通信端口，这些端口负责解释和处理信号，例如来自位于患者的腔网络内的医疗器械的相机影像和跟踪传感器数据。
控制台基座201还可以处理由用户205通过控制模块203、204提供的命令和指令。除了图20中所示的键盘203和操纵杆204之外，控制模块可以包括其他装置，例如计算机鼠标、触控板、跟踪球、控制板、诸如手持远程控制器的控制器以及捕捉手姿势和手指姿势的传感器(例如，运动传感器或相机)。控制器可以包括一组用户输入(例如，按钮、操纵杆、方向板等)，上述一组用户输入映射到器械的操作(例如，接合、驱动、水冲洗等)。使用控制台基座200的控制模块203、204，用户205可以将器械导航通过腔网络130。
图18示出了示例性医疗器械300的末端的详细视图。图18的医疗器械300可以代表图16的内窥镜115或可操纵导管145。医疗器械300可以代表遍及本公开内容描述的任何医疗器械，例如图1的内窥镜13、图3的输尿管镜32、图9的腹腔镜59等。图18中，器械300的末端包括：成像装置315、照明源310以及形成EM器械传感器的EM传感器线圈305的端部。末端还包括通向器械300的工作通道320的开口，诸如活检针、细胞学刷、钳子等手术器械可以通过此开口沿着器械轴被***，允许进入器械尖端附近的区域。
位于器械300的末端的EM线圈305可以与EM跟踪***一起使用，以在EM线圈305位于腔网络中时检测器械300的末端的位置和方向。在一些实施方式中，线圈305可以成角度以对沿着不同轴线的EM场提供灵敏度，给所公开的导航***测量全部6个自由度(DoF)的能力：三个位置DoF和三个角度DoF。在其他实施方式中，只有单个线圈305可以被设置在末端上或末端内，线圈305的轴线沿着器械轴定向。由于这种***的旋转对称性，***可以对绕其轴线滚动不敏感，因此在这种实现方式中只能检测到五个自由度。替选地或另外地，可以采用其他类型的位置传感器。
照明源310提供光来照射解剖空间的一部分。照明源各自可以是被配置成发射选定的波长或波长的范围的光的一个或更多个发光器件。波长可以是任何合适的波长，举一些例子，例如可见光谱光、红外光、x射线(例如，用于荧光透视)。在一些实施方式中，照明源310可以包括位于器械300的末端处的发光二极管(LED)。在一些实施方式中，照明源310可以包括延伸通过内窥镜的长度的一个或更多个光纤光学的光纤，以将光从远程光源例如x射线发生器发送通过末端。在末端包括多个照明源310的情况下，照明源310各自可以被配置成发射彼此相同或不同波长的光。
成像装置315可以包括被配置成将代表接收的光的能量转换成电信号的任何光敏基板或结构，例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)图像传感器。成像装置315的一些示例可以包括一个或更多个光学光纤例如光学光纤束，被配置成将代表图像的光从内窥镜的末端300传输到内窥镜的近端附近的目镜和/或图像传感器。此外，成像装置315可以包括一个或更多个关于各种光学设计需要的透镜和/或波长通过滤波器或波长截止滤波器。从照明源310发射的光允许成像装置315捕获患者的腔网络的内部的图像。然后，这些图像可以作为单个帧或连续帧系列(例如，视频)被传输到诸如命令控制台200的计算机***。如上所述并且如下面将更详细描述的，导航或定位***95可以利用成像装置315捕获的图像(例如，图15的视觉数据92)来确定或估计器械在腔网络内的位置(例如，器械300的末端的位置)。
3.基于图像的用于导航的分支检测和映射。
本公开内容的实施方式涉及用于基于图像的分支检测和映射的***和技术。如本文所使用的，基于图像的分支检测可以指在图像中识别与腔网络的一个或更多个分支相关联的一个或更多个开口。例如，基于图像的分支检测***可以使用位于腔网络内的器械上的成像装置来捕获腔网络的内部的图像，并且基于图像的分支检测***可以进行分析以检测与腔网络的后续分支相关联的一个或更多个开口。如本文所使用的，基于图像的分支映射可以指将检测到的一个或更多个开口映射到腔网络的相应分支。例如，基于图像的分支映射***可以被配置成识别腔网络的哪些一个或更多个分支对应于图像内的一个或更多个检测到的开口。这些***和技术可以用于确定或估计器械在腔网络中的位置。在某些实现方式中，这些***和技术可以与各种其他导航和定位模式(例如，如上参照图15所述)结合使用。
A.用于导航的基于图像的分支检测和映射的概述。
在腔网络内导航的能力可以是本文描述的机器人控制的手术***的特征。如本文所使用的，导航可以是指定位或确定器械在腔网络中的位置。所确定的位置可以用于帮助将器械引导至腔网络内的一个或更多个关注的特定区域。在一些实施方式中，机器人控制的手术***利用一个或更多个独立的感测模式来为器械提供手术期间的导航。如图15中所示，独立感测模式可以定位数据(例如，EM数据93)、视觉数据92和/或机器人命令和运动学数据94。这些独立的感测模式可以包括被配置成提供位置的独立估计的估计模块。然后，例如使用定位模块95，可以将独立估计组合到一个导航输出中，上述导航输出可以被***使用或者被显示给用户。基于图像的分支检测和映射可以基于视觉数据92提供独立感测模式，独立感测模式可以提供位置的独立估计。特别地，在一些情况下，基于图像的分支检测和映射提供了感测模式和状态/位置估计模块的组合，该状态/位置估计模块基于由成像装置捕获的一个或多个图像来估计器械的成像装置处于腔网络的哪个腔或分支中。在一些实施方式中，由基于图像的分支检测和映射提供的估计可以单独使用或者与其他位置估计一起使用以确定可以由***使用或者被显示给用户的最终位置估计。
在一些实施方式中，可以存在基于相同感测模式来并行工作的多个状态估计模块。作为一个示例，可以存在处理视觉数据92的多个(例如，三个)不同的状态估计模块，每个模块以不同的方式输出多个(例如，三个)不同的位置估计(均基于视觉数据92)。本公开内容涉及一种这样的模块——基于图像的分支检测和映射模块——所述模块基于视觉数据92(例如，基于单个图像)来检测分支开口，并且通过将那些检测到的分支开口映射到腔网络中的特定解剖分支来估计器械的当前位置。如下面将更详细描述的，在一些实施方式中，基于图像的分支检测和映射模块可以使用由导航或定位***90确定的当前位置估计或先前位置估计(可以基于一个或多个感测模式)来将检测到的开口映射到腔网络中的特定解剖分支。换言之，本文中描述的基于图像的分支检测和映射***和方法可以被配置成向导航或定位模块95提供腔网络中器械所定位的地方的位置估计。在一些实施方式中，本文中描述的基于图像的分支检测和映射***和方法可以独立于任何其他模式。在一些实施方式中，本文中描述的基于图像的分支检测和映射***和方法可以将其估计基于使用多个感测模式确定的先前的位置估计。
图19示出了用于基于图像的分支检测和映射的示例性方法400。方法400可以在如本文中描述的各种机器人控制的手术***中实现。方法400可以包括两个步骤或框：检测图像中的分支开口(框402)以及将检测到的开口映射到腔网络的分支(框404)。
在框402处，方法400检测图像内的分支开口。如以上所指出的，在医疗过程期间，器械可以被定位在腔网络中(见图16)。如图18中所示，器械可以包括位于其上的成像装置315(例如相机)。成像装置315可以捕获腔网络的内部的图像。例如，在特定时刻，成像装置315可以捕获器械当前所位于的腔网络的特定分支的内部的图像。在框402处，方法400可以分析图像以检测图像中的一个或更多个开口。所述一个或更多个开口可以将腔网络的一个或更多个后续分支连接到器械所位于的当前分支。一般而言，框402可以包括图像分析，该图像分析处理图像以确定该图像是否包含一个或更多个分支开口。在某些实现方式中，如果图像被确定为包含一个或更多个分支开口，则还可以确定开口的各种特征。这些特征可以包括：识别检测到的一个或更多个分支开口的形心和/或识别检测到的一个或更多个分支开口的形状或轮廓。框402(图像中的分支开口的检测)在本文中可以被称为基于图像的分支检测，并且下面在3.B节中更详细地描述。
在框404处，方法400将一个或更多个检测到的分支开口映射到腔网络的特定分支。一般而言，在框404处，方法400确定腔网络的哪些分支与检测到的开口相关联。在某些实现方式中，框404可以包括：确定一组预期后续分支(例如，基于当前位置估计和腔网络的术前模型)，并将预期后续分支的特征与检测到的分支开口相匹配。框404(将检测到的开口映射到腔网络的分支)在本文中可以被称为基于图像的分支映射，并且下面在3.C节中更详细地描述。
通过将检测到的开口映射到腔网络的特定分支，方法400可以提供器械的位置估计。例如，使用方法400，***或器械可以识别器械“看到”哪些分支并使用该信息来估计器械在腔网络中的位置。
B.基于图像的分支检测。
基于图像的分支检测可以分析由位于腔网络内的器械的成像装置315捕获的图像，以检测图像中的一个或更多个分支开口。例如，基于图像的分支检测对分支的内部的图像进行分析，以检测图像中是否存在将腔网络的后续分支连接到当前分支的一个或更多个开口。
图20提供了腔网络的分支的内部的示例性图像500。在示出的示例中，图像500是肺的气道的内部图像，但是图像500可以代表任何类型的腔网络。图像500中存在两个分支开口502。分支开口502将后续分支(例如，后续气道)连接到当前分支。
基于图像的分支检测可以包括计算机***可以凭借其计算地识别分支开口502的方法。在一些情况下，图像500包括两类像素：(1)代表腔网络的壁(例如，组织)的像素，以及(2)代表开口的像素。根据某些实施方式，基于图像的分支检测可以***地检测这两类像素，以识别和检测图像中的分支开口。
图21示出了用于基于图像的分支检测的示例性方法600。方法600开始于框602，在框602处，利用位于分支内的成像装置捕获腔网络的分支内部的图像。可以由如上所述的位于腔网络内的器械上的成像装置315来捕获图像或者可以从成像装置315接收图像。
在框604处，生成图像的像素强度值的直方图。例如，框604可以包括绘制每个强度值处的像素数。像素强度可以在例如暗和亮之间变化。暗/亮标度可以例如数字地表示为范围，例如，在0和1之间(0表示完全暗(黑)以及1表示完全亮(白))，或者在0和256之间(0表示完全暗(黑)以及1表示完全亮(白))。其他标度也是可能的。尽管本公开内容涉及基于像素强度(亮度)生成直方图的示例，但是直方图也可以基于图像的其他特征(例如颜色)来生成。
图22示出了包含一个或更多个分支开口的图像(例如，图20的图像500)的示例性直方图700。在图22中，像素强度已经被均等并且被表示在0到256之间的数字标度上。直方图的均等化可以产生线性直方图。条代表图像中每个强度值处的像素数。如图所示，直方图700是双峰的。也就是，直方图700包括两个不同的峰值702、704。第一峰值702可以代表表示腔网络的壁(例如，组织)的像素，并且第二峰值704可以代表表示图像内的开口的像素。在许多情况下，腔网络的分支的内部的直方图将是双峰的，包括所示的两个峰值。这可能是因为，在类似隧道的视图中(例如在腔网络中)，像素将通常是暗的(代表开口)或亮的(代表分支壁)。
回到图21的方法600，在框606处，低于阈值的像素被识别为指示图像内的开口。可选地或另外地，高于或低于阈值的像素被识别为或分类为指示分支开口。可选地或另外地，高于或低于阈值的像素可以被识别为或分类为指示腔网络的组织或壁。一般而言，在框606处确定阈值，该阈值将图像的像素在代表分支开口的像素和代表分支壁的像素之间分配。通过将像素指定为或识别为代表分支开口或代表分支壁，可以检测图像中的分支开口。
图23A和图23B示出了示例性图像800a、800b，图像800a、800b示出了如何检测分支开口802。参照图23A，在确定的阈值处的像素被突出显示，产生围绕开口802的轮廓805。参照图23B，像素被分割成高于阈值和低于阈值以识别开口802。例如，高于阈值所有像素被分割并以白色示出，同时低于阈值的所有像素被分割并以黑色示出。在图23B的示例中，黑色像素代表开口802。
图24示出了示例性子程序或方法900，子程序或方法900可以在方法600(图21)的框606的一些实施方式中实现以将高于阈值/低于阈值的像素识别为/分类为指示分支开口。方法900可以包括四个步骤或框。在框902处，识别直方图中的峰值。如以上所指出的，通常，腔的内部的图像的直方图可以是双峰的，包含两个可识别的峰值。例如，在图22的直方图700中，第一峰值702出现在强度值60处，并且第二峰值702出现在强度值180处。
在框904处，识别峰值之间的中点值。继续参照图22的示例，直方图700的峰值702之间的中点704出现在强度140处。***地，中点704可以通过找到划分(例如，相等地)直方图700的两个峰值702之间的值来确定。回到图24，在框906处，阈值被设置为等于中点704。因此，高于中点704或阈值的任何像素可以被确定为是组织，并且低于中点704或阈值的任何像素可以被确定为是开口。如图23A所示，阈值处的像素可以被突出显示，以示出开口802的轮廓805。
最后，在框906处，高于/低于阈值的像素被识别为或分类为指示分支开口。如图23B所示，通过给高于阈值的像素指定最大强度(例如，白色)并给低于阈值像素指定最小强度(例如，黑色)，阈值可用于将图像分割成亮区域和暗区域。如此，开口802可以被检测和可视化。
如所述，基于图像的分支检测可以被配置成分析图像以检测分支开口。本文中描述的基于图像的分支检测方法可用于遍及本公开内容描述的机器人控制的手术***的各种实施方式中。在一些实施方式中，基于图像的分支检测包括实现用于识别腔网络的分支的开口的方法。该方法可以包括利用位于分支内的成像装置来捕获腔网络的分支内部的图像。可以使用位于腔网络的分支内的器械上的成像装置315来捕获图像。该方法还可以包括生成图像的像素强度值的直方图。通常，直方图可以是双峰的，并且峰值出现代表组织(例如，腔网络的壁)和分支开口。该方法还可以包括将低于阈值的像素识别为指示图像中的开口。
在一些实施方式中，该方法还包括基于直方图来确定阈值。阈值可以是直方图的两个峰值之间的中点值。例如，确定阈值可以包括：识别直方图内的至少两个峰值，识别至少两个峰值之间的中点，以及将阈值设置成等于中点的强度值。在其他实施方式中，阈值可以通过其他方法来确定。例如，阈值可以是存储在存储器中的预定值。
基于图像的分支检测方法可以包括各种其他特征。例如，在一些实施方式中，基于图像的分支检测方法可以包括识别检测到的分支开口的其他特征。例如，基于图像的分支检测方法还可以包括：对于图像内的识别的开口的每一个，确定开口的形心。作为另外的示例，基于图像的分支检测方法还可以包括：对于图像内的识别的开口的每一个，确定开口的轮廓。可以通过识别阈值处的像素来确定轮廓。
在一些实施方式中，基于图像的分支检测方法还可以包括：将图像中的识别的开口的数目与坏帧检测器阈值进行比较。在一些实施方式中，坏帧检测器阈值被设置成三、四、五、六或更多。如果基于图像的分支检测方法检测到大于或等于坏帧检测器值的开口的数目，则该方法可以确定坏帧或错误并丢弃图像。例如，在一些情况下，图像中的气泡或其他特征可能显现为开口并产生假阳性。如果检测到的开口的数目超过由坏帧检测器阈值代表的开口的可能数目，则该方法可以确定它已经识别出假阳性(例如，不是真正开口的开口)。在这种情况下，该方法可以丢弃当前图像，重新检测第二图像内的开口。例如，如果识别的开口的数目超过坏帧检测器阈值，则该方法还可以包括：捕获分支的内部的第二图像，并分析第二图像以确定第二图像内的开口。
C.基于图像的分支映射。
基于图像的分支映射确定或识别腔网络的哪些分支与检测到的开口相关联。也就是说，基于图像的分支映射可以确定腔网络的哪些后续分支在检测到的分支开口处连接到当前分支。通过将检测到的开口映射到腔网络的分支，可以确定器械在腔网络内的位置。此外，还可以获得器械将移动到哪个分支中的估计或预测。
广义而言，通过将检测到的开口的特征与腔网络的分支的特征进行比较，可以将检测到的开口映射到腔网络的分支。检测到的开口的特征可以通过如上所述的图像分析来确定。腔网络的分支的特征可以从腔网络的模型诸如腔网络的术前模型来确定。此外，在某些实施方式中，将检测到的开口映射到腔网络的分支可以基于器械在腔网络内的当前位置估计。当前位置估计可以基于如上参照图15所述的各种感测模式来确定。基于当前位置估计将检测到的开口映射到腔网络的分支可以提高映射过程的效率、速度和/或准确性。例如，给定当前位置估计，可以将检测到的开口的特征与预期后续分支的特征进行比较。这可以使执行映射所需的计算负荷最小化并且提高映射速度。
图25示出了腔网络1000的简化表示。腔网络1000包括多个分支(例如，腔、段等)1002、1004、1006、1008、1010、1012、1014、1016。腔网络1000还包括将各种分支相互连接的分支点1020、1022、1024。腔网络1000可以代表肺的支气管网络的一部分，并且分支可以代表气道。腔网络1000可以由模型表示。该模型可以在术前确定。术前模型数据91(即，关于术前模型的信息)可以被存储并可用于导航和定位***90(例如，图15)。如下文将作为示例描述的，基于图像的分支映射可以被配置成将检测到的开口映射到腔网络1000的分支。
图26示出了基于图像的分支映射的示例性方法1100。方法1100可以由本文中描述的机器人控制的手术***的各种部件来实现。方法1100将参照图25的腔网络1000通过示例的方式描述，但不限于此。
在框1102处，方法1100接收或者确定位于腔网络1000内的器械的位置状态估计。位置状态估计可以包括器械当前位于哪个分支的标识。位置状态估计可以由例如图15的导航和定位***90来确定。位置状态估计可以基于各种和/或多种位置感测模式和信息来确定，例如术前模型数据91、视觉数据92、EM数据93(或其他位置感测数据)、形状感测数据和/或机器人命令和运动学数据94。
例如，参照图25，位置状态估计可以包括器械当前位于腔网络1000的任何分支(例如，分支1002、分支1004、分支1006等)内的指示。
位置状态估计还可以包括另外的信息。这种另外的信息可以包括：当前段内深度的确定或估计和/或当前器械滚动(例如，围绕器械的纵向轴线的旋转)的确定或估计。在一些实施方式中，***或方法可以维护或生成多个位置状态估计，并且可以向位置状态估计的每一个指定概率。在多个位置状态估计中，可以向用户提供最可能的位置状态估计。例如，***或方法可以生成第一位置状态估计(包括例如器械以第一深度和滚动角定位在第一分支1002内的指示)和第二位置状态估计(包括例如器械以第二深度和滚动角定位在第二分支1004内的指示)。***可以确定每一个位置状态估计的概率。例如，***可以确定器械在第一位置状态估计处的概率为60％，并且器械在第二位置状态估计处的概率为40％。因为第一位置状态估计的概率更高，所以***可以在方法1100的一个或更多个另外的步骤中向用户提供第一位置状态估计或者使用第一位置状态估计。
在框1104处，方法1100基于在框1102处确定的位置状态估计来确定一组预期后续分支。例如，如果位置状态估计指示器械在分支1002中，则一组预期后续分支可以包括连接到分支1002的那些分支：分支1004和分支1006。作为另一个示例，如果位置状态估计指示器械在分支1004中，则一组预期后续分支可以包括分支1008和分支1010。作为另一个示例，如果位置状态估计指示器械在分支1006中，则一组预期后续分支可以包括分支1012、分支1014和分支1016。关于一组后续分支的信息可以从存储为术前模型数据91的术前模型导出(例如，图15)。
除了后续分支的指示之外，还可以确定关于一组预期后续分支的另外的数据。例如，也可以从术前模型中确定预期后续分支的开口的形心和/或一组后续分支的开口的轮廓。
在框1106处，方法1100可以执行对器械滚动的校正。当器械对腔网络1000导航时，器械可能经历滚动(例如，绕器械的纵向轴线滚动)。这种滚动可以是促进通过腔网络的移动的命令的滚动或者是非有意的滚动。关于器械的滚动的信息可以从例如机器人命令和运动学数据94和/或器械的物理特性诸如扭转刚度等来确定。在一些情况下，可能有必要对器械滚动进行校正，使得检测到的开口的特征可以与一组预期后续开口的特征进行比较，如以下框1108所述。下面参照图27A至图27C描述框1106、1108、1110的示例。
在框1108处，方法1100将检测到的开口的特征与在框1104处确定的一组检测到的后续分支的开口的特征进行比较。在一个示例中，将连接检测到的开口的形心的向量与连接一组预期后续开口中的开口的形心的向量进行比较。在另外的实施方式中，将每一个检测到的开口的形状或轮廓与一组检测到的后续开口中的每一个开口的形状或轮廓进行比较。也可以比较其他特征。
在框1110处，方法1100将检测到的开口映射到腔网络1000的分支。映射可以基于框1108的比较，使用最接近的匹配来将检测到的开口映射到腔网络1000的分支。
例如，图27A示出了包括两个检测到的开口的图像1202。已经标识了每个检测到的开口的形心1204，并且确定了连接形心1204的向量Vi。在图27B的左侧面板中，已经基于器械的当前位置估计确定了一组预期后续分支。在这个示例中，一组预期后续分支包括分支2和分支119。示出了将分支119连接到分支2的向量VM。如图27B的右侧面板所示，向量VM可以针对器械滚动而被校正，以产生向量Vv。尽管未示出，但是将分支2连接到分支119的第二向量也可以被确定并针对滚动而被校正。第二向量将与向量Vv大小相等但方向相反。然后，这两个向量可以与向量Vi进行比较。在某些情况下，比较这些向量包括取点积。然后，可以使用最接近的匹配(例如，在一些示例中，最接近1的点积)来将检测到的开口映射到一组预期后续分支。如图27C所示，两个检测到的分支已经被映射到所示的分支2和分支119。
作为另外的示例，用于基于图像的分支映射的方法可以包括以下步骤：(1)识别图像内的检测到的分支的位置(例如，x坐标和y坐标)；(2)确定或接收器械当前位于哪个分支的估计；(3)使用当前分支的该估计，基于术前模型生成存在于估计分支的所有直接子分支(即，连接到当前分支的分支)的列表以及所有直接子分支的位置(例如，直接子分支的x坐标和y坐标)；(4)迭代地将这些子分支的变换的(例如，滚动校正)坐标匹配到在步骤1处确定的位置，并计算关于每次迭代(或多对迭代)的成本(度量)；以及(5)使用最低成本的匹配以将这些子分支指定给检测到的分支。
D.基于图像的分支预测。
在某些实现方式中，本公开内容的***和方法还可以基于器械的当前位置来预测或估计器械下一步可能进入哪个气道。在一些实现中，本公开内容的***和方法可以提供关于进入检测到的和映射的分支中的每个分支的概率的预测或估计。在某些示例中，这可以通过确定检测到的和映射的分支中的哪一个分支最靠近图像的中心来实现。
图28提供了图像1300，其示出了图像1300的中心与两个被检测到的和映射的开口2和开口119的形心之间的距离d2和d119。如图所示，因为开口2的形心更靠近图像的中心，因此距离d2小于距离d119。因此，方法或***可以提供器械可能进入分支2的估计或预测。在一些情况下，方法或***可以提供关于进入分支2和分支119的概率。概率可以与距离d2和d119成比例地相关。较短的距离可能与较高的概率相关。这可能是因为较短的距离可能指示器械面对相应的开口或者器械朝向相应的开口。
这些估计或概率可以被提供给定位模块95(例如，图15)，并且用于提供更新的定位数据96。因此，在一些实施方式中，未来位置状态估计可以有利地至少部分基于先前确定的位置状态估计，先前确定的位置状态估计可以包括器械可能进入多个分支中的哪一个分支的概率。***可以确定器械最有可能进入最靠近图像的中心的开口。这可以促进导航，因为未来位置状态估计考虑了以先前位置状态估计确定的概率。在一些情况下，这可以有利地减少估计位置所需的计算负荷。在一些实施方式中，这可以有利地减少确定位置状态估计所需的时间。在一些实施方式中，这可以提高位置状态估计的准确性。
E.基于图像的分支检测和映射导航方法和***的示例。
图29示出了用于实现如上所述的基于图像的分支检测和映射的示例性方法1400。方法1400可以在遍及本公开内容描述的各种机器人控制的***中实现。方法1400可以使用机器人***来实现，该机器人***包括具有细长体的器械，该细长体被配置成***腔网络中。成像装置可以被定位在细长体上(例如，在细长体的末端上)。器械可以附接到被配置成移动器械通过腔网络的器械定位装置(例如，机器人臂)。采用方法1400的***可以包括处理器，该处理器配置有使处理器执行方法1400的指令。方法1400仅作为示例的方式被提供，并且基于图像的分支检测和映射可以使用与图29所示的那些步骤不同的步骤来实现。
在框1401处，方法1400将器械***到腔网络的当前分支中。在框1402处，方法1400接收器械的位置状态估计。在一些实施方式中，框1402确定位于腔网络的当前分支内的器械的位置状态估计，其中位置状态估计可以由图15的导航和定位***90基于各种感测模式中的一个或更多个来确定。
在框1404处，方法1400至少部分地基于腔网络的初始状态估计和术前模型来确定一组预期后续分支。
在框1406处，方法1400使用位于器械上的成像装置(例如，成像装置315)来捕获当前分支的图像。
在框1408处，方法1400分析图像以检测将腔网络的后续分支连接到当前分支的开口。在一些实施方式中，检测图像内的多个开口包括执行图像分析。在一些实施方式中，图像分析包括：生成图像的像素强度值的直方图，以及分析直方图以识别图像内的多个开口。在一些实施方式中，分析直方图包括：识别直方图内的至少两个峰值，识别至少两个峰值之间的中点，以及将中点的第一侧上的像素分类为开口。
在一些实施方式中，在框1408处，方法1400还确定检测到的开口的一个或更多个特征。所述一个或更多个特征可以选自有开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组。
在框1410处，方法1400将检测到的开口的特征与一组预期后续分支进行比较，以将多个开口中的每个开口映射到预期后续分支之一。在一些实施方式中，方法1400还包括从术前模型获得与一组预期后续分支有关的信息。信息可以包括以下中至少之一：开口的形心、开口的轮廓以及连接两个开口的形心的向量。在一些实施方式中，对于检测到的开口中的每个检测到的开口，将检测到的多个开口的特征与一组预期后续分支进行比较包括：迭代地将检测到的开口的一个或更多个特征与和一组预期后续分支有关的信息进行匹配。在一些实施方式中，最高匹配用于将该检测到的开口映射到预期后续分支之一。
在框1412处，方法1400至少部分基于比较来提供更新的位置状态估计。在一些实施方式中，至少部分基于比较，框1412提供更新的位置状态估计。在一些实施方式中，更新的位置状态估计包括位置状态估计为正确的概率。在一些实施方式中，部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支之间的比较来确定概率。在一些实施方式中，部分地基于检测到的多个开口的一个或更多个特征与一组预期后续分支相匹配的程度来确定概率。在一些实施方式中，更新的位置状态估计包括器械将被移动到哪个后续分支的估计。
在一些实施方式中，方法1400还包括确定多个检测到的开口中的哪个开口更靠近图像的中心。在一些实施方式中，更新的位置状态估计包括器械将被移动到被确定为更靠近图像中心的开口中的概率。
在一些实施方式中，器械包括内窥镜。在一些实施方式中，腔网络包括肺的支气管网络、胃肠道或肾脏的肾网络，但是其他腔网络的导航也是可能的。
4.实现***和术语。
本文公开的实现方式提供了用于导航机器人控制的医疗器械的用于基于图像的分支检测和映射的***、方法和设备。本文描述的各种实现提供了关于改进的腔网络的导航。
应当注意，本文所使用的术语“耦接(couple)”、“耦接的(coupling)”、“被耦接(coupled)”或单词“耦接(couple)”的其他变体可以表示间接的连接或者直接的连接。例如，如果第一部件“耦接”到第二部件，则第一部件可以经由另外的部件间接得连接到第二部件，或者第一部件直接地连接到第二部件。
本文中描述的位置估计和机器人运动致动功能可以作为一个或更多个指令被存储在处理器可读或计算机可读介质上。术语“计算机可读介质”是指计算机或处理器可以访问的任何可用介质。举例而非限制的，这种介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、光盘只读存储器(CD-ROM)或其他光盘存储器、磁盘存储器或其他磁存储装置，或者可以用于存储指令形式或数据结构形式的所需程序代码并且可以由计算机访问的任何其他介质。应当注意的是计算机可读介质可以是有形的和非暂态的。如本文所使用的，术语“代码”可以指可由计算装置或处理器执行的软件、指令、代码或数据。
本文公开的方法包括用于实现所述方法的一个或更多个步骤或动作。方法步骤和/或动作在不偏离权利要求的范围的情况下可以彼此互换。换言之，除非所描述的方法的正确操作需要步骤或动作的特定顺序，否则在不偏离权利要求的范围的情况下可以修改特定步骤和/或动作的顺序和/或使用。
本文所使用的术语“多个”表示两个或更多个。例如，多个部件表示两个或更多个部件。术语“确定”包含各种各样的动作，因此，“确定”可以包括计算(calculating)、计算(processing)、处理、导出、调查、查找(例如，在表、数据库或另外的数据结构中查找)、确定等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择(selecting)、选择(choosing)、建立等。
除非另有明确说明，否则短语“基于”并不意味着“仅基于”。换言之，短语“基于”描述了“仅基于”和“至少基于”
提供对所公开的实现方式的先前描述以使本领域的任何技术人员能够制造或使用本发明。对这些实现方式的各种修改对于本领域技术人员来说将是明显的，并且在不偏离本发明的范围的情况下，本文限定的一般性原理可以应用于其他实现方式。例如，应当理解，本领域普通技术人员将能够采用许多相应的可替选的和等效的结构细节，例如紧固、安装、耦接或接合工具部件的等效方式、用于产生特定致动运动的等效机构以及用于传递电能的等效机构。因此，本发明并不意味着限于本文所示的实现方式，而是符合与本文公开的原理和新特征相一致的最宽范围。

Claims (22)

1.一种非暂态计算机可读存储介质，在所述非暂态计算机可读存储介质上存储有指令，所述指令在被执行时使装置的处理器至少进行如下步骤：
确定位于腔网络的当前分支内的器械的位置状态估计，所述器械具有被配置成***到所述腔网络的细长本体和位于所述细长本体的末端部分上的成像装置，所述器械附接到被配置成移动所述器械穿过所述腔网络的器械定位装置；
至少部分地基于所述位置状态估计和所述腔网络的术前模型来确定一组预期后续分支；
使用位于所述器械上的成像装置捕获所述当前分支的图像；
在所述图像内检测将所述腔网络的后续分支连接到所述当前分支的多个开口；
基于所述图像内检测到的开口的取向与所述一组预期后续分支的取向的比较来确定所述器械的滚动的估计；
确定检测到的多个开口的第一特征；
确定所述一组预期后续分支的第二特征；
基于对所述器械的滚动的估计计算滚动校正值；
基于所述滚动校正值校正所述第二特征；
将所述第一特征与校正后的第二特征进行比较以确定所述多个开口中的每个开口到所述一组预期后续分支中的一个预期后续分支的映射；以及
至少部分地基于所述映射，提供更新的位置状态估计。
2.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述更新的位置状态估计包括所述位置状态估计为正确的概率。
3.根据权利要求2所述的非暂态计算机可读存储介质，其中，部分地基于所述第一特征与所述校正后的第二特征之间的比较来确定所述概率。
4.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述更新的位置状态估计包括所述器械将被移动到哪个后续分支内的估计。
5.根据权利要求1所述的非暂态计算机可读存储介质，其中：
所述指令在被执行时使所述装置的所述处理器确定检测到的所述多个开口中的哪个开口更靠近所述图像的中心，
所述更新的位置状态估计包括所述器械将被移动到被确定为更靠近所述图像的中心的开口内的概率。
6.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述装置的所述处理器确定检测到的开口的所述第一特征，所述第一特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组。
7.根据权利要求6所述的非暂态计算机可读存储介质，其中所述指令在被执行时使所述装置的所述处理器从所述术前模型确定所述一组预期后续分支的所述第二特征，其中所述第二特征包括开口的形心、开口的轮廓以及连接两个开口的形心的向量中至少之一。
8.根据权利要求7所述的非暂态计算机可读存储介质，其中，所述指令在被执行时使所述装置的所述处理器通过如下方式将检测到的所述多个开口的所述一个或更多个特征与所述一组预期后续分支进行比较：
对于所述检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的所述第一特征与所述一组预期后续分支的所述校正后的第二特征进行匹配，
其中最高匹配用于将该检测到的开口映射到所述预期后续分支之一。
9.一种用于对患者的腔网络进行导航的机器人***，所述机器人***包括：
器械，所述器械具有：
细长本体，所述细长本体被配置成***到所述腔网络中，以及
成像装置，所述成像装置位于所述细长本体的末端部分上；
附接至所述器械的器械定位装置，所述器械定位装置被配置成移动所述器械通过所述腔网络；
上面存储有可执行指令的至少一个计算机可读存储器；以及
一个或更多个处理器，所述一个或更多个处理器与所述至少一个计算机可读存储器通信并且被配置成执行所述指令以使所述***至少进行如下步骤：
确定位于所述腔网络的当前分支内的器械的位置状态估计；
至少部分地基于初始状态估计和所述腔网络的术前模型确定一组预期后续分支；
使用位于所述器械上的成像装置捕获所述腔网络的所述当前分支的图像；
在所述图像内检测将所述腔网络的后续分支连接到所述当前分支的多个开口；
基于所述图像内检测到的开口的取向与所述一组预期后续分支的取向的比较来确定所述器械的滚动的估计；
确定检测到的多个开口的第一特征；
确定所述一组预期后续分支的第二特征；
基于对所述器械的滚动的估计计算滚动校正值；
基于所述滚动校正值校正所述第二特征；
将所述第一特征与校正后的第二特征进行比较，以确定所述多个开口中的每个开口到所述一组预期后续分支之一的映射；以及
至少部分地基于所述映射，提供更新的位置状态估计。
10.根据权利要求9所述的***，其中，所述器械包括内窥镜。
11.根据权利要求9所述的***，其中，所述器械定位装置包括机器人臂。
12.根据权利要求9所述的***，其中，所述腔网络包括肺的支气管网络、胃肠道或者肾脏的肾网络。
13.根据权利要求9所述的***，其中，所述指令在被执行时使所述一个或更多个处理器确定检测到的所述多个开口中的哪个开口更靠近所述图像的中心，并且其中所述更新的位置状态估计包括所述器械将被移动到被确定为更靠近所述图像的中心的开口内的概率。
14.根据权利要求9所述的***，其中所述指令在被执行时使所述一个或更多个处理器确定检测到的开口的所述第一特征，其中所述第一特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组。
15.根据权利要求14所述的***，其中所述指令在被执行时使所述装置的所述一个或更多个处理器从所述术前模型获得与所述一组预期后续分支有关的信息，其中所述信息包括开口的形心、开口的轮廓以及连接两个开口的形心的向量中至少之一。
16.根据权利要求15所述的***，其中，所述指令在被执行时使所述一个或更多个处理器通过如下方式将检测到的所述多个开口的所述一个或更多个特征与所述一组预期后续分支进行比较：
对于所述检测到的开口的每个检测到的开口，迭代地将该检测到的开口的所述一个或更多个特征和与所述一组预期后续分支的所述校正后的第二特征进行匹配，
其中最高匹配用于将该检测到的开口映射到所述预期后续分支之一。
17.一种医疗***，包括：
器械，其具有被配置成***到腔网络的细长本体和位于所述细长本体的末端部分上的成像装置，所述器械附接到被配置成移动所述器械穿过所述腔网络的器械定位装置；以及
控制电路，其被配置成：
接收器械的位置状态估计；
至少部分地基于初始状态估计和所述腔网络的术前模型确定一组预期后续分支；
使用位于所述器械上的成像装置捕获当前分支的图像；
分析所述图像以检测将后续分支连接到所述当前分支的多个开口；
基于所述图像内检测到的开口的取向与所述一组预期后续分支的取向的比较来确定所述器械的滚动的估计；
确定检测到的多个开口的第一特征；
确定所述一组预期后续分支的第二特征；
基于对所述器械的滚动的估计计算滚动校正值；
基于所述滚动校正值校正所述第二特征；
将所述第一特征与校正后的第二特征进行比较，以确定所述多个开口中的每个开口到所述预期后续分支之一的映射；以及
至少部分地基于所述映射，提供更新的位置状态估计。
18.根据权利要求17所述的***，其中所述更新的位置状态估计包括所述位置状态估计为正确的概率。
19.根据权利要求18所述的***，其中部分地基于所述第一特征与所述校正后的第二特征之间的比较来确定所述概率。
20.根据权利要求19所述的***，其中，部分地基于检测到的所述多个开口的所述一个或更多个特征和所述一组预期后续分支匹配的程度来确定所述概率。
21.根据权利要求17所述的***，其中，所述控制电路还被配置成：
确定检测到的所述多个开口中的哪个开口更靠近所述图像的中心；并且
其中所述更新的位置状态估计包括所述器械将被移动到被确定为更靠近所述图像的中心的开口内的概率。
22.根据权利要求17所述的***，还包括：
确定检测到的开口的所述第一特征，其中所述第一特征选自由开口的形心、开口的轮廓以及连接两个开口的形心的向量构成的组；以及
从所述术前模型确定所述一组预期后续分支的所述第二特征，其中所述第二特征包括开口形心、开口轮廓以及连接两个开口的形心的向量中至少之一；
其中将检测到的所述第一特征与所述校正后的第二特征进行比较包括：
对于所述检测到的开口中的每个检测到的开口，迭代地将该检测到的开口的所述第一特征和与所述一组预期后续分支的所述校正后的第二特征进行匹配，
其中最高匹配用于将该检测到的开口映射到所述预期后续分支之一。
CN201880044524.7A 2017-10-13 2018-09-21 用于导航的基于图像的分支检测和映射 Active CN110832544B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/783,903 2017-10-13
US15/783,903 US10555778B2 (en) 2017-10-13 2017-10-13 Image-based branch detection and mapping for navigation
PCT/US2018/052268 WO2019074650A2 (en) 2017-10-13 2018-09-21 DETECTION AND MAPPING OF IMAGE-BASED BRANCHES FOR NAVIGATION

Publications (2)

Publication Number Publication Date
CN110832544A CN110832544A (zh) 2020-02-21
CN110832544B true CN110832544B (zh) 2024-05-17

Family

ID=66096810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880044524.7A Active CN110832544B (zh) 2017-10-13 2018-09-21 用于导航的基于图像的分支检测和映射

Country Status (7)

Country Link
US (3) US10555778B2 (zh)
EP (1) EP3676799A4 (zh)
JP (1) JP7350726B2 (zh)
KR (1) KR102683476B1 (zh)
CN (1) CN110832544B (zh)
AU (1) AU2018347464B2 (zh)
WO (1) WO2019074650A2 (zh)

Families Citing this family (229)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8414505B1 (en) 2001-02-15 2013-04-09 Hansen Medical, Inc. Catheter driver system
US7972298B2 (en) 2004-03-05 2011-07-05 Hansen Medical, Inc. Robotic catheter system
US9232959B2 (en) 2007-01-02 2016-01-12 Aquabeam, Llc Multi fluid tissue resection methods and devices
EP2259742B1 (en) 2008-03-06 2020-01-01 AquaBeam LLC Tissue ablation and cautery with optical energy carried in fluid stream
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US9254123B2 (en) 2009-04-29 2016-02-09 Hansen Medical, Inc. Flexible and steerable elongate instruments with shape control and support elements
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US8961533B2 (en) 2010-09-17 2015-02-24 Hansen Medical, Inc. Anti-buckling mechanisms and methods
US9138166B2 (en) 2011-07-29 2015-09-22 Hansen Medical, Inc. Apparatus and methods for fiber integration and registration
EP3351196A1 (en) 2012-02-29 2018-07-25 Procept Biorobotics Corporation Automated image-guided tissue resection and treatment
US20130317519A1 (en) 2012-05-25 2013-11-28 Hansen Medical, Inc. Low friction instrument driver interface for robotic systems
US20140148673A1 (en) 2012-11-28 2014-05-29 Hansen Medical, Inc. Method of anchoring pullwire directly articulatable region in catheter
US10231867B2 (en) 2013-01-18 2019-03-19 Auris Health, Inc. Method, apparatus and system for a water jet
US9668814B2 (en) 2013-03-07 2017-06-06 Hansen Medical, Inc. Infinitely rotatable tool with finite rotating drive shafts
US10149720B2 (en) 2013-03-08 2018-12-11 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US9566414B2 (en) 2013-03-13 2017-02-14 Hansen Medical, Inc. Integrated catheter and guide wire controller
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9173713B2 (en) 2013-03-14 2015-11-03 Hansen Medical, Inc. Torque-based catheter articulation
US20140277334A1 (en) 2013-03-14 2014-09-18 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US9326822B2 (en) 2013-03-14 2016-05-03 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US11213363B2 (en) 2013-03-14 2022-01-04 Auris Health, Inc. Catheter tension sensing
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9283046B2 (en) 2013-03-15 2016-03-15 Hansen Medical, Inc. User interface for active drive apparatus with finite range of motion
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US10376672B2 (en) 2013-03-15 2019-08-13 Auris Health, Inc. Catheter insertion system and method of fabrication
US20140276936A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Active drive mechanism for simultaneous rotation and translation
US9452018B2 (en) 2013-03-15 2016-09-27 Hansen Medical, Inc. Rotational support for an elongate member
US10849702B2 (en) 2013-03-15 2020-12-01 Auris Health, Inc. User input devices for controlling manipulation of guidewires and catheters
US20140276647A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Vascular remote catheter manipulator
US9408669B2 (en) 2013-03-15 2016-08-09 Hansen Medical, Inc. Active drive mechanism with finite range of motion
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US10744035B2 (en) 2013-06-11 2020-08-18 Auris Health, Inc. Methods for robotic assisted cataract surgery
US10426661B2 (en) 2013-08-13 2019-10-01 Auris Health, Inc. Method and apparatus for laser assisted cataract surgery
EP2923669B1 (en) 2014-03-24 2017-06-28 Hansen Medical, Inc. Systems and devices for catheter driving instinctiveness
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
US10569052B2 (en) 2014-05-15 2020-02-25 Auris Health, Inc. Anti-buckling mechanisms for catheters
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US9744335B2 (en) 2014-07-01 2017-08-29 Auris Surgical Robotics, Inc. Apparatuses and methods for monitoring tendons of steerable catheters
US10792464B2 (en) 2014-07-01 2020-10-06 Auris Health, Inc. Tool and method for using surgical endoscope with spiral lumens
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
EP3200718A4 (en) 2014-09-30 2018-04-25 Auris Surgical Robotics, Inc Configurable robotic surgical system with virtual rail and flexible endoscope
US10499999B2 (en) 2014-10-09 2019-12-10 Auris Health, Inc. Systems and methods for aligning an elongate member with an access site
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US11819636B2 (en) 2015-03-30 2023-11-21 Auris Health, Inc. Endoscope pull wire electrical circuit
US20160287279A1 (en) 2015-04-01 2016-10-06 Auris Surgical Robotics, Inc. Microsurgical tool for robotic applications
WO2016164824A1 (en) 2015-04-09 2016-10-13 Auris Surgical Robotics, Inc. Surgical system with configurable rail-mounted mechanical arms
US9636184B2 (en) 2015-05-15 2017-05-02 Auris Surgical Robotics, Inc. Swivel bed for a surgical robotics system
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
AU2016321332B2 (en) 2015-09-09 2020-10-08 Auris Health, Inc. Instrument device manipulator for a surgical robotics system
KR102661990B1 (ko) 2015-09-18 2024-05-02 아우리스 헬스, 인크. 관형 조직망의 탐색
US10639108B2 (en) 2015-10-30 2020-05-05 Auris Health, Inc. Process for percutaneous operations
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US10932861B2 (en) 2016-01-14 2021-03-02 Auris Health, Inc. Electromagnetic tracking surgical system and method of controlling the same
US10932691B2 (en) 2016-01-26 2021-03-02 Auris Health, Inc. Surgical tools having electromagnetic tracking components
US11324554B2 (en) 2016-04-08 2022-05-10 Auris Health, Inc. Floating electromagnetic field generator system and method of controlling the same
US10454347B2 (en) 2016-04-29 2019-10-22 Auris Health, Inc. Compact height torque sensing articulation axis assembly
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
US10463439B2 (en) 2016-08-26 2019-11-05 Auris Health, Inc. Steerable catheter with shaft load distributions
US11241559B2 (en) 2016-08-29 2022-02-08 Auris Health, Inc. Active drive for guidewire manipulation
AU2016422171B2 (en) 2016-08-31 2022-01-20 Auris Health, Inc. Length conservative surgical instrument
WO2018053282A1 (en) 2016-09-16 2018-03-22 GYS Tech, LLC d/b/a Cardan Robotics System and method for mounting a robotic arm in a surgical robotic system
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
US10543048B2 (en) 2016-12-28 2020-01-28 Auris Health, Inc. Flexible instrument insertion using an adaptive insertion force threshold
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
JP7159192B2 (ja) 2017-03-28 2022-10-24 オーリス ヘルス インコーポレイテッド シャフト作動ハンドル
CN108990412B (zh) 2017-03-31 2022-03-22 奥瑞斯健康公司 补偿生理噪声的用于腔网络导航的机器人***
US10285574B2 (en) 2017-04-07 2019-05-14 Auris Health, Inc. Superelastic medical instrument
KR20230106716A (ko) 2017-04-07 2023-07-13 아우리스 헬스, 인코포레이티드 환자 삽입기(Introducer) 정렬
EP3622528A1 (en) * 2017-05-09 2020-03-18 Boston Scientific Scimed, Inc. Operating room devices, methods, and systems
WO2018208994A1 (en) 2017-05-12 2018-11-15 Auris Health, Inc. Biopsy apparatus and system
WO2018213078A1 (en) 2017-05-17 2018-11-22 Auris Health, Inc. Exchangeable working channel
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
KR102558063B1 (ko) 2017-06-28 2023-07-25 아우리스 헬스, 인코포레이티드 전자기장 생성기 정렬
JP7130682B2 (ja) 2017-06-28 2022-09-05 オーリス ヘルス インコーポレイテッド 器具挿入補償
EP3644886A4 (en) 2017-06-28 2021-03-24 Auris Health, Inc. ELECTROMAGNETIC DISTORTION DETECTION
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US10464209B2 (en) 2017-10-05 2019-11-05 Auris Health, Inc. Robotic system with indication of boundary for robotic arm
US10016900B1 (en) 2017-10-10 2018-07-10 Auris Health, Inc. Surgical robotic arm admittance control
US10893843B2 (en) 2017-10-10 2021-01-19 Covidien Lp System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
EP3684282B1 (en) 2017-12-06 2024-02-21 Auris Health, Inc. Systems to correct for uncommanded instrument roll
KR20200099138A (ko) 2017-12-08 2020-08-21 아우리스 헬스, 인코포레이티드 의료 기구 항행 및 표적 선정을 위한 시스템 및 방법
WO2019113389A1 (en) 2017-12-08 2019-06-13 Auris Health, Inc. Directed fluidics
CN111770736A (zh) 2017-12-11 2020-10-13 奥瑞斯健康公司 用于基于器械的***架构的***和方法
CN110869173B (zh) * 2017-12-14 2023-11-17 奥瑞斯健康公司 用于估计器械定位的***与方法
JP7059377B2 (ja) 2017-12-18 2022-04-25 オーリス ヘルス インコーポレイテッド 管腔ネットワーク内の器具の追跡およびナビゲーションの方法およびシステム
USD924410S1 (en) 2018-01-17 2021-07-06 Auris Health, Inc. Instrument tower
BR112020014449B1 (pt) 2018-01-17 2023-12-12 Auris Health, Inc Sistema de plataforma cirúrgica com suportes de braço ajustáveis
USD932628S1 (en) 2018-01-17 2021-10-05 Auris Health, Inc. Instrument cart
KR20200118439A (ko) * 2018-01-17 2020-10-15 아우리스 헬스, 인코포레이티드 개선된 로봇 아암을 갖는 수술 로봇 시스템
USD901018S1 (en) 2018-01-17 2020-11-03 Auris Health, Inc. Controller
USD873878S1 (en) 2018-01-17 2020-01-28 Auris Health, Inc. Robotic arm
USD901694S1 (en) 2018-01-17 2020-11-10 Auris Health, Inc. Instrument handle
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
MX2020008464A (es) 2018-02-13 2020-12-07 Auris Health Inc Sistema y metodo para accionar instrumento medico.
US10524866B2 (en) 2018-03-28 2020-01-07 Auris Health, Inc. Systems and methods for registration of location sensors
US11109920B2 (en) 2018-03-28 2021-09-07 Auris Health, Inc. Medical instruments with variable bending stiffness profiles
MX2020010117A (es) 2018-03-28 2020-11-06 Auris Health Inc Sistemas y metodos para mostrar la ubicacion estimada de instrumento.
EP3781073A4 (en) * 2018-04-20 2022-01-26 Covidien LP COMPENSATION OF OBSERVER MOTION IN ROBOTIC SURGICAL SYSTEMS WITH STEREOSCOPIC DISPLAYS
KR20210010871A (ko) 2018-05-18 2021-01-28 아우리스 헬스, 인코포레이티드 로봇식 원격작동 시스템을 위한 제어기
EP3801190A4 (en) 2018-05-30 2022-03-02 Auris Health, Inc. SYSTEMS AND METHODS FOR SENSOR-BASED BRANCH LOCATION PREDICTION
US10898286B2 (en) 2018-05-31 2021-01-26 Auris Health, Inc. Path-based navigation of tubular networks
WO2019232236A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Image-based airway analysis and mapping
CN112236083A (zh) 2018-05-31 2021-01-15 奥瑞斯健康公司 用于导航检测生理噪声的管腔网络的机器人***和方法
CN112218596A (zh) 2018-06-07 2021-01-12 奥瑞斯健康公司 具有高力器械的机器人医疗***
WO2020005370A1 (en) 2018-06-27 2020-01-02 Auris Health, Inc. Systems and techniques for providing multiple perspectives during medical procedures
CN112384121A (zh) 2018-06-27 2021-02-19 奥瑞斯健康公司 用于医疗器械的对准***和附接***
CN112367928A (zh) 2018-06-28 2021-02-12 奥瑞斯健康公司 结合滑轮共享的医疗***
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
EP3820373A4 (en) 2018-08-07 2022-04-27 Auris Health, Inc. COMBINATION OF STRAIN-BASED FORM MEASUREMENT WITH CATHETER CONTROL
EP3806772A4 (en) 2018-08-15 2022-03-30 Auris Health, Inc. MEDICAL INSTRUMENTS FOR TISSUE CAUTERIZATION
CN112566567A (zh) 2018-08-17 2021-03-26 奥瑞斯健康公司 双极医疗器械
US10881280B2 (en) 2018-08-24 2021-01-05 Auris Health, Inc. Manually and robotically controllable medical instruments
CN112739283A (zh) 2018-09-17 2021-04-30 奥瑞斯健康公司 用于伴随医学规程的***和方法
WO2020068303A1 (en) 2018-09-26 2020-04-02 Auris Health, Inc. Systems and instruments for suction and irrigation
EP3813634A4 (en) 2018-09-26 2022-04-06 Auris Health, Inc. ARTICULATING MEDICAL INSTRUMENTS
AU2019347767A1 (en) 2018-09-28 2021-04-08 Auris Health, Inc. Systems and methods for docking medical instruments
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US10820947B2 (en) 2018-09-28 2020-11-03 Auris Health, Inc. Devices, systems, and methods for manually and robotically driving medical instruments
WO2020076447A1 (en) 2018-10-08 2020-04-16 Auris Health, Inc. Systems and instruments for tissue sealing
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
EP3866718A4 (en) 2018-12-20 2022-07-20 Auris Health, Inc. ROBOT ARM ALIGNMENT AND DOCKING SYSTEMS AND METHODS
WO2020131529A1 (en) 2018-12-20 2020-06-25 Auris Health, Inc. Shielding for wristed instruments
EP3870023A4 (en) 2018-12-28 2022-07-27 Auris Health, Inc. MEDICAL INSTRUMENT WITH AN ARTICULABLE SEGMENT
US11925332B2 (en) 2018-12-28 2024-03-12 Auris Health, Inc. Percutaneous sheath for robotic medical systems and methods
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
WO2020154100A1 (en) 2019-01-25 2020-07-30 Auris Health, Inc. Vessel sealer with heating and cooling capabilities
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
CN113423359A (zh) 2019-02-08 2021-09-21 奥瑞斯健康公司 机器人控制的凝块操纵和移除
EP3890645A4 (en) 2019-02-22 2022-09-07 Auris Health, Inc. SURGICAL PLATFORM EQUIPPED WITH MOTORIZED ARMS FOR ADJUSTABLE ARM SUPPORTS
CN113613612B (zh) 2019-03-08 2022-08-02 奥瑞斯健康公司 用于医疗***和应用的倾斜机构
WO2020197671A1 (en) 2019-03-22 2020-10-01 Auris Health, Inc. Systems and methods for aligning inputs on medical instruments
EP3908201B1 (en) 2019-03-25 2024-04-24 Auris Health, Inc. Instruments for medical stapling
US11617627B2 (en) 2019-03-29 2023-04-04 Auris Health, Inc. Systems and methods for optical strain sensing in medical instruments
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
CN114173698A (zh) 2019-04-08 2022-03-11 奥瑞斯健康公司 用于伴随规程的***、方法和工作流程
WO2020263520A1 (en) 2019-06-26 2020-12-30 Auris Health, Inc. Systems and methods for robotic arm alignment and docking
US11369386B2 (en) 2019-06-27 2022-06-28 Auris Health, Inc. Systems and methods for a medical clip applier
WO2020264418A1 (en) 2019-06-28 2020-12-30 Auris Health, Inc. Console overlay and methods of using same
WO2020263949A1 (en) 2019-06-28 2020-12-30 Auris Health, Inc. Medical instruments including wrists with hybrid redirect surfaces
KR20220050151A (ko) 2019-08-15 2022-04-22 아우리스 헬스, 인코포레이티드 다수의 굽힘 섹션을 갖는 의료 장치
US11896330B2 (en) 2019-08-15 2024-02-13 Auris Health, Inc. Robotic medical system having multiple medical instruments
USD975275S1 (en) 2019-08-15 2023-01-10 Auris Health, Inc. Handle for a medical instrument
USD978348S1 (en) 2019-08-15 2023-02-14 Auris Health, Inc. Drive device for a medical instrument
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
KR20220058918A (ko) 2019-08-30 2022-05-10 아우리스 헬스, 인코포레이티드 기구 이미지 신뢰성 시스템 및 방법
EP4021331A4 (en) * 2019-08-30 2023-08-30 Auris Health, Inc. SYSTEMS AND METHODS FOR WEIGHT-BASED REGISTRATION OF POSITION SENSORS
KR20220056220A (ko) 2019-09-03 2022-05-04 아우리스 헬스, 인코포레이티드 전자기 왜곡 검출 및 보상
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
CN114375182A (zh) 2019-09-10 2022-04-19 奥瑞斯健康公司 用于使用共享机器人自由度进行运动学优化的***和方法
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
CN114502094A (zh) 2019-09-26 2022-05-13 奥瑞斯健康公司 用于碰撞检测和避免的***和方法
US11737845B2 (en) 2019-09-30 2023-08-29 Auris Inc. Medical instrument with a capstan
US11737835B2 (en) 2019-10-29 2023-08-29 Auris Health, Inc. Braid-reinforced insulation sheath
KR20220143817A (ko) * 2019-12-19 2022-10-25 노아 메디컬 코퍼레이션 로봇 기관지경 검사용 시스템 및 방법
WO2021137104A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Dynamic pulley system
EP4084721A4 (en) 2019-12-31 2024-01-03 Auris Health, Inc. IDENTIFICATION OF AN ANATOMIC FEATURE AND AIMING
CN114901200A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 高级篮式驱动模式
KR20220123076A (ko) 2019-12-31 2022-09-05 아우리스 헬스, 인코포레이티드 경피 접근을 위한 정렬 기법
JP7497440B2 (ja) 2019-12-31 2024-06-10 オーリス ヘルス インコーポレイテッド 経皮的アクセスのための位置合わせインターフェース
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US20210378759A1 (en) * 2020-06-03 2021-12-09 Covidien Lp Surgical tool navigation using sensor fusion
WO2022003485A1 (en) 2020-06-29 2022-01-06 Auris Health, Inc. Systems and methods for detecting contact between a link and an external object
US11357586B2 (en) 2020-06-30 2022-06-14 Auris Health, Inc. Systems and methods for saturated robotic movement
US11931901B2 (en) 2020-06-30 2024-03-19 Auris Health, Inc. Robotic medical system with collision proximity indicators
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
DE102020210849A1 (de) * 2020-08-27 2022-03-03 Siemens Healthcare Gmbh Positionsbestimmungsverfahren, Verfahren zur Ansteuerung eines Röntgengeräts und medizinisches System
US11948303B2 (en) * 2021-02-26 2024-04-02 Capsovision Inc. Method and apparatus for objective assessment of gastrointestinal conditions based on images captured in the GI tract
WO2022211501A1 (ko) * 2021-03-31 2022-10-06 서울대학교병원 굴곡성기관지내시경 이미지를 이용하여 해부학적 위치를 판별하는 장치 및 방법
CN113274228A (zh) * 2021-04-30 2021-08-20 华中科技大学同济医学院附属协和医院 一种介入造影成像装置和方法
US11937798B2 (en) 2021-09-29 2024-03-26 Cilag Gmbh International Surgical systems with port devices for instrument control
US20230096268A1 (en) 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
US20230109848A1 (en) 2021-09-29 2023-04-13 Cilag Gmbh International Surgical devices, systems, and methods using fiducial identification and tracking
WO2023052947A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods for control of one visualization with another
WO2023052951A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical systems with intraluminal and extraluminal cooperative instruments
WO2023052931A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical sealing systems for instrument stabilization
US20230098670A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Surgical devices, systems, and methods using multi-source imaging
WO2023052960A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods using fiducial identification and tracking
EP4384097A1 (en) 2021-09-29 2024-06-19 Cilag GmbH International Surgical sealing devices for a natural body orifice
WO2023052938A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Methods and systems for controlling cooperative surgical instruments
WO2023052952A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical systems for independently insufflating two separate anatomic spaces
US20230116781A1 (en) 2021-09-29 2023-04-13 Cilag GmbH Intemational Surgical devices, systems, and methods using multi-source imaging
EP4225188A1 (en) 2021-09-29 2023-08-16 Cilag GmbH International Surgical devices, systems, and methods for control of one visualization with another
WO2023052953A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical systems and methods for selectively pressurizing a natural body lumen
US20230103005A1 (en) 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
WO2023052930A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical systems with devices for both intraluminal and extraluminal access
EP4221630A1 (en) 2021-09-29 2023-08-09 Cilag GmbH International Surgical devices, systems, and methods using multi-source imaging
EP4271295A1 (en) 2021-09-29 2023-11-08 Cilag GmbH International Surgical devices, systems, and methods for control of one visualization with another
WO2023052962A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Methods and systems for controlling cooperative surgical instruments
WO2023052941A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical system for delivering energy to tissue in an anatomic space and monitoring a tissue parameter in a different anatomic space
EP4267015A1 (en) 2021-09-29 2023-11-01 Cilag GmbH International Surgical anchoring systems for endoluminal access
EP4210623A1 (en) 2021-09-29 2023-07-19 Cilag GmbH International Surgical devices, systems, and methods using multi-source imaging
WO2023052929A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods using multi-source imaging
WO2023052934A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Methods and systems for controlling cooperative surgical instruments
WO2023052946A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Coordinated instrument control systems
WO2023052935A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods for control of one visualization with another
US20230110791A1 (en) 2021-09-29 2023-04-13 Cilag Gmbh International Instrument Control Imaging Systems for Visualization of Upcoming Surgical Procedure Steps
WO2023052937A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical system for altering the body's sensing of food
WO2023052936A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Systems for controlling cooperative surgical instruments with variable surgical site access trajectories
US20230100698A1 (en) 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
WO2023052949A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods using fiducial identification and tracking
WO2023052961A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical systems with port devices for instrument control
WO2023052955A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Instrument control surgical imaging systems
US20230181275A1 (en) 2021-12-15 2023-06-15 Cilag Gmbh International Robotic surgical instruments having onboard generators
US20230233270A1 (en) * 2022-01-26 2023-07-27 Covidien Lp Autonomous endobronchial access with an em guided catheter

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222882A (zh) * 2005-05-16 2008-07-16 直观外科手术公司 通过机械微创外科手术过程中联合传感器和/或照相机导出数据实现3-d刀具跟踪的方法与***
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉***的配准的***和方法

Family Cites Families (366)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4745908A (en) 1987-05-08 1988-05-24 Circon Corporation Inspection instrument fexible shaft having deflection compensation means
JP2750201B2 (ja) 1990-04-13 1998-05-13 オリンパス光学工業株式会社 内視鏡の挿入状態検出装置
US5550953A (en) 1994-04-20 1996-08-27 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration On-line method and apparatus for coordinated mobility and manipulation of mobile robots
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
US5526812A (en) 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
US6059718A (en) 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
CA2201877C (en) 1994-10-07 2004-06-08 Richard D. Bucholz Surgical navigation systems including reference and localization frames
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
US6246898B1 (en) 1995-03-28 2001-06-12 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US5935075A (en) 1995-09-20 1999-08-10 Texas Heart Institute Detecting thermal discrepancies in vessel walls
IL125781A (en) 1996-02-15 2003-06-24 Biosense Inc Precise position determination of endoscopes
JP4166277B2 (ja) 1996-02-15 2008-10-15 バイオセンス・ウェブスター・インコーポレイテッド 体内プローブを用いた医療方法および装置
US6063095A (en) 1996-02-20 2000-05-16 Computer Motion, Inc. Method and apparatus for performing minimally invasive surgical procedures
US6047080A (en) 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
US5831614A (en) 1996-07-01 1998-11-03 Sun Microsystems, Inc. X-Y viewport scroll using location of display with respect to a point
EP0918491B1 (en) 1997-01-24 2003-06-04 Koninklijke Philips Electronics N.V. Image display system
US6246784B1 (en) 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US6810281B2 (en) 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
FR2779339B1 (fr) 1998-06-09 2000-10-13 Integrated Surgical Systems Sa Procede et appareil de mise en correspondance pour la chirurgie robotisee, et dispositif de mise en correspondance en comportant application
US6425865B1 (en) 1998-06-12 2002-07-30 The University Of British Columbia Robotically assisted medical ultrasound
AU1525400A (en) 1998-11-18 2000-06-05 Microdexterity Systems, Inc. Medical manipulator for use with an imaging device
US6493608B1 (en) 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6501981B1 (en) 1999-03-16 2002-12-31 Accuray, Inc. Apparatus and method for compensating for respiratory and patient motions during treatment
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US7386339B2 (en) 1999-05-18 2008-06-10 Mediguide Ltd. Medical imaging and navigation system
FI114282B (fi) 1999-11-05 2004-09-30 Polar Electro Oy Menetelmä, järjestely ja sykemittari sydämen lyönnin tunnistamiseksi
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US7747312B2 (en) 2000-01-04 2010-06-29 George Mason Intellectual Properties, Inc. System and method for automatic shape registration and instrument tracking
DE10011790B4 (de) 2000-03-13 2005-07-14 Siemens Ag Medizinisches Instrument zum Einführen in ein Untersuchungsobjekt, sowie medizinisches Untersuchungs- oder Behandlungsgerät
US7181289B2 (en) 2000-03-20 2007-02-20 Pflueger D Russell Epidural nerve root access catheter and treatment methods
DE10025285A1 (de) 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
DE10033723C1 (de) 2000-07-12 2002-02-21 Siemens Ag Visualisierung von Positionen und Orientierung von intrakorporal geführten Instrumenten während eines chirurgischen Eingriffs
US6865498B2 (en) 2001-11-30 2005-03-08 Thermwood Corporation System for calibrating the axes on a computer numeric controlled machining system and method thereof
US6812842B2 (en) 2001-12-20 2004-11-02 Calypso Medical Technologies, Inc. System for excitation of a leadless miniature marker
AU2003218010A1 (en) 2002-03-06 2003-09-22 Z-Kat, Inc. System and method for using a haptic device in combination with a computer-assisted surgery system
DE10210646A1 (de) 2002-03-11 2003-10-09 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
US20050256398A1 (en) 2004-05-12 2005-11-17 Hastings Roger N Systems and methods for interventional medicine
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
EP2380487B1 (en) 2002-04-17 2021-03-31 Covidien LP Endoscope structures for navigating to a target in branched structure
US7822466B2 (en) 2002-04-25 2010-10-26 The Johns Hopkins University Robot for computed tomography interventions
CN100443050C (zh) 2002-06-04 2008-12-17 皇家飞利浦电子股份有限公司 基于旋转血管造影术的冠状动脉结构混合3d重建
WO2003105659A2 (en) 2002-06-17 2003-12-24 Mazor Surgical Technologies Ltd. Robot for use with orthopaedic inserts
AU2003246906A1 (en) 2002-06-25 2004-01-06 Michael Nicholas Dalton Apparatus and method for superimposing images over an object
KR100449765B1 (ko) 2002-10-12 2004-09-22 삼성에스디아이 주식회사 리튬전지용 리튬메탈 애노드
US6835177B2 (en) * 2002-11-06 2004-12-28 Sonosite, Inc. Ultrasonic blood vessel measurement apparatus and method
US6899672B2 (en) 2002-11-08 2005-05-31 Scimed Life Systems, Inc. Endoscopic imaging system including removable deflection device
WO2004044847A1 (en) 2002-11-13 2004-05-27 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting boundary structures
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US20040186349A1 (en) 2002-12-24 2004-09-23 Usgi Medical Corp. Apparatus and methods for achieving endoluminal access
FR2852226B1 (fr) 2003-03-10 2005-07-15 Univ Grenoble 1 Instrument medical localise a ecran orientable
US7203277B2 (en) 2003-04-25 2007-04-10 Brainlab Ag Visualization device and method for combined patient and object image data
US7822461B2 (en) 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
EP2316328B1 (en) 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
US7835778B2 (en) 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
US7901348B2 (en) 2003-12-12 2011-03-08 University Of Washington Catheterscope 3D guidance and interface system
JP2005192632A (ja) 2003-12-26 2005-07-21 Olympus Corp 被検体内移動状態検出システム
US8021301B2 (en) 2003-12-26 2011-09-20 Fujifilm Corporation Ultrasonic image processing apparatus, ultrasonic image processing method and ultrasonic image processing program
US20050193451A1 (en) 2003-12-30 2005-09-01 Liposonix, Inc. Articulating arm for medical procedures
US7974681B2 (en) 2004-03-05 2011-07-05 Hansen Medical, Inc. Robotic catheter system
US7972298B2 (en) 2004-03-05 2011-07-05 Hansen Medical, Inc. Robotic catheter system
ES2552252T3 (es) 2004-03-23 2015-11-26 Boston Scientific Limited Sistema de visualización in vivo
EP1731093B1 (en) 2004-03-29 2013-01-09 Olympus Corporation System for detecting position in examinee
US7720521B2 (en) 2004-04-21 2010-05-18 Acclarent, Inc. Methods and devices for performing procedures within the ear, nose, throat and paranasal sinuses
US20070208252A1 (en) 2004-04-21 2007-09-06 Acclarent, Inc. Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses
US7462175B2 (en) 2004-04-21 2008-12-09 Acclarent, Inc. Devices, systems and methods for treating disorders of the ear, nose and throat
US8155403B2 (en) 2004-05-05 2012-04-10 University Of Iowa Research Foundation Methods and devices for airway tree labeling and/or matching
US7632265B2 (en) 2004-05-28 2009-12-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Radio frequency ablation servo catheter and method
US20060209019A1 (en) 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060025668A1 (en) 2004-08-02 2006-02-02 Peterson Thomas H Operating table with embedded tracking technology
WO2007017847A1 (en) 2005-08-11 2007-02-15 Navotek Medical Ltd. Medical treatment system and method using radioactivity based position sensor
US7536216B2 (en) 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
US9049954B2 (en) 2004-11-03 2015-06-09 Cambridge International, Inc. Hanger bar assembly for architectural mesh and the like
JP4874259B2 (ja) 2004-11-23 2012-02-15 ヌームアールエックス・インコーポレーテッド 標的部位にアクセスするための操縦可能な装置
EP1838378B1 (en) 2005-01-18 2017-03-22 Philips Electronics LTD Apparatus for guiding an instrument to a target in the lung
US8335357B2 (en) 2005-03-04 2012-12-18 Kabushiki Kaisha Toshiba Image processing apparatus
US20060258935A1 (en) 2005-05-12 2006-11-16 John Pile-Spellman System for autonomous robotic navigation
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7756563B2 (en) 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
JP4813190B2 (ja) 2005-05-26 2011-11-09 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
GB2428110A (en) 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
EP1945123A1 (en) 2005-07-14 2008-07-23 Enhanced Medical System LLC Robot for minimally invasive interventions
US8583220B2 (en) 2005-08-02 2013-11-12 Biosense Webster, Inc. Standardization of catheter-based treatment for atrial fibrillation
US8657814B2 (en) 2005-08-22 2014-02-25 Medtronic Ablation Frontiers Llc User interface for tissue ablation system
CA2620196A1 (en) 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
EP1931237A2 (en) 2005-09-14 2008-06-18 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US20070073136A1 (en) 2005-09-15 2007-03-29 Robert Metzger Bone milling with image guided surgery
US8303505B2 (en) 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US8190238B2 (en) 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
DE102005059271B4 (de) 2005-12-12 2019-02-21 Siemens Healthcare Gmbh Kathetervorrichtung
US8672922B2 (en) 2005-12-20 2014-03-18 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US9266239B2 (en) 2005-12-27 2016-02-23 Intuitive Surgical Operations, Inc. Constraint based control in a minimally invasive surgical apparatus
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US9962066B2 (en) 2005-12-30 2018-05-08 Intuitive Surgical Operations, Inc. Methods and apparatus to shape flexible entry guides for minimally invasive surgery
US8191359B2 (en) 2006-04-13 2012-06-05 The Regents Of The University Of California Motion estimation using hidden markov model processing in MRI and other applications
WO2007129616A1 (ja) 2006-05-02 2007-11-15 National University Corporation Nagoya University 内視鏡挿入支援システム及び内視鏡挿入支援方法
DE102006021373A1 (de) 2006-05-08 2007-11-15 Siemens Ag Röntgendiagnostikeinrichtung
EP2029035B1 (en) 2006-06-05 2014-06-25 Technion Research & Development Foundation LTD. Controlled steering of a flexible needle
US9549663B2 (en) 2006-06-13 2017-01-24 Intuitive Surgical Operations, Inc. Teleoperated surgical retractor system
US7505810B2 (en) 2006-06-13 2009-03-17 Rhythmia Medical, Inc. Non-contact cardiac mapping, including preprocessing
US8040127B2 (en) 2006-08-15 2011-10-18 General Electric Company Multi-sensor distortion mapping method and system
US8150498B2 (en) 2006-09-08 2012-04-03 Medtronic, Inc. System for identification of anatomical landmarks
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
CN100546540C (zh) 2006-09-19 2009-10-07 上海宏桐实业有限公司 心内膜三维导航***
US8041413B2 (en) 2006-10-02 2011-10-18 Hansen Medical, Inc. Systems and methods for three-dimensional ultrasound mapping
US7940977B2 (en) 2006-10-25 2011-05-10 Rcadia Medical Imaging Ltd. Method and system for automatic analysis of blood vessel structures to identify calcium or soft plaque pathologies
EP2086399B1 (en) 2006-11-10 2017-08-09 Covidien LP Adaptive navigation technique for navigating a catheter through a body channel or cavity
US7936922B2 (en) 2006-11-22 2011-05-03 Adobe Systems Incorporated Method and apparatus for segmenting images
JP2010511933A (ja) 2006-12-01 2010-04-15 トムソン ライセンシング 画像内のオブジェクトの位置推定
US9220439B2 (en) 2006-12-29 2015-12-29 St. Jude Medical, Atrial Fibrillation Division, Inc. Navigational reference dislodgement detection method and system
US20080183188A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Surgical Navigational and Neuromonitoring System
US20080183068A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Visualization of Surgical Navigational and Neural Monitoring Information
US20080183064A1 (en) 2007-01-30 2008-07-31 General Electric Company Multi-sensor distortion detection method and system
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US9037215B2 (en) 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
US8146874B2 (en) 2007-02-02 2012-04-03 Hansen Medical, Inc. Mounting support assembly for suspending a medical instrument driver above an operating table
JP4914735B2 (ja) 2007-02-14 2012-04-11 オリンパスメディカルシステムズ株式会社 処置具の位置制御を行う内視鏡システム
EP2143038A4 (en) 2007-02-20 2011-01-26 Philip L Gildenberg VIDEOSTEREREOTAXY- AND AUDIOSTEREOTAXY-ASSISTED SURGICAL PROCEDURES AND METHODS
US8542900B2 (en) 2007-03-08 2013-09-24 Sync-Rx Ltd. Automatic reduction of interfering elements from an image stream of a moving organ
EP2117436A4 (en) 2007-03-12 2011-03-02 David Tolkowsky DEVICES AND METHODS FOR PERFORMING MEDICAL OPERATIONS IN ARBORESCENT LUMINUM STRUCTURES
WO2008135985A1 (en) 2007-05-02 2008-11-13 Earlysense Ltd Monitoring, predicting and treating clinical episodes
US8934961B2 (en) 2007-05-18 2015-01-13 Biomet Manufacturing, Llc Trackable diagnostic scope apparatus and methods of use
US20090030307A1 (en) 2007-06-04 2009-01-29 Assaf Govari Intracorporeal location system with movement compensation
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US20080319491A1 (en) 2007-06-19 2008-12-25 Ryan Schoenefeld Patient-matched surgical component and methods of use
US8086781B2 (en) * 2007-06-22 2011-12-27 Apple Inc. Serial pass-through device
US20130165945A9 (en) 2007-08-14 2013-06-27 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
EP2187830A1 (en) 2007-08-14 2010-05-26 Hansen Medical, Inc. Robotic instrument systems and methods utilizing optical fiber sensor
US20090076476A1 (en) 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
WO2009097461A1 (en) 2008-01-29 2009-08-06 Neoguide Systems Inc. Apparatus and methods for automatically controlling an endoscope
KR100927096B1 (ko) 2008-02-27 2009-11-13 아주대학교산학협력단 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US9002076B2 (en) 2008-04-15 2015-04-07 Medtronic, Inc. Method and apparatus for optimal trajectory planning
US8532734B2 (en) 2008-04-18 2013-09-10 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8218846B2 (en) 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
JP5372407B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US9248000B2 (en) 2008-08-15 2016-02-02 Stryker European Holdings I, Llc System for and method of visualizing an interior of body
US8781630B2 (en) 2008-10-14 2014-07-15 University Of Florida Research Foundation, Inc. Imaging platform to provide integrated navigation capabilities for surgical guidance
CN102186587B (zh) 2008-10-31 2014-09-03 切弗朗菲利浦化学公司 去活化和猝灭低聚催化剂的***和方法
US20100121139A1 (en) 2008-11-12 2010-05-13 Ouyang Xiaolong Minimally Invasive Imaging Systems
US20100125284A1 (en) 2008-11-20 2010-05-20 Hansen Medical, Inc. Registered instrument movement integration
EP2376175B1 (en) 2008-12-12 2019-01-30 Corindus, Inc. Remote catheter procedure system
US8335590B2 (en) 2008-12-23 2012-12-18 Intuitive Surgical Operations, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
JP4585048B2 (ja) 2009-01-15 2010-11-24 オリンパスメディカルシステムズ株式会社 内視鏡システム
KR100961661B1 (ko) 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US9002427B2 (en) 2009-03-30 2015-04-07 Lifewave Biomedical, Inc. Apparatus and method for continuous noninvasive measurement of respiratory function and events
US9750399B2 (en) 2009-04-29 2017-09-05 Koninklijke Philips N.V. Real-time depth estimation from monocular endoscope images
CN102439631A (zh) 2009-05-08 2012-05-02 皇家飞利浦电子股份有限公司 不具有电磁跟踪和术前扫描路线图的实时镜跟踪和分支标记
US8675736B2 (en) 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
US8817039B2 (en) 2009-05-15 2014-08-26 Sharp Kabushiki Kaisha Image processing device and image processing method
CN102428496B (zh) 2009-05-18 2015-08-26 皇家飞利浦电子股份有限公司 用于em跟踪内窥镜***的无标记物跟踪的配准和校准
US20100292565A1 (en) 2009-05-18 2010-11-18 Andreas Meyer Medical imaging medical device navigation from at least two 2d projections from different angles
ES2388029B1 (es) 2009-05-22 2013-08-13 Universitat Politècnica De Catalunya Sistema robótico para cirugia laparoscópica.
GB0915200D0 (en) 2009-09-01 2009-10-07 Ucl Business Plc Method for re-localising sites in images
US20110092808A1 (en) 2009-10-20 2011-04-21 Magnetecs, Inc. Method for acquiring high density mapping data with a catheter guidance system
CN102595998A (zh) 2009-11-04 2012-07-18 皇家飞利浦电子股份有限公司 利用距离传感器的碰撞避免和检测
CN102883651B (zh) 2010-01-28 2016-04-27 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准***和方法
CN102740755B (zh) 2010-02-22 2015-04-22 奥林巴斯医疗株式会社 医疗设备
DE102010012621A1 (de) 2010-03-24 2011-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur automatischen Adaption eines Referenzbildes
US8425455B2 (en) 2010-03-30 2013-04-23 Angiodynamics, Inc. Bronchial catheter and method of use
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
WO2011134083A1 (en) 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US20120101369A1 (en) 2010-06-13 2012-04-26 Angiometrix Corporation Methods and systems for determining vascular bodily lumen information and guiding medical devices
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US8460236B2 (en) 2010-06-24 2013-06-11 Hansen Medical, Inc. Fiber optic instrument sensing system
US20130303887A1 (en) 2010-08-20 2013-11-14 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
US8961533B2 (en) 2010-09-17 2015-02-24 Hansen Medical, Inc. Anti-buckling mechanisms and methods
JP5669529B2 (ja) 2010-11-17 2015-02-12 オリンパス株式会社 撮像装置、プログラム及びフォーカス制御方法
DE112010006052T5 (de) 2010-12-08 2013-10-10 Industrial Technology Research Institute Verfahren zum Erzeugen stereoskopischer Ansichten von monoskopischen Endoskopbildern und Systeme, die diese verwenden
US8812079B2 (en) 2010-12-22 2014-08-19 Biosense Webster (Israel), Ltd. Compensation for magnetic disturbance due to fluoroscope
US20120191079A1 (en) 2011-01-20 2012-07-26 Hansen Medical, Inc. System and method for endoluminal and translumenal therapy
US20120203067A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
CN103492833B (zh) 2011-02-18 2016-12-28 德普伊新特斯产品有限责任公司 具有集成的导航与制导***的工具以及相关设备和方法
US10391277B2 (en) 2011-02-18 2019-08-27 Voxel Rad, Ltd. Systems and methods for 3D stereoscopic angiovision, angionavigation and angiotherapeutics
US10362963B2 (en) 2011-04-14 2019-07-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Correction of shift and drift in impedance-based medical device navigation using magnetic field information
US9572481B2 (en) 2011-05-13 2017-02-21 Intuitive Surgical Operations, Inc. Medical system with multiple operating modes for steering a medical instrument through linked body passages
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
CN103648394B (zh) 2011-06-27 2016-11-16 皇家飞利浦有限公司 使用外科工具曲线与x-射线图像的配准的实时3d血管造影
US9138166B2 (en) 2011-07-29 2015-09-22 Hansen Medical, Inc. Apparatus and methods for fiber integration and registration
US9173683B2 (en) 2011-08-31 2015-11-03 DePuy Synthes Products, Inc. Revisable orthopedic anchor and methods of use
CN102973317A (zh) 2011-09-05 2013-03-20 周宁新 微创手术机器人机械臂布置结构
US8849388B2 (en) 2011-09-08 2014-09-30 Apn Health, Llc R-wave detection method
WO2013040498A1 (en) 2011-09-16 2013-03-21 Translucent Medical, Inc. System and method for virtually tracking a surgical tool on a movable display
US9504604B2 (en) 2011-12-16 2016-11-29 Auris Surgical Robotics, Inc. Lithotripsy eye treatment
US8700561B2 (en) 2011-12-27 2014-04-15 Mcafee, Inc. System and method for providing data protection workflows in a network environment
EP2809249B1 (en) 2012-02-03 2018-12-26 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
US20150051482A1 (en) 2012-02-09 2015-02-19 Koninklijke Philips N.V Shaft tracker for real-time navigation tracking
EP2816966B1 (en) 2012-02-22 2023-10-25 Veran Medical Technologies, Inc. Steerable surgical catheter comprising a biopsy device at the distal end portion thereof
US20140142591A1 (en) 2012-04-24 2014-05-22 Auris Surgical Robotics, Inc. Method, apparatus and a system for robotic assisted surgery
US10383765B2 (en) 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
WO2013192598A1 (en) 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US10194801B2 (en) 2012-06-28 2019-02-05 Koninklijke Philips N.V. Fiber optic sensor guided navigation for vascular visualization and monitoring
DE102012220116A1 (de) 2012-06-29 2014-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung
KR102189666B1 (ko) 2012-08-15 2020-12-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 기계 몸체의 운동을 조종하기 위한 가상 자유도
US9183354B2 (en) 2012-08-15 2015-11-10 Musc Foundation For Research Development Systems and methods for image guided surgery
US9539058B2 (en) 2012-08-24 2017-01-10 University Of Houston System Robotic device and systems for image-guided and robot-assisted surgery
US20140107390A1 (en) 2012-10-12 2014-04-17 Elekta Ab (Publ) Implementation and experimental results of real-time 4d tumor tracking using multi-leaf collimator (mlc), and/or mlc-carriage (mlc-bank), and/or treatment table (couch)
JP6219396B2 (ja) * 2012-10-12 2017-10-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 分岐した解剖学的構造における医療デバイスの位置決定
WO2014074481A2 (en) 2012-11-07 2014-05-15 Dana Automotive Systems Group, Llc A clutch management system
WO2014081725A2 (en) * 2012-11-20 2014-05-30 University Of Washington Through Its Center For Commercialization Electromagnetic sensor integration with ultrathin scanning fiber endoscope
LU92104B1 (en) 2012-11-28 2014-05-30 Iee Sarl Method and system for determining a ventilatory threshold
JP6045417B2 (ja) 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
US10231867B2 (en) 2013-01-18 2019-03-19 Auris Health, Inc. Method, apparatus and system for a water jet
US11172809B2 (en) 2013-02-15 2021-11-16 Intuitive Surgical Operations, Inc. Vision probe with access port
BR112015020589B8 (pt) 2013-02-26 2022-03-22 Sinan Kabakci Ahmet Sistema manipulador robótico
US9459087B2 (en) 2013-03-05 2016-10-04 Ezono Ag Magnetic position detection system
JP5715311B2 (ja) 2013-03-06 2015-05-07 オリンパスメディカルシステムズ株式会社 内視鏡システム
US10080576B2 (en) 2013-03-08 2018-09-25 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US10149720B2 (en) 2013-03-08 2018-12-11 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US9867635B2 (en) 2013-03-08 2018-01-16 Auris Surgical Robotics, Inc. Method, apparatus and system for a water jet
US20140296655A1 (en) 2013-03-11 2014-10-02 ROPAMedics LLC Real-time tracking of cerebral hemodynamic response (rtchr) of a subject based on hemodynamic parameters
EP2904958A4 (en) 2013-03-12 2016-08-24 Olympus Corp ENDOSCOPE SYSTEM
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US20170303941A1 (en) 2013-03-14 2017-10-26 The General Hospital Corporation System and method for guided removal from an in vivo subject
US20170238807A9 (en) 2013-03-15 2017-08-24 LX Medical, Inc. Tissue imaging and image guidance in luminal anatomic structures and body cavities
US9364167B2 (en) * 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US9301723B2 (en) 2013-03-15 2016-04-05 Covidien Lp Microwave energy-delivery device and system
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
EP2983579A2 (en) 2013-04-12 2016-02-17 NinePoint Medical, Inc. Multiple aperture, multiple modal optical systems and methods
US9592095B2 (en) 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US20140364739A1 (en) 2013-06-06 2014-12-11 General Electric Company Systems and methods for analyzing a vascular structure
US10744035B2 (en) 2013-06-11 2020-08-18 Auris Health, Inc. Methods for robotic assisted cataract surgery
JP6037964B2 (ja) 2013-07-26 2016-12-07 オリンパス株式会社 マニピュレータシステム
US10426661B2 (en) 2013-08-13 2019-10-01 Auris Health, Inc. Method and apparatus for laser assisted cataract surgery
KR102356881B1 (ko) 2013-08-15 2022-02-03 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 카테터 위치설정 및 삽입을 위한 그래픽 사용자 인터페이스
US10098566B2 (en) 2013-09-06 2018-10-16 Covidien Lp System and method for lung visualization using ultrasound
CN105592790A (zh) 2013-10-02 2016-05-18 皇家飞利浦有限公司 用于光学形状感测配准的集线器设计和方法
KR102332023B1 (ko) 2013-10-24 2021-12-01 아우리스 헬스, 인크. 로봇-보조식 내강 내부 수술용 시스템 및 이와 관련된 방법
US9980785B2 (en) 2013-10-24 2018-05-29 Auris Health, Inc. Instrument device manipulator with surgical tool de-articulation
US9314191B2 (en) 2013-11-19 2016-04-19 Pacesetter, Inc. Method and system to measure cardiac motion using a cardiovascular navigation system
US10610306B2 (en) 2013-12-09 2020-04-07 Intuitive Surgical Operations, Inc. Systems and methods for device-aware flexible tool registration
CN103735313B (zh) 2013-12-11 2016-08-17 中国科学院深圳先进技术研究院 一种手术机器人及其状态监测方法
KR102366023B1 (ko) 2013-12-20 2022-02-23 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 절차 훈련을 위한 시뮬레이터 시스템
JP6261612B2 (ja) 2013-12-20 2018-01-17 オリンパス株式会社 軟性マニピュレータ用ガイド部材および軟性マニピュレータ
US11617623B2 (en) 2014-01-24 2023-04-04 Koninklijke Philips N.V. Virtual image with optical shape sensing device perspective
WO2015119935A1 (en) 2014-02-04 2015-08-13 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
US20150223902A1 (en) 2014-02-07 2015-08-13 Hansen Medical, Inc. Navigation with 3d localization using 2d images
US10039605B2 (en) 2014-02-11 2018-08-07 Globus Medical, Inc. Sterile handle for controlling a robotic surgical system from a sterile field
JP6270537B2 (ja) 2014-02-27 2018-01-31 オリンパス株式会社 医療用システム
KR20150103938A (ko) 2014-03-04 2015-09-14 현대자동차주식회사 리튬황 배터리 분리막
US10952751B2 (en) 2014-03-17 2021-03-23 Marksman Targeting, Inc. Surgical targeting systems and methods
CN104931059B (zh) 2014-03-21 2018-09-11 比亚迪股份有限公司 车载救援导航***和方法
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
US20150305650A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
CN104055520B (zh) 2014-06-11 2016-02-24 清华大学 人体器官运动监测方法和手术导航***
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US10159533B2 (en) 2014-07-01 2018-12-25 Auris Health, Inc. Surgical system with configurable rail-mounted mechanical arms
US10792464B2 (en) 2014-07-01 2020-10-06 Auris Health, Inc. Tool and method for using surgical endoscope with spiral lumens
US9788910B2 (en) 2014-07-01 2017-10-17 Auris Surgical Robotics, Inc. Instrument-mounted tension sensing mechanism for robotically-driven medical instruments
US20170007337A1 (en) 2014-07-01 2017-01-12 Auris Surgical Robotics, Inc. Driver-mounted torque sensing mechanism
US9744335B2 (en) 2014-07-01 2017-08-29 Auris Surgical Robotics, Inc. Apparatuses and methods for monitoring tendons of steerable catheters
US20160270865A1 (en) 2014-07-01 2016-09-22 Auris Surgical Robotics, Inc. Reusable catheter with disposable balloon attachment and tapered tip
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
EP3164051B1 (en) * 2014-07-02 2023-08-30 Covidien LP System and program for providing distance and orientation feedback while navigating in 3d
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
EP3200718A4 (en) 2014-09-30 2018-04-25 Auris Surgical Robotics, Inc Configurable robotic surgical system with virtual rail and flexible endoscope
WO2016061418A1 (en) 2014-10-15 2016-04-21 Vincent Suzara Magnetic field structures, field generators, navigation and imaging for untethered robotic device enabled medical procedure
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
DE102014222293A1 (de) 2014-10-31 2016-05-19 Siemens Aktiengesellschaft Verfahren zur automatischen Überwachung des Eindringverhaltens eines von einem Roboterarm gehaltenen Trokars und Überwachungssystem
SG11201704750SA (en) 2014-11-11 2017-07-28 Univ Vanderbilt Methods for limiting acute kidney injury
CN107111684A (zh) 2014-11-13 2017-08-29 直观外科手术操作公司 用于过滤局部化数据的***和方法
US9931168B2 (en) 2015-01-12 2018-04-03 Biomet Manufacuturing. LLC Plan implementation
EP3636149B1 (en) 2015-02-20 2023-06-07 Teleflex Life Sciences Limited Medical device position location systems, devices and methods
JP6348078B2 (ja) * 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
JP6371729B2 (ja) 2015-03-25 2018-08-08 富士フイルム株式会社 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
US20160287279A1 (en) 2015-04-01 2016-10-06 Auris Surgical Robotics, Inc. Microsurgical tool for robotic applications
WO2016164824A1 (en) 2015-04-09 2016-10-13 Auris Surgical Robotics, Inc. Surgical system with configurable rail-mounted mechanical arms
US9636184B2 (en) 2015-05-15 2017-05-02 Auris Surgical Robotics, Inc. Swivel bed for a surgical robotics system
CN107613839B (zh) 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
WO2016205653A1 (en) 2015-06-19 2016-12-22 SolidEnergy Systems Multi-layer polymer coated li anode for high density li metal battery
WO2017030913A2 (en) 2015-08-14 2017-02-23 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
JP6940483B2 (ja) 2015-08-31 2021-09-29 マシモ・コーポレイション ワイヤレス患者監視システムおよび方法
AU2016321332B2 (en) 2015-09-09 2020-10-08 Auris Health, Inc. Instrument device manipulator for a surgical robotics system
CN114098600A (zh) 2015-09-17 2022-03-01 恩达马斯特有限公司 主-从内窥镜***
KR102661990B1 (ko) 2015-09-18 2024-05-02 아우리스 헬스, 인크. 관형 조직망의 탐색
CA3000948C (en) 2015-10-13 2024-02-20 Lightlab Imaging, Inc. Intravascular imaging system and methods to determine cut plane view angle of side branch
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US10639108B2 (en) 2015-10-30 2020-05-05 Auris Health, Inc. Process for percutaneous operations
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US11172895B2 (en) 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
CN105559850B (zh) 2015-12-17 2017-08-25 天津工业大学 一种用于机器人辅助外科具有力传感功能的手术钻器械
US10932861B2 (en) 2016-01-14 2021-03-02 Auris Health, Inc. Electromagnetic tracking surgical system and method of controlling the same
US10932691B2 (en) 2016-01-26 2021-03-02 Auris Health, Inc. Surgical tools having electromagnetic tracking components
US10470719B2 (en) 2016-02-01 2019-11-12 Verily Life Sciences Llc Machine learnt model to detect REM sleep periods using a spectral analysis of heart rate and motion
EP3432984B1 (en) 2016-03-24 2019-07-31 Koninklijke Philips N.V. Treatment assessment device
EP3435904A1 (en) 2016-03-31 2019-02-06 Koninklijke Philips N.V. Image guided robot for catheter placement
US11324554B2 (en) 2016-04-08 2022-05-10 Auris Health, Inc. Floating electromagnetic field generator system and method of controlling the same
US10470839B2 (en) 2016-06-02 2019-11-12 Covidien Lp Assessment of suture or staple line integrity and localization of potential tissue defects along the suture or staple line
US10806516B2 (en) 2016-06-20 2020-10-20 General Electric Company Virtual 4D stent implantation path assessment
KR20230164237A (ko) 2016-06-30 2023-12-01 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
US10238455B2 (en) 2016-08-31 2019-03-26 Covidien Lp Pathway planning for use with a navigation planning and procedure system
AU2016422171B2 (en) 2016-08-31 2022-01-20 Auris Health, Inc. Length conservative surgical instrument
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10278778B2 (en) 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
US10543048B2 (en) 2016-12-28 2020-01-28 Auris Health, Inc. Flexible instrument insertion using an adaptive insertion force threshold
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US11842030B2 (en) 2017-01-31 2023-12-12 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
JP7159192B2 (ja) 2017-03-28 2022-10-24 オーリス ヘルス インコーポレイテッド シャフト作動ハンドル
US10475235B2 (en) 2017-03-29 2019-11-12 Fujifilm Corporation Three-dimensional image processing apparatus, three-dimensional image processing method, and three-dimensional image processing program
CN108990412B (zh) 2017-03-31 2022-03-22 奥瑞斯健康公司 补偿生理噪声的用于腔网络导航的机器人***
KR20230106716A (ko) 2017-04-07 2023-07-13 아우리스 헬스, 인코포레이티드 환자 삽입기(Introducer) 정렬
US10285574B2 (en) 2017-04-07 2019-05-14 Auris Health, Inc. Superelastic medical instrument
US20180308247A1 (en) 2017-04-25 2018-10-25 Best Medical International, Inc. Tissue imaging system and method for tissue imaging
WO2018208994A1 (en) 2017-05-12 2018-11-15 Auris Health, Inc. Biopsy apparatus and system
WO2018213078A1 (en) 2017-05-17 2018-11-22 Auris Health, Inc. Exchangeable working channel
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
EP3644886A4 (en) 2017-06-28 2021-03-24 Auris Health, Inc. ELECTROMAGNETIC DISTORTION DETECTION
JP7130682B2 (ja) 2017-06-28 2022-09-05 オーリス ヘルス インコーポレイテッド 器具挿入補償
KR102558063B1 (ko) 2017-06-28 2023-07-25 아우리스 헬스, 인코포레이티드 전자기장 생성기 정렬
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US10593052B2 (en) 2017-08-23 2020-03-17 Synaptive Medical (Barbados) Inc. Methods and systems for updating an existing landmark registration
US10464209B2 (en) 2017-10-05 2019-11-05 Auris Health, Inc. Robotic system with indication of boundary for robotic arm
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
US10016900B1 (en) 2017-10-10 2018-07-10 Auris Health, Inc. Surgical robotic arm admittance control
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
EP3684282B1 (en) 2017-12-06 2024-02-21 Auris Health, Inc. Systems to correct for uncommanded instrument roll
WO2019113389A1 (en) 2017-12-08 2019-06-13 Auris Health, Inc. Directed fluidics
KR20200099138A (ko) 2017-12-08 2020-08-21 아우리스 헬스, 인코포레이티드 의료 기구 항행 및 표적 선정을 위한 시스템 및 방법
CN111770736A (zh) 2017-12-11 2020-10-13 奥瑞斯健康公司 用于基于器械的***架构的***和方法
CN110869173B (zh) 2017-12-14 2023-11-17 奥瑞斯健康公司 用于估计器械定位的***与方法
JP7059377B2 (ja) 2017-12-18 2022-04-25 オーリス ヘルス インコーポレイテッド 管腔ネットワーク内の器具の追跡およびナビゲーションの方法およびシステム
BR112020014449B1 (pt) 2018-01-17 2023-12-12 Auris Health, Inc Sistema de plataforma cirúrgica com suportes de braço ajustáveis
MX2020008464A (es) 2018-02-13 2020-12-07 Auris Health Inc Sistema y metodo para accionar instrumento medico.
KR20200136931A (ko) 2018-03-01 2020-12-08 아우리스 헬스, 인코포레이티드 매핑 및 내비게이션을 위한 방법 및 시스템
JP2019154816A (ja) 2018-03-13 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、及び医療用観察装置の作動方法
MX2020010117A (es) 2018-03-28 2020-11-06 Auris Health Inc Sistemas y metodos para mostrar la ubicacion estimada de instrumento.
US11109920B2 (en) 2018-03-28 2021-09-07 Auris Health, Inc. Medical instruments with variable bending stiffness profiles
US10524866B2 (en) 2018-03-28 2020-01-07 Auris Health, Inc. Systems and methods for registration of location sensors
WO2019191265A1 (en) 2018-03-29 2019-10-03 Auris Health, Inc. Robotically-enabled medical systems with multifunction end effectors having rotational offsets
EP3801190A4 (en) 2018-05-30 2022-03-02 Auris Health, Inc. SYSTEMS AND METHODS FOR SENSOR-BASED BRANCH LOCATION PREDICTION
CN112236083A (zh) 2018-05-31 2021-01-15 奥瑞斯健康公司 用于导航检测生理噪声的管腔网络的机器人***和方法
US10898286B2 (en) 2018-05-31 2021-01-26 Auris Health, Inc. Path-based navigation of tubular networks
WO2019232236A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Image-based airway analysis and mapping
US10744981B2 (en) 2018-06-06 2020-08-18 Sensata Technologies, Inc. Electromechanical braking connector
CN112218596A (zh) 2018-06-07 2021-01-12 奥瑞斯健康公司 具有高力器械的机器人医疗***
WO2020005370A1 (en) 2018-06-27 2020-01-02 Auris Health, Inc. Systems and techniques for providing multiple perspectives during medical procedures
CN112367928A (zh) 2018-06-28 2021-02-12 奥瑞斯健康公司 结合滑轮共享的医疗***
EP3820373A4 (en) 2018-08-07 2022-04-27 Auris Health, Inc. COMBINATION OF STRAIN-BASED FORM MEASUREMENT WITH CATHETER CONTROL
EP3806772A4 (en) 2018-08-15 2022-03-30 Auris Health, Inc. MEDICAL INSTRUMENTS FOR TISSUE CAUTERIZATION
CN112566567A (zh) 2018-08-17 2021-03-26 奥瑞斯健康公司 双极医疗器械
US10881280B2 (en) 2018-08-24 2021-01-05 Auris Health, Inc. Manually and robotically controllable medical instruments
EP3813634A4 (en) 2018-09-26 2022-04-06 Auris Health, Inc. ARTICULATING MEDICAL INSTRUMENTS
WO2020068303A1 (en) 2018-09-26 2020-04-02 Auris Health, Inc. Systems and instruments for suction and irrigation
AU2019347767A1 (en) 2018-09-28 2021-04-08 Auris Health, Inc. Systems and methods for docking medical instruments
US10820947B2 (en) 2018-09-28 2020-11-03 Auris Health, Inc. Devices, systems, and methods for manually and robotically driving medical instruments
KR20210069670A (ko) 2018-09-28 2021-06-11 아우리스 헬스, 인코포레이티드 동시 내시경술 및 경피 의료 절차를 위한 로봇 시스템 및 방법
WO2020076447A1 (en) 2018-10-08 2020-04-16 Auris Health, Inc. Systems and instruments for tissue sealing
WO2020131529A1 (en) 2018-12-20 2020-06-25 Auris Health, Inc. Shielding for wristed instruments
US11925332B2 (en) 2018-12-28 2024-03-12 Auris Health, Inc. Percutaneous sheath for robotic medical systems and methods
EP3890645A4 (en) 2019-02-22 2022-09-07 Auris Health, Inc. SURGICAL PLATFORM EQUIPPED WITH MOTORIZED ARMS FOR ADJUSTABLE ARM SUPPORTS

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222882A (zh) * 2005-05-16 2008-07-16 直观外科手术公司 通过机械微创外科手术过程中联合传感器和/或照相机导出数据实现3-d刀具跟踪的方法与***
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉***的配准的***和方法

Also Published As

Publication number Publication date
KR102683476B1 (ko) 2024-07-12
WO2019074650A3 (en) 2019-05-31
JP7350726B2 (ja) 2023-09-26
US10555778B2 (en) 2020-02-11
KR20200073245A (ko) 2020-06-23
CN110832544A (zh) 2020-02-21
EP3676799A4 (en) 2021-03-03
JP2020536654A (ja) 2020-12-17
US11850008B2 (en) 2023-12-26
US20240065780A1 (en) 2024-02-29
US20190110843A1 (en) 2019-04-18
US20200170720A1 (en) 2020-06-04
AU2018347464B2 (en) 2022-11-17
AU2018347464A1 (en) 2020-04-23
WO2019074650A2 (en) 2019-04-18
EP3676799A2 (en) 2020-07-08

Similar Documents

Publication Publication Date Title
CN110832544B (zh) 用于导航的基于图像的分支检测和映射
US11759090B2 (en) Image-based airway analysis and mapping
US11759266B2 (en) Robotic systems for determining a roll of a medical device in luminal networks
CN110831535B (zh) 配置用于导航路径跟踪的机器人***
CN110831534B (zh) 用于医疗仪器导航和瞄准的***和方法
CN110809453B (zh) 用于腔网络内的器械跟踪和导航的方法和***
CN110891469B (zh) 用于定位传感器的配准的***和方法
US11944422B2 (en) Image reliability determination for instrument localization
CN114340542A (zh) 用于位置传感器的基于权重的配准的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant