CN111494006A - 用于在内窥镜图像中显示肿瘤位置的方法 - Google Patents

用于在内窥镜图像中显示肿瘤位置的方法 Download PDF

Info

Publication number
CN111494006A
CN111494006A CN202010077606.0A CN202010077606A CN111494006A CN 111494006 A CN111494006 A CN 111494006A CN 202010077606 A CN202010077606 A CN 202010077606A CN 111494006 A CN111494006 A CN 111494006A
Authority
CN
China
Prior art keywords
patient
lung
lungs
camera
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010077606.0A
Other languages
English (en)
Inventor
I·坎特罗尔
J·W·库普
F·罗塞托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN111494006A publication Critical patent/CN111494006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/428—Real-time

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Power Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)

Abstract

本公开涉及用于在内窥镜图像中显示肿瘤位置的方法。一种显示手术部位内感兴趣区域的方法包括对患者肺部进行建模，并且识别所述患者肺部的模型内感兴趣区域的位置。使用具有第一摄像头、光源和结构化光图案源的内窥镜来确定患者肺部的表面的形貌。患者肺部的实时图像显示在监视器上，并且使用所确定的所述患者肺部的形貌将所述实时图像相对于所述患者肺部的模型配准。将指示感兴趣区域的所处位置的标记叠加在患者肺部的实时图像上。如果所述标记落在内窥镜的视场之外，则在实时图像上叠加箭头，以指示所述标记相对于所述视场所处方向。

Description

用于在内窥镜图像中显示肿瘤位置的方法
相关申请的交叉引用
本申请要求2019年1月30日提交的美国临时专利申请第62/798,854号的权益和优先权，其全部公开内容通过引用并入本文。
背景技术
相关技术的描述
随着技术的进步，外科医生已经开始用微创技术(诸如腹腔镜和胸腔镜手术)代替传统的开放式手术技术，以尽量最小化对周围组织的创伤，减轻疼痛，减少疤痕，以及缩短患者的住院时长。微创手术(诸如19世纪中期开创的胸腔镜手术)涉及使用小切口(一到数个)，通常不超过3至10毫米。最初使用膀胱镜进行，医学技术的进步开发了在胸腔中使用的专用器械，例如胸腔镜，以在进行外科手术时观察胸腔内的解剖结构。在20世纪后期，发展了视频辅助胸外科手术(VATS)，其利用光纤内窥镜进一步减小执行手术所需的切口尺寸，并且提供了更清晰、更明确的胸腔图像。
同时，医学成像的进步使得临床医生能够更准确地描绘患者的解剖结构，从而更准确地识别疾病和任何患病组织的位置。这些进步使得临床医生能够更有效地利用微创外科技术，诸如上述胸腔镜手术。使用医学成像，诸如CT(包含X射线CT、计算机轴向断层摄影(CAT)扫描、正电子发射断层扫描(PET)和单光子发射CT(SPECT))，临床医生能够准确地识别病变或其他医学状况，而不需要侵入性手术(诸如开放手术或开胸手术)。然而，由于现代成像模式能够识别越来越小的病变，这些病变可能是粘膜下的，并且在胸腔镜捕获的图像上不容易识别(例如，在胸腔镜图像上不可见)，外科医生必须依靠用手指触诊组织来确定组织内病变的精确位置。可以理解，在微创手术期间用手指触诊组织不合期望的，因为需要附加的端口使外科医生的手指可以通过其来触诊组织。
为了缓解这个问题，重要的研究和开发集中在能够远程触诊的器械、识别组织内病变位置的算法、能够在器械靠近病变时通知外科医生的触觉反馈***等。然而，这种***依靠视觉以外的感官来识别病变相对于外科器械的位置。
发明内容
本公开涉及一种显示手术部位内的感兴趣区域的方法，其包括对患者肺部进行建模，识别患者肺部模型内的感兴趣区域的位置，使用与内窥镜相关联的第一摄像头、光源和结构化光图案源来确定患者肺部的表面的形貌，在与内窥镜相关联的监视器上显示由与内窥镜相关联的第二摄像头捕获的患者肺部的实时图像(第二摄像头具有视场)，使用所确定的患者肺部的表面的形貌将患者肺部的实时图像与患者肺部的模型配准，以及在患者肺部的实时图像上叠加指示患者肺部内感兴趣区域位置的标记，其中当第二摄像头的视场改变时，所述标记在患者肺部内保持静止。
在各方面，所述方法可以包含当感兴趣区域在第二摄像头的视场之外时，显示指示感兴趣区域相对于第二摄像头的视场所处方向的信息。
在某些方面，所述方法可以包含在患者体腔内推进内窥镜。
在其他方面，对患者肺部进行建模可以包含获取患者肺部的计算机断层摄影(CT)数据。
在某些方面，对患者肺部进行建模可以包含获取患者肺部的组织数据。
在各方面，所述方法可以包含将软件应用存储在与计算机相关联的存储器中，所述计算机具有配置为执行所述软件应用的处理器，所述软件应用在被执行时基于所述CT数据和所述组织数据创建患者肺部的模型。
在本公开的另一方面，提供了一种用于显示手术部位内的感兴趣区域的***，所述***包括计算机和与计算机和内窥镜相关联的监视器，所述计算机具有配置为执行软件应用的处理器，所述软件应用在被执行时创建患者肺部的模型。监视器配置为显示由与具有视场的内窥镜相关联的第一摄像头捕获的患者肺部的实时图像。处理器配置为确定患者肺部的形貌，使用所确定的患者肺部的表面的形貌将患者肺部的实时图像与患者肺部的模型配准，并且在患者肺部的实时图像上叠加指示患者肺部内感兴趣区域的所处位置的标记。当第一个摄像头的视场改变时，标记在患者肺部内保持静止。
在各方面，计算机可以包含存储器，用于存储与患者肺部相关联的计算机断层摄影(CT)数据和组织数据。
在某些方面，处理器可以配置为当感兴趣区域在第一摄像头的视场之外时，在监视器上显示指示感兴趣区域相对于第一摄像头的视场所处方向的信息。
在其他方面，内窥镜可以配置为在患者体腔内推进。
在各方面，处理器可以配置为获取患者肺部的计算机断层摄影(CT)数据。
在其他方面，计算机可以配置为获取患者肺部的组织数据。
在某些方面，内窥镜可以包括第二摄像头。在各方面，内窥镜可以进一步包括光源。在其他方面，内窥镜可以进一步包括结构化光图案源。
在其他方面，可以使用第二摄像头、光源和结构化光图案源来确定患者肺部的形貌。
根据本公开的又一方面，提供了一种显示手术部位内的感兴趣区域的方法，其包含指示与计算机相关联的处理器执行软件应用(所述软件应用在被执行时创建患者肺部的模型)，在与计算机相关联的监视器上显示由与内窥镜相关联的第一摄像头捕获的患者肺部的实时图像(所述第一摄像头具有视场)，以及指示处理器确定患者肺部的形貌，使用所确定的患者肺部的形貌将患者肺部的实时图像与患者肺部的模型配准，并且在患者肺部的实时图像上叠加指示患者肺部内感兴趣区域的所处位置的标记，其中当第一摄像头的视场改变时，标记在患者肺部内保持静止。
在各方面，所述方法可以包含当感兴趣区域在第一摄像头的视场之外时，在监视器上显示指示感兴趣区域相对于第一摄像头的视场所处方向的信息。
在其他方面，确定患者肺部的形貌可以包含使用与内窥镜相关联的第二摄像头、光源和结构化光图案源来确定患者肺部的形貌。
在某些方面，指示与计算机相关联的处理器执行软件应用可以包含获取患者肺部的计算机断层摄影(CT)数据和组织数据。
附图说明
下文参考附图描述本公开的各个方面和特征，其中：
图1是根据本公开提供的***的透视图，其配置为用于对肺部进行建模和治疗肺部内的感兴趣区域；
图2是示出根据本公开的对肺部进行建模和执行外科手术的方法的流程图；
图3A是患者肺部的3D模型的剖视图，示出了感兴趣区域以及高和低对比度密度细节；
图3B是患者肺部的3D模型的剖视图，示出了已经被区分和分组在一起的高和低对比度密度细节；
图3C是患者肺部的3D模型的剖视图，示出了已经被部分区分的高和低对比度密度细节；
图4是患者胸腔的3D模型的剖视图，示出了肺部和附着在其上的粘连；
图5是患者肺部的3D模型的剖视图，示出了其上应用有生成的网格的模型；
图6是患者肺部的3D模型的剖视图，示出了塌陷状态下的肺部；
图7是根据本公开提供的胸腔镜的透视图，其上设置有结构化光扫描仪；
图8是患者胸腔的侧剖视图，示出了推进其中的图7的胸腔镜；
图9A是图1的***的用户界面的图示，显示了塌陷状态下的患者肺部，其上覆盖有塌陷肺部的3D模型；
图9B是图1的***的用户界面的图示，显示了塌陷状态下的患者肺部，其上覆盖有塌陷肺部的另一个3D模型；
图9C是图1的***的用户界面的图示，显示了塌陷状态下的患者肺部，其上覆盖有塌陷肺部的又一3D模型；
图10是图1的***的用户界面的图示，示出了从图7的胸腔镜观看的摄像头视图；
图11是图1的***的用户界面的图示，显示了患者胸腔的3D模型的剖视图，示出了肺部和附着在其上的粘连；
图12是图1的***的用户界面的图示，示出了由图7的胸腔镜捕获的患者肺部的实时视图，并且图示了由叠加在患者肺部的实时视图上的标记指示的感兴趣区域；
图13是图1的***的用户界面的图示，示出了由图7的胸腔镜捕获的患者肺部的实时视图，并且图示了叠加在患者肺部的实时视图上的箭头，所述箭头指示感兴趣区域相对于胸腔镜视场的所处方向；
图14是图1的***的用户界面的图示，示出了临床医生操作患者肺部时从图7的胸腔镜观看的摄像头视图；以及
图15是根据本公开配置使用的机器人手术***的示意图。
具体实施方式
本公开涉及用于显示手术部位内感兴趣区域的位置的方法和***。如本文所描述，使用先前获得的患者肺部的计算机断层摄影(CT)数据来生成患者肺部的三维(3D)模型。使用任何合适的CT设备对患者进行成像，并且将数据存储在与计算机相关联的存储器中。存储在存储器中的软件应用由计算机执行，以使临床医生能够检查图像数据。通过检查图像数据，临床医生能够识别指示肺部疾病的感兴趣区域，并且确定其在患者的肺部内的位置。一旦临床医生识别出感兴趣区域和其位置，软件应用就处理图像数据，并且生成CT图像的3D重建或模型。可以理解，在胸腔镜手术过程中，有必要对患者肺部的一部分放气，以便在胸腔内为操作手术工具提供必要的空间。软件应用能够使用分割算法对塌陷状态下的患者肺部进行建模以界定各种类型组织的边界，并且基于它们的密度、连续性等将相似类型的组织分组在一起。以这种方式，增强患者肺部的3D重建的准确性，使得临床医生能够制定比通常可能使用的标准技术更准确的术前计划。
当开始外科手术时，临床医生使用套管针或任何其他合适的进入设备穿透患者胸部，并且除了诸如胸腔镜的第二手术工具之外，推进诸如镊子、外科缝合器等外科器械，以在外科手术期间捕获患者解剖结构的实时图像。胸腔镜包含能够将图案扫描到胸腔内的患者解剖结构上的结构化光扫描仪。此外，胸腔镜包含能够检测IR光的红外(IR)摄像头，以检测由结构化光扫描仪扫描到患者解剖结构上的图案。使用胸腔镜收集的信息，软件应用生成患者塌陷肺部的3D表面模型。以这种方式，软件应用能够更新塌陷肺部模型，并且提供塌陷状态下的患者肺部的更准确的模型。可以设想，软件应用可以向临床医生显示患者肺部的各种生成的3D模型，并且使临床医生能够选择最准确地描绘塌陷状态下的患者肺部的模型。附加地，不是将肺部的3D模型与结构化光扫描仪获得的扫描进行比较，而是预期3D模型可以与由胸腔镜获得的临床医生的实时视图进行比较。
使用由IR摄像头获得的位置数据，在结构化光扫描仪数据中检测各种特征点或基准点，诸如裂缝、韧带附件、粘连等。使用这一数据，3D模型可以与塌陷状态下的患者肺部的实时视图相关联或配准。以这种方式，感兴趣区域和其他结构可以叠加在患者肺部的实时视图上，以使临床医生能够更准确地治疗感兴趣区域并且避开位于患者肺部内的关键结构。感兴趣区域可以由标记(诸如红点，其叠加在患者肺部的实时视图上)表示，使得临床医生可以在体腔内和患者肺部内操纵外科器械的同时连续观察感兴趣区域的位置。在实施例中，标记可以叠加在患者肺部内，而不是其表面上，以更准确地描绘患者肺部内感兴趣区域的位置。
当临床医生相对于感兴趣区域操作胸腔镜时，标记保持位于感兴趣区域。以这种方式，当操作胸腔镜并且与胸腔镜相关联的摄像头的视场改变时，标记在患者肺部内保持静止。然而，如果临床医生操作胸腔镜，使得感兴趣区域不再在摄像头的视场内，软件应用将箭头或其他指示符叠加在患者肺部的实时视图上，指示感兴趣区域相对于摄像头的视场的所处方向。可以理解，箭头可以叠加在患者肺部的实时视图内的右、左、中、外、上、下位置。
尽管这里详细描述的***和方法通常是针对肺部描述的，但是可以设想，以下***和方法可以应用于肝脏、脾脏或任何其他器官。
现在参考附图详细描述本公开的实施例，其中在几个视图的每一个中，相同的附图标记表示相同或相应的元件。如本文所使用，术语“临床医生”指的是医生、护士或任何其他护理提供者，并且可以包括支持人员。在整个说明书中，术语“近端”指的是设备或其部件更靠近临床医生的部分，术语“远端”指的是设备或其部件更远离临床医生的部分。附加地，在附图和随后的描述中，诸如前、后、上、下、顶、底和类似方向术语的术语仅仅是为了描述方便而使用的，而不旨在限制本公开。尽管本文通常被描述为由临床医生执行的各种确定和/或选择步骤，但是可以设想，本文描述的确定和/或选择步骤可以由软件应用或者临床医生和软件应用输入的组合来执行。可以理解，在某些情况下，软件应用程序可能需要做出某些确定，而在其他情况下，临床医生可能需要做出某些确定。在实施例中，软件应用可以做出确定并且将所述确定呈现给临床医生以供选择和/或确认。在其他实施例中，软件应用可能需要向临床医生提供关于临床医生的决定的后果的提示或其他警告，或者向临床医生提供替代选择，或者其组合。在以下描述中，没有详细描述众所周知的功能或结构，以避免在不必要的细节中模糊本公开。
如图1中所示，下文描述的方法利用包含导航***的***100，所述导航***能够将胸腔内的手术工具80和患者“P”的肺部“L”导向感兴趣区域“AOI”。导航***包含跟踪***110，其配置为与手术工具80一起使用，并且能够监视手术工具80的远端部分的位置和方向。***100进一步包含计算机10和显示在与计算机10或合适的监视设备30(例如，视频显示器)相关联的显示器上的用户界面20。下文将进一步详细描述具有本文所述方法的***100的作用和用途。
参考图2中描绘的流程图，描述了一种使用计算机断层摄影(CT)数据采用患者“P”的肺部“L”的生成模型来治疗患者的方法。最初，在步骤S100中，使用任何合适的CT设备(未示出)，诸如X射线CT、计算机轴向断层摄影(CAT)扫描、正电子发射断层摄影(PET)和单光子发射CT(SPECT)对患者“P”成像，并且成像数据存储在耦合到计算机10的存储器(未示出)中(图1)。存储器可以包含用于存储可由处理器(未示出)执行的数据和/或软件的任何非暂时性计算机可读存储介质，例如固态、易失性、非易失性、可移动和不可移动的。可以理解，图像可以经由有线或无线连接被存储在与诸如分布式网络或因特网的远程计算机或网络(未示出)相关联的存储器内，以用于向其他源发送数据和从其他源接收数据。可以进一步设想的是，图像可以存储在一个或多个可移动存储设备(未示出)上，诸如光盘、存储卡、Zip盘或软盘、磁盘包、磁带、USB闪存驱动器、外部硬盘驱动器等。
在对患者成像之后，在步骤S102中，存储在存储器中的软件应用由与计算机相关联的处理器执行，以能够检查图像数据。这种应用的一个实例是美敦力PLC目前销售的
Figure BDA0002378969990000091
规划和导航套件。在图像中识别示出了肺部疾病(例如，肺部气肿、COPD、哮喘、癌症等)影响的感兴趣区域(“AOI”；图5)，并且确定其在患者“P”的肺部“L”内的位置。可以设想用于识别感兴趣区域“AOI”的几种成像方法，诸如超声波、CT扫描、新陈代谢扫描等。在一个非限制性实施例中，肺部“L”的低密度部分可以在与肺部气肿影响区域相关的CT图像中被识别，因为肺大泡膨胀的松软肺泡的图像可能比周围组织明显更暗或更黑。在某些实施例中，能够执行组合的PET/CT成像技术的设备可以用于识别肺部“L”的低密度区域。在使用上述技术中的一种对图像数据进行分析之后，在步骤S104中，感兴趣区域“AOI”在肺部“L”内的位置可以被识别，并且其位置存储在耦合到计算机10的存储器中(图1)。
参考图3A，结合图2，在步骤S106中，在步骤S100期间获得的图像数据由软件应用处理，并且使用本领域已知的任何合适的方法生成CT图像的3D重建。可以理解，在诸如下文所描述的胸腔镜手术过程中，有必要对患者肺部的一部分放气(例如，诱发肺部不张)，以便在胸腔内为手术工具的操作提供必要的空间。如上文所描述，3D重建必然是完全充气的肺部的重建。因此，一旦外科手术开始，肺部的几何形状就会发生变化，导致在肺部和胸腔内所识别的感兴趣区域“AOI”的位置发生变化。因此，如下文详细描述的那样制定的术前计划必须补偿外科手术过程中改变的肺部几何形状。
为了补偿这种改变的几何形状，在步骤S108中，软件应用对塌陷状态下的患者“P”的肺部“L”进行建模。具体而言，软件应用使用分割算法来界定各种类型组织的边界，并且基于它们的密度和连续性以及其他因素将类似类型的组织分组在一起(图3B)。可以设想，软件应用可以利用任何合适的分割算法，诸如二元掩蔽、确定分离组织和背景的最佳阈值、自适应区域生长、波前传播等。
可以理解，软件应用可能无法区分所有不同的组织类型(图3C)。这样，软件应用能够选择性地切换动脉、静脉、支气管等，以校正任何不准确性。以此方式，软件应用将每个分割的组呈现为不同的颜色或不同的透明度级别，临床医生可以选择性地调整这些颜色或透明度级别，以便使临床医生能够更好地识别每个分割的或区分的组，或者在实施例中，可以将识别的结构呈现为不透明的，将未识别的结构呈现为半透明的，反之亦然。
为了进一步提高塌陷肺部重建的准确性，软件应用调整3D重建以考虑重力的影响(例如，患者在手术台140上的方向)和患者的脊柱在冠状面或额状面(例如，将患者“P”的身体分成腹侧和背侧部分的平面)中的曲率。胸腔内的其他结构(诸如粘连、病变等)影响肺部体积和肺部在患者胸腔内的位置(图4)。软件应用通过先前获得的患者“P”的肺部“L”的图像识别这些结构，并且在存在粘连的情况下通过迫使肺部“L”位于胸腔中更高的位置，通过将粘连固定到胸廓的固定边界并且应用弹性模型来确定位移或其组合来将这些结构的存在考虑在内。在替代方案中，软件应用可以识别粘连的去除，或者粘连的去除可以由临床医生手动输入合成器，并且软件应用将相应地重新调整模型(例如，肺部“L”将朝向肺门位于更远的位置)。
可以预见，软件应用可以估计更可能的肺部放气水平，因为肺部组织的弹性特性将受到常见肺部状况(诸如COPD、患者的年龄、患者的吸烟状况等)的影响。附加地，软件应用可以考虑患者“P”可能经历的会影响整体肺部容积的先前外科手术。在识别肺部“L”内的各种结构之后，软件应用使用有限元分析(FEA)算法来对肺部“L”进行建模，并且在显示器20上向临床医生呈现塌陷的肺部模型(图5和图6)。塌陷肺部的最终3D模型形成计算肺部模型(CLM)，所述模型是在术前规划、术中辅助和术后检查期间在显示器20或与计算机110相关联的监视设备上显示给临床医生的3D模型。
参考图7和图8，在已经开发了CLM之后，在步骤S110中，临床医生可以通过使用套管针(未示出)或其他合适的进入设备穿透患者“P”的胸部来开始期望的过程，外科器械400(例如，镊子、外科缝合器、电外科器械、夹具施放器等)通过所述进入设备推进到患者“P”的体腔中。可以理解，第二手术工具在患者“P”的体腔内推进，以在外科手术过程中捕获患者的解剖结构的实时图像。在一个非限制性实施例中，第二手术工具是胸腔镜510或诸如内窥镜或腹腔镜的其他合适的设备，其能够在患者“P”的胸腔内推进，并且其上设置有结构化光扫描仪512(图7)。可以设想的是，胸腔镜510可以包含本领域已知的任何合适的结构化光扫描仪512，诸如发光二极管“LED”或LED红外激光器，或可见光LED激光器，其以合适的方式设置在胸腔镜510上，以通过旋转镜、分束器或衍射光栅扫描图案(例如，线、网格、点等)，或者可以是数字光处理(DLP)投影仪。在一个非限制性实施例中，结构化光扫描仪512是具有准直光的LED激光器。胸腔镜510进一步包含设置在其上的IR摄像头514(图7)，其能够检测IR光。可以设想的是，IR摄像头514可以是本领域已知的任何热成像摄像头，诸如铁电体、硅微测辐射热计、非制冷焦平面阵列(UFPA)等。可以进一步设想的是，设置在胸腔镜510上的各种传感器可以是具有相关联的硬件和/或软件的独立且不同的部件，或者可以是诸如
Figure BDA0002378969990000111
的RealSenseTM的商业平台的一部分。胸腔镜510是可操控的胸腔镜，其能够相对于通过胸腔镜510的近端和远端部分限定的纵轴***作，使得胸腔镜510的远端部分能够相对于患者“P”的肺部“L”以各种角度定向(图8)。可以理解，可操控的胸腔镜能够捕获患者“P”的肺部“L”的所需图像，而无需从患者“P”的体腔中移除。相反，如果胸腔镜510是刚性胸腔镜，则可能需要通过多个切口或套管针推进刚性胸腔镜，以便拍摄患者“P”的肺部“L”的必要图像，以生成患者“P”的肺部“L”的3D表面模型。
在步骤S112中，使用由胸腔镜510收集的信息，软件应用生成患者“P”的塌陷肺部“L”的3D表面模型。所述塌陷肺部的3D表面模型由软件应用用来更新CLM并且提供塌陷状态下的患者“P”的肺部“L”的更准确的模型。在步骤S114(图9A-图9C)，软件应用通过用户界面20向临床医生显示多个生成的患者肺部的3D表面模型。在步骤S116中，软件应用使临床医生能够选择最准确地描绘塌陷状态下的患者“P”的肺部“L”的肺部放气模型(图9A-图9C)。例如，图9A示出了塌陷状态下叠加在患者肺部扫描上的CLM。图9B示出了在塌陷状态下最准确匹配患者肺部扫描的选定CLM。图9C示出了临床医生使用手势来改变CLM的形状和旋转，以更紧密地匹配塌陷状态下的患者肺部的扫描。在实施例中，临床医生可以实时改变CLM的形状和旋转。以此方式，临床医生可以实时调节肺部的充气或放气量，调节肺部在胸腔内沿X、Y和Z轴中的每一个的旋转量等。
参考图10，可以进一步设想，在步骤S118中，不是将CLM与由结构化光扫描仪512获得的扫描进行比较，而是可以将CLM与由胸腔镜510获得的患者“P”的塌陷肺部“L”的临床医生的实时视图进行比较。以此方式，胸腔镜510包含摄像头516或设置在其远端部分的用于捕获视频图像的其他合适设备。可以理解，胸腔镜510可以是能够在视频辅助胸腔镜手术(VATS)过程、图像引导视频辅助胸腔镜手术(iVATS)过程或机器人辅助胸腔镜手术(RATS)过程中使用的任何合适的胸腔镜。在实施例中，摄像头516可以是诸如数字光处理(DLP)***的光学扫描***(未示出)，可以用于准确地确定塌陷状态下的患者“P”的肺部“L”的尺寸。
在步骤S120中，使用由IR摄像头514或光学扫描***获得的位置数据，在结构化光扫描仪数据中检测各种特征点或基准点，诸如裂缝、韧带附件、粘连“A”、患者“P”的肺部“L”的表面高度或位于胸腔内的任何其他合适的特征点(图11)。在步骤S122中，一旦特征点被识别，计算这些检测到的特征点相对于塌陷CLM中相应特征点的偏移。可以设想的是，可以使用任何合适的特征匹配算法来计算结构化光扫描仪数据和CLM数据之间的特征点偏移，诸如尺度不变特征变换(SIFT)、旋转不变特征变换(RIFT)、广义鲁棒不变特征(G-RIF)、加速鲁棒特征(SURF)、主成分分析SIFT(PCA-SIFT)、梯度位置定向直方图(GLOH)、高斯-SIFT等。软件应用使用计算出的特征点偏移并且再生成CLM以更准确地反映患者“P”的塌陷肺部“L”的观察状态。可以理解，当胸腔镜510在胸腔内相对于患者“P”的肺部“L”推进时，CLM可以实时再生成。以此方式，合成器300的软件应用监视视觉陆标的位置，诸如裂缝、病变等，或者可以使用内部陆标，诸如结节(通过使用病变检测技术可识别)或基准点(未示出)，这些基准点先前已经放置在患者“P”的肺部“L”中。在实施例中，软件应用可以检测患者“P”的肺部“L”中的病变，并且将病变作为自然基准点来处理，使得患者“P”的肺部“L”中的关键结构可以在CLM中被识别。
在步骤S124中，当胸腔镜510在胸腔内推进时，视频图像被捕获并且传输到与计算机10或监视设备30(图1)相关联的监视器，提供患者“P”的塌陷肺部“L”的实时视图。在步骤S126中，在将CLM与由胸腔镜510获得的患者“P”的塌陷肺部“L”的实时视图相关联或配准之后，感兴趣区域“AOI”和肺部“L”内的其他结构叠加在患者“P”的肺部“L”的实时视图上，以使临床医生能够更准确地治疗感兴趣区域“AOI”并且避开位于肺部“L”内的关键结构(图12)。在实施例中，感兴趣区域“AOI”可以由诸如红点的标记600(图12)表示，其叠加在患者“P”的肺部“L”的实时视图上，使得临床医生可以在体腔内和患者“P”的肺部“L”内操纵外科器械400的同时连续观察感兴趣区域“AOI”的位置。可以设想，标记600可以叠加在患者“P”的肺部“L”内，而不是叠加在患者“P”的肺部“L”的表面上，以更准确地描绘感兴趣区域“AOI”在患者“P”的肺部“L”内的位置。
在步骤S128中，可以设想当临床医生相对于感兴趣区域“AOI”操作胸腔镜510时，标记600保持位于感兴趣区域“AOI”。以此方式，当操作胸腔镜510并且胸腔镜510的摄像头516的视场改变时，标记600在患者“P”的肺部“L”内保持静止。然而，如果临床医生操作胸腔镜510使得感兴趣区域“AOI”不再在胸腔镜的摄像头516的视场内，则在步骤S130，软件应用将箭头610或其他指示符叠加在肺部“L”的实时视图上，指示感兴趣区域“AOI”相对于胸腔镜的摄像头516的视场的所处方向(图13)。可以理解，箭头610可以叠加在肺部“L”的实时视图中的右、左、中、外、上、下位置处。
可以进一步设想的是，CLM可以反映由临床医生对肺部“L”的操作。如图14中所示，当临床医生使用任何合适的外科器械90(例如，手术钳等)操作肺部“L”的一部分时，可以更新CLM以反映肺部“L”在胸腔内的当前位置。以此方式，可以更新肺部“L”和感兴趣区域“AOI”内的结构的位置，并且特别是更新代表感兴趣区域“AOI”的标记600(图12)，以基于临床医生如何操作肺部“L”来反映它们的真实位置。
诸如本文所描述的内窥镜、计算设备和***100的其他部件的外科器械也可以配置为与机器人外科***和通常称为“远程外科手术***”的***一起工作。这种***使用各种机器人元件来帮助外科医生，并且允许外科器械的远程操作(或部分远程操作)。各种机器人臂、齿轮、凸轮、滑轮、电动和机械马达等可以用于此目的，并且可以设计有机器人手术***，以在手术或治疗过程中帮助外科医生。这种机器人***可以包含远程操控***、自动柔性手术***、远程柔性手术***、远程铰接手术***、无线手术***、模块化或选择性可配置的远程操作手术***等。
机器人手术***可以与一个或多个控制台一起使用，控制台靠近手术室或位于远程位置。在这种情况下，一队外科医生或护士可以为患者做手术准备，并且用本文公开的一个或多个器械配置机器人手术***，而另一个外科医生(或外科医生组)通过机器人手术***远程控制器械。可以理解，高技能外科医生可以在多个位置执行多个手术，而不离开他/她的远程控制台，这对于患者或一系列患者来说既具有经济优势又有利。
手术***的机械臂通常通过控制器耦合到一对主手柄上。外科医生可以移动手柄，以产生任何类型的外科器械(例如，端部执行器、抓紧器、刀、剪刀、内窥镜等)的工作端的相应运动，这可以补充本文描述的一个或多个实施例的使用。主手柄的运动可以缩放，使得工作端的相应运动不同于、小于或大于由外科医生的操作手所执行的运动。缩放因子或传动比可以调节，以便操作者可以控制外科器械的工作端的分辨率。
可以设想，本文描述的***可以由机器人***定位，并且内窥镜的精确位置被传送到计算机，以构建扫描的器官或手术区域的3D图像。机器人***具有自主扫描手术区域并构建所述区域的完整3D模型的能力，以帮助外科医生引导机器人臂或为机器人***提供必要的3D信息，从而进一步自主地进行手术步骤。在内窥镜包含彼此独立的摄像头和结构化光源的实施例中，机器人***可以分别引导摄像头和结构化光源。机器人***提供了对结构化光和摄像头视图中的点进行三角测量以构建手术区域的3D表面所需的各个内窥镜之间的相对坐标。以此方式，机器人***具有能够自主地将结构化光源定位到摄像头或摄像头内窥镜的视场上的特定优势。附加地或者可替代地，在机器人控制摄像头位置(或其他部件位置)的情况下，机器人可以移动摄像头(或其他部件)以扩大扫描的解剖结构的尺寸(例如，扫描的量)，从而为用户(例如，外科医生)创建更大的视图而无需用户的输入或知识。
主手柄可以包含各种传感器，以向外科医生提供与各种组织参数或条件相关的反馈，例如，由于操作、切割或其他处理引起的组织阻力、器械对组织的压力、组织温度、组织阻抗等。可以理解，这些传感器向外科医生提供模拟实际操作条件的增强触觉反馈。主手柄还可以包括各种不同的致动器，用于精细的组织操作或治疗，进一步增强了外科医生模拟实际操作条件的能力。
参考图15，医疗工作站通常被示出为工作站1100，并且通常可以包含多个机器人臂1102、1103；控制设备1104；和与控制设备1104耦合的操作控制台1105。操作控制台1105可以包括显示设备1106，所述显示设备可以被设置为特别显示三维图像；和手动输入设备1107、1108，借助于这些手动输入设备，人(未示出)(例如，外科医生)能够在第一操作模式下远程操作机械臂1102、1103。
根据本文公开的几个实施例中的任一个，机器人臂1102、1103中的每一个可以包括通过关节连接的多个构件，以及附接设备1109、1111，例如，支撑端部执行器1120的手术工具“ST”可以附接至这些附接设备。
机器人臂1102、1103可以由连接到控制设备1104的电驱动器(未示出)驱动。控制设备1104(例如，计算机)可以被设置成激活驱动器，特别是借助于计算机程序，以此方式使得机械臂1102、1103、它们的附接设备1109、1111以及因此手术工具(包含末端执行器1120)根据由手动输入设备1107、1108限定的运动来执行期望的运动。控制设备1104也可以以此方式设置使得其调节机器人臂1102、1103和/或驱动器的运动。
医疗工作站1100可以配置为用于躺在病床1112上的患者“P”，患者“P”将通过端部执行器1120以微创方式进行治疗。医疗工作站1100还可以包含两个以上的机器人臂1102、1103，附加的机械臂同样连接到控制设备1104，并且可以通过操作控制台1105远程操作。医疗器械或手术工具(包括末端执行器1120)也可以附接到附加的机器人臂。医疗工作站1100可以包含数据库1114，特别是与控制设备1104耦合的数据库，其中存储例如来自患者/活体为“P”的术前数据和/或解剖图谱。
虽然在附图中已经示出了本公开的几个实施例，但并不意味着本公开局限于此，因为意图是使本公开的范围与本领域所允许的一样宽，并且同样地阅读说明书。因此，上述描述不应被解释为限制，而仅仅是特定实施例的范例。

Claims (20)

1.一种显示手术部位内感兴趣区域的方法，其包括：
对患者的肺部进行建模；
识别所述患者肺部的模型内感兴趣区域的位置；
使用与内窥镜相关联的第一摄像头、光源和结构化光图案源来确定所述患者肺部的表面的形貌；
在与所述内窥镜相关联的监视器上显示由与所述内窥镜相关联的第二摄像头捕获的所述患者肺部的实时图像，所述第二摄像头具有视场；
使用所确定的所述患者肺部的所述表面的所述形貌，将所述患者肺部的所述实时图像与所述患者肺部的所述模型配准；以及
在所述患者肺部的所述实时图像上叠加指示所述患者肺部内的所述感兴趣区域的所处位置的标记，当所述第二摄像头的所述视场改变时，所述标记在所述患者肺部内保持静止。
2.根据权利要求1所述的方法，其进一步包括当所述感兴趣区域在所述第二摄像头的所述视场之外时，显示指示所述感兴趣区域相对于所述第二摄像头的所述视场所处方向的信息。
3.根据权利要求1所述的方法，其进一步包括在所述患者的体腔内推进所述内窥镜。
4.根据权利要求1所述的方法，其中对所述患者的所述肺部进行建模包括获取所述患者肺部的计算机断层摄影(CT)数据。
5.根据权利要求4所述的方法，其中对所述患者的所述肺部进行建模包括获取所述患者肺部的组织数据。
6.根据权利要求5所述的方法，其进一步包括在与计算机相关联的存储器中存储软件应用，所述计算机具有配置为执行所述软件应用的处理器，所述软件应用在被执行时基于所述CT数据和所述组织数据创建所述患者肺部的模型。
7.一种用于显示手术部位内感兴趣区域的***，其包括：
计算机，所述计算机具有配置为执行软件应用的处理器，所述软件应用在被执行时创建患者肺部的模型；和
监视器，所述监视器与所述计算机和内窥镜相关联，所述监视器配置为显示由与所述内窥镜相关联的第一摄像头捕获的所述患者肺部的实时图像，所述第一摄像头具有视场，
其中所述处理器配置为确定所述患者肺部的形貌，使用所确定的所述患者肺部的所述表面的所述形貌将所述患者肺部的所述实时图像与所述患者肺部的所述模型配准，并且在所述患者肺部的所述实时图像上叠加指示所述患者肺部内所述感兴趣区域的所处位置的标记，当所述第一摄像头的所述视场改变时，所述标记在所述患者肺部内保持静止。
8.根据权利要求7所述的***，其中所述计算机包括用于存储与所述患者肺部相关联的计算机断层摄影(CT)数据和组织数据的存储器。
9.根据权利要求7所述的***，其中所述处理器配置为当所述感兴趣区域在所述第一摄像头的所述视场之外时，在所述监视器上显示指示所述感兴趣区域相对于所述第一摄像头的所述视场所处方向的信息。
10.根据权利要求7所述的***，其中所述内窥镜配置为在所述患者的体腔内推进。
11.根据权利要求7所述的***，其中所述处理器配置为获取所述患者肺部的计算机断层摄影(CT)数据。
12.根据权利要求7所述的***，其中所述计算机配置为获取所述患者肺部的组织数据。
13.根据权利要求7所述的***，其中所述内窥镜包括第二摄像头。
14.根据权利要求13所述的***，其中所述内窥镜包括光源。
15.根据权利要求14所述的***，其中所述内窥镜包括结构化光图案源。
16.根据权利要求15所述的***，其中使用所述第二摄像头、所述光源和所述结构化光图案源来确定所述患者肺部的所述形貌。
17.一种显示手术部位内感兴趣区域的方法，其包括：
指示与计算机相关联的处理器执行软件应用，所述软件应用在被执行时创建患者肺部的模型；
在与所述计算机相关联的监视器上显示由与内窥镜相关联的第一摄像头捕获的所述患者肺部的实时图像，所述第一摄像头具有视场；以及
指示所述处理器：
确定所述患者肺部的形貌；
使用所确定的所述患者肺部的所述形貌，将所述患者肺部的所述实时图像与所述患者肺部的所述模型配准；以及
在所述患者肺部的所述实时图像上叠加指示所述患者肺部内的所述感兴趣区域的所处位置的标记，当所述第一摄像头的所述视场改变时，所述标记在所述患者肺部内保持静止。
18.根据权利要求17所述的方法，其进一步包括当所述感兴趣区域在所述第一摄像头的所述视场之外时，在所述监视器上显示指示所述感兴趣区域相对于所述第一摄像头的所述视场所处方向的信息。
19.根据权利要求17所述的方法，其中确定所述患者肺部的所述形貌包括使用与所述内窥镜相关联的第二摄像头、光源和结构化光图案源来确定所述患者肺部的所述形貌。
20.根据权利要求17所述的方法，其中指示与所述计算机相关联的所述处理器执行所述软件应用包括获取所述患者肺部的计算机断层摄影(CT)数据和组织数据。
CN202010077606.0A 2019-01-30 2020-01-31 用于在内窥镜图像中显示肿瘤位置的方法 Pending CN111494006A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798854P 2019-01-30 2019-01-30
US62/798,854 2019-01-30
US16/718,815 US11625825B2 (en) 2019-01-30 2019-12-18 Method for displaying tumor location within endoscopic images
US16/718,815 2019-12-18

Publications (1)

Publication Number Publication Date
CN111494006A true CN111494006A (zh) 2020-08-07

Family

ID=69400368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010077606.0A Pending CN111494006A (zh) 2019-01-30 2020-01-31 用于在内窥镜图像中显示肿瘤位置的方法

Country Status (3)

Country Link
US (1) US11625825B2 (zh)
EP (1) EP3690810B1 (zh)
CN (1) CN111494006A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066781A (zh) * 2022-01-18 2022-02-18 浙江鸿禾医疗科技有限责任公司 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备
CN114343873A (zh) * 2022-01-07 2022-04-15 苏州康多机器人有限公司 一种内窥镜手术监测***及方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4225119A1 (en) * 2020-10-09 2023-08-16 Smith&Nephew, Inc. Markerless navigation system
KR102667467B1 (ko) * 2021-12-13 2024-05-20 (주)휴톰 환자의 가상 폐 모델을 이용하여 가상 현실 기반의 수술 환경을 제공하는 장치 및 방법
WO2023148812A1 (ja) * 2022-02-01 2023-08-10 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
CN114299072B (zh) * 2022-03-11 2022-06-07 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015118423A1 (en) * 2014-02-04 2015-08-13 Koninklijke Philips N.V. Visualization of depth and position of blood vessels and robot guided visualization of blood vessel cross section
US20170280970A1 (en) * 2016-03-31 2017-10-05 Covidien Lp Thoracic endoscope for surface scanning
EP3398552A1 (en) * 2017-05-03 2018-11-07 Covidien LP Medical image viewer control from surgeon's camera

Family Cites Families (231)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5318024A (en) 1985-03-22 1994-06-07 Massachusetts Institute Of Technology Laser endoscope for spectroscopic imaging
US4932412A (en) 1986-12-18 1990-06-12 Immunomedics, Inc. Intraoperative and endoscopic tumor detection and therapy
US5057494A (en) 1988-08-03 1991-10-15 Ethicon, Inc. Method for preventing tissue damage after an ischemic episode
US5697885A (en) 1989-01-30 1997-12-16 Olympus Optical Co., Ltd. Endoscope for recording and displaying time-serial images
DE69329112T2 (de) 1992-05-06 2000-12-14 Immunomedics, Inc. Intraoperative, intravaskulare und endoskopische bestimmung und behandlung von verletzungen und tumoren
US6096289A (en) 1992-05-06 2000-08-01 Immunomedics, Inc. Intraoperative, intravascular, and endoscopic tumor and lesion detection, biopsy and therapy
US5321113A (en) 1993-05-14 1994-06-14 Ethicon, Inc. Copolymers of an aromatic anhydride and aliphatic ester
DE4443947B4 (de) 1994-01-14 2005-09-22 Siemens Ag Endoskop
US5590660A (en) 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
US6293911B1 (en) 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US7179222B2 (en) 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
JP3532368B2 (ja) 1996-12-10 2004-05-31 富士写真フイルム株式会社 内視鏡
US6346940B1 (en) 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
US5984861A (en) 1997-09-29 1999-11-16 Boston Scientific Corporation Endofluorescence imaging module for an endoscope
CA2318180A1 (en) 1998-01-26 1999-07-29 Massachusetts Institute Of Technology Fluorescence imaging endoscope
IL123073A0 (en) 1998-01-26 1998-09-24 Simbionix Ltd Endoscopic tutorial system
US6003517A (en) 1998-04-30 1999-12-21 Ethicon Endo-Surgery, Inc. Method for using an electrosurgical device on lung tissue
US6652836B2 (en) 1998-10-15 2003-11-25 Fluoroprobe, Inc. Method for viewing tumor tissue located within a body cavity
US6284223B1 (en) 1998-10-15 2001-09-04 Fluoroprobe, Inc. Method for viewing tumor tissue located within a body cavity
US6413981B1 (en) 1999-08-12 2002-07-02 Ortho-Mcneil Pharamceutical, Inc. Bicyclic heterocyclic substituted phenyl oxazolidinone antibacterials, and related compositions and methods
US6608081B2 (en) 1999-08-12 2003-08-19 Ortho-Mcneil Pharmaceutical, Inc. Bicyclic heterocyclic substituted phenyl oxazolidinone antibacterials, and related compositions and methods
JP2001061764A (ja) 1999-08-25 2001-03-13 Asahi Optical Co Ltd 内視鏡装置
US6750034B1 (en) 2000-06-30 2004-06-15 Ortho-Mcneil Pharmaceutical, Inc. DNA encoding human serine protease D-G
US20020147462A1 (en) 2000-09-11 2002-10-10 Closure Medical Corporation Bronchial occlusion method and apparatus
US6472372B1 (en) 2000-12-06 2002-10-29 Ortho-Mcneil Pharmaceuticals, Inc. 6-O-Carbamoyl ketolide antibacterials
US6871086B2 (en) 2001-02-15 2005-03-22 Robin Medical Inc. Endoscopic examining apparatus particularly useful in MRI, a probe useful in such apparatus, and a method of making such probe
EP2107110A3 (en) 2001-05-15 2011-10-26 Ortho-McNeil Pharmaceutical, Inc. Ex-vivo priming for generating cytotoxic T lymphocytes specific for non-tumor antigens to treat autoimmune and allergic disease
US7172553B2 (en) 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
US20030013960A1 (en) 2001-05-29 2003-01-16 Makin Inder Raj. S. Guiding ultrasound end effector for medical treatment
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
US20060241496A1 (en) 2002-01-15 2006-10-26 Xillix Technologies Corp. Filter for use with imaging endoscopes
MXPA03006874A (es) 2002-07-31 2004-09-03 Johnson & Johnson Sistema de terapia con oxigeno de duracion prolongada.
US20040120981A1 (en) 2002-12-20 2004-06-24 Aruna Nathan Crosslinked alkyd polyesters for medical applications
US6984211B2 (en) 2003-01-03 2006-01-10 Mayo Foundation For Medical Education And Research Detection of tumor halos in ultrasound images
US7381183B2 (en) 2003-04-21 2008-06-03 Karl Storz Development Corp. Method for capturing and displaying endoscopic maps
WO2004098502A2 (en) 2003-04-30 2004-11-18 Centocor, Inc. Cngh0010 specific polynucleotides, polypeptides, antibodies, compositions, methods and uses.
WO2005003381A1 (en) 2003-07-04 2005-01-13 Johnson & Johnson Research Pty. Limited Method for detection of alkylated cytosine in dna
US7822461B2 (en) 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
US8403828B2 (en) 2003-07-21 2013-03-26 Vanderbilt University Ophthalmic orbital surgery apparatus and method and image-guide navigation system
EP2316328B1 (en) 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
DE10349649B3 (de) 2003-10-17 2005-05-19 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erzeugen eines mit Bearbeitungsvermerken versehenen Bildes in einem sterilen Arbeitsbereich einer medizinischen Einrichtung
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
KR20070108141A (ko) 2004-11-16 2007-11-08 로버트 엘 베리 폐 치료 장치 및 방법
EP1831684A4 (en) 2004-11-30 2009-03-11 Veridex Llc PROGNOSTICS OF LUNG CANCER
US8289381B2 (en) 2005-01-05 2012-10-16 Avantis Medical Systems, Inc. Endoscope with an imaging catheter assembly and method of configuring an endoscope
US8872906B2 (en) 2005-01-05 2014-10-28 Avantis Medical Systems, Inc. Endoscope assembly with a polarizing filter
JP4709579B2 (ja) 2005-04-26 2011-06-22 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡
WO2007087421A2 (en) 2006-01-23 2007-08-02 Avantis Medical Systems, Inc. Endoscope
US9055906B2 (en) 2006-06-14 2015-06-16 Intuitive Surgical Operations, Inc. In-vivo visualization systems
US11389235B2 (en) 2006-07-14 2022-07-19 Neuwave Medical, Inc. Energy delivery systems and uses thereof
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US8251893B2 (en) 2007-01-31 2012-08-28 National University Corporation Hamamatsu University School Of Medicine Device for displaying assistance information for surgical operation, method for displaying assistance information for surgical operation, and program for displaying assistance information for surgical operation
US7655004B2 (en) 2007-02-15 2010-02-02 Ethicon Endo-Surgery, Inc. Electroporation ablation apparatus, system, and method
DE102007029888B4 (de) 2007-06-28 2016-04-07 Siemens Aktiengesellschaft Bildgebendes Verfahren für die medizinische Diagnostik und nach diesem Verfahren arbeitende Einrichtung
US8335359B2 (en) 2007-07-20 2012-12-18 General Electric Company Systems, apparatus and processes for automated medical image segmentation
FR2920085B1 (fr) 2007-08-24 2012-06-15 Univ Grenoble 1 Systeme d'imagerie pour l'observation tridimensionnelle d'un champ operatoire
US8323182B2 (en) 2007-12-18 2012-12-04 Manohara Harish M Endoscope and system and method of operation thereof
US8167793B2 (en) 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
SE532644C2 (sv) 2008-07-03 2010-03-09 Aamic Ab Förfarande för att analysera cirkulerande antikroppar
US8758234B2 (en) 2008-07-08 2014-06-24 Karl Storz Imaging, Inc. Solid state variable direction of view endoscope
US8771177B2 (en) 2008-07-08 2014-07-08 Karl Storz Imaging, Inc. Wide angle flexible endoscope
US10092169B2 (en) 2008-07-08 2018-10-09 Karl Storz Imaging, Inc. Solid state variable direction of view endoscope
US8814782B2 (en) 2008-07-08 2014-08-26 Karl Storz Imaging, Inc. Solid state variable direction of view endoscope
JP4732548B2 (ja) 2008-10-17 2011-07-27 オリンパスメディカルシステムズ株式会社 内視鏡システムおよび内視鏡画像処理装置
JP2010113312A (ja) 2008-11-10 2010-05-20 Hoya Corp 内視鏡装置および内視鏡プロセッサ
US8361066B2 (en) 2009-01-12 2013-01-29 Ethicon Endo-Surgery, Inc. Electrical ablation devices
US20180009767A9 (en) 2009-03-19 2018-01-11 The Johns Hopkins University Psma targeted fluorescent agents for image guided surgery
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US10492671B2 (en) 2009-05-08 2019-12-03 Novadaq Technologies ULC Near infra red fluorescence imaging for visualization of blood vessels during endoscopic harvest
JP5395538B2 (ja) 2009-06-30 2014-01-22 株式会社東芝 超音波診断装置及び画像データ表示用制御プログラム
US8706184B2 (en) 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
JP5421828B2 (ja) 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5535725B2 (ja) 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5551955B2 (ja) 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置、方法、及びプログラム
JP5380348B2 (ja) 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
CA2800312C (en) 2010-05-03 2021-01-19 Neuwave Medical, Inc. Energy delivery systems and uses thereof
JP5634755B2 (ja) 2010-06-08 2014-12-03 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5460488B2 (ja) 2010-06-29 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び電子内視鏡システムの作動方法
US9560953B2 (en) 2010-09-20 2017-02-07 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
JP5496075B2 (ja) 2010-12-27 2014-05-21 富士フイルム株式会社 内視鏡診断装置
JP5269921B2 (ja) 2011-01-24 2013-08-21 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
DE112012000752A5 (de) 2011-02-11 2013-11-21 Olaf Christiansen Endoskopisches Bildverarbeitungssystem mit Mitteln, welche im Erfassungsbereich einer optischen Digitalkamera eine geometrische Vermessungsinformation erzeugen
KR20120097828A (ko) 2011-02-25 2012-09-05 삼성전자주식회사 협대역 영상을 제공할 수 있는 내시경 장치 및 상기 내시경 장치의 영상 처리 방법
US8827934B2 (en) 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
WO2013042395A1 (ja) 2011-09-20 2013-03-28 オリンパスメディカルシステムズ株式会社 画像処理装置及び内視鏡システム
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
EP3488803B1 (en) 2012-02-03 2023-09-27 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
EP3470003A3 (en) 2012-05-14 2019-04-24 Intuitive Surgical Operations Inc. Systems for deformation compensation using shape sensing
CN109452930B (zh) 2012-05-14 2021-10-29 直观外科手术操作公司 用于使用减小的搜索空间的医疗设备的配准***和方法
US20130303945A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Electromagnetic tip sensor
EP2849668B1 (en) 2012-05-14 2018-11-14 Intuitive Surgical Operations Inc. Systems and methods for registration of a medical device using rapid pose search
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
US9429696B2 (en) 2012-06-25 2016-08-30 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error in optical fiber shape sensors
US9763563B2 (en) 2012-07-11 2017-09-19 Karl Storz Imaging, Inc. Endoscopic camera single-button mode activation
US9801551B2 (en) 2012-07-20 2017-10-31 Intuitive Sugical Operations, Inc. Annular vision system
JP6074587B2 (ja) 2012-08-06 2017-02-08 株式会社Ｊｏｌｅｄ 表示パネル、表示装置ならびに電子機器
CN106562757B (zh) 2012-08-14 2019-05-14 直观外科手术操作公司 用于多个视觉***的配准的***和方法
WO2014058838A1 (en) 2012-10-12 2014-04-17 Intuitive Surgical Operations, Inc. Determining position of medical device in branched anatomical structure
CN104114077B (zh) 2012-10-18 2016-07-20 奥林巴斯株式会社 图像处理装置和图像处理方法
JP6008700B2 (ja) 2012-11-08 2016-10-19 富士フイルム株式会社 内視鏡システム
JP6034668B2 (ja) 2012-11-08 2016-11-30 富士フイルム株式会社 内視鏡システム
JP5947707B2 (ja) 2012-12-27 2016-07-06 富士フイルム株式会社 仮想内視鏡画像表示装置および方法並びにプログラム
US20140188440A1 (en) 2012-12-31 2014-07-03 Intuitive Surgical Operations, Inc. Systems And Methods For Interventional Procedure Planning
US9386908B2 (en) 2013-01-29 2016-07-12 Gyrus Acmi, Inc. (D.B.A. Olympus Surgical Technologies America) Navigation using a pre-acquired image
CN108784702B (zh) 2013-03-15 2021-11-12 直观外科手术操作公司 用于跟踪介入器械的形状传感器***以及使用方法
CN104918534B (zh) 2013-03-19 2017-03-15 奥林巴斯株式会社 内窥镜***
WO2014165805A2 (en) 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
US10499794B2 (en) 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
US9510739B2 (en) 2013-07-12 2016-12-06 Gyrus Acmi, Inc. Endoscope small imaging system
CN114343608A (zh) 2013-07-29 2022-04-15 直观外科手术操作公司 具有冗余感测的形状传感器***
CN105451802B (zh) 2013-08-15 2019-04-19 直观外科手术操作公司 用于导管定位和***的图形用户界面
KR102354675B1 (ko) 2013-08-15 2022-01-24 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 절차 확인을 위한 시스템 및 방법
US10182791B2 (en) 2013-10-07 2019-01-22 The Regents Of The University Of California Integrated ultrasound, OCT, PA and/or florescence imaging endoscope for diagnosing cancers in gastrointestinal, respiratory, and urogenital tracts
JP6656148B2 (ja) 2013-10-24 2020-03-04 オーリス ヘルス インコーポレイテッド ロボット支援管腔内手術のためのシステムおよび関連する方法
CN105979899B (zh) 2013-12-09 2019-10-01 直观外科手术操作公司 用于设备感知柔性工具配准的***和方法
CN111481292A (zh) 2014-01-06 2020-08-04 博迪维仁医疗有限公司 手术装置及其使用方法
WO2015119935A1 (en) 2014-02-04 2015-08-13 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
US20150223765A1 (en) 2014-02-07 2015-08-13 Intuitive Surgical Operations, Inc. Systems and methods for using x-ray field emission to determine instrument position and orientation
DE102014203097A1 (de) 2014-02-20 2015-08-20 Siemens Aktiengesellschaft Verfahren zum Unterstützen einer Navigation einer endoskopischen Vorrichtung
WO2015132778A1 (en) 2014-03-02 2015-09-11 Avishay Sidlesky Endoscopic measurement system and method
KR102521043B1 (ko) 2014-03-17 2023-04-14 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 비백색광 일반 조명기를 포함하는 수술 시스템
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
EP3125809B1 (en) 2014-03-28 2020-09-09 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
WO2015151098A2 (en) * 2014-04-02 2015-10-08 M.S.T. Medical Surgery Technologies Ltd. An articulated structured light based-laparoscope
WO2016010811A1 (en) 2014-07-18 2016-01-21 Ethicon, Inc. Methods and devices for controlling the size of emphysematous bullae
EP3169247B1 (en) 2014-07-18 2020-05-13 Ethicon, Inc. Mechanical retraction via tethering for lung volume reduction
WO2016018646A1 (en) 2014-07-28 2016-02-04 Intuitive Surgical Operations, Inc. Systems and methods for intraoperative segmentation
CN106714724B (zh) 2014-07-28 2019-10-25 直观外科手术操作公司 用于规划多个介入程序的***和方法
US10478162B2 (en) 2014-08-23 2019-11-19 Intuitive Surgical Operations, Inc. Systems and methods for display of pathological data in an image guided procedure
US10373719B2 (en) 2014-09-10 2019-08-06 Intuitive Surgical Operations, Inc. Systems and methods for pre-operative modeling
US10314513B2 (en) 2014-10-10 2019-06-11 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensors
CN110811488B (zh) 2014-10-17 2023-07-14 直观外科手术操作公司 用于使用光纤形状传感器减小测量误差的***和方法
US20180263706A1 (en) 2014-10-20 2018-09-20 Body Vision Medical Ltd. Surgical devices and methods of use thereof
JP6519144B2 (ja) 2014-11-06 2019-05-29 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
EP3217911B1 (en) 2014-11-13 2023-01-04 Intuitive Surgical Operations, Inc. Systems for filtering localization data
WO2016084608A1 (ja) 2014-11-25 2016-06-02 ソニー株式会社 内視鏡システム、および内視鏡システムの動作方法、並びにプログラム
US10512510B2 (en) 2014-12-22 2019-12-24 Intuitive Surgical Operations, Inc. Flexible electromagnetic sensor
DE102015202605B4 (de) 2015-02-12 2017-03-09 Carl Zeiss Meditec Ag Visualisierungssystem
US10390718B2 (en) * 2015-03-20 2019-08-27 East Carolina University Multi-spectral physiologic visualization (MSPV) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
US11759262B2 (en) 2015-04-06 2023-09-19 Intuitive Surgical Operations, Inc. Systems and methods of registration compensation in image guided surgery
US11116581B2 (en) 2015-05-22 2021-09-14 Intuitive Surgical Operations, Inc. Systems and methods of registration for image guided surgery
CN108024698B (zh) 2015-08-14 2020-09-15 直观外科手术操作公司 用于图像引导外科手术的配准***和方法
EP3334325A4 (en) 2015-08-14 2019-05-01 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR RECORDING FOR IMAGE-GUIDED SURGERY
US10245034B2 (en) 2015-08-31 2019-04-02 Ethicon Llc Inducing tissue adhesions using surgical adjuncts and medicants
US10569071B2 (en) 2015-08-31 2020-02-25 Ethicon Llc Medicant eluting adjuncts and methods of using medicant eluting adjuncts
WO2017042812A2 (en) 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
US11278354B2 (en) 2015-09-10 2022-03-22 Intuitive Surgical Operations, Inc. Systems and methods for using tracking in image-guided medical procedure
JP6594133B2 (ja) 2015-09-16 2019-10-23 富士フイルム株式会社 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
EP3349649B1 (en) 2015-09-18 2022-03-09 Auris Health, Inc. Navigation of tubular networks
WO2017057414A1 (ja) 2015-09-28 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
EP3357404A4 (en) 2015-09-29 2018-10-31 FUJIFILM Corporation Image processing device, endoscopic system, and image processing method
JP6633641B2 (ja) 2015-09-29 2020-01-22 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017055412A1 (en) 2015-09-30 2017-04-06 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
ES2860903T3 (es) 2015-10-26 2021-10-05 Neuwave Medical Inc Sistemas de suministro de energía
US10405753B2 (en) 2015-11-10 2019-09-10 Intuitive Surgical Operations, Inc. Pharmaceutical compositions of near IR closed chain, sulfo-cyanine dyes
WO2017106003A1 (en) 2015-12-14 2017-06-22 Intuitive Surgical Operations, Inc. Apparatus and method for generating 3-d data for an anatomical target using optical fiber shape sensing
US9996361B2 (en) 2015-12-23 2018-06-12 Intel Corporation Byte and nibble sort instructions that produce sorted destination register and destination index mapping
JP6764574B2 (ja) 2016-01-13 2020-10-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、手術システム
EP4049612B1 (en) 2016-02-12 2024-04-10 Intuitive Surgical Operations, Inc. System and computer-readable medium storing instructions for registering fluoroscopic images in image-guided surgery
EP3413829B1 (en) 2016-02-12 2024-05-22 Intuitive Surgical Operations, Inc. Systems of pose estimation and calibration of perspective imaging system in image guided surgery
WO2017153839A1 (en) 2016-03-10 2017-09-14 Body Vision Medical Ltd. Methods and systems for using multi view pose estimation
US10702137B2 (en) 2016-03-14 2020-07-07 Intuitive Surgical Operations, Inc.. Endoscopic instrument with compliant thermal interface
US20170296679A1 (en) 2016-04-18 2017-10-19 Intuitive Surgical Operations, Inc. Compositions of Near IR Closed Chain, Sulfo-Cyanine Dyes and Prostate Specific Membrane Antigen Ligands
US11266387B2 (en) 2016-06-15 2022-03-08 Intuitive Surgical Operations, Inc. Systems and methods of integrated real-time visualization
WO2018005842A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
US11819284B2 (en) 2016-06-30 2023-11-21 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
US11324393B2 (en) 2016-08-16 2022-05-10 Intuitive Surgical Operations, Inc. Augmented accuracy using large diameter shape fiber
WO2018038999A1 (en) 2016-08-23 2018-03-01 Intuitive Surgical Operations, Inc. Systems and methods for monitoring patient motion during a medical procedure
JP6467562B2 (ja) 2016-09-02 2019-02-13 Hoya株式会社 内視鏡システム
CN115336961A (zh) 2016-09-21 2022-11-15 直观外科手术操作公司 用于器械弯折检测的***和方法
US11219490B2 (en) 2016-09-30 2022-01-11 Intuitive Surgical Operations, Inc. Systems and methods for entry point localization
RU2716680C1 (ru) 2016-10-18 2020-03-13 Дзе Асан Фаундейшн Многоволновая эндоскопическая система и способ обработки изображений с её использованием
EP3529579B1 (en) 2016-10-21 2021-08-25 Intuitive Surgical Operations, Inc. Shape sensing with multi-core fiber sensor
CN115631843A (zh) 2016-11-02 2023-01-20 直观外科手术操作公司 用于图像引导的外科手术的连续配准的***和方法
US20180144092A1 (en) 2016-11-21 2018-05-24 Johnson & Johnson Vision Care, Inc. Biomedical sensing methods and apparatus for the detection and prevention of lung cancer states
EP3551114A4 (en) 2016-12-08 2020-07-22 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR NAVIGATION IN IMAGE-GUIDED MEDICAL PROCESSES
WO2018107119A1 (en) 2016-12-09 2018-06-14 Intuitive Surgical Operations, Inc. System and method for distributed heat flux sensing of body tissue
WO2018129532A1 (en) 2017-01-09 2018-07-12 Intuitive Surgical Operations, Inc. Systems and methods for registering elongate devices to three dimensional images in image-guided procedures
JP7213830B2 (ja) 2017-02-01 2023-01-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置のためのレジストレーションシステム及び方法
WO2018144698A1 (en) 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided procedures
US11882990B2 (en) 2017-02-01 2024-01-30 Intuitive Surgical Operations, Inc Systems and methods for data filtering of passageway sensor data
KR102558061B1 (ko) 2017-03-31 2023-07-25 아우리스 헬스, 인코포레이티드 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템
EP3612121A4 (en) 2017-04-18 2021-04-07 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE TO MONITOR AN IMAGE GUIDED PROCEDURE
EP3613057A4 (en) 2017-04-18 2021-04-21 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE FOR PLANNING A PROCEDURE
US20200170623A1 (en) 2017-05-24 2020-06-04 Body Vision Medical Ltd. Methods for using radial endobronchial ultrasound probes for three-dimensional reconstruction of images and improved target localization
US11559357B2 (en) 2017-06-23 2023-01-24 Intuitive Surgical Operations, Inc. Systems and methods for navigating to a target location during a medical procedure
US11141226B2 (en) * 2017-06-23 2021-10-12 Asensus Surgical Us, Inc. Method of graphically tagging and recalling identified structures under visualization for robotic surgery
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP7317723B2 (ja) 2017-06-28 2023-07-31 オーリス ヘルス インコーポレイテッド 電磁場の歪み検出
CN110913788B (zh) 2017-06-28 2024-03-12 奥瑞斯健康公司 电磁失真检测
US10580157B2 (en) 2017-08-04 2020-03-03 Capsovision Inc Method and apparatus for estimating area or volume of object of interest from gastrointestinal images
EP4245246A3 (en) 2017-08-16 2023-12-06 Intuitive Surgical Operations, Inc. Systems for monitoring patient motion during a medical procedure
CN111163697B (zh) * 2017-10-10 2023-10-03 柯惠有限合伙公司 用于在荧光三维重构中识别和标记目标的***和方法
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
DE112018005836T5 (de) 2017-11-14 2020-08-06 Intuitive Surgical Operations Inc. Systeme und verfahren zum reinigen endoskopischer instrumente
US11617492B2 (en) * 2017-11-27 2023-04-04 Optecks, Llc Medical three-dimensional (3D) scanning and mapping system
AU2018380139B2 (en) * 2017-12-06 2024-01-25 Auris Health, Inc. Systems and methods to correct for uncommanded instrument roll
WO2019113391A1 (en) 2017-12-08 2019-06-13 Auris Health, Inc. System and method for medical instrument navigation and targeting
CN111432856B (zh) 2017-12-08 2023-01-03 奥瑞斯健康公司 定向射流技术
AU2018384820B2 (en) 2017-12-14 2024-07-04 Auris Health, Inc. System and method for estimating instrument location
US11160615B2 (en) 2017-12-18 2021-11-02 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
WO2019152935A1 (en) 2018-02-05 2019-08-08 Broncus Medical Inc. Image-guided lung tumor planning and ablation system
US10885630B2 (en) 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
US10980913B2 (en) 2018-03-05 2021-04-20 Ethicon Llc Sealant foam compositions for lung applications
US20190269819A1 (en) 2018-03-05 2019-09-05 Ethicon Llc Sealant foam compositions for lung applications
US20190298451A1 (en) 2018-03-27 2019-10-03 Intuitive Surgical Operations, Inc. Systems and methods for delivering targeted therapy
WO2019191144A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for registration of location sensors
JP7225259B2 (ja) 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
JP7250824B2 (ja) 2018-05-30 2023-04-03 オーリス ヘルス インコーポレイテッド 位置センサベースの分岐予測のためのシステム及び方法
US10898286B2 (en) 2018-05-31 2021-01-26 Auris Health, Inc. Path-based navigation of tubular networks
JP7146949B2 (ja) 2018-05-31 2022-10-04 オーリス ヘルス インコーポレイテッド 画像ベースの気道分析及びマッピング
WO2019245851A1 (en) * 2018-06-19 2019-12-26 Tornier, Inc. Virtual guidance for ankle surgery procedures
WO2020012479A1 (en) * 2018-07-12 2020-01-16 Deep Health Ltd. System method and computer program product, for computer aided surgery
US20200015900A1 (en) * 2018-07-16 2020-01-16 Ethicon Llc Controlling an emitter assembly pulse sequence
US11192027B2 (en) 2018-08-01 2021-12-07 Sony Interactive Entertainment LLC Terrain radar and gradual building of a route in a virtual environment of a video game
US11080902B2 (en) 2018-08-03 2021-08-03 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomical tree structures
CA3109584A1 (en) 2018-08-13 2020-02-20 Body Vision Medical Ltd. Methods and systems for multi view pose estimation using digital computational tomography
US10828118B2 (en) 2018-08-15 2020-11-10 Auris Health, Inc. Medical instruments for tissue cauterization
EP3806758A4 (en) 2018-08-17 2022-04-06 Auris Health, Inc. BIPOLAR MEDICAL DEVICE
US11896316B2 (en) 2018-08-23 2024-02-13 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomic tree structures using backward pathway growth
US11737823B2 (en) 2018-10-31 2023-08-29 Intuitive Surgical Operations, Inc. Antenna systems and methods of use
US11637378B2 (en) 2018-11-02 2023-04-25 Intuitive Surgical Operations, Inc. Coiled dipole antenna
US20200138514A1 (en) 2018-11-02 2020-05-07 Intuitive Surgical Operations, Inc. Tissue penetrating device tips
US11280863B2 (en) 2018-11-02 2022-03-22 Intuitive Surgical Operations, Inc. Coiled antenna with fluid cooling
US11730537B2 (en) 2018-11-13 2023-08-22 Intuitive Surgical Operations, Inc. Cooled chokes for ablation systems and methods of use
US11633623B2 (en) 2019-04-19 2023-04-25 University Of Maryland, Baltimore System and method for radiation therapy using spatial-functional mapping and dose sensitivity of branching structures and functional sub-volumes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015118423A1 (en) * 2014-02-04 2015-08-13 Koninklijke Philips N.V. Visualization of depth and position of blood vessels and robot guided visualization of blood vessel cross section
CN105979900A (zh) * 2014-02-04 2016-09-28 皇家飞利浦有限公司 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化
US20170280970A1 (en) * 2016-03-31 2017-10-05 Covidien Lp Thoracic endoscope for surface scanning
CN107260117A (zh) * 2016-03-31 2017-10-20 柯惠有限合伙公司 用于表面扫描的胸部内窥镜
EP3398552A1 (en) * 2017-05-03 2018-11-07 Covidien LP Medical image viewer control from surgeon's camera
US20180317740A1 (en) * 2017-05-03 2018-11-08 Covidien Lp Medical image viewer control from surgeon's camera

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114343873A (zh) * 2022-01-07 2022-04-15 苏州康多机器人有限公司 一种内窥镜手术监测***及方法
CN114066781A (zh) * 2022-01-18 2022-02-18 浙江鸿禾医疗科技有限责任公司 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备
CN114066781B (zh) * 2022-01-18 2022-05-10 浙江鸿禾医疗科技有限责任公司 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备

Also Published As

Publication number Publication date
EP3690810B1 (en) 2022-06-15
US20200237187A1 (en) 2020-07-30
EP3690810A1 (en) 2020-08-05
US11625825B2 (en) 2023-04-11

Similar Documents

Publication Publication Date Title
CN111419152B (zh) 增强视差的内镜成像
EP3690810B1 (en) Method for displaying tumor location within endoscopic images
JP6534693B2 (ja) 表面走査のための胸部内視鏡
US20210153955A1 (en) Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy
EP3666159A1 (en) Thoracic imaging, distance measuring, and notification system and method
JP2022140730A (ja) 画像誘導手術において位置合わせされた蛍光透視画像を使用するためのシステム及び方法
US20230233059A1 (en) Thoracic imaging, distance measuring, surgical awareness, and notification system and method
JP7188970B2 (ja) ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム
US11779192B2 (en) Medical image viewer control from surgeon's camera
WO2022240790A1 (en) Medical instrument guidance systems and associated methods
Ferguson et al. Toward practical and accurate touch-based image guidance for robotic partial nephrectomy
JP7182126B2 (ja) ロボット手術支援装置、ロボット手術支援方法、及びプログラム
EP3666166B1 (en) System and method for generating a three-dimensional model of a surgical site
US20240164853A1 (en) User interface for connecting model structures and associated systems and methods
US11850004B2 (en) Systems and methods for determining an arrangement of explanted tissue and for displaying tissue information
US20240238049A1 (en) Medical instrument guidance systems and associated methods
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
Hastenteufel et al. Image‐based guidance for minimally invasive surgical atrial fibrillation ablation
CN111281534B (zh) 生成手术部位的三维模型的***和方法
US20240169480A1 (en) Systems for image resampling and associated methods
JP7182127B2 (ja) ロボット手術支援装置、情報出力方法、及びプログラム
WO2023060198A1 (en) Medical instrument guidance systems, including guidance systems for percutaneous nephrolithotomy procedures, and associated devices and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination