CN103313675A - 用于内窥镜手术的术中照相机校准 - Google Patents

用于内窥镜手术的术中照相机校准 Download PDF

Info

Publication number
CN103313675A
CN103313675A CN2012800050283A CN201280005028A CN103313675A CN 103313675 A CN103313675 A CN 103313675A CN 2012800050283 A CN2012800050283 A CN 2012800050283A CN 201280005028 A CN201280005028 A CN 201280005028A CN 103313675 A CN103313675 A CN 103313675A
Authority
CN
China
Prior art keywords
endoscope
anatomic region
calibration site
attitude
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800050283A
Other languages
English (en)
Other versions
CN103313675B (zh
Inventor
X·刘
K·卢
S·徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN103313675A publication Critical patent/CN103313675A/zh
Application granted granted Critical
Publication of CN103313675B publication Critical patent/CN103313675B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00158—Holding or positioning arrangements using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/0125—Endoscope within endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Abstract

一种采用内窥镜（30）和成像单元（80）的手术导航***。所述内窥镜（30）包括在内窥镜（30）的工作通道之内的电磁追踪器（40），所述电磁追踪器（40）用于在解剖区域之内生成指示所述内窥镜（30）的一个或多个姿态的电磁感测信号；以及在所述内窥镜（30）的成像通道之内的内窥镜照相机（50），所述内窥镜照相机（50）用于生成所述解剖区域的内窥镜图像。所述成像单元（80）根据在所述解剖区域之内的校准部位的术前扫描图像与在所述解剖区域之内的所述校准部位的一个或多个内窥镜图像之间的图像配准，执行所述电磁追踪器（40）与所述内窥镜照相机（50）的术中校准。

Description

用于内窥镜手术的术中照相机校准
技术领域
本发明通常涉及基于解剖区域的术前扫描图像和内窥镜图像，对身体的解剖区域之内的手术工具的实时追踪。本发明具体涉及使用解剖区域的术前扫描图像和一个或多个内窥镜图像计算内窥镜照相机与电磁（“EM”）追踪器之间的偏移变换矩阵。
背景技术
EM引导的内窥镜检查法已经被认为是针对许多肺部应用的有价值工具。这种技术超出传统内窥镜检查法的优势是基于当执行介入程序时与肺部三维（“3D”）路线图的实时联系。这种联系要求在全局坐标***中对内窥镜顶端的追踪，以因而将肺部的内窥镜图像与肺部的术前扫描图像（例如，计算机断层摄影图像、磁共振图像、X射线图像、三维超声图像，等等）相关联。显示融合的图像以使得外科医生能够可视地将内窥镜导航至肺部之内的手术部位。
这种图像整合的关键要求是内窥镜校准，其涉及确定安装在内窥镜外部的EM追踪器相对于设置在内窥镜照相机通道之内的内窥镜照相机的坐标***的位置和取向。这种内窥镜校准的结果采取下列六（6）个偏移常数的形式：三（3）个用于旋转并且三（3）个用于平移。介入内窥镜程序中的内窥镜校准的目的是基于附接的EM追踪器的EM读数来动态确定内窥镜照相机相对于术前扫描图像的姿态。
一般而言，现有技术中已经通过使用EM-追踪的内窥镜获得校准参数，以对具有已知几何属性的具体校准模式的EM-追踪的肺部体模（phantom）进行成像。然而，基于体模的内窥镜校准涉及复杂冗长的工程程序。在一个已知的内窥镜校准中，虽然内窥镜校准的期望变换是在照相机坐标***和EM追踪器坐标***之间的，但是事实上，需要在内窥镜、外部地以及刚性地附接于该内窥镜的EM追踪器、EM场生成器、校准体模以及参考追踪器之间的校准程序的阵列。例如，所需的校准程序包括EM追踪器坐标***与参考追踪器的校准、校准体模与参考追踪器之间的校准、以及内窥镜照相机与校准体模之间的校准，以因而达到照相机坐标***与EM追踪器坐标***之间的目标校准。
另外，在收集校准数据中所需的数据采集协议通常来自具有棋盘模式的校准体模。这使得该校准对于内窥镜应用的术中校准程序而言是不切实际的。然而，在这样的情况下，倾向具有术中校准：（1）固有照相机和失真参数是固定的，并且通过术前校准过程来确定，以及（2）非固有照相机参数（例如，EM追踪器和内窥镜照相机的坐标之间的变换）是非固定的，并且将随着不同的内窥镜应用而变化。这种变化可以归因于这样的事实：EM追踪器由于多种原因可能不是永久地捆束在内窥镜顶端上。例如，EM追踪器可能在内窥镜应用的初始阶段时被***内窥镜的工作通道内部，当内窥镜到达解剖区域之内的目标部位时从该工作通道中移除，并且为了随后的介入而用手术仪器（例如，活组织检查针或者手术钳）替换。
此外，现有技术中已知的术中校准程序仍然利用校准体模。
发明内容
本发明提供了一种内窥镜校准方法，所述方法快速且准确地计算出期望的非固有参数，因而实现解剖区域的术前扫描图像（例如，CT图像）与所述解剖区域的内窥镜图像之间的实时数据融合。具体地，本发明的内窥镜校准方法排除任何体模的任何参与。而是，本发明的内窥镜校准方法利用来自患者的术前扫描数据和内窥镜视频数据两者来执行基于图像的配准，该配准产生从术前扫描坐标到内窥镜照相机坐标的变换，该变换与其他已知的变换矩阵一起被利用来推导期望的校准变换矩阵。
本发明的一种形式是采用内窥镜和成像单元的手术导航***。所述内窥镜包括在所述内窥镜的工作通道之内的电磁追踪器，所述电磁追踪器用于在解剖区域之内生成指示所述内窥镜的一个或多个姿态的电磁感测信号；以及在所述内窥镜的成像通道之内的内窥镜照相机，所述内窥镜照相机用于生成所述解剖区域的内窥镜图像。在手术中，所述成像单元根据在所述解剖区域之内的校准部位的所述术前扫描图像与在所述解剖区域之内的所述校准部位的一个或多个内窥镜图像之间的图像配准，执行所述电磁追踪器和所述内窥镜照相机的术中校准。
在本发明的第二形式中，所述手术导航***还采用了电磁追踪单元，所述电磁追踪单元响应于电磁信号以电磁追踪在所述解剖区域之内的相对于全局参考的所述内窥镜，并且所述电磁追踪器和所述内窥镜照相机的术中校准是根据在所述解剖区域之内的校准部位的所述术前扫描图像与所述解剖区域之内的所述校准部位的一个或多个内窥镜图像之间的图像配准，以及根据所述全局参考与所述术前扫描图像之间的电磁配准全部两者。
本发明的第三形式是手术导航方法，所述方法涉及根据在所述解剖区域之内的校准部位的所述术前扫描图像与所述解剖区域之内的所述校准部位的一个或多个内窥镜图像之间的图像配准，执行所述电磁追踪器与所述内窥镜照相机的术中校准；以及显示所述解剖区域的所述术前扫描图像与所述解剖区域的（一个或多个）所述内窥镜图像的，从所述图像配准推导的图像整合。
针对本发明，术语“内窥镜”在本文中被广泛地定义为具有从身体内部成像的能力的任何装置，并且术语“内窥镜的”在本文中被广泛地定义为从这种装置中采集的任何图像的特性。针对本发明目的的内窥镜的例子包括，但不限于，任何类型的观察仪器，柔性的或者刚性的（例如，关节内窥镜、气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、胃窥镜、子宫镜、腹腔镜、喉镜、神经内窥镜、耳镜、推动肠镜、鼻喉镜、乙状结肠镜、窦腔镜、胸腔镜，等），以及类似于与图像***一同装配的观察仪器的任何装置（例如，具有成像功能的嵌套套管）。该成像是局部的，并且可以通过光纤、透镜、或者微型（例如，基于CCD的）成像***来光学地获得表面图像。
此外，在本文中使用的术语“生成”及其任何形式被广泛地定义为包括在现有技术中目前或者随后已知的任何这样的技术：所述技术用于创建、供给、供应、获得、产生、形成、开发、演化、修改、变换、改变或者以其他方式制造用于计算机处理和存储器存储/检索目的的可用信息（例如，数据、文本、图像、声音和视频），特别是图像数据库和视频帧，并且在本文中使用的术语“配准”及其任何形式被广泛地定义为包括在现有技术中目前或者随后已知的用于将不同的坐标数据集变换至一个坐标***中的任何技术。
而且，在本文中使用的术语“术前”被广泛地定义为描述在内窥镜应用过程中，将内窥镜介入身体内之前发生的或者与将内窥镜介入身体内之前的时间段或准备相关的任何活动，并且在本文中使用的术语“术中”被广泛地定义为描述在内窥镜应用过程中，将内窥镜引入身体内的进程中发生、执行、或者遇到的任何活动。内窥镜应用的例子包括但不限于，关节内窥镜、气管镜、结肠镜、腹腔镜、以及脑部内窥镜。
附图说明
通过结合附图阅读本发明的各种实施例的以下详细描述，本发明的前述形式和其他形式以及本发明的各种特征和优势将变得更加显而易见。详细描述和附图仅是本发明的举例说明而非限制，本发明的范围由所附权利要求及其等要件来定义。
图1图示了根据本发明的示范性图像配准。
图2图示了根据本发明的手术导航***的示范性实施例。
图3图示了表示根据本发明的内窥镜手术方法的示范性实施例的流程图。
图4图示了图3中图示的流程图的示范性执行。
图5图示了表示根据本发明的图像配准方法的示范性实施例的流程图。
图6图示了表示根据本发明的内窥镜照相机校准方法的示范性实施例的流程图。
具体实施方式
参考图1，本发明的前提是用于在涉及内窥镜30的介入过程中执行图像配准以及追踪器/照相机校准两者的技术60。这种配准/校准技术60是基于这样的理念：来自内窥镜照相机50的视频帧与来自EM追踪器40的追踪帧之间的偏移距离通过从内窥镜照相机50采集的解剖区域（例如，肺部）的内窥镜图像与所述解剖区域的术前扫描图像10的图像帧的虚拟漫游（flythrough）之间的二维（“2D”）投影图像的不一致来反映。由此，配准/校准技术60具有区分这种空间差异的能力，并且所重建的空间对应性用于估计EM追踪坐标***41与内窥镜照相机坐标***51之间的校准矩阵。
更具体地，内窥镜照相机50的固有参数和失真参数是不变的，并且由此，这些参数仅要求一次校准过程（例如，现有技术中已知的术前固有校准）。因而，随着EM追踪器40被***内窥镜30的工作通道中，所有照相机参数中的唯一变量是非固有参数，尤其是从EM追踪器坐标***41到照相机坐标***51的偏移变换矩阵TC←E。
实际上，本发明不约束也不限制配准/校准技术60区分解剖区域的内窥镜图像与所述解剖区域的术前扫描图像10的图像帧的虚拟漫游之间的2D投影图像中的不一致的方式。
在一个实施例中，配准/校准技术60涉及以下等式[1]的执行：
TC←E=(TC←T)*(TT←R)*(TR←E)   [1]
其中TR←E是从EM追踪器坐标***41到全局参考20（例如，在内窥镜手术程序过程中具有固定位置的参考追踪器或者EM场生成器）的全局坐标***21的现有技术中已知的变换矩阵，
其中TT←R是从全局参考20的全局坐标***21到术前扫描图像10的扫描图像坐标***11的现有技术中已知的变换矩阵，
其中TC←T是从术前扫描图像10的扫描图像坐标***11到内窥镜照相机50的照相机坐标***51的如由本发明所教明的变换矩阵，以及
其中TC←E是从EM追踪器40的EM追踪坐标***41到内窥镜照相机50的照相机坐标***51的期望的刚性变换。
等式[1]的执行产生用于显示的内窥镜图像与术前扫描图像10的图像配准，从而使得外科医生能够可视地将内窥镜30的顶端导航至解剖区域之内的手术部位。
图2图示了作为用于实施配准/校准技术60的示范性实施例的内窥镜导航***。为此，内窥镜导航***采用内窥镜30和具有EM场生成器71、参考追踪器72和EM传感器追踪装置73的EM追踪单元70。
如图2所示，内窥镜30包括被***内窥镜30的工作通道之内的EM追踪器40和被***内窥镜30的成像通道之内的内窥镜照相机50。实际上，EM追踪器40可以具有适于与EM场生成器71磁***互90并且适于生成代表磁***互90的EM感测数据（“EMS”）42的EM传感器的任何配置。例如，EM传感器可以具有六（6）个自由度（DOF）。
而且，实际上，EM传感器追踪装置73执行用于生成经由内窥镜追踪器40相对于EM场生成器71或者参考追踪装置72的任何已知配准所推导的EM追踪数据（“EMT”）74的任何已知方法，EM场生成器71或者参考追踪装置72无论哪一个都具有在全局坐标***之内的相对于所述解剖区域的固定位置。
所述内窥镜导航***还采用具有EM参考配准装置81、内窥镜照相机校准装置82以及内窥镜图像追踪装置83的内窥镜成像单元80。EM追踪器配准装置81在本文中被广泛定义为结构上被配置用于执行EM追踪器40与解剖区域的术前扫描图像（例如，图1的术前扫描图像10）的任何已知配准的任何装置。
内窥镜照相机校准装置82在本文中被广泛定义为结构上被配置用于根据将结合图5和6的描述来进一步解释的本发明的内窥镜照相机校准方法，来执行解剖区域的术前扫描图像与所述解剖区域的内窥镜图像的配准的任何装置。
内窥镜图像追踪装置83在本文中被广泛定义为结构上被配置用于基于由内窥镜照相机校准装置82获取的内窥镜图像与术前扫描图像之间的图像配准，在术前扫描图像之内生成内窥镜30的实时追踪的显示的任何装置。
现在将在本文中描述如图3所示的表示本发明的内窥镜手术方法的流程图100，以便于进一步理解图2所述的内窥镜手术导航***。
参考图3，流程图100的阶段S101包括内窥镜手术的术前规划。例如，如图4所示，所述术前规划可以涉及CT扫描机器120，操作CT扫描机器120以生成患者110的支气管树的术前扫描图像121。在术前扫描图像121中捕获了基准点的集合111，基准点的集合111存储在数据库123中以便于全局参考与术前扫描图像121的随后的EM配准。外科医生可以使用术前扫描图像121来识别患者110的支气管树之内的目标部位，以用于经由内窥镜30的工作通道递送治疗剂。
返回参考图3，流程图100的阶段S102包括术前扫描图像121与从内窥镜介入生成的内窥镜图像的图像配准。例如，如图4所示，内窥镜30被引入患者110的支气管树中，由此通过内窥镜照相机50（图1和2）生成支气管树的内窥镜图像52。所述图像配准涉及内窥镜照相机校准装置82，内窥镜照相机校准装置82计算术前图像扫描121的坐标***122与内窥镜照相机50的坐标***51（图1）的变换矩阵TC←T。
在一个实施例中，在流程图100的阶段S102过程中执行如图5所示的表示本发明的图像配准方法的流程图130。
参考图5，流程图130的阶段S131包括EM追踪器配准，所述EM追踪器配准涉及由EM传感器追踪装置73（图2）进行的从EM追踪器坐标***41（图1）到全局参考20的全局坐标***21（图1）的变换矩阵TR←E的已知计算。
流程图130的阶段S132包括EM参考配准，所述EM参考配准涉及由EM参考配准装置81（图2）进行的从全局参考20的全局坐标***21到术前扫描图像121的扫描图像坐标***122的变换矩阵TT←R的已知计算（图3）。具体而言，这种EM参考配准可以通过经由基于基准点的方法的已知封闭解来获取。
流程图130的阶段S133包括图像配准，所述图像配准涉及由照相机校准装置82进行的从术前扫描图像120的扫描图像坐标***122到内窥镜照相机50（图1）的照相机坐标***51的如本发明所教明的变换矩阵TC←T的计算。这种图像配准包括照相机校准，所述照相机校准涉及从EM追踪器40的EM追踪器坐标***41到内窥镜照相机50的照相机坐标***51的未知变换矩阵TC←E的计算。
在阶段S133的一个实施例中，由照相机校准装置82来执行如图6所示的代表本发明的照相机校准方法的流程图140，以用于计算从EM追踪器40的EM追踪器坐标***41到内窥镜照相机50的照相机坐标***51的变换矩阵TC←E。
参考图6，流程图140的阶段S141包括用于对解剖区域之内的校准部位成像的内窥镜的导航。所述校准部位是在所述解剖区域之内的用户定义的位置，所述用户定义的位置在校准过程中保持相对稳定。例如，所述校准部位可以是如图6所示的支气管树的主隆凸146。特别地，研究指示出主隆凸146在支气管树的呼吸循环过程中保持相对稳定。由此，外科医生可以导航内窥镜30以对隆凸146成像，从而执行阶段S142-S145的照相机校准计算。
特别地，流程图140的阶段S142-S144分别包括所述校准部位的内窥镜图像的视频帧Vi的采集、所述校准部位的腔内图像的扫描帧Ui的绘制、以及所述校准部位的腔内图像的扫描帧Ui与所述校准部位的视频帧Vi之间的图像配准，以识别在术前扫描空间Ti T←C中的照相机姿态。阶段S142的内窥镜图像采集涉及EM追踪器读数PR<-E i，以获得与内窥镜图像采集相关联的内窥镜30的姿态。阶段143的腔内图像采集涉及所述解剖区域的所述术前扫描图像的虚拟内窥镜漫游，以因而获得如所述术前扫描图像的扫描帧Ui所示的所述校准部位的内窥镜视图与如视频帧Vi所示的所述校准部位的内窥镜图像的视觉匹配。阶段S144的腔内图像配准涉及计算作为矩阵Ti T←C的逆的4x4变换矩阵Ti C←T，以此方式照相机观察姿态被表达为M=[RxTx;01]，其中RX是3D平移向量的对应欧拉3x3旋转矩阵，并且TX是3D平移向量。
阶段S142-S144可以执行一次，由此所述流程图的阶段S145包括执行等式[1]:TC←E=(TC←T)*(TT←R)*(TR←E)，以因而获得变换矩阵TC←E。
或者，阶段S142-S144可以作为针对N个图像配准的集合的循环来执行，其中N≥2。针对这种循环实施例，在阶段S145的内窥镜照相机校准计算之前，将在阶段S144的每次执行过程中计算出的变换矩阵TC-T进行平均。
实际上，可以利用N=6作为图像配准的足够数量以用于照相机校准的准确计算。
而且，实际上，可以利用已知的运动补偿算法（例如，呼吸门控或者四维建模）来补偿可能劣化照相机校准的计算的任何呼吸运动。
返回参考图2，紧接着内窥镜图像与术前图像扫描的图像配准，流程图100的阶段S103包括现有技术中已知的整合图像的显示，以便于将内窥镜导航至所述解剖区域之内的手术部位。
参考图1-6，本领域技术人员将认识到本发明的多种益处，包括但不限于术中照相机校准，所述术中照相机校准提供了足够准确的图像配准以用于将内窥镜导航至手术部位，由此可以从内窥镜的工作通道中移除EM追踪器，并且将手术工具***所述工作通道以用于执行在所述手术部位处所需的程序。
尽管已经说明了本发明的多种实施例，但是本领域技术人员将理解，在本文中描述的方法和***是说明性的，并且可以做出多种变化和修改，并且等价物可以替代其元件，而不脱离本发明的真实范围。此外，可以做出许多修改来调整本发明的教程而不脱离其中心范围。因此，意图是本发不限于所公开的被认为是执行本发明的最佳模式的具体实施例，而是本发明包括落在所附权利要求范围之内的所有实施例。

Claims (20)

1.一种手术导航***，其包括：
内窥镜（30），其包括：
在所述内窥镜（30）的工作通道之内的电磁追踪器（40），其用于在解剖区域之内生成指示所述内窥镜（30）的至少一个姿态的电磁感测信号，以及
在所述内窥镜（30）的成像通道之内的内窥镜照相机（50），其用
于生成所述解剖区域的内窥镜图像；以及
成像单元（80），其能用于根据在所述解剖区域之内的校准部位的术前扫描图像与在所述解剖区域之内的所述校准部位的至少一个内窥镜图像之间的图像配准，生成所述电磁追踪器（40）与所述内窥镜照相机（50）的术中校准。
2.如权利要求1所述的手术导航***，其中，所述图像配准包括：
将所述内窥镜（30）导航至在所述解剖区域之内的相对于所述校准部位的第一姿态；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第一姿态相对应的所述校准部位的第一内窥镜图像；
执行到达所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第一姿态的，所述术前扫描图像的虚拟内窥镜漫游；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第一姿态相对应的所述校准部位的第一腔内图像；以及
配准所述校准部位的所述第一腔内图像与所述校准部位的所述第一内窥镜图像，这包括计算第一图像变换矩阵(TC←T)。
3.如权利要求2所述的手术导航***，其中，所述解剖区域是支气管树并且所述校准部位是主隆凸。
4.如权利要求2所述的手术导航***，其中，所述术中校准还包括：
根据所述第一图像变换矩阵(TC←T)、从所述内窥镜（30）的追踪器到全局参考的电磁追踪器变换矩阵(TR←E)、以及从所述全局参考到所述解剖区域的所述术前扫描图像的电磁参考变换矩阵(TT←R)来计算校准变换矩阵(TC←E)。
5.如权利要求2所述的手术导航***，其中，所述图像配准包括：
将所述内窥镜（30）导航至在所述解剖区域之内的相对于所述校准部位的第二姿态；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第二姿态相对应的所述校准部位的第二内窥镜图像；
执行到达所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第二姿态的，所述术前扫描图像的虚拟内窥镜漫游；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第二姿态相对应的所述校准部位的第二腔内图像；以及
配准所述校准部位的所述第二腔内图像与所述校准部位的所述第二内窥镜图像，这包括计算第二图像变换矩阵(TC←T)。
6.如权利要求5所述的手术导航***，其中，所述术中校准包括：
将所述第一图像变换矩阵(TC←T)与所述第二图像变换矩阵(TC←T)进行平均；以及
根据所平均的图像变换矩阵(TC←T)、从所述内窥镜（30）的追踪器到全局参考的电磁追踪器变换矩阵(TR←E)、以及从所述全局参考到所述解剖区域的所述术前扫描图像的电磁参考变换矩阵(TT←R)来计算校准变换矩阵(TC←E)。
7.如权利要求1所述的手术导航***，其中，所述成像单元（80）还能用于显示所述解剖区域的所述术前扫描图像与所述解剖区域的所述至少一个内窥镜图像的，从所述图像配准推导的图像整合。
8.如权利要求7所述的手术导航***，其中：
所述内窥镜（30）能用于被导航至在所解剖区域之内的相对于如所述图像整合显示的手术部位的手术姿态；
继所述内窥镜（30）被导航至所述手术姿态之后，所述电磁追踪器（40）能用于从所述工作通道移除；以及
继所述电磁追踪器（40）从所述工作通道移除之后，手术仪器能用于***所述工作通道之内。
9.一种手术导航***，其包括：
内窥镜（30），其包括：
在所述内窥镜（30）的工作通道之内的电磁追踪器（40），其用于在解剖区域之内生成指示所述内窥镜（30）的至少一个姿态的电磁感测信号，以及
在所述内窥镜（30）的成像通道之内的内窥镜照相机（50），其用于生成所述解剖区域的内窥镜图像；
电磁追踪单元，其响应于电磁信号以电磁追踪在所述解剖区域之内的相对于全局参考的所述内窥镜（30）；以及
成像单元（80），其能用于根据在所述解剖区域之内的校准部位的术前扫描图像与在所述解剖区域之内的所述校准部位的至少一个内窥镜图像之间的图像配准，以及根据所述全局参考与所述术前扫描图像的电磁配准，执行所述电磁追踪器（40）与所述内窥镜照相机（50）的术中校准。
10.如权利要求9所述的手术导航***，其中，所述图像配准包括：
将所述内窥镜（30）导航至在所述解剖区域之内的相对于所述校准部位的第一姿态；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第一姿态相对应的所述校准部位的第一内窥镜图像；
执行到达所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第一姿态的，所述术前扫描图像的虚拟内窥镜漫游；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第一姿态相对应的所述校准部位的第一腔内图像；以及
配准所述校准部位的所述第一图像与所述校准部位的所述第一内窥镜图像，这包括计算第一图像变换矩阵(TC←T)。
11.如权利要求10所述的手术导航***，其中，所述术中校准包括：
根据所述第一图像变换矩阵(TC←T)、从所述内窥镜（30）的追踪器到所述全局参考的电磁追踪器（40）变换矩阵(TR←E)、以及从所述全局参考到所述解剖区域的所述术前扫描图像的电磁参考变换矩阵(TT←R)来计算校准变换矩阵(TC←E)。
12.如权利要求10所述的手术导航***，其中，所述图像配准还包括：
将所述内窥镜（30）导航至在所述解剖区域之内的相对于所述校准部位的第二姿态；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第二姿态相对应的所述校准部位的第二内窥镜图像；
执行到达所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第二姿态的，所述术前扫描图像的虚拟内窥镜漫游；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第二姿态相对应的所述校准部位的第二腔内图像；以及
配准所述校准部位的所述第二腔内图像与所述校准部位的所述第二内窥镜图像，这包括计算第二图像变换矩阵(TC←T)。
13.如权利要求12所述的手术导航***，其中，所述术中校准包括：
将所述第一图像变换矩阵(TC←T)与所述第二图像变换矩阵(TC←T)进行平均；以及
根据所平均的图像变换矩阵(TC←T)、从所述内窥镜（30）的追踪器到全局参考的电磁追踪器（40）变换矩阵(TR←E)、以及从所述全局参考到所述解剖区域的所述术前扫描图像的电磁参考变换矩阵(TT←R)来计算校准变换矩阵(TC←E)。
14.如权利要求1所述的手术导航***，其中，所述成像单元（80）还能用于显示所述解剖区域的所述术前扫描图像与所述解剖区域的所述至少一个内窥镜图像的，从所述图像配准推导的图像整合。
15.如权利要求14所述的手术导航***，其中：
所述内窥镜（30）能用于被导航至在所解剖区域之内的相对于如所述图像整合显示的手术部位的手术姿态；
继所述内窥镜（30）被导航至所述手术姿态之后，所述电磁追踪器（40）能用于从所述工作通道移除；以及
继所述电磁追踪器（40）从所述工作通道移除之后，手术仪器能用于***所述工作通道之内。
16.一种手术导航方法，其包括：
根据在解剖区域之内的校准部位的术前扫描图像与在所述解剖区域之内的所述校准部位的至少一个内窥镜图像的图像配准，执行电磁追踪器（40）与内窥镜照相机（50）的术中校准；以及
显示所述解剖区域的所述术前扫描图像与所述解剖区域的所述至少一个内窥镜图像的，从所述图像配准推导的图像整合。
17.如权利要求16所述的手术导航方法，其中，所述图像配准包括：
将所述内窥镜（30）导航至在所述解剖区域之内的相对于所述校准部位的第一姿态；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第一姿态相对应的所述校准部位的第一内窥镜图像；
执行到达所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第一姿态的，所述术前扫描图像的虚拟内窥镜漫游；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第一姿态相对应的，所述校准部位的第一腔内图像；以及
配准所述校准部位的所述第一腔内图像与所述校准部位的所述第一内窥镜图像，这包括计算第一图像变换矩阵(TC←T)。
18.如权利要求17所述的手术导航方法，其中，所述术中校准包括：
根据所述第一图像变换矩阵(TC←T)、从所述内窥镜（30）的追踪器到全局参考的电磁追踪器（40）变换矩阵(TR←E)、以及从所述全局参考到所述解剖区域的所述术前扫描图像的电磁参考变换矩阵(TT←R)来计算校准变换矩阵(TC←E)。
19.如权利要求17所述的手术导航方法，其中，所述图像配准还包括：
将所述内窥镜（30）导航至在所述解剖区域之内的相对于所述校准部位的第二姿态；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第二姿态相对应的所述校准部位的第二内窥镜图像；
执行到达所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第二姿态的，所述术前扫描图像的虚拟内窥镜漫游；
采集与所述内窥镜（30）的在所述解剖区域之内的相对于所述校准部位的所述第二姿态相对应的所述校准部位的第二腔内图像；以及
配准所述校准部位的所述第二腔内图像与所述校准部位的所述第二内窥镜图像，这包括计算第二图像变换矩阵(TC←T)。
20.如权利要求19所述的手术导航方法，其中，所述术中校准包括：
将所述第一图像变换矩阵(TC←T)与所述第二图像变换矩阵(TC←T)进行平均；以及
根据所平均的图像变换矩阵(TC←T)、从所述内窥镜（30）的追踪器到全局参考的电磁追踪器（40）变换矩阵(TR←E)、以及从所述全局参考到所述解剖区域的所述术前扫描图像的电磁参考变换矩阵(TT←R)来计算校准变换矩阵(TC←E)。
CN201280005028.3A 2011-01-13 2012-01-03 用于内窥镜手术的术中照相机校准 Expired - Fee Related CN103313675B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161432298P 2011-01-13 2011-01-13
US61/432,298 2011-01-13
PCT/IB2012/050024 WO2012095755A1 (en) 2011-01-13 2012-01-03 Intraoperative camera calibration for endoscopic surgery

Publications (2)

Publication Number Publication Date
CN103313675A true CN103313675A (zh) 2013-09-18
CN103313675B CN103313675B (zh) 2017-02-15

Family

ID=45509587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280005028.3A Expired - Fee Related CN103313675B (zh) 2011-01-13 2012-01-03 用于内窥镜手术的术中照相机校准

Country Status (4)

Country Link
US (1) US20130281821A1 (zh)
EP (1) EP2663252A1 (zh)
CN (1) CN103313675B (zh)
WO (1) WO2012095755A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104306072A (zh) * 2014-11-07 2015-01-28 刘弘毅 医疗导航***及方法
CN105105698A (zh) * 2015-07-10 2015-12-02 中国科学院深圳先进技术研究院 内窥镜校准***及方法
CN105982751A (zh) * 2015-02-02 2016-10-05 王辉 一种稳定快速的腔内物体表面3d成像***
CN106560163A (zh) * 2015-09-30 2017-04-12 合肥美亚光电技术股份有限公司 手术导航***及手术导航***的配准方法
CN107667380A (zh) * 2015-06-05 2018-02-06 西门子公司 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和***
CN110742652A (zh) * 2019-09-18 2020-02-04 中国科学院西安光学精密机械研究所 一种对消化道肿瘤磁辅助超声图像的三维重建设备及方法
CN111281534A (zh) * 2018-12-10 2020-06-16 柯惠有限合伙公司 生成手术部位的三维模型的***和方法
CN112315582A (zh) * 2019-08-05 2021-02-05 罗雄彪 一种手术器械的定位方法、***及装置
CN115281583A (zh) * 2022-09-26 2022-11-04 南京诺源医疗器械有限公司 一种用于医疗内窥拉曼光谱成像的导航***
CN111281534B (zh) * 2018-12-10 2024-07-19 柯惠有限合伙公司 生成手术部位的三维模型的***和方法

Families Citing this family (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
US9305334B2 (en) 2007-03-08 2016-04-05 Sync-Rx, Ltd. Luminal background cleaning
US8781193B2 (en) 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US9968256B2 (en) 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
EP2129284A4 (en) 2007-03-08 2012-11-28 Sync Rx Ltd IMAGING AND TOOLS FOR USE WITH MOBILE ORGANS
US10716528B2 (en) 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
US9375164B2 (en) 2007-03-08 2016-06-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US11197651B2 (en) 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
US8855744B2 (en) 2008-11-18 2014-10-07 Sync-Rx, Ltd. Displaying a device within an endoluminal image stack
US10362962B2 (en) 2008-11-18 2019-07-30 Synx-Rx, Ltd. Accounting for skipped imaging locations during movement of an endoluminal imaging probe
US11064903B2 (en) 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
US9974509B2 (en) 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
US9095313B2 (en) 2008-11-18 2015-08-04 Sync-Rx, Ltd. Accounting for non-uniform longitudinal motion during movement of an endoluminal imaging probe
US9101286B2 (en) 2008-11-18 2015-08-11 Sync-Rx, Ltd. Apparatus and methods for determining a dimension of a portion of a stack of endoluminal data points
US9144394B2 (en) 2008-11-18 2015-09-29 Sync-Rx, Ltd. Apparatus and methods for determining a plurality of local calibration factors for an image
WO2012131660A1 (en) 2011-04-01 2012-10-04 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system for spinal and other surgeries
US10646280B2 (en) 2012-06-21 2020-05-12 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
WO2013192598A1 (en) 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US10842461B2 (en) 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
EP2863802B1 (en) 2012-06-26 2020-11-04 Sync-RX, Ltd. Flow-related image processing in luminal organs
CN106562757B (zh) 2012-08-14 2019-05-14 直观外科手术操作公司 用于多个视觉***的配准的***和方法
WO2014081725A2 (en) * 2012-11-20 2014-05-30 University Of Washington Through Its Center For Commercialization Electromagnetic sensor integration with ultrathin scanning fiber endoscope
WO2014151651A1 (en) * 2013-03-15 2014-09-25 The Cleveland Clinic Foundation Method and system to facilitate intraoperative positioning and guidance
CN104883950B (zh) 2013-03-27 2016-12-28 奥林巴斯株式会社 内窥镜***
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
WO2015107099A1 (en) 2014-01-15 2015-07-23 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
EP3104803B1 (en) 2014-02-11 2021-09-15 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
US10004562B2 (en) 2014-04-24 2018-06-26 Globus Medical, Inc. Surgical instrument holder for use with a robotic surgical system
CN106999248B (zh) 2014-06-19 2021-04-06 Kb医疗公司 用于执行微创外科手术的***及方法
CA2953267C (en) * 2014-07-02 2022-11-15 Covidien Lp Real-time automatic registration feedback
CN107072673A (zh) 2014-07-14 2017-08-18 Kb医疗公司 用于在骨组织中制备孔的防滑手术器械
US10765438B2 (en) 2014-07-14 2020-09-08 KB Medical SA Anti-skid surgical instrument for use in preparing holes in bone tissue
JP6731920B2 (ja) 2014-12-02 2020-07-29 カーベー メディカル エスアー 外科手術中のロボット支援式体積除去
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10555782B2 (en) 2015-02-18 2020-02-11 Globus Medical, Inc. Systems and methods for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
US10499996B2 (en) * 2015-03-26 2019-12-10 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
EP3284252B1 (en) 2015-04-13 2021-07-21 Universidade De Coimbra Methods and systems for camera characterization in terms of response function, color, and vignetting under non-uniform illumination
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
WO2017037127A1 (en) 2015-08-31 2017-03-09 KB Medical SA Robotic surgical systems and methods
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
EP3241518A3 (en) 2016-04-11 2018-01-24 Globus Medical, Inc Surgical tool systems and methods
EP3459044B1 (en) * 2016-05-19 2021-03-10 Koninklijke Philips N.V. Motion compensation in hybrid x-ray/camera interventions
US11039893B2 (en) 2016-10-21 2021-06-22 Globus Medical, Inc. Robotic surgical systems
JP2018114280A (ja) 2017-01-18 2018-07-26 ケービー メディカル エスアー ロボット外科用システムのための汎用器具ガイド、外科用器具システム、及びそれらの使用方法
EP3351202B1 (en) 2017-01-18 2021-09-08 KB Medical SA Universal instrument guide for robotic surgical systems
EP3360502A3 (en) 2017-01-18 2018-10-31 KB Medical SA Robotic navigation of robotic surgical systems
WO2018170181A1 (en) 2017-03-14 2018-09-20 Universidade De Coimbra Systems and methods for 3d registration of curves and surfaces using local differential information
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
US11135015B2 (en) 2017-07-21 2021-10-05 Globus Medical, Inc. Robot surgical platform
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
US11357548B2 (en) 2017-11-09 2022-06-14 Globus Medical, Inc. Robotic rod benders and related mechanical and motor housings
JP6778242B2 (ja) 2017-11-09 2020-10-28 グローバス メディカル インコーポレイティッド 手術用ロッドを曲げるための手術用ロボットシステム、および関連する方法および装置
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
US11204677B2 (en) * 2018-10-22 2021-12-21 Acclarent, Inc. Method for real time update of fly-through camera placement
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11514576B2 (en) * 2018-12-14 2022-11-29 Acclarent, Inc. Surgical system with combination of sensor-based navigation and endoscopy
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11259687B2 (en) 2019-04-04 2022-03-01 Biosense Webster (Israel) Ltd. Medical instrument calibration
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
US11896286B2 (en) * 2019-08-09 2024-02-13 Biosense Webster (Israel) Ltd. Magnetic and optical catheter alignment
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
CN113470184A (zh) * 2021-06-16 2021-10-01 北京理工大学 内窥镜增强现实误差补偿方法及装置
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
US11918304B2 (en) 2021-12-20 2024-03-05 Globus Medical, Inc Flat panel registration fixture and method of using same
CN114191078B (zh) * 2021-12-29 2024-04-26 上海复旦数字医疗科技股份有限公司 一种基于混合现实的内窥镜手术导航机器人***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001074266A1 (en) * 2000-03-30 2001-10-11 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for calibrating an endoscope
US20070225559A1 (en) * 2006-03-21 2007-09-27 Boston Scientific Scimed, Inc. Vision catheter having electromechanical navigation
EP2123216A1 (en) * 2008-05-23 2009-11-25 Olympus Medical Systems Corporation Bronchoscope

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568384A (en) * 1992-10-13 1996-10-22 Mayo Foundation For Medical Education And Research Biomedical imaging and analysis
EP1691666B1 (en) * 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
WO2011161564A1 (en) * 2010-06-22 2011-12-29 Koninklijke Philips Electronics N.V. System and method for real-time endoscope calibration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001074266A1 (en) * 2000-03-30 2001-10-11 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for calibrating an endoscope
US20070225559A1 (en) * 2006-03-21 2007-09-27 Boston Scientific Scimed, Inc. Vision catheter having electromechanical navigation
EP2123216A1 (en) * 2008-05-23 2009-11-25 Olympus Medical Systems Corporation Bronchoscope

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104306072A (zh) * 2014-11-07 2015-01-28 刘弘毅 医疗导航***及方法
CN104306072B (zh) * 2014-11-07 2016-08-31 常州朗合医疗器械有限公司 医疗导航***及方法
CN105982751A (zh) * 2015-02-02 2016-10-05 王辉 一种稳定快速的腔内物体表面3d成像***
CN107667380A (zh) * 2015-06-05 2018-02-06 西门子公司 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和***
CN105105698A (zh) * 2015-07-10 2015-12-02 中国科学院深圳先进技术研究院 内窥镜校准***及方法
CN106560163A (zh) * 2015-09-30 2017-04-12 合肥美亚光电技术股份有限公司 手术导航***及手术导航***的配准方法
CN111281534B (zh) * 2018-12-10 2024-07-19 柯惠有限合伙公司 生成手术部位的三维模型的***和方法
CN111281534A (zh) * 2018-12-10 2020-06-16 柯惠有限合伙公司 生成手术部位的三维模型的***和方法
CN112315582B (zh) * 2019-08-05 2022-03-25 罗雄彪 一种手术器械的定位方法、***及装置
CN112315582A (zh) * 2019-08-05 2021-02-05 罗雄彪 一种手术器械的定位方法、***及装置
CN110742652A (zh) * 2019-09-18 2020-02-04 中国科学院西安光学精密机械研究所 一种对消化道肿瘤磁辅助超声图像的三维重建设备及方法
CN115281583A (zh) * 2022-09-26 2022-11-04 南京诺源医疗器械有限公司 一种用于医疗内窥拉曼光谱成像的导航***
CN115281583B (zh) * 2022-09-26 2022-12-13 南京诺源医疗器械有限公司 一种用于医疗内窥拉曼光谱成像的导航***

Also Published As

Publication number Publication date
WO2012095755A1 (en) 2012-07-19
EP2663252A1 (en) 2013-11-20
CN103313675B (zh) 2017-02-15
US20130281821A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
CN103313675A (zh) 用于内窥镜手术的术中照相机校准
US11503986B2 (en) Robotic systems and methods for navigation of luminal network that detect physiological noise
JP6824967B2 (ja) 管状網のナビゲーション
CN102428496B (zh) 用于em跟踪内窥镜***的无标记物跟踪的配准和校准
US9289267B2 (en) Method and apparatus for minimally invasive surgery using endoscopes
CN102711650B (zh) 用于内窥镜手术的基于图像整合的配准和导航
US20120063644A1 (en) Distance-based position tracking method and system
JP4631057B2 (ja) 内視鏡システム
US20110282151A1 (en) Image-based localization method and system
CN105188594B (zh) 根据解剖特征对内窥镜的机器人控制
CN111588464B (zh) 一种手术导航方法及***
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
CN104736085A (zh) 确定医疗器械在分支解剖结构中的位置
JP2012525190A (ja) 単眼の内視鏡画像からのリアルタイム深度推定
JP2012165838A (ja) 内視鏡挿入支援装置
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
JP2018153346A (ja) 内視鏡位置特定装置、方法およびプログラム
CN115530724A (zh) 内窥镜导航定位方法及装置
EP4355245A1 (en) Anatomy measurement
Cortadellas et al. New concepts for intraoperative navigation: calibration of a 3-D laparoscope
Teixeira Camera Calibration and Real-time Image Processing in Heterogeneous Architectures-Application in Medical Endoscopy

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170215

Termination date: 20220103

CF01 Termination of patent right due to non-payment of annual fee