CN102946784A - 用于内窥镜实时校准的***和方法 - Google Patents

用于内窥镜实时校准的***和方法 Download PDF

Info

Publication number
CN102946784A
CN102946784A CN2011800305019A CN201180030501A CN102946784A CN 102946784 A CN102946784 A CN 102946784A CN 2011800305019 A CN2011800305019 A CN 2011800305019A CN 201180030501 A CN201180030501 A CN 201180030501A CN 102946784 A CN102946784 A CN 102946784A
Authority
CN
China
Prior art keywords
sensor
feature
endoscope
image recognition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800305019A
Other languages
English (en)
Inventor
S·徐
D·A·斯坦顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102946784A publication Critical patent/CN102946784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/0034—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means adapted to be inserted through a working channel of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)

Abstract

一种传感器跟踪装置、***和方法包括传感器（118），所述传感器配置于导线（110）上并适于配合到内窥镜（100）的工作通道（116）中。在所述传感器远端部分上形成能图像识别特征（120），在传感器从内窥镜延伸时该特征能够被识别。由内窥镜收集能图像识别的特征的图像并允许确定内窥镜的位姿。

Description

用于内窥镜实时校准的***和方法
本公开涉及内窥镜***，更具体而言，涉及在医学过程期间用于内窥镜校淮的***和方法。
在全世界肺癌是癌症死亡的首要原因。胸部中央***的支气窥管镜活检是肺癌分级的重要步骤。在支气管窥镜检查之前，医生需要从视觉上评估患者的三维（3D）计算机断层摄影（CT）胸部扫描以识别可疑的***部位。在支气管窥镜检查期间，医生将支气管窥镜引导到每个期望的***部位。令人遗憾的是，医生在3D CT图像数据和支气管窥镜检查期间提供的实况视频流之间没有任何关联。医生实际上是在没有实时视觉反馈的情况下执行活检的，这增大了过程的难度。
开发虚拟支气管窥镜检查（VB）使人们对向诸如肺癌分级的过程中引入基于CT的计算机图形技术感兴趣。在VB中，可以沿着循气道中心轴的路径生成气道的内部（腔内）呈现并实现实况视频支气管窥镜检查的在线模拟。在VB中，器官的内视图是从辐射图像由计算机生成的。这类似于在所述过程期间呈现器官的实际支气管窥镜检查（RB）视图的状况。
根据本原理，VB使得能够使用基于计算机的图像引导来辅助医生执行经支气管针吸（TBNA）和其他过程。通过配准RB和VB，医生能够在CT数据集中定位支气管窥镜。配准RB和VB的一种方式是使用电磁（EM）跟踪。可以将6自由度EM传感器附着于支气管窥镜接近摄像机的远端。可以通过一次性校准过程确定摄像机坐标系和传感器本地坐标系之间的固定变换。在将EM配准到CT之后可以获得RB/VB融合。
根据本原理，提供了一种内窥镜校淮。在一个实施例中，需要支气管窥镜校准以利用电磁跟踪在支气管窥镜检查中进行图像引导。也可以想到其他过程（例如超声校准等）和观察镜（例如结肠镜等）。需要确定支气管窥镜的摄像机和跟踪传感器之间的变换以将支气管镜检查图像配准手术前CT图像。不过，将跟踪传感器附着到支气管窥镜的外部可能是有问题的，因为它可能使得消毒过程复杂化。另一方面，跟踪传感器不能持久占据支气管窥镜的工作通道，因为标准支气管窥镜仅具有一个通常用于传递手术装置的工作通道。根据一个实施例，利用能图像识别的特征标记跟踪传感器，允许实时确定支气管窥镜的摄像机和传感器之间的变换。
一种传感器跟踪装置、***和方法包括配置于导线或线缆上并适于配合到内窥镜的工作通道中的传感器。在所述传感器的远端部分上形成能图像识别的特征，在传感器从内窥镜延伸时可以该特征能够被识别。由内窥镜收集能图像识别的特征的图像并允许确定内窥镜的位姿。
一种用于跟踪内窥镜的***包括具有工作通道的内窥镜、空间跟踪***和远端设置的成像装置。传感器配置于导线上并适于配合到所述工作通道中。在所述传感器的远端部分上形成至少一个能图像识别的特征，在传感器从内窥镜延伸时该特征能够被识别。变换模块被配置成通过采用所述成像装置收集的至少一个能图像识别的特征的图像位置和所述空间跟踪***的位置计算所述内窥镜的位姿。
一种用于跟踪内窥镜的方法包括校准内窥镜的远端设置的成像装置和传感器之间的变换，所述传感器在所述传感器的远端部分上形成有至少一个能图像识别的特征，在所述传感器从所述内窥镜延伸时，所述特征能够被识别。通过所述内窥镜的工作通道传递所述传感器，直到对所述至少一个能图像识别的特征成像为止，从而跟踪内窥镜，并利用至少一个能图像识别的特征的图像和变换计算内窥镜的当前位姿。
从其例示性实施例的以下详细描述，本公开的这些和其他目的、特征和优点将变得显而易见，要结合附图阅读其描述。
将参考以下附图在优选实施例的以下描述中给出本公开，附图中：
图1是适用于根据本发明原理的具有工作通道的内窥镜的透视图；
图2是示出了根据一个实施例用于跟踪内窥镜的***的方框/流程图；
图3A-3C示出了用于配准内窥镜和跟踪***的能图像识别的特征的例示性范例；
图4是示出了根据本发明原理配准内窥镜的***/方法的方框/流程图；以及
图5是示出了医学过程期间具有能识别的图像特征的传感器的图像。
本公开描述了一种设备、***和方法，通过利用内窥镜摄像机和跟踪传感器之间的坐标变换将内窥镜图像配准到手术前图像（例如，CT图像）来校准内窥镜。利用能图像识别的特征标记跟踪传感器。在支气管窥镜实施例中，可以在一次性初始校准过程中使六自由度（6DOF）电磁（EM）传感器通过支气管窥镜的工作通道，直到可以在支气管镜检查图像中识别出EM传感器的特征为止。在必须要跟踪支气管窥镜时，使EM传感器通过支气管窥镜的工作通道，直到可以在支气管镜检查图像中识别EM传感器的特征。然后处理支气管镜检查图像以在一次性校准过程中相对于参考位姿确定EM传感器的实时位姿。这种“就地”校准可以无需额外硬件或必须在内窥镜中提供额外工作通道来执行。即使内窥镜在患者体内，也可以在手术过程期间实时进行校准。
应当理解，将针对内窥镜检查过程和内窥镜装置描述本发明；不过，本发明的教导要宽得多，适用于能够定位在患者体内用于医学过程等的任何部件，例如导管、针或其他被引导的仪器。一开始利用手术前成像技术，例如CT扫描、超声波扫描图、X射线等定位这里描述的实施例。也可以采用其他技术。
还应当理解，将针对医疗仪器描述本发明；不过，本发明的教导要宽得多，适用于跟踪或分析复杂生物学或机械***中采用的任何仪器。具体而言，本发明原理适用于生物***的内部跟踪过程、身体所有区域，例如肺、胃肠道、***器官、血管等中的过程。图中描绘的元件可以实现于硬件和软件的各种组合中并提供可以在单个元件或多个元件中组合的功能。
可以利用专用硬件以及能够结合适当软件执行软件的硬件提供图中所示的各种元件的功能。在由处理器提供时，可以由单个专用处理器，由单个共享处理器，或由多个个体处理器（其中一些可以共享）提供功能。此外，明确使用术语“处理器”、“模块”或“控制器”不应被理解为仅仅指能够执行软件的硬件，可能暗含地包括，但不限于数字信号处理器（“DSP”）硬件、用于存储软件的只读存储器（“ROM”）、随机存取存储器（“RAM”）、非易失性存储器等。
此外，这里提到本发明原理、方面和实施例以及其具体范例的所有陈述都意在涵盖其结构和等价功能。此外，意在使这样的等价物包括当前已知的等价物以及将来开发的等价物（即开发的执行相同功能的任何元件，不论其结构如何）。于是，例如，本领域的技术人员将认识到，这里给出的方框图表示实现本发明原理的例示性***部件和/或电路的概念图。类似地，要认识到，任何流程图等都代表基本可以在计算机可读存储介质中给出并从而由计算机或处理器执行的各种过程，无论是否明确示出了这样的计算机或处理器。
此外，本发明的实施例可以采取可从计算机可用或计算机可读存储介质访问的计算机程序产品的形式，提供程序代码，供计算机或任何指令执行***使用或结合它们使用。出于本说明书的目的，计算机可用或计算机可读存储介质可以是可以包括、存储、传递、传播或传送程序的任何设备，程序供指令执行***、设备或装置使用或结合它们使用。该介质可以是电子的、磁性的、光学的、电磁的、红外的或半导体的***（或设备或装置）或传播介质。计算机可读介质的范例包括半导体或固态存储器、磁带、可移除计算机盘、随机存取存储器（RAM）、只读存储器（ROM）、刚性磁盘和光盘。当前光盘的范例包括高密度盘–只读存储器（CD-ROM）、高密度盘–读/写（CD-R/W）和DVD。图中描绘的元件可以实现于硬件的各种组合中并提供可以在单个元件或多个元件中组合的功能。
现在参考附图，其中类似数字表示相同或类似元件，一开始参考图1，根据一个示范性实施例例示性示出了内窥镜100的远端部分102的透视图。本实施例中的内窥镜100包括附着于远端部分102，接近摄像机108的孔径的EM传感器106。提供光109以照射内部区域进行成像。采用长导线或线缆110以将传感器106连接到跟踪***112，跟踪***112可以在内窥镜100内部或外部。
将导线110保持在内窥镜100外部是不理想的，因为这使得消毒流程很复杂，并可能改变过程期间医生对内窥镜100的感觉。不过，标准的内窥镜仅有一个工作通道116，用于***手术装置，例如钳子、导管或刷子。跟踪导线110不能永久占据工作通道116。因此，可以在每次需要跟踪时在过程期间通过工作通道116***跟踪传感器118。跟踪传感器118可以采用同一跟踪***112或不同跟踪***。每次***传感器118时，使摄像机108和跟踪传感器118之间的变换保持不变是困难的，或接近不可能的。因此，提供了原地校准***和方法。跟踪传感器118包括***特征120，其可以包括形状、标记、3D特征等。即使内窥镜100在患者内部，也采用***特征120实时校准摄像机108。
如果摄像机108的固有参数，例如图像中心、焦距等，以及图像特征120的几何性质是已知的，可以利用单个图像确定图像特征120和摄像机108之间的变换（例如，在6个自由度中）。例如，图像特征120包括不等边三角形的三个顶点，假设我们知道顶点之间的物理距离，则可以从三角形的一个图像中唯一地确定摄像机108和三角形（120）之间的变换。可以将此一般化到其他特征类型，因为任何图像特征120都可以由一组点表示。
参考图2，根据一个例示性实施例示出了根据本发明原理用于跟踪内窥镜的***200。***200优选包括硬件和软件部件。***200包括空间跟踪***206和具有能图像识别的特征220（相当于特征120）的多自由度（DOF）传感器218。优选在包括摄像机108的内窥镜100上提供跟踪***206和传感器218。跟踪***206和传感器218可以是EM跟踪***232的一部分，EM跟踪***232能够在三维空间中监测装置的位置。
一种工作站（WS）或其他处理装置222包括硬件，该硬件配置成运行软件以采集和显示在显示装置230上的实时医学过程图像。工作站222在空间上跟踪传感器218的位置和取向。工作站222充当变换模块，以为将图像中特征220的位置和取向变换成手术前图像或模型（实际或虚拟）提供所需元件。传感器218优选包括六ODF传感器；不过可以采用更少或更多数量的自由度。工作站222包括存储器225中的图像处理软件224，其处理包括传感器218上特征220的内部图像。软件224计算传感器相对于内窥镜摄像机108的位姿。
观察镜100包括工作通道116。通过工作通道116馈送传感器218，直到传感器218从观察镜100延伸到远端并可以在摄像机108中看到特征220。由于观察镜包括跟踪***206，所以可以相对于传感器218确定其位置。可见特征220允许计算***206和传感器218之间的位置差异并产生之间的相对取向。这种计算能够提供***206/摄像机108和传感器218之间的变换，可以在整个医学过程中采用该变换。
处理装置222可以连接到计算机***或是其一部分，并包括存储器225和操作***234，以提供根据本发明原理描述的功能。程序224将手术前图像（CT图像）与实时内窥镜位置组合，从而在过程期间实时在显示器230上呈现手术前图像。
处理装置或控制器222包括处理器238，其实施程序224并提供程序选项和应用。输入/输出（I/O）装置或接口228提供与控制器222、内窥镜100和传感器218的实时交互以比较和显示图像。接口228可以包括键盘、鼠标、触摸屏***等。
参考图3A-3C，例示性示出了图像可见传感器特征220。在图3A所示的一个实施例中，特征220可以包括多个分开的圆302。可以将圆302布置成重复图案或形成诸如三角形等形状。圆302可以包括具体的直径或其他已知的尺度（例如，圆之间的距离等）或提供角度。可以采用距离和/或角度以在图像之内可视地确定位置或取向。可以在图像之内比较已知的尺度作为参考。
在3B中所示的另一实施例中，可以为特征220采用箭头304。箭头可以具有已知长度的线段，箭头可以相对于摄像机108沿一定方向指向，以辅助计算观察镜（100）的位姿。
在3C所示的又一实施例中，可以在传感器218上或中形成突起306、凹坑308或其他3D特征。这提供了三维特征，用于相对于摄像机图像定位传感器。也可以采用其他形状、尺寸、标记和设计。
参考图4，可以如下确定EM传感器和支气管窥镜摄像机之间的变换。在方框402中，可以在医学过程之前，例如支气管窥镜检查之前，离线执行一次性校准过程。通过观察镜的工作通道传递多自由度EM传感器，直到在方框404中可以在图像中识别EM传感器的特征为止。在方框406中，然后相对于支气管窥镜的摄像机固定传感器，这被称为“参考位姿”。在方框408中保存支气管窥镜的图像。
参考图5，例示性示出了传感器218的内窥镜图像450，其上具有能图像识别的特征220。图像是从内窥镜摄像机的角度看的。
再次参考图4，在方框410中，确定摄像机和EM传感器之间的变换。在方框411中，这可以包括使用校准体模，其中将特征的体模图像从参考点移动并覆盖在图像中所示的实际特征上。然后针对校准体模的运动计算差异。
在方框412中，在医学过程期间，跟踪观察镜。在方框413中，通过支气管窥镜的工作通道传递EM传感器，直到可以在摄像机图像中识别EM传感器的特征为止。然后在方框414中处理图像以在一次性校准过程（离线校准）中相对于参考位姿确定EM传感器的实时位姿。EM传感器和摄像机之间的实时变换可以如下计算：
Figure BDA00002622803900071
其中
Figure BDA00002622803900072
是从B到A的变换。因此，
Figure BDA00002622803900073
是方框402的校准结果，
Figure BDA00002622803900074
是EM传感器的位姿1和位姿2之间的相对变换。在方框415中，可以将内窥镜图像配准手术前图像（例如CT图像）。
在方框415中，在EM跟踪的引导下放置观察镜。在方框416中可以从支气管窥镜的工作通道中拉出EM传感器。然后在方框418中，医学过程继续下去，可以向工作通道中***手术装置，以采取活检样本或执行其他动作。
在解释所附的权利要求时，应当理解：
a)“包括”一词不排除有给定权利要求中列出的那些之外的其他元件或动作；
b)元件前的“一”一词不排除存在多个这样的元件；
c)权利要求中的任何附图标记都不限制其范围；
d)可以由同一项目或硬件或软件实现的结构或功能代表几个“模块”；并且
e)除非具体指出，并不要求动作有具体的顺序。
已经描述了用于实时内窥镜校准的***和方法的优选实施例（意在是例示性的而非限制性的），要指出的是，本领域的技术人员根据以上教导能够做出修改和变化。因此要理解，可以在公开内容的特定实施例中做出变化，它们在如所附权利要求勾勒的这里所公开实施例的范围之内。这样描述完专利法要求的细节和特性之后，在所附权利要求中阐述专利证书主张并希望保护的范围。

Claims (20)

1.一种传感器跟踪装置，包括：
传感器（118），其配置在导线（110）上并适于配合到内窥镜（100）的工作通道（116）中；以及
形成于所述传感器的远端部分上的至少一个能图像识别的特征（120），在所述传感器从所述内窥镜延伸时该特征能够被识别，使得由所述内窥镜收集的所述至少一个能图像识别的特征的图像允许确定所述内窥镜的位姿。
2.根据权利要求1所述的传感器跟踪装置，其中，所述传感器（118）包括多自由度传感器。
3.根据权利要求1所述的传感器跟踪装置，其中，所述内窥镜（100）包括成像装置（108），所述成像装置配置成从所述内窥镜的远端部分收集图像。
4.根据权利要求1所述的传感器跟踪装置，其中，所述至少一个能图像识别的特征（120）包括参考尺度。
5.根据权利要求1所述的传感器跟踪装置，其中，所述至少一个能图像识别的特征（120）包括参考角度。
6.根据权利要求1所述的传感器跟踪装置，其中，所述至少一个能图像识别的特征（120）包括指示所述传感器的取向的一个或多个形状。
7.根据权利要求1所述的传感器跟踪装置，其中，所述至少一个能图像识别的特征（120）包括所述传感器上一体形成的形状。
8.一种用于跟踪内窥镜的***，包括：
内窥镜（100），其具有工作通道（116）、空间跟踪***（206）和远端设置的成像装置（108）；
传感器（218），其配置于导线上并适于配合到所述工作通道中；
形成于所述传感器的远端部分上的至少一个能图像识别的特征（220），在所述传感器从所述内窥镜延伸时该特征能够被识别；以及
变换模块（222），其配置成通过采用所述成像装置收集的所述至少一个能图像识别的特征的图像的位置和所述空间跟踪***的位置计算所述内窥镜的位姿。
9.根据权利要求8所述的***，其中，所述传感器（218）包括多自由度传感器。
10.根据权利要求8所述的***，其中，所述至少一个能图像识别的特征（220）包括参考尺度。
11.根据权利要求8所述的***，其中，所述至少一个能图像识别的特征（220）包括参考角度。
12.根据权利要求8所述的***，其中，所述至少一个能图像识别的特征（220）包括指示所述传感器的取向和位置的一个或多个形状。
13.根据权利要求8所述的***，其中，所述至少一个能图像识别的特征（220）包括所述传感器上一体形成的形状。
14.根据权利要求8所述的***，其中，所述变换模块包括图像处理器（224），所述图像处理器配置成识别所述至少一个能图像识别的特征，并计算所述传感器相对于所述成像装置的位置和取向。
15.一种用于跟踪内窥镜的方法，包括：
校准（402）内窥镜的远端设置的成像装置和传感器之间的变换，所述传感器在所述传感器的远端部分上形成有至少一个能图像识别的特征，在所述传感器从所述内窥镜延伸时，所述特征能够被识别；以及
通过如下方式跟踪（412）所述内窥镜：
通过所述内窥镜的工作通道传递（413）所述传感器，直到所述至少一个能图像识别的特征被成像为止；以及
利用所述至少一个能图像识别的特征的图像和所述变换计算（414）当前位姿。
16.根据权利要求15所述的方法，其中，校准（402）包括采用校准体模图像（411）。
17.根据权利要求15所述的方法，其中，所述至少一个能图像识别的特征（120）包括参考尺度和参考角度中的至少一个。
18.根据权利要求15所述的方法，其中，所述至少一个能图像识别的特征（120）包括指示所述传感器的取向和位置的一个或多个形状。
19.根据权利要求15所述的方法，其中，在过程期间在患者体内跟踪（412）所述内窥镜。
20.根据权利要求15所述的方法，还包括在所述内窥镜已经与跟踪***配准时，从所述工作通道移除（416）所述传感器。
CN2011800305019A 2010-06-22 2011-05-26 用于内窥镜实时校准的***和方法 Pending CN102946784A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US35712210P 2010-06-22 2010-06-22
US61/357,122 2010-06-22
PCT/IB2011/052307 WO2011161564A1 (en) 2010-06-22 2011-05-26 System and method for real-time endoscope calibration

Publications (1)

Publication Number Publication Date
CN102946784A true CN102946784A (zh) 2013-02-27

Family

ID=44511748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800305019A Pending CN102946784A (zh) 2010-06-22 2011-05-26 用于内窥镜实时校准的***和方法

Country Status (5)

Country Link
US (1) US20130096424A1 (zh)
EP (1) EP2584952A1 (zh)
JP (1) JP5865361B2 (zh)
CN (1) CN102946784A (zh)
WO (1) WO2011161564A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019047820A1 (zh) * 2017-09-06 2019-03-14 艾瑞迈迪科技石家庄有限公司 内窥镜微创手术导航的图像显示方法、装置及***
CN109793489A (zh) * 2019-03-26 2019-05-24 上海优益基医用材料有限公司 可视化定位导管
CN111863209A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 基于图像识别的结肠镜检查质量评估工作站
CN115281584A (zh) * 2022-06-30 2022-11-04 中国科学院自动化研究所 柔性内窥镜机器人控制***及柔性内窥镜机器人模拟方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1963713B1 (en) 2005-12-09 2015-02-25 Fallbrook Intellectual Property Company LLC Continuously variable transmission
EP1811202A1 (en) 2005-12-30 2007-07-25 Fallbrook Technologies, Inc. A continuously variable gear transmission
WO2009065055A2 (en) 2007-11-16 2009-05-22 Fallbrook Technologies Inc. Controller for variable transmission
EP2663252A1 (en) * 2011-01-13 2013-11-20 Koninklijke Philips N.V. Intraoperative camera calibration for endoscopic surgery
EP2698096A4 (en) * 2012-03-06 2015-07-22 Olympus Medical Systems Corp ENDOSCOPIC SYSTEM
AU2014200695B2 (en) * 2013-02-11 2018-06-14 Covidien Lp Cytology sampling system and method of utilizing the same
US10047861B2 (en) 2016-01-15 2018-08-14 Fallbrook Intellectual Property Company Llc Systems and methods for controlling rollback in continuously variable transmissions
US10023266B2 (en) 2016-05-11 2018-07-17 Fallbrook Intellectual Property Company Llc Systems and methods for automatic configuration and automatic calibration of continuously variable transmissions and bicycles having continuously variable transmissions
EP3382234B1 (en) 2017-03-31 2020-12-16 IMSystems Holding B.V. Compound planetary friction drive
US11215268B2 (en) 2018-11-06 2022-01-04 Fallbrook Intellectual Property Company Llc Continuously variable transmissions, synchronous shifting, twin countershafts and methods for control of same
US11174922B2 (en) 2019-02-26 2021-11-16 Fallbrook Intellectual Property Company Llc Reversible variable drives and systems and methods for control in forward and reverse directions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070106156A1 (en) * 2005-10-28 2007-05-10 Altmann Andres C Targets and methods for ultrasound catheter calibration
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
EP2123215A1 (en) * 2008-05-23 2009-11-25 Olympus Medical Systems Corporation Medical device
CN102469927A (zh) * 2009-10-09 2012-05-23 奥林巴斯医疗株式会社 内窥镜装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466815B1 (en) * 1999-03-30 2002-10-15 Olympus Optical Co., Ltd. Navigation apparatus and surgical operation image acquisition/display apparatus using the same
US8248414B2 (en) * 2006-09-18 2012-08-21 Stryker Corporation Multi-dimensional navigation of endoscopic video
US7892165B2 (en) * 2006-10-23 2011-02-22 Hoya Corporation Camera calibration for endoscope navigation system
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
WO2010140441A1 (ja) * 2009-06-01 2010-12-09 オリンパスメディカルシステムズ株式会社 医療機器システムおよび医療器具のキャリブレーション方法
WO2011102012A1 (ja) * 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
US20070106156A1 (en) * 2005-10-28 2007-05-10 Altmann Andres C Targets and methods for ultrasound catheter calibration
EP2123215A1 (en) * 2008-05-23 2009-11-25 Olympus Medical Systems Corporation Medical device
CN102469927A (zh) * 2009-10-09 2012-05-23 奥林巴斯医疗株式会社 内窥镜装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019047820A1 (zh) * 2017-09-06 2019-03-14 艾瑞迈迪科技石家庄有限公司 内窥镜微创手术导航的图像显示方法、装置及***
CN109793489A (zh) * 2019-03-26 2019-05-24 上海优益基医用材料有限公司 可视化定位导管
CN111863209A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 基于图像识别的结肠镜检查质量评估工作站
CN111863209B (zh) * 2019-04-25 2023-08-18 天津御锦人工智能医疗科技有限公司 基于图像识别的结肠镜检查质量评估工作站
CN115281584A (zh) * 2022-06-30 2022-11-04 中国科学院自动化研究所 柔性内窥镜机器人控制***及柔性内窥镜机器人模拟方法
CN115281584B (zh) * 2022-06-30 2023-08-15 中国科学院自动化研究所 柔性内窥镜机器人控制***及柔性内窥镜机器人模拟方法

Also Published As

Publication number Publication date
JP2013529493A (ja) 2013-07-22
JP5865361B2 (ja) 2016-02-17
WO2011161564A1 (en) 2011-12-29
EP2584952A1 (en) 2013-05-01
US20130096424A1 (en) 2013-04-18

Similar Documents

Publication Publication Date Title
CN102946784A (zh) 用于内窥镜实时校准的***和方法
JP7214757B2 (ja) 生理学的ノイズを検出する管腔網のナビゲーションのためのロボットシステム及び方法
JP7293265B2 (ja) 管状網のナビゲーション
KR20200007896A (ko) 생검 장치 및 시스템
CN102858229B (zh) 采用受到跟踪的支气管镜检查进行肿瘤运动模拟和运动补偿的***和方法
KR20190134968A (ko) 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템
CN103957772B (zh) 形状感测辅助的医疗过程
JP2012528604A (ja) 距離ベースの位置追跡方法及びシステム
CN103458764B (zh) 形状感测辅助的医疗程序
US20120062714A1 (en) Real-time scope tracking and branch labeling without electro-magnetic tracking and pre-operative scan roadmaps
CN106535774A (zh) 在针对介入流程的3d成像工作流中的智能实时工具和解剖结构可视化
JP6706576B2 (ja) 最小侵襲性のインターベンションのための形状センスされるロボット超音波
CN107980148A (zh) 用于医学流程中的运动补偿的***和方法
CN106572887A (zh) X射线套件中的图像整合和机器人内窥镜控制
JP2014505543A (ja) 画像ガイド下生検における針配備検出のためのシステム及び方法
CN103415255A (zh) 利用血管内装置形状对血管图像进行非刚性体变形
CN105592816B (zh) 具有用户可定义的感兴趣区域的图像引导***
JP2012024518A (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
Péntek et al. Image-based 3D surface approximation of the bladder using structure-from-motion for enhanced cystoscopy based on phantom data
US20210186648A1 (en) Surgical shape sensing fiber optic apparatus and method thereof
Dimas et al. Endoscopic single-image size measurements
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
Falcon et al. Innovative computer vision approach to 3D bladder model reconstruction from flexible cystoscopy
JP6703470B2 (ja) データ処理装置及びデータ処理方法
CN114159163B (zh) 面向软镜的磁导航***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130227