CN102449666A - 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的*** - Google Patents

用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的*** Download PDF

Info

Publication number
CN102449666A
CN102449666A CN2010800231877A CN201080023187A CN102449666A CN 102449666 A CN102449666 A CN 102449666A CN 2010800231877 A CN2010800231877 A CN 2010800231877A CN 201080023187 A CN201080023187 A CN 201080023187A CN 102449666 A CN102449666 A CN 102449666A
Authority
CN
China
Prior art keywords
patient
computer model
endoscopic apparatus
image
boundary mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800231877A
Other languages
English (en)
Other versions
CN102449666B (zh
Inventor
G·普里斯科
V·多文戴姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/411,515 external-priority patent/US8337397B2/en
Priority claimed from US12/411,501 external-priority patent/US10004387B2/en
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN201510994346.2A priority Critical patent/CN105596005B/zh
Publication of CN102449666A publication Critical patent/CN102449666A/zh
Application granted granted Critical
Publication of CN102449666B publication Critical patent/CN102449666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)

Abstract

通过将向量的图形表示显示在当前图像附近来为内窥镜设备的操作者提供界标方向引导，所述当前图像由设置在内窥镜设备的末端处的图像捕获设备捕获并被显示在显示屏上，其中所述向量的图形表示指向将操纵内窥镜的方向以朝例如解剖结构的相关界标移动。通过确定内窥镜设备相对于参考系的当前位置和形状、根据确定的位置和形状产生内窥镜计算机模型，并与参考至参考系的病人计算机模型一起显示内窥镜计算机模型以便当操纵内窥镜时操作者可以看见，来为操作者提供视觉导航。

Description

用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的***
技术领域
本发明大体涉及可操纵的内窥镜，并且具体地涉及用于为向一个或更多个界标(landmark)操纵内窥镜设备的末端提供视觉引导和在内窥镜导航中辅助操作者的方法和***。
背景技术
微创手术过程被公知为比传统的开放性手术提供了更多优点，包括疼痛少、缩短住院期、更快地恢复正常活动、伤疤小、缩短恢复时间以及对组织伤害小。为了执行这些过程，必须通过切口或自然的体孔产生到病人体内的入口。可以使用机器人和手动微创手术设备。
微创手术机器人***的一个示例是加利福利亚州森尼韦尔的直观外科公司(Intuitive Surgical，Inc.)da Vinci
Figure BPA00001469485300011
手术***。da Vinci
Figure BPA00001469485300012
手术***具有若干个机器人臂，该若干个机器人臂移动所附的医疗设备，例如图像捕获设备和直观外科公司专有的EndoWrist
Figure BPA00001469485300013
铰接手术器械，以响应于通过外科医生查看由图像捕获设备在手术处捕获的图片而引起的输入设备的移动。每个医疗设备均可以通过其自己的微创切口***病人体内并被定位，从而在手术处执行治疗程序。切口位于病人身体上，一遍手术器械可以被用来协作地执行治疗程序并且图像捕获设备可以查看该治疗程序，而在该程序中它们的机器人臂不相碰撞。
内窥镜是这样的一种医疗设备，即其允许医生通过将该设备通过自然体孔或手术产生的开口***并将其引导至病人体内的目标位置，从而捕获诊断内部身体器官问题的图像。在一些情况下，它还可以被用来在内部身体器官上执行治疗程序。它可操纵使得其远端出于导航的目的而被可控制地取向。例如立体镜或单视场镜相机的图像捕获设备可以被设置在其远端，使得由相机从那个视图捕获的图像可以由医生在显示屏上查看。为了在目标位置执行各种治疗程序，例如用于切割、抓紧、烧灼等的那些手术工具可以延伸出内窥镜的远端。
内窥镜可以是刚性的，例如用在腹腔镜检查中的内窥镜，或者它可以是柔性的，使得它能够遵循身体腔管的弯曲。它还可以是可刚化的(rigidizable)和/或机器人的。可刚化内窥镜是具有至少一部分柔性体的内窥镜，机械锁定机构可以使得该至少一部分柔性体变得基本刚性。机器人内窥镜是柔性内窥镜，其至少一部分在计算机控制的伺服机构下弯曲。它还可以是像奥林巴斯(Olympus)的胶囊内镜(EndoCapsule)的胶囊或栓系胶囊，在这种情况下，它没有被可控地取向用于导航目的，并且在病人解剖中在重力、由解剖或其他手术设备施加的力的作用下移动。
自然孔腔内内窥镜手术(“NOTES”)可以采用可操纵的内窥镜来在病人上执行手术程序。作为示例，柔性内窥镜可以被引导穿过多个体孔中的一个体孔并从病人体内进入腹部，而不是从外面穿过微创切口。例如，在“经胃”手术中，器械被穿过嘴并进入胃中。然后执行胃切开术，使得器械可以进入腹部并被医生用来在腹腔内执行治疗程序。一旦程序完成，器械与在程序期间被去除的组织一起被取出，并且进入点被关闭。因为没有在病人身体上产生切口以允许内窥镜的进入，NOTES可以比使用微创切口的手术带来更少疼痛。而且，由于它使用自然体孔代替切口以进入体内，它可以降低对一般的麻醉的需求并缩短恢复时间。
在可操纵内窥镜的操作中，例如在NOTES应用中，当朝目标位置移动时，内窥镜末端可以被转动多次并处于不同的方向。因此，柔性内窥镜可能卷起，围绕其自身打卷并使操作者失去方向，如果内窥镜捕获的图像不能清楚地指示其相对于目标位置的当前方向，就会使得操作者难以保持对内窥镜末端的当前方向的跟踪。相反，操作者可以具有至常规腹腔镜检查中的视图的相对刚性的连接。
如果操作者意外地在错误的方向移动内窥镜，则末端可能无意地穿孔或者损害组织，这对病人引起伤害。即使这种伤害通过小心地移动内窥镜末端来避免，也需要额外的时间来重复地确定内窥镜相对于病人体内的目标位置的真正方向。因此，实施手术程序所需的时间被延长，这增加了手术的成本并且增加了对健康安全的忧虑。
发明内容
因此，本发明的一个或更多个方面的目的是为操作者提供视觉引导用于朝向病人体内的一个或更多个界标操纵内窥镜设备的方法和用于执行该方法的***。
本发明的一个或更多个方面的另一个目的是提供导航用于辅助操作者朝病人体内的位置操纵内窥镜。
本发明的一个或更多个方面的另一个目的是向内窥镜的操作者提供信息的方法和用于执行该方法的***，所述信息在视觉上指示内窥镜末端当前指向的方向。
本发明的一个或更多个方面的另一个目的是为内窥镜的操作者提供信息的方法和用于执行该方法的***，所述信息在视觉上指示内窥镜相对于病人解剖结构的当前位置和形状。
这些目的和另外的目的通过发明的各方面实现，其中简要地描述为，一方面是用于提供引导以朝一个或更多个界标操纵内窥镜设备的计算机执行的方法，该方法包括：确定相对于参考系的内窥镜设备上的参考点的当前位置；确定从参考点的当前位置到第一界标相对于参考系的位置的第一向量；将第一向量从参考系变换为对应于图像捕获设备的透视图的图像参考系，图像捕获设备设置在内窥镜设备的末端；并且在显示屏上显示所转换的第一向量的图形表示和由图像捕获设备捕获的当前图像，以便指示朝第一界标操纵内窥镜设备的末端的方向。
另一方面是一种***，其包括：显示屏；内窥镜设备；和一个或更多个处理器，该处理器适于确定相对于参考系的内窥镜设备上的参考点的当前位置、确定从参考点的当前位置到第一界标相对于参考系的位置的第一向量、将第一向量从参考系转换为对应于设置在内窥镜设备末端的图像捕获设备的透视图的图像参考系、并在显示屏上显示所转换的第一向量的图形表示和由图像捕获设备捕获的当前图像，以便指示朝第一界标操纵内窥镜设备的末端的方向。
另一方面是用于在内窥镜导航中辅助操作者的计算机执行的方法，该方法包括：将病人的计算机模型引用至参考系；确定相对于参考系的内窥镜设备的当前位置和形状；根据所确定的当前位置和形状产生内窥镜设备的计算机模型；以及在显示屏上显示内窥镜设备和病人的计算机模型，以便为操作者提供内窥镜导航辅助。
另一方面是一种***，该***包括：显示屏；内窥镜设备；和处理器，该处理器适于将病人的计算机模型引用至参考系，确定相对于参考系的内窥镜设备的当前位置和形状，根据所确定的当前位置和形状产生内窥镜设备的计算机模型，以及在显示屏上显示内窥镜设备和病人的计算机模型，以便为***的操作者提供导航辅助。
本发明的各方面的另外的目的、特征和优点根据对优选实施例的以下描述将变得显而易见，应当结合附图对优选实施例进行说明。
附图说明
图1图示说明了利用本发明的多个方面的可操纵内窥镜***。
图2图示说明了利用本发明的多个方面的可操纵内窥镜***的处理部分的方框图。
图3图示说明了利用本发明的多个方面的可操纵内窥镜***的遥控操作部分的方框图。
图4图示说明了用于在内窥镜导航中辅助操作者的计算机执行的方法的流程图，其利用了本发明的多个方面。
图5是图示说明了利用本发明的多个方面的可操纵内窥镜***的位置确定部分的部件。
图6图示说明了主显示屏，其显示了当在利用本发明的多个方面的***中看到的由可操纵内窥镜捕获的图像。
图7图示说明了辅助显示屏，其显示了由利用本发明的多个方面的***产生的登记病人和内窥镜设备模型的前后视图(anterior-posterior view)。
图8图示说明了辅助显示屏，其显示了由利用本发明的多个方面的***产生的病人和内窥镜设备模型的斜视图(oblique view)。
图9图示说明了辅助显示屏，其显示了由利用本发明的多个方面的***产生的病人和内窥镜设备模型的中部侧视图(lateral-medialview)。
图10图示说明了主显示屏，其将内窥镜设备捕获的图像显示在主窗口区域，并将由利用本发明的多个方面的***产生的病人和内窥镜设备模型的斜视图显示在图中图窗口区域。
图11图示说明了主显示屏，其将由内窥镜设备捕获的图像显示在第一区域中，并将由利用本发明的多个方面的***产生的病人和内窥镜设备模型的斜视图显示在第二区域中。
图12图示说明了利用本发明的多个方面的提供方向引导以向一个或更多个界标操纵内窥镜设备的计算机执行的方法的流程图。
图13图示说明了利用本发明的多个方面的用于当其由界标移动时使用内窥镜设备建立界标的计算机执行的方法的流程图。
图14图示说明了内窥镜设备***其中的病人躯干的斜视图和在利用本发明的多个方面的***中采用的各种界标的示例。
图15图示说明了主显示屏，其根据利用本发明的多个方面的方法显示了由内窥镜设备捕获的当前图像和指示到相应界标的方向的各种向量的图形表达以及与其中一个界标相关的图像。
具体实施方式
作为示例，图1图示说明了***100，该***100包括可操纵内窥镜110、插在内窥镜110中的一个或更多个光纤线缆120、位置处理器130、图像处理器140、图像捕获设备141、显示处理器150、主显示屏600和辅助显示屏160。尽管被示为单独的单元，但位置处理器130、图像处理器140和显示处理器150分别均可被实施为硬件、固件、软件或其组合，其与一个或更多个计算机交互或者由一个或更多个计算机执行，例如图2中所描述的一个或更多个计算机200。主显示屏600和辅助显示屏160优选为能够将三维图像显示给***100的操作者的计算机监视器。然而，出于成本的考虑，主显示屏600和辅助显示屏160中的任一个或者两者可以是仅能够显示二维图像的标准计算机监视器。
在此示例中，内窥镜110具有柔性的主体114、在其远端111处的可操纵的末端112和在其近端115处的手柄或机电界面116。控制线缆(未示出)或其它控制装置通常从手柄或机电界面116延伸到可操纵的末端112，使得末端112可以可控制地被弯曲或转向，例如如弯曲末端112的虚线视图所示。尽管在此示例中描述了可操纵的内窥镜，但本发明不限于这种类型的内窥镜，并且也可以实践于其它内窥镜设备(例如，刚性的、可刚化的、机器人的或胶囊内窥镜)。
立体镜或单视场镜相机141设置在远端111处，用于根据如此处公开的本发明的各方面捕获图像，该图像被传递至图像处理器140和/或显示处理器150并由图像处理器140和/或显示处理器150处理，并被显示在主显示屏600和/或辅助显示屏160上。多个光纤线缆120中的一个可以在其近端被联接至远端111处的用于照明目的的光源(未示出)。其他光纤线缆120可以配备有弯曲或形状传感器，例如光纤布拉格光栅(Fiber Bragg Gratings)(或其他应变传感器，例如应用瑞利散射(Rayleigh scattering)的那些应变传感器)，使得穿过光纤线缆的光被位置处理器130处理以确定内窥镜110的当前位置和形状，包括其远端112的取向。除了延伸穿过内窥镜110的光纤线缆120之外，配备有应变传感器的一个或更多个另外的光纤线缆(未示出)可以被附接到内窥镜110，以便提供在附接点处内窥镜110的位置信息。
当可操纵的内窥镜110由操作者手动操作时，手柄116与合适的杆或其他(多个)控制机构一起使用，用于通过拉动合适的线缆(未示出)来可控制地取向内窥镜末端112，该线缆将手柄116的这些控制机构联接至末端112。另一方面，当可操纵的内窥镜110由操作者远程操作时，机电界面116被用来代替手柄。
如图3所示，机电界面116允许内窥镜110被电联接且机械联接至机器人臂301，机器人臂301的运动由控制器302控制以响应于输入设备303的操作者操作。界面116和机器人臂301中的任一个或者两者包括驱动被用来操纵内窥镜末端112的线缆的马达。除了控制内窥镜末端112的弯曲之外，机器人臂301还可以被构造为将内窥镜110***病人体内的孔(例如，自然孔或微创切口)中和/或将内窥镜110从病人体内的孔中取出，绕其中心轴旋转内窥镜110，和/或在孔处绕支点旋转机电界面116。控制器302优选与处理器130、140、150一起被实施为一个或更多个计算机200中的硬件、固件或软件(或其组合)。
关于使用光纤布拉格光栅确定内窥镜的位置和弯曲的细节例如可以在以下文件中找到：题为“Robotic Surgery System Including PositionSensors Using Fiber Bragg Gratings”的美国专利文献2007/0156019A1；题为“Fiber Optic Position and/or Shape Sensing Based on Rayleigh Scatter”的美国专利文献2008/0212082A1；题为“Robotic Surgical Instrument andMethods using Bragg Fiber Sensors”的美国专利文献2008/0218770A1；以及题为“Fiber Optic Shape Sensor”的美国申请序列号12/164,829。这些专利文献均被合并至此以供参考。关于常规的可操纵内窥镜的细节可以在例如题为“Steerable Endoscope and Improved Method ofInsertion”的美国专利文献6,869,396B2中找到。
作为示例，图4图示说明了用于在朝向病人体内的某位置的可操纵内窥镜110的内窥镜导航中辅助操作者的计算机执行的方法400的流程图。这种情况下的计算机优选为包括处理器130、140、150的一个或更多个计算机200。
在步骤401处，存储在存储器155中的病人计算机模型通过活体病人身体上的第一参考点被参考至固定的参考系(即，在使用内窥镜110执行的治疗程序期间不移动的参考系)，该病人一般俯卧在具有固定的参考系的手术台上，之后将参考点与病人计算机模型上的对应点相关联。
例如，通过使用在固定的参考系(例如，内窥镜的末端112)中其末端位置可能已经被确定的指示器设备，操作者可以移动该指示器设备，使得它首先接触病人的嘴以建立对应于病人计算机模型的嘴的第一参考点。之后，操作者可以移动该指示器设备，使得它接下来接触病人的髂骨的左右脊，以建立对应于病人计算机模型的髂骨的左右脊的第二参考点。例如脐点和左右腋窝的其他点也可以被用来建立更多的参考点。通过以此方式将病人计算机模型参考至病人，可以建立病人计算机模型的合适尺寸(即，长度和宽度)，并与病人和它在固定的参考系中的位置对齐。因此，通过少数点，病人计算机模型可以使用存储器155中的人体测量值数据库中的模型信息被适当地缩放并与病人对齐(即相符合)。
若干个病人计算机模型可以被存储在存储器155中。例如，一些普通的病人计算机模型可以被存储，使得可以根据病人的年龄、性别、体型等使用不同的模型。优选地，每个模型均是三维计算机模型，包括至少头部和躯干(例如，如图7-9中所见)，以便包括用于在病人身体上执行诊断或手术程序的所有自然孔以及潜在目标位置。实际病人的三维计算机模型还可以被储存，并且如果可用的话，则可以用于现有***，例如可以使用计算机断层(CT)扫描产生。可替换地，外科医生或者助手可以在病人身体的表面上移动远端112，以绘制其轮廓并给位置处理器130提供充分的信息以产生关于病人的三维计算机模型的信息，其存储在存储器155中。
在步骤402处，确定操作者是否已经发出开始引导命令。操作者可以以多种方式中的任一种方式发出开始引导命令，例如当可操纵内窥镜110被远程控制时压下输入按钮或者按输入设备303上的开关，或者当可操纵内窥镜110被手动控制时压下输入按钮或者按手柄116上的开关。其他方式可以包括使用麦克风和声音识别处理器(未示出)的声音致动，声音识别处理器可以在一个或更多个计算机200中实施或者可以可操作地联接至一个或更多个计算机200；脚踏板(未示出)，其可以由操作者压下以便打开或者关闭引导；以及使用辅助显示屏160、主要显示屏600或操作者可以使用输入设备与其交互作用的另一显示屏的图形用户界面。
如果在步骤402中确定的结果为“否”(即，操作者没有启动导航引导模式)，则方法通过步骤402循环每个过程循环(或其他编程的循环)，直到做出“是”的确定，此时，方法进行到步骤403。
在步骤403处，内窥镜110的当前位置和形状(例如，弯曲)通过使用从一个或更多个光纤接收的信息由位置处理器130确定，该光纤被配备有已经***内窥镜110的内窥镜柔性体114中的形状传感器。作为这一光纤的示例，参考图5，光纤501的远端延伸至内窥镜的末端112并且其近端被附接至基点502，基点502在固定的参考系中的位置是已知的或者容易由位置处理器130确定。优选地，位置处理器130也被附接至或者其他方式联接至基点502，使得处理器130可以在该点处接收来自光纤501的弯曲传感器的信息。
由于光纤线缆501的长度是已知的，其近端被固定至已知的位置，并且其远端延伸出内窥镜的末端112，所以末端112在固定的参考系中的当前位置和取向根据如从弯曲传感器接收的信息所指示的光纤501的当前弯曲被容易地确定。尽管为了图示说明的目的仅示出了一个光纤线缆501，但是配备有应变传感器的多个光纤或具有多个芯的单个光纤被优选地采用，用于确定内窥镜主体114和远端112的形状，例如，如在之前引用并入的美国专利文献2007/0156019A1、美国专利文献2008/0212082A1和美国申请序列号12/164,829中使用形状传感器所描述的。
在步骤404处，指示柔性内窥镜110的当前构造的计算机模型通过使用存储在存储器155中的内窥镜模型并将其修改以反映从光纤接收的形状信息而产生，光纤被构造为形状传感器。优选地，所存储的和产生的内窥镜110的计算机模型两者都是三维模型。
在步骤405处，在步骤401中产生的病人计算机模型和在步骤404中产生的内窥镜计算机模型一起根据它们在固定参考系中的相应位置相对于彼此被适当地标示在辅助显示屏160上。因此，向可操纵内窥镜110的操作者提供了相对于病人身体的内窥镜110的当前形状的视图，以便为操作者在将内窥镜110导航至病人体内的目标位置提供引导。目标位置的视觉指示也可以与计算机模型或内窥镜110在其至目标位置的路径中可能遇到或者穿过的任何解剖结构或体腔的其它指示一起被显示。
病人和内窥镜计算机模型被显示在辅助显示屏160上的方式优选为由操作者可通过使用许多已知技术中的一种或者更多种选择，这些已知技术例如设置在辅助显示屏160和/或主显示屏600上的可点击图标和下拉菜单。例如，图标可以被设置在辅助显示屏160上，使得操作者可以通过使用计算机鼠标或者其他合适的设备点击合适的图标来选择病人和内窥镜110的前后视图750、斜视图751或者中部侧视图752，例如，如图7、图8和图9所示。
参考图7，病人计算机模型720和内窥镜计算机模型710的前后视图750和沿内窥镜路径(例如，嘴入口、食道、胃入口和结肠)的各种界标的指示一起被显示在辅助显示屏160上。另外，由内窥镜110捕获的实时图像(例如，图6中所示的捕获图像650被显示在主显示屏600上)也可以被显示在辅助屏160上，邻近内窥镜计算机模型710的远端711(或者看起来从内窥镜计算机模型710的远端711传出)。
除了(或者可代替)在辅助显示屏160上显示病人和内窥镜计算机模型720和710，计算机模型可以与捕获的图像650一起显示在主显示屏600上。例如，斜视图751可以被示为***主显示屏600上的捕获图像650的画中画，如图10所示，或者它可以被显示在邻近图11所示的主显示屏600上的捕获图像650的窗口的窗口中。
回过来参考图4，在步骤406中，确定操作者是否已经发出停止引导命令。操作者可以以与操作者发出启动引导命令的方式类似但互补的多种方式中的任一种方式发出停止引导命令。
如果在步骤406中确定的结果为“否”(即，操作者没有停止导航引导模式)，则方法循环至步骤403以更新内窥镜110的当前位置和弯曲，并为下一个过程循环(或者其他编程的循环)显示内窥镜计算机模型和病人计算机模型。另一方面，如果在步骤406中确定的结果为“是”(即，操作者已经停止导航引导模式)，则方法进行至步骤407处，在步骤407中，显示处理器150引起病人和内窥镜的计算机模型不再被显示在辅助显示屏160和/或主显示屏600上，或者将它们定格在显示屏上。
在整个内窥镜程序期间，从内窥镜110***病人体内开始，建议的方法和发明将相机141(在内窥镜110的远端112处)周期性捕获的图像的数字形式和在图像被捕获的时刻(例如，在30HZ的处理速率下)相对于病人解剖结构的(如位置处理器所130确定的)相机141的三维(3-D)位置和取向信息存储在存储设备155中。指示时间的时间标记也被存储在存储设备155中。最终数据库提供由它们各自在参考系中的3-D位置所标记的内窥镜图像，其可以在任何连续的时间被显示处理器150获取，用于计算访问的解剖结构的合成二维(2-D)和三维(3-D)视图。因此，内窥镜程序的全记录可以被存储在存储设备155(优选为用于此应用的大容量存储设备，例如硬盘)中，其可以在显示屏600和160上回放，用于教学和/或档案目的。
第一合成的2-D视图可以根据被称为镶嵌(mosaicking)(例如，见R.Szeliski和H.Y.Shum的具有重大影响的著作“Creating full viewpanoramic image mosaics and environment maps”，ACM SIGGRAPH，1997)的已知计算机视觉技术通过将从相邻3-D位置取得的多个内窥镜图像组合(拼接在一起)成单个较大的全景图像而被计算生成。内窥镜全景允许通过提供较大的视场改进内窥镜导航，之后内窥镜相机因此能够将对周围解剖结构的更多关注传递给外科医生。因此，此处在主显示屏600上的各种图中所示的捕获图像优选为由显示处理器150通过将从存储设备155获得的图像镶嵌而产生的全景图像，其表示相机141最新捕获的图像。
作为另外的内窥镜导航工具，显示至之前限定的病人体内的界标的操纵方向的图形指示也被提供作为本发明的一方面。
作为示例，图12图示说明了用于提供方向引导以移动可操纵内窥镜110至病人体内的一个或更多个界标的计算机执行的方法1200的流程图。在这种情况下计算机优选为包括处理器130、140、150的一个或更多个计算机200。
在步骤1201处，确定操作者是否打开界标方向引导模式。操作者可以以多种方式中的任一方式打开和/或关闭该模式，例如当可操纵内窥镜110在被远程控制时压下输入按钮或者按输入设备303上的开关，或者当可操纵内窥镜110在被手动控制时压下输入按钮或者按手柄116上的开关。其他方式可以包括使用麦克风和声音识别处理器(未示出)的声音致动，其可以被实施在一个或更多个计算机200中或者被可操作地联接至一个或更多个计算机200中；脚踏板(未示出)，其可以***作者压下以便打开或者关闭该模式；以及使用显示屏600的图形用户界面(GUI)202，操作者可以使用图2所示的输入设备201与其交互以便打开和关闭该模式和说明此处所述方法的其他方面或参数。
如果在步骤1201中确定的结果为“否”(即，界标方向引导被关闭)，则该方法在每个过程循环(或者其他编程的循环)中循环经过步骤1201，直到做出肯定的确定结果，此时，该方法进行至步骤1202。
在步骤1202，内窥镜末端112在固定参考系(即，在使用内窥镜110的医疗程序的执行过程中不移动的参考系)中的当前位置通过使用从配备有应变传感器的光纤(例如，图5中的光纤501)接收的信息由位置处理器130确定，光纤已经被***内窥镜110的柔性体114中。
内窥镜末端112在固定的参考系(例如，如之前在参考图4的403所解释的)中的当前位置和取向可以根据光纤的当前弯曲被容易地确定，光纤的当前弯曲如从它们的应变传感器接收的信息所指示，这是因为它们的长度是已知的，它们的近端被固定至已知位置(例如，如图5所示，至基点502的光纤501)，并且它们的远端延伸至内窥镜的末端112。
在步骤1203中，将内窥镜末端112的当前位置连接至每个界标的位置的向量通过使用在步骤1202处确定的内窥镜末端位置和存储在存储设备155中的界标位置由显示处理器150确定，其中引导指示被提供至所述每个界标。
通常，当操作者沿其路径引导可操纵内窥镜110从进入点至病人体内的目标位置时，界标由他或她建立。作为示例，图14示出了病人的头部和躯干的斜视图，其中可操纵内窥镜110通过病人的嘴进入，并且内窥镜末端112被引导至目标位置。在此示例中，内窥镜110已经被引导穿过食道至病人的胃。之后，进入胃并且内窥镜110被引导至目标位置。沿着该路径，使用如以下参考图13描述的方法在嘴入口和胃入口处建立界标。
可替换地，病人体内界标的位置可以基于术前测量的数据，例如通过计算机轴向断层扫描(CAT)、磁共振成像(MRI)或者X射线产生的数据。在这种情况下，病人的身体(当他或她躺在手术室手术台上时)被参考至固定的参考系，并且界标以病人的身体被登记，使得它们在固定的参考系中的位置可以由它们各自在病人身体中的位置确定。之后，界标位置被存储在存储设备155(或者显示处理器150可存取的其他存储设备)中。尽管以此方式建立界标可能费时间并且昂贵，但它允许此处描述的方法提供至内窥镜末端112前面(即，在内窥镜末端的当前位置和目标位置之间)的界标的引导，而不是内窥镜末端后面(即，在到病人体内的入口点与内窥镜末端的当前位置之间)。
在步骤1204处，在步骤1203中确定的向量被显示处理器150从固定的参考系被转换至与内窥镜末端112(或者相机141)有关的参考系。
在步骤1205处，指示在步骤1204中确定的转换向量的3-D箭头(或者其他图形表示)由显示处理器150产生。3-D箭头的方向被参考至内窥镜末端的参考系，使得它们对应于操作者使用之前所述的手柄或者机电界面116操纵内窥镜末端112的方向。
另一方面，3-D箭头的尺寸可以产生以便与转换向量的幅值成比例，使得较远的界标用较大的箭头表示。作为替代，可以产生尺寸以便与转换向量的幅值成反比，使得较远的界标用较小的箭头表示。作为另一种替代，可以产生尺寸以便每个均具有相同的长度(例如，图15中箭头1511、1512和1513所示)。
3-D箭头也可以是颜色编码的，使得每个箭头的颜色都唯一地与具体的解剖结构有关。例如，参考图15，指示朝嘴入口界标的操纵方向的3-D箭头1511可以是红色的，指示朝胃入口界标的操纵方向的3-D箭头1512可以是黄色的，并且指示朝结肠入口界标的操纵方向的3-D箭头1513可以是蓝色的。可替换地，显示屏600的边缘可以被着色以对应于界标。此处使用的颜色方案可以是操作者限定的或者对应于在MR观察器上使用的颜色方案。
在步骤1206处，在步骤1205中产生的3-D箭头(或者其他图形表示)和当前图像(在内窥镜末端112处当前捕获并由图像处理器140处理的图像，或者如之前所述的使用当前和之前捕获的图像镶嵌的全景图像)由显示处理器150显示在主显示屏600上。另外，界标的之前捕获的图像也可以可选择地或者自动地从存储设备155取得并且临近或者接近它们各自的3-D箭头被显示。3-D箭头的位置可以被显示在显示屏600上，以便与转换向量的取向相关，使得例如指向左边的箭头被定位在图像的左侧，并且指向右边的箭头被定位在图像的右侧。可替换地，3-D箭头可以都被定位在图像的同一侧附近或者在图像周围间隔开。在显示屏600的边缘被着色以对应于界标的情况下，对应于每个界标的3-D箭头被显示在其各自的被着色边缘附近，使得3-D箭头与界标的联系是清楚的。
除了将界标显示为主显示屏600上的当前内窥镜图像上或附近的3-D箭头，界标可以与被显示在辅助显示屏160上的3-D病人和内窥镜计算机模型一起被显示，其中存储的界标的位置被显示在它们相对于病人计算机模型的合适位置中。例如，界标可以通过具有界标名称的文字标识、具有与界标一起被捕获的存储的内窥镜图像的缩略图、与界标的类型相关或者与界标的近似3-D模型相关的小图标来指示。
操作者可以选择哪个界标(如果有的话)被显示，例如使用输入设备201和GUI 202来从菜单选择一个显示部分，包括：所有界标图像均被显示，无界标图像显示，和仅最近的界标图像被显示。可替换地，操作者可以不被提供被预选和编程到显示处理器150中的选项和选择。用于在显示屏600上显示3-D箭头的位置、尺寸、颜色和其他选项可以由操作者通过使用如图2所示的输入设备201和GUI 202来选择。
作为这种显示的示例，图15示出了将当前图像1501(即，由内窥镜110当前捕获的图像或者别处描述的全景图像)以及箭头1511、1512和1513显示在其上的显示屏600，箭头1511、1512和1513分别提供至嘴入口、胃入口和结肠入口界标的方向引导。另外，结肠入口界标的之前捕获的图像1523被示出为被显示在邻近其相关箭头1513的窗口中，其恰好是至内窥镜末端112的当前位置最近的界标。
在步骤1207处，确定操作者是否已关闭界标方向引导模式。操作者可以以与操作者打开界标引导模式的方式类似但相反的多种方式(例如，将开关放置在“关”与“开”的位置)中的任一种方式关闭该模式。
如果在步骤1207中确定的结果为“否”(即，界标方向引导模式还没有***作者关闭)，则该方法循环回步骤1202以便当内窥镜末端112正被引导至目标位置时更新界标方向向量(例如，图15中的1511、1512、1513)并将转换向量的更新图形表示以及内窥镜110捕获的当前图像显示在显示屏600上。另一方面，如果在步骤1207中确定的结果为“是”(即，界标方向引导模式已经***作者关闭)，则该方法前进至步骤1208，在步骤1208中，显示处理器150引起转换向量的图形表示和相应的界标捕获图像不再被显示在显示屏600上。
将意识到，即使界标方向引导模式可能被关闭，操作者仍可以朝目标位置引导可操纵内窥镜110，并且在内窥镜末端112处捕获(并由图像处理器130处理)的连续更新的图像仍可以被显示处理器150显示在显示屏600上。例如，参考图15，在操作者关闭界标方向引导模式之后，显示屏600仍可以使当前或全景图像1501显示在其上，但箭头1511、1512、1513和界标图像1523则不再被显示。
还应意识到，操作者可以交互地建立界标，当朝目标位置引导可操纵内窥镜110时可以在任何时刻提供该界标的方向引导。具体地，当界标方向引导模式打开以及关闭时可以执行界标建立。
作为示例，图13图示说明了当可操纵内窥镜110被引导穿过病人身体时用于建立解剖结构界标的计算机执行的方法1300。与参考图12描述的方法1200的情况类似，该情况下的计算机优选为包括处理器130、140、150的一个或更多个计算机200。具体地，其优选与由显示处理器150执行的其他活动一起由显示处理器150执行，如此处所述。
在步骤1301处，接收来自操作者的界标建立请求。操作者可以以各种已知的交互技术中的任一种启动请求，这些已知的交互技术包括之前参考打开和关闭界标方向引导模式描述的那些交互技术(但优选为不同的技术，以便不混淆两个活动)。
在步骤1302处，内窥镜末端112在固定的参考系中的当前位置被确定。注意，如果界标方向引导模式被打开，这个活动与方法1200的步骤1202相同，并且因此它不必被执行，因为来自步骤1202的结果可以被用在这种情况下(即，它不必在相同的过程循环中被执行第二次或者两次)。
在步骤1303处，内窥镜末端112的当前位置被存储在存储设备155中，并被参考为请求建立的界标的位置。在步骤1304处，在内窥镜末端112处捕获的当前图像被识别为界标的图像，并且在步骤1305中，图像的信息也被存储在存储设备155中，并被参考为请求建立的界标的图像。
在执行方法1300的过程中可以意识到，活动1302和1304发生的顺序是不重要的。实际上，图像处理器140可以以不同于位置处理器130确定内窥镜末端112的当前位置的速率处理捕获的图像。因此，两个活动可以在时间以及他们发生的次序上不同。在任何事件中，当在步骤1301中接收界标建立请求时，内窥镜末端112的下一个确定的位置被存储在存储设备155中，并且从图像处理器130接收的下一个捕获图像被存储在存储设备155中，而不关心哪个首先发生。
当朝病人体内的目标位置导航内窥镜110时，除了建立界标之外，当内窥镜末端从解剖结构的一端移动到另一端时，解剖结构(例如，食道、胃、结肠等)可以使用内窥镜末端112的位置信息来测量。测量的解剖结构的信息可以被用来将3-D模型或者解剖结构的术前测量数据对齐和定制到它们病人体内的合适位置，并将结构以及3-D病人计算机模型显示在辅助显示屏160上。作为示例，图14示出了嘴和胃入口界标的测量位置如何与内窥镜的中间形状一起被用来对齐和定制将嘴连接至胃入口的食道的3-D模型。之后，食道模型作为3-D弯曲管1401连同病人和内窥镜110的3-D模型能够一起被显示在辅助显示屏160上。
尽管已经关于一个或更多个优选实施例描述了本发明的各方面，但应该理解，本发明有权在所附权利要求的整个范围内被完全保护。

Claims (60)

1.一种用于提供引导以朝一个或更多个界标操纵内窥镜设备的由计算机执行的方法，所述方法包括：
确定所述内窥镜设备上的参考点相对于参考系的当前位置；
确定从所述参考点的所述当前位置到相对于所述参考系的第一界标的位置的第一向量；
将所述第一向量从所述参考系转换为对应于图像捕获设备的透视图的图像参考系，所述图像捕获设备设置在所述内窥镜设备的末端处；以及
将转换的第一向量的图形表示与由所述图像捕获设备捕获的当前图像一起显示在显示器上，以便指示朝所述第一界标操纵所述内窥镜设备的所述末端的方向。
2.根据权利要求1所述的方法，其中配备有应变传感器的一个或更多个光纤延伸穿过所述内窥镜设备以提供所述内窥镜设备的位置和形状信息。
3.根据权利要求1所述的方法，其中所述当前图像是立体图像，所述显示器是三维显示器，并且所述转换的第一向量的所述图形表示是指向朝所述第一界标操纵所述内窥镜设备的所述末端的方向的三维箭头。
4.根据权利要求1所述的方法，其进一步包括在确定所述第一向量之前：
接收建立所述第一界标的指示；
在接收建立所述第一界标的所述指示时，确定所述参考点的位置；
在接收建立所述第一界标的所述指示时，将所述参考点的所述位置存储在存储设备中；以及
将存储的位置参考为所述第一界标的位置。
5.根据权利要求4所述的方法，其进一步包括在确定所述第一向量之前：
在接收建立所述第一界标的所述指示之后的第一机会捕获所述第一界标的图像；以及
将所述第一界标的被捕获图像存储在所述存储设备中；
其中将所述转换的第一向量的所述图形表示与所述当前图像一起显示在所述显示器上进一步包括将所述第一界标的所述被捕获图像靠近所述转换的第一向量的所述图形表示显示在所述显示器上。
6.根据权利要求1所述的方法，其进一步包括：
确定从所述参考点的所述当前位置到相对于所述参考系的第二界标的位置的第二向量；
将所述第二向量从所述参考系转换为所述图像参考系；以及
将转换的第二向量的图形表示与所述当前图像一起显示在所述显示器上，以便指示朝所述第二界标操纵所述内窥镜设备的所述末端的方向。
7.根据权利要求1所述的方法，其进一步包括：
周期性地重复确定所述当前参考点位置、确定所述第一向量、转换所述第一向量和将转换的第一向量的所述图形表示与所述当前图像一起显示在所述显示器上，直到接收到停止这种周期性重复动作的指示。
8.根据权利要求1所述的方法，其中所述转换的第一向量的所述图形表示的尺寸与所述转换的第一向量的幅值有关。
9.根据权利要求1所述的方法，其中所述转换的第一向量的所述图形表示的颜色是与所述第一界标相关联的颜色。
10.根据权利要求1所述的方法，其中显示所述转换的第一向量的所述图形表示包括邻近显示的当前图像的一侧显示所述图形表示，其指示朝所述第一界标操纵所述内窥镜设备的所述末端的方向。
11.根据权利要求1所述的方法，其进一步包括：
在确定从所述参考点的所述当前位置到多个界标的位置的向量之前，将包括所述第一界标的位置的所述多个界标的位置存储在存储设备中。
12.根据权利要求11所述的方法，其中所述多个界标的位置基于术前测量数据。
13.根据权利要求1所述的方法，其进一步包括：将所述病人和所述第一界标的计算机模型显示在第二显示器上。
14.根据权利要求13所述的方法，其中所述转换的第一向量的所述图形表示的颜色是与显示在所述第二显示器上的所述第一界标的所述计算机模型相同的颜色。
15.根据权利要求1所述的方法，其进一步包括：将所述病人和所述第一界标的计算机模型显示在所述显示器上。
16.根据权利要求15所述的方法，其中所述转换的第一向量的所述图形表示的颜色是与显示在所述显示器上的所述第一界标的所述计算机模型相同的颜色。
17.一种***，包括：
显示器；
内窥镜设备；以及
一个或更多个处理器，其适于确定所述内窥镜设备上的参考点相对于参考系的当前位置，确定从所述参考点的所述当前位置到第一界标相对于所述参考系的位置的第一向量，将所述第一向量从所述参考系转换为对应于设置在所述内窥镜设备的末端的图像捕获设备的透视图的图像参考系，以及将转换的第一向量的图形表示与由所述图像捕获设备捕获的当前图像显示在所述显示器上以便指示朝所述第一界标操纵所述内窥镜设备的所述末端的方向。
18.根据权利要求17所述的***，其中所述一个或更多个处理器包括位置处理器，所述***进一步包括：
配备有应变传感器的一个或更多个光纤，其中所述一个或更多个光纤延伸穿过所述内窥镜设备以提供所述内窥镜设备的位置和形状信息给所述位置处理器。
19.根据权利要求17所述的***，其中所述当前图像是立体图像，所述显示器是三维显示器，并且所述转换的第一向量的所述图形表示是指向朝所述第一界标操纵所述内窥镜设备的所述末端的方向的三维箭头。
20.根据权利要求17所述的***，其中所述一个或更多个处理器包括显示处理器，所述***进一步包括：
存储设备；
其中所述显示处理器适于接收建立所述第一界标的指示，在接收建立所述第一界标的所述指示的过程循环中确定所述内窥镜设备上所述参考点的位置，将所述参考点的确定的位置存储在所述存储设备中，以及将存储的位置参考为所述第一界标的位置。
21.根据权利要求20所述的***，其中所述显示处理器适于在接收建立所述第一界标的所述指示的过程循环内将由所述图像捕获设备捕获的所述第一界标的图像存储在所述存储设备中，并且随后当所述转换的第一向量与所述当前图像一起被显示在所述显示器上时，获取所述第一界标的被存储捕获图像，并且该被存储捕获图像显示在所述转换的第一向量的所述图形表示附近。
22.根据权利要求17所述的***，其中所述处理器适于确定从所述内窥镜设备上的所述参考点的所述当前位置到相对于所述参考系的第二界标的位置的第二向量，将所述第二向量从所述参考系转换为所述图像参考系，并将转换的第二向量的图形表示与所述当前图像一起显示在所述显示器上，以便指示朝所述第二界标操纵所述内窥镜设备的所述末端的方向。
23.根据权利要求17所述的***，其中所述一个或更多个处理器适于在过程循环的每个顺序中执行确定所述当前参考点、确定所述第一向量、转换所述第一向量以及将转换的第一向量的所述图形表示与所述当前图像一起显示在所述显示器上。
24.根据权利要求17所述的***，其中所述一个或更多个处理器适于显示所述转换的第一向量的所述图形表示，使得所述图形表示的尺寸与所述转换的第一向量的幅值有关。
25.根据权利要求17所述的***，其中所述一个或更多个处理器适于显示所述转换的第一向量的所述图形表示，使得所述图形表示的颜色是与所述第一界标相关联的颜色。
26.根据权利要求17所述的***，其中所述一个或更多个处理器适于将所述转换的第一向量的所述图形表示显示在所显示的当前图像的一侧，其指示朝所述第一界标操纵所述内窥镜设备的所述末端的方向。
27.根据权利要求17所述的***，进一步包括：
存储设备；
其中所述一个或更多个处理器适于在确定从所述参考点的当前位置到多个界标的位置的向量之前，将包括所述第一界标的位置的所述多个界标的位置存储在所述存储设备中。
28.根据权利要求27所述的***，其中所述多个界标的所述位置基于术前测量数据。
29.根据权利要求17所述的***，其中所述一个或更多个处理器适于将病人和所述第一界标的计算机模型显示在第二显示器上。
30.根据权利要求29所述的***，其中所述一个或更多个处理器适于将所述第一向量的所述图形表示显示在所述显示器上，使得所述转换的第一向量的所述图形表示的颜色是与显示在所述第二显示器上的所述第一界标的所述计算机模型相同的颜色。
31.根据权利要求17所述的***，其中所述一个或更多个处理器适于将病人和所述第一界标的计算机模型显示在所述显示器上。
32.根据权利要求31所述的***，其中所述一个或更多个处理器适于将所述第一向量的所述图形表示显示在所述显示器上，使得所述转换的第一向量的所述图形表示的颜色是与显示在所述显示器上的所述第一界标的所述计算机模型相同的颜色。
33.一种用于在内窥镜导航中辅助操作者的计算机执行的方法，所述方法包括：
将病人的计算机模型参考至参考系；
确定内窥镜设备相对于所述参考系的当前位置和形状；
根据确定的当前位置和形状产生所述内窥镜设备的计算机模型；以及
将所述内窥镜设备的计算机模型和所述病人的计算机模型显示在显示器上，以便为所述操作者提供内窥镜导航辅助。
34.根据权利要求33所述的方法，其中将所述病人的所述计算机模型参考至所述参考系包括：
将所述病人身上的一个或更多个点参考至所述参考系；以及
将所述病人的所述计算机模型的对应点与所述病人身上的所述一个或更多个参考点中的每一个相关联。
35.根据权利要求34所述的方法，其中所述病人的所述计算机模型是三维计算机模型，并且将所述病人的所述计算机模型参考至所述参考系包括：
使用所述病人和所述病人计算机模型的相关参考点将所述病人的所述计算机模型与所述参考系中的所述病人对齐。
36.根据权利要求34所述的方法，其中所述病人的所述计算机模型是三维计算机模型，并且将所述病人的所述计算机模型参考至所述参考系包括：
通过使得所述病人计算机模型和所述病人的相关参考点叠覆，使所述病人的计算机模型符合所述病人。
37.根据权利要求34所述的方法，其中将所述病人身上的一个或更多个点参考至所述参考系包括：
当所述内窥镜设备上的点被触碰至所述病人身上的所述一个或更多个点中的对应点时，确定所述内窥镜设备上的所述点在所述参考系中的位置。
38.根据权利要求33所述的方法，其中配备有应变传感器的一个或更多个光纤延伸穿过所述内窥镜设备，以便提供所述内窥镜设备的形状信息。
39.根据权利要求33所述的方法，其中配备有应变传感器的一个或更多个光纤被附接至所述内窥镜设备，以便提供所述内窥镜设备的位置信息。
40.根据权利要求33所述的方法，其中所述内窥镜设备具有远端末端和图像捕获设备，所述图像捕获设备被配置以便捕获来自所述远端末端的透视图的图像，所述方法进一步包括：
周期性地使用所述图像捕获设备捕获图像，并将捕获的图像存储在存储设备中；以及
在捕获图像时确定所述图像捕获设备的位置，并将所述位置存储在所述存储设备中。
41.根据权利要求40所述的方法，其进一步包括：
将对应于捕获图像时刻的时间标记存储在所述存储设备中。
42.根据权利要求40所述的方法，其进一步包括：
通过将多个捕获图像镶嵌在一起来计算来自存储在所述存储设备中的捕获图像的全景图像。
43.根据权利要求42所述的方法，其进一步包括：
将所述全景图像显示在所述显示器上的第一区域中；以及
将所述内窥镜设备的计算机模型和所述病人的计算机模型显示在所述显示器上的第二区域中。
44.根据权利要求42所述的方法，其进一步包括：
将所述全景图像显示在所述显示器上；以及
将所述内窥镜设备的计算机模型和所述病人的计算机模型作为所述全景图像上的画中画显示在所述显示器上。
45.根据权利要求42所述的方法，其进一步包括：
显示所述全景图像以便看起来来自所述内窥镜设备的所述计算机模型的远端末端的投影被显示在所述显示器上。
46.根据权利要求33所述的方法，其进一步包括：
为所述病人体内的解剖结构上的至少两个点确定在所述参考系中的位置；以及
根据为所述解剖结构上的至少两个点确定的位置，将所述解剖结构的计算机模型与所述病人的计算机模型和所述内窥镜设备的计算机模型一起显示在所述显示器上。
47.一种***，包括：
显示器；
内窥镜设备；以及
处理器，其适于将病人的计算机模型参考至参考系，确定所述内窥镜设备相对于所述参考系的当前位置和形状，根据确定的当前位置和形状产生所述内窥镜设备的计算机模型，并且将所述内窥镜设备的计算机模型和所述病人的计算机模型显示在所述显示器上，以便为所述***的操作者提供内窥镜导航辅助。
48.根据权利要求47所述的***，其中所述处理器适于通过以下方式将所述病人的所述计算机模型参考至所述参考系：
接收所述病人身上的一个或更多个点的信息并处理所接收的信息，以便将所述一个或更多个点参考至所述参考系；以及
将所述病人的所述计算机模型的对应点与所述病人身上的所述一个或更多个参考点中的每一个点相关联。
49.根据权利要求48所述的***，其中所述病人的所述计算机模型是三维计算机模型，并且所述处理器适于通过以下方式将所述病人的所计算机模型参考至所述参考系：
使用所述病人和所述病人计算机模型的相关参考点将所述病人的所述计算机模型与所述参考系中的病人对齐。
50.根据权利要求48所述的***，其中所述病人的所述计算机模型是三维计算机模型，并且所述处理器适于通过以下方式将所述病人的所述计算机模型参考至所述参考系：
通过使得所述病人计算机模型和所述病人的所述相关参考点叠覆，使所述病人的所述计算机模型符合所述病人。
51.根据权利要求48所述的***，其中所述处理器适于通过以下方式将所述病人身上的所述一个或更多个点参考至所述参考系：
当所述内窥镜设备上的点被触碰到所述病人身上的所述一个或更多个点中的对应的一个点时，确定所述内窥镜设备上的点在所述参考系中的位置。
52.根据权利要求47所述的***，其进一步包括：
配备有应变传感器的一个或更多个光纤，所述一个或更多个光纤延伸穿过所述内窥镜设备，以便提供所述内窥镜设备的形状信息。
53.根据权利要求47所述的***，其进一步包括：
配备有应变传感器的一个或更多个光纤，所述一个或更多个光纤被附接至所述内窥镜设备，以便提供所述内窥镜设备的位置信息。
54.根据权利要求47所述的***，其进一步包括：
图像捕获设备，其设置在所述内窥镜设备的远端末端，以便捕获来自所述远端末端的透视图的图像；以及
存储设备；
其中所述处理器适于周期性地用所述图像捕获设备捕获图像，并将捕获的图像存储在所述存储设备中，并且在捕获图像的时刻确定所述图像捕获设备的位置，并将所述位置存储在所述存储设备中。
55.根据权利要求54所述的***，其中所述处理器适于将对应于捕获图像的时刻的时间标记存储在所述存储设备中。
56.根据权利要求54所述的***，其中所述处理器适于通过将多个所述捕获图像镶嵌在一起，来计算来自存储在所述存储设备中的捕获图像的全景图像。
57.根据权利要求56所述的***，其中所述处理器适于将所述全景图像显示在所述显示器上的第一区域中，并将所述内窥镜设备的计算机模型和所述病人的计算机模型显示在所述显示器上的第二区域中。
58.根据权利要求56所述的***，其中所述处理器适于将所述全景图像显示在所述显示器上，并将所述内窥镜设备的计算机模型和所述病人的计算机模型作为所述全景图像上的画中画显示在所述显示器上。
59.根据权利要求56所述的***，其中所述处理器适于显示所述全景图像以便看起来来自所述内窥镜设备的所述计算机模型的远端末端的投影被显示在所述显示器上。
60.根据权利要求47所述的***，其中所述处理器适于为所述病人体内的解剖结构上的至少两个点确定在在所述参考系中的位置，并根据为所述解剖结构上的所述至少两个点确定的位置，将所述解剖结构的计算机模型与所述病人的计算机模型和所述内窥镜设备的计算机模型一起显示在所述显示器上。
CN201080023187.7A 2009-03-26 2010-03-17 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的*** Active CN102449666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510994346.2A CN105596005B (zh) 2009-03-26 2010-03-17 用于内窥镜导航的***

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US12/411,501 2009-03-26
US12/411,515 2009-03-26
US12/411,515 US8337397B2 (en) 2009-03-26 2009-03-26 Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US12/411,501 US10004387B2 (en) 2009-03-26 2009-03-26 Method and system for assisting an operator in endoscopic navigation
PCT/US2010/027660 WO2010111090A1 (en) 2009-03-26 2010-03-17 System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510994346.2A Division CN105596005B (zh) 2009-03-26 2010-03-17 用于内窥镜导航的***

Publications (2)

Publication Number Publication Date
CN102449666A true CN102449666A (zh) 2012-05-09
CN102449666B CN102449666B (zh) 2016-01-20

Family

ID=42244093

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201080023187.7A Active CN102449666B (zh) 2009-03-26 2010-03-17 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的***
CN201510994346.2A Active CN105596005B (zh) 2009-03-26 2010-03-17 用于内窥镜导航的***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510994346.2A Active CN105596005B (zh) 2009-03-26 2010-03-17 用于内窥镜导航的***

Country Status (4)

Country Link
EP (5) EP3859682A1 (zh)
KR (2) KR101903307B1 (zh)
CN (2) CN102449666B (zh)
WO (1) WO2010111090A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430078A (zh) * 2011-03-08 2013-12-04 奥林匹斯冬季和Ibe有限公司 用于显示视频内窥镜的视频内窥镜图像数据的方法和***
CN104427952A (zh) * 2012-05-14 2015-03-18 直观外科手术操作公司 用于使用形状感测的变形补偿的***和方法
CN104486991A (zh) * 2012-05-18 2015-04-01 皇家飞利浦有限公司 使用光纤形状感测对体素加标签
CN104684471A (zh) * 2012-10-02 2015-06-03 皇家飞利浦有限公司 使用光学形状传感器的体积映射
CN104684502A (zh) * 2012-09-26 2015-06-03 史赛克公司 包括光学传感器和非光学传感器的导航***
CN104736038A (zh) * 2012-10-16 2015-06-24 奥林巴斯株式会社 观察装置、观察支援装置、观察支援方法以及程序
CN104853820A (zh) * 2012-12-14 2015-08-19 皇家飞利浦有限公司 位置确定装置
CN105473097A (zh) * 2013-07-29 2016-04-06 直观外科手术操作公司 具有冗余感测的形状传感器***
CN106029000A (zh) * 2014-02-21 2016-10-12 阿克伦大学 用于引导医疗干预的成像和显示***
CN106137103A (zh) * 2016-07-18 2016-11-23 王存金 内窥镜及内窥镜***
CN106170265A (zh) * 2014-02-04 2016-11-30 直观外科手术操作公司 用于介入工具的虚拟导航的组织的非刚性变形的***和方法
CN106794045A (zh) * 2014-09-09 2017-05-31 直观外科手术操作公司 柔性医疗器具
CN107133941A (zh) * 2017-04-18 2017-09-05 重庆金山医疗器械有限公司 一种无线胶囊内窥镜图像突出血管奇变以及凸起部位的显示方法
CN108324229A (zh) * 2012-08-07 2018-07-27 柯惠有限合伙公司 微波消融***
CN108577977A (zh) * 2018-03-19 2018-09-28 山东大学 穿刺针及穿刺针运动轨迹的三维重建方法及***
CN108742842A (zh) * 2013-01-16 2018-11-06 史赛克公司 指示视线误差的导航***和方法
CN108742844A (zh) * 2012-09-07 2018-11-06 杰尼索尼克斯公司 用于针结构在组织中的受控部署的方法和***
CN110742690A (zh) * 2019-09-12 2020-02-04 东南大学苏州医疗器械研究院 一种用于配置内窥镜的方法及终端设备
CN111936030A (zh) * 2018-06-22 2020-11-13 奥林巴斯株式会社 界标估计方法及内窥镜装置
CN113014871A (zh) * 2021-02-20 2021-06-22 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助***
CN114402378A (zh) * 2019-09-09 2022-04-26 助视会有限公司 手术模拟器***和方法
US11559358B2 (en) 2016-05-26 2023-01-24 Mako Surgical Corp. Surgical assembly with kinematic connector
US11622800B2 (en) 2013-01-16 2023-04-11 Mako Surgical Corp. Bone plate for attaching to an anatomic structure

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5944395B2 (ja) * 2010-10-08 2016-07-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 動的な器具追跡のための一体化されたセンサを持つ柔軟なテザー
CA2827542A1 (en) 2011-02-17 2012-08-23 Eon Medical Ltd. System and method for performing an automatic and remote trained personnel guided medical examination
JP6254846B2 (ja) * 2011-02-17 2017-12-27 タイト ケア リミテッド 自動の及び自己ガイドされる医学検査を行うためのシステム及び方法
JP6195822B2 (ja) * 2011-03-31 2017-09-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療処置を支援する形状検出
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
EP2538398B1 (en) * 2011-06-19 2015-08-26 Centrum Transferu Technologii Medycznych Park Technologiczny Sp. z o.o. System and method for transesophageal echocardiography simulations
CN103765159B (zh) * 2011-09-02 2017-08-29 皇家飞利浦有限公司 使用概率体素绘图的快速密集点云成像
WO2013057620A1 (en) * 2011-10-20 2013-04-25 Koninklijke Philips Electronics N.V. Shape sensing assisted medical procedure
RU2668490C2 (ru) * 2012-04-19 2018-10-01 Конинклейке Филипс Н.В. Инструменты наведения для ручного управления эндоскопом с помощью 3d-изображений, полученных до операции и во время операции
EP2866642B1 (en) * 2012-06-28 2017-09-13 Koninklijke Philips N.V. Fiber optic sensor guided navigation for vascular visualization and monitoring
JP6132585B2 (ja) * 2013-02-21 2017-05-24 オリンパス株式会社 被検体挿入システム
WO2015061756A1 (en) * 2013-10-24 2015-04-30 Auris Surgical Robotics, Inc. System for robotic-assisted endolumenal surgery and related methods
US10507056B2 (en) * 2015-10-01 2019-12-17 General Electric Company System and method for representation and visualization of catheter applied force and power
CN108074259A (zh) * 2016-11-14 2018-05-25 镱钛科技股份有限公司 植入物环景影像检视方法及其***
CN117717416A (zh) * 2017-02-01 2024-03-19 直观外科手术操作公司 图像引导手术的配准***和方法
GB2599325B (en) 2017-02-07 2022-08-03 Cmr Surgical Ltd Mounting an endoscope to a surgical robot
DE102017103198A1 (de) 2017-02-16 2018-08-16 avateramedical GmBH Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
JP7179837B2 (ja) * 2018-04-17 2022-11-29 富士フイルム株式会社 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法
US11147629B2 (en) * 2018-06-08 2021-10-19 Acclarent, Inc. Surgical navigation system with automatically driven endoscope
CN114770596B (zh) * 2022-04-28 2023-08-11 东南大学 基于主动视觉和听觉的医疗行为采集机器人及控制方法
CN115670537A (zh) * 2022-11-18 2023-02-03 中国科学院深圳先进技术研究院 一种末端定位的多自由度柔性活检钳

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638819A (en) * 1995-08-29 1997-06-17 Manwaring; Kim H. Method and apparatus for guiding an instrument to a target
US5776050A (en) * 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
US6295368B1 (en) * 1998-04-10 2001-09-25 Olympus Optical Co., Ltd. Endoscopic image processing system capable of estimating absolute shape of object entity
US20010027272A1 (en) * 1999-03-30 2001-10-04 Olympus Optical Co., Ltd. Navigation apparatus and surgical operation image acquisition/display apparatus using the same
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
US20030055317A1 (en) * 1998-09-03 2003-03-20 Olympus Optical Co., Ltd. System for detecting the shape of an endoscope using source coils and sense coils
US20030114730A1 (en) * 2001-12-14 2003-06-19 Hale Eric L. Interface for a variable direction of view endoscope
CN1550221A (zh) * 2003-05-20 2004-12-01 用手术中图像在手术前三维图像中进行无标记引导的方法
WO2007113055A2 (de) * 2006-03-29 2007-10-11 Siemens Aktiengesellschaft Verfahren zur positionierung einer magnetisch mittels eines magnetspulensystems navigierbaren endoskopie-kapsel
US20080262312A1 (en) * 2007-04-17 2008-10-23 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
DE10085151T1 (de) * 1999-10-29 2002-10-10 Advanced Sensor Technology Llc Lichtwellenleiter-Navigationssystem
US6610007B2 (en) * 2000-04-03 2003-08-26 Neoguide Systems, Inc. Steerable segmented endoscope and method of insertion
US6468203B2 (en) 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
AU2001292836A1 (en) * 2000-09-23 2002-04-02 The Board Of Trustees Of The Leland Stanford Junior University Endoscopic targeting method and system
US7998062B2 (en) * 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
EP1504712B1 (en) * 2002-10-29 2009-12-02 Olympus Corporation Endoscope information processor and processing method
JP2004251779A (ja) * 2003-02-20 2004-09-09 Fuji Photo Optical Co Ltd 長尺可撓部材の三次元形状検出装置
US7232409B2 (en) * 2003-11-20 2007-06-19 Karl Storz Development Corp. Method and apparatus for displaying endoscopic images
EP1691666B1 (en) * 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
CN100525699C (zh) * 2004-09-27 2009-08-12 奥林巴斯株式会社 弯曲控制装置
EP1918870A4 (en) * 2005-08-22 2012-05-02 Olympus Corp IMAGE DISPLAY DEVICE
WO2007036925A1 (en) * 2005-09-29 2007-04-05 Corindus Ltd. Methods and apparatuses for treatment of hollow organs
US8190238B2 (en) * 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US8784303B2 (en) * 2007-01-29 2014-07-22 Intuitive Surgical Operations, Inc. System for controlling an instrument using shape sensors
WO2008097540A2 (en) * 2007-02-02 2008-08-14 Hansen Medical, Inc. Robotic surgical instrument and methods using bragg fiber sensors
US8050523B2 (en) * 2007-04-20 2011-11-01 Koninklijke Philips Electronics N.V. Optical fiber shape sensing systems

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5776050A (en) * 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
US5638819A (en) * 1995-08-29 1997-06-17 Manwaring; Kim H. Method and apparatus for guiding an instrument to a target
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
US6295368B1 (en) * 1998-04-10 2001-09-25 Olympus Optical Co., Ltd. Endoscopic image processing system capable of estimating absolute shape of object entity
US20030055317A1 (en) * 1998-09-03 2003-03-20 Olympus Optical Co., Ltd. System for detecting the shape of an endoscope using source coils and sense coils
US20010027272A1 (en) * 1999-03-30 2001-10-04 Olympus Optical Co., Ltd. Navigation apparatus and surgical operation image acquisition/display apparatus using the same
US20030114730A1 (en) * 2001-12-14 2003-06-19 Hale Eric L. Interface for a variable direction of view endoscope
CN1550221A (zh) * 2003-05-20 2004-12-01 用手术中图像在手术前三维图像中进行无标记引导的方法
WO2007113055A2 (de) * 2006-03-29 2007-10-11 Siemens Aktiengesellschaft Verfahren zur positionierung einer magnetisch mittels eines magnetspulensystems navigierbaren endoskopie-kapsel
US20080262312A1 (en) * 2007-04-17 2008-10-23 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430078A (zh) * 2011-03-08 2013-12-04 奥林匹斯冬季和Ibe有限公司 用于显示视频内窥镜的视频内窥镜图像数据的方法和***
CN104427952A (zh) * 2012-05-14 2015-03-18 直观外科手术操作公司 用于使用形状感测的变形补偿的***和方法
CN104427952B (zh) * 2012-05-14 2018-06-12 直观外科手术操作公司 用于使用形状感测的变形补偿的***和方法
CN104486991A (zh) * 2012-05-18 2015-04-01 皇家飞利浦有限公司 使用光纤形状感测对体素加标签
CN108324229A (zh) * 2012-08-07 2018-07-27 柯惠有限合伙公司 微波消融***
US11678934B2 (en) 2012-08-07 2023-06-20 Covidien Lp Microwave ablation system
US11583243B2 (en) 2012-09-07 2023-02-21 Gynesonics, Inc. Methods and systems for controlled deployment of needle structures in tissue
US11890134B2 (en) 2012-09-07 2024-02-06 Gynesonics, Inc. Methods and systems for controlled deployment of needle structures in tissue
CN108742844A (zh) * 2012-09-07 2018-11-06 杰尼索尼克斯公司 用于针结构在组织中的受控部署的方法和***
CN108742844B (zh) * 2012-09-07 2022-05-06 杰尼索尼克斯公司 用于针结构在组织中的受控部署的方法和***
US10575906B2 (en) 2012-09-26 2020-03-03 Stryker Corporation Navigation system and method for tracking objects using optical and non-optical sensors
CN104684502A (zh) * 2012-09-26 2015-06-03 史赛克公司 包括光学传感器和非光学传感器的导航***
US11529198B2 (en) 2012-09-26 2022-12-20 Stryker Corporation Optical and non-optical sensor tracking of objects for a robotic cutting system
CN104684471A (zh) * 2012-10-02 2015-06-03 皇家飞利浦有限公司 使用光学形状传感器的体积映射
CN104736038A (zh) * 2012-10-16 2015-06-24 奥林巴斯株式会社 观察装置、观察支援装置、观察支援方法以及程序
CN104853820A (zh) * 2012-12-14 2015-08-19 皇家飞利浦有限公司 位置确定装置
US11369438B2 (en) 2013-01-16 2022-06-28 Stryker Corporation Navigation systems and methods for indicating and reducing line-of-sight errors
CN108742842A (zh) * 2013-01-16 2018-11-06 史赛克公司 指示视线误差的导航***和方法
US11622800B2 (en) 2013-01-16 2023-04-11 Mako Surgical Corp. Bone plate for attaching to an anatomic structure
CN105473097A (zh) * 2013-07-29 2016-04-06 直观外科手术操作公司 具有冗余感测的形状传感器***
CN114343608A (zh) * 2013-07-29 2022-04-15 直观外科手术操作公司 具有冗余感测的形状传感器***
CN106170265A (zh) * 2014-02-04 2016-11-30 直观外科手术操作公司 用于介入工具的虚拟导航的组织的非刚性变形的***和方法
CN106170265B (zh) * 2014-02-04 2020-06-30 直观外科手术操作公司 用于介入工具的虚拟导航的组织的非刚性变形的***和方法
CN106029000A (zh) * 2014-02-21 2016-10-12 阿克伦大学 用于引导医疗干预的成像和显示***
CN106794045B (zh) * 2014-09-09 2021-02-19 直观外科手术操作公司 柔性医疗器具
US10709514B2 (en) 2014-09-09 2020-07-14 Intuitive Surgical Operations, Inc. Flexible medical instrument
CN106794045A (zh) * 2014-09-09 2017-05-31 直观外科手术操作公司 柔性医疗器具
US11559358B2 (en) 2016-05-26 2023-01-24 Mako Surgical Corp. Surgical assembly with kinematic connector
CN106137103A (zh) * 2016-07-18 2016-11-23 王存金 内窥镜及内窥镜***
CN107133941A (zh) * 2017-04-18 2017-09-05 重庆金山医疗器械有限公司 一种无线胶囊内窥镜图像突出血管奇变以及凸起部位的显示方法
CN108577977B (zh) * 2018-03-19 2020-10-30 山东大学 穿刺针及穿刺针运动轨迹的三维重建方法及***
CN108577977A (zh) * 2018-03-19 2018-09-28 山东大学 穿刺针及穿刺针运动轨迹的三维重建方法及***
CN111936030A (zh) * 2018-06-22 2020-11-13 奥林巴斯株式会社 界标估计方法及内窥镜装置
CN114402378A (zh) * 2019-09-09 2022-04-26 助视会有限公司 手术模拟器***和方法
CN114402378B (zh) * 2019-09-09 2023-02-28 助视会有限公司 手术模拟器***和方法
CN110742690A (zh) * 2019-09-12 2020-02-04 东南大学苏州医疗器械研究院 一种用于配置内窥镜的方法及终端设备
CN113014871A (zh) * 2021-02-20 2021-06-22 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助***
CN113014871B (zh) * 2021-02-20 2023-11-10 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助***

Also Published As

Publication number Publication date
CN105596005A (zh) 2016-05-25
KR20120014242A (ko) 2012-02-16
EP3553751A2 (en) 2019-10-16
KR101764438B1 (ko) 2017-08-02
EP3023941A3 (en) 2016-08-03
EP3023941A2 (en) 2016-05-25
EP2411966B1 (en) 2016-05-11
EP3553751A3 (en) 2019-12-18
WO2010111090A1 (en) 2010-09-30
KR20170090527A (ko) 2017-08-07
CN105596005B (zh) 2019-01-22
EP3859682A1 (en) 2021-08-04
EP2411966A1 (en) 2012-02-01
EP3023941B1 (en) 2019-05-08
EP4012658A1 (en) 2022-06-15
CN102449666B (zh) 2016-01-20
KR101903307B1 (ko) 2018-10-01

Similar Documents

Publication Publication Date Title
CN102449666B (zh) 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的***
US11744445B2 (en) Method and system for assisting an operator in endoscopic navigation
US20210177299A1 (en) Method And System For Providing Visual Guidance To An Operator For Steering A Tip Of An Endoscopic Device Towards One Or More Landmarks In A Patient
US11911011B2 (en) Endolumenal object sizing
KR102643758B1 (ko) 생검 장치 및 시스템
US20200155116A1 (en) Systems and methods for interventional procedure planning
CN104470575B (zh) 配置微创器械中的部件的***和方法
KR20190014112A (ko) 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
KR20190015580A (ko) 영상 안내식 시술 중에 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
KR20220065894A (ko) 수술중 세그먼트화를 위한 시스템 및 방법
WO2024145341A1 (en) Systems and methods for generating 3d navigation interfaces for medical procedures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20120509

Assignee: Visual Fuxing Medical Device Technology (Shanghai) Co., Ltd.

Assignor: Intuitive Surgical Operating Company

Contract record no.: 2018990000352

Denomination of invention: System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation

Granted publication date: 20160120

License type: Common License

Record date: 20181221

EE01 Entry into force of recordation of patent licensing contract