CN108475436A - 使用轮廓标志的外科手术图像采集设备的配准 - Google Patents

使用轮廓标志的外科手术图像采集设备的配准 Download PDF

Info

Publication number
CN108475436A
CN108475436A CN201680076987.2A CN201680076987A CN108475436A CN 108475436 A CN108475436 A CN 108475436A CN 201680076987 A CN201680076987 A CN 201680076987A CN 108475436 A CN108475436 A CN 108475436A
Authority
CN
China
Prior art keywords
anatomical object
mark
profile
image
preoperative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680076987.2A
Other languages
English (en)
Inventor
P·西恩帕波
A·波波维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN108475436A publication Critical patent/CN108475436A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00048—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20108—Interactive selection of 2D slice in a 3D data set
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Abstract

描述了使用解剖对象的术前和实况轮廓标志对外科手术图像采集设备(例如内窥镜)的配准。控制单元包括处理器，所述处理器被配置为将实时轮廓标志与解剖对象的术前轮廓标志的数据库进行比较以生成用于选择最终轮廓匹配的一组潜在轮廓标志匹配。基于与选定的最终轮廓标志匹配相对应的取向来实现图像采集设备与外科手术部位的配准。

Description

使用轮廓标志的外科手术图像采集设备的配准
背景技术
诸如内窥镜的外科手术图像采集设备包括薄而细长的相机组件，所述相机组件允许临床医师查看患者的内部解剖结构，而不需要针对直接查看而以外科手术方式暴露解剖结构。内窥镜可以穿过狭窄的自然孔或皮肤上的小切口，因此与没有内窥镜辅助的可视化和介入相比，实现减少的患者的创伤。
将内窥镜与一些期望的参考系配准实现诸如将术前图像与实况内窥镜馈送配准的能力，这可以帮助定位解剖目标和损伤。术前图像可以包括3D图像，诸如经由计算机断层摄影(CT)、超声、磁共振成像(MRI)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)获得的3D图像。
当前存在用于在其视图中将内窥镜与工作空间配准的各种方法。一类方法使用外部定位***，例如光学和电磁跟踪，其具有使用成熟的商业可用技术的优点，但是还需要额外的硬件、工作空间和工作流程复杂性。
备选地，可以通过将实况内窥镜视图中可见的特征与通过诸如术前CT的其他方式已知的对应特征进行匹配来执行配准。所述特征可以由用户手动选择，这引入工作流程问题和用户错误。所述特征可以通过本领域已知的自动图像处理算法来选择。从用户的角度来看，这样的基于图像的配准方法是流线型的，但由于对成像场景的敏感性而在技术上不太成熟。因此，所需要的是至少克服上述缺点的***和装置。
发明内容
根据代表性实施例，用于图像采集设备的配准的控制单元被配置为采集外科手术部位处的解剖对象的实况图像。控制单元包括处理器，所述处理器被配置为：从一个或多个取向接收解剖对象的术前图像，并生成解剖对象的术前轮廓标志的数据库；从所采集的实况图像生成解剖对象的实时轮廓标志；将所述实时轮廓标志与所述解剖对象的术前轮廓标志的数据库进行比较以生成用于选择最终轮廓匹配的一组潜在轮廓标志匹配；并且基于与选定的最终轮廓标志匹配对应的取向将图像采集设备与外科手术部位配准。
根据另一代表性实施例，外科手术***包括：图像采集设备，其被配置为采集外科手术部位处的解剖对象的实况图像；以及被配置成显示外科手术部位的实况图像的显示器；以及控制单元。控制单元包括：输入/输出(I/O)电路，其被配置为从图像采集设备接收所采集的实况图像，从图像采集设备接收解剖对象的术前图像，并且将解剖对象的潜在轮廓标志匹配提供给至少一个显示器。处理器被配置为：从来自一个或多个取向的解剖对象的术前图像生成解剖对象的术前轮廓标志的数据库；从所采集的实况图像生成解剖对象的实时轮廓标志；将实时轮廓标志与解剖对象的术前轮廓标志的数据库进行比较以生成一组潜在轮廓标志匹配；将所述实时轮廓标志和所述一组潜在轮廓标志匹配发送到所述显示器以用于由用户选择最终轮廓标志匹配；并且基于与选定的最终轮廓标志匹配对应的取向将图像采集设备与外科手术部位配准。
根据另一代表性实施例，一种非暂态计算机可读存储介质，在其中存储有机器可读指令，其被配置为由处理器运行以控制包括图像采集设备的外科手术***，所述图像采集设备被配置为采集外科手术部位处的解剖对象的实况图像，所述机器可读指令被配置为执行将图像采集设备与外科手术部位配准的方法。所述方法包括：从在三维(3D)取向的范围内的解剖对象的术前图像生成解剖对象的术前轮廓标志的数据库；从采集的实况图像生成解剖对象的实时轮廓标志；将所述实时轮廓标志与所述解剖对象的术前轮廓标志的数据库进行比较以生成用于选择最终轮廓标志匹配的一组潜在轮廓标志匹配；并且基于与选定的最终轮廓标志匹配对应的取向将图像采集设备与外科手术部位配准。
附图说明
当结合附图阅读时，从下面的详细描述中最好地理解代表性实施例。要强调的是，各种特征不一定按比例绘制。事实上，为了讨论的清楚起见，尺度可以任意增大或减小。在适用和实际的情况下，相似的附图标志指代相似的元件。
图1是图示根据本发明实施例的特征的使用解剖对象的术前和术中(或实况)轮廓标志来进行外科手术图像采集设备的配准的外科手术***的示意性框图。
图2A是图1的外科手术***中使用的解剖对象的术中(或实况)图像。
图2B是图2A中解剖对象的轮廓。
图2C是基于来自术前图像采集设备的图像生成的解剖对象的术前轮廓标志。
图3是从图2B中的轮廓生成的实况轮廓标志与图2C的解剖对象的术前轮廓标志的比较的示意图。
图4是以五个最佳匹配轮廓并置显示的解剖对象的实况图像的范例的示意图。
图5示出了图1的外科手术***中的显示器上的肾脏(即解剖学对象)的实况图像上的血管交叠。
图6是图示根据本发明实施例的特征的将图像采集设备与外科手术部位配准的方法中的各个步骤的流程图。
具体实施方式
在下面的详细描述中，为了解释而非限制的目的，阐述了公开具体细节的代表性实施例，以便提供对本教导的透彻理解。然而，对于受益于本公开的本领域普通技术人员而言将显而易见的是，根据本教导的偏离本文公开的具体细节的其他实施例仍然在所附权利要求的范围内。此外，可以省略对公知的装置和方法的描述，以便不模糊代表性实施例的描述。这些方法和装置显然在本教导的范围内。
应该理解的是，本文使用的术语仅用于描述特定实施例的目的，而不旨在是限制性的。除了在本教导的技术领域中通常理解和接受的定义术语的技术和科学含义之外，还可以有任何定义的术语。
如说明书和所附权利要求中所使用的，除非上下文另有明确说明，否则术语“一”、“一个”和“所述”包括单数和复数指示物。因此，例如，“设备”包括一个设备和复数个设备。
如本文所使用的，两个或更多个部件或部件“耦合”的表述应意味着部件直接或间接地(即通过一个或多个中间零件或部件)连接或一起操作，只要链接发生。
如附图所示，可以使用方向术语/短语和相对术语/短语来描述各个元件彼此之间的关系。这些术语/短语旨在涵盖除了附图中描绘的方位之外的设备和/或元件的不同方位。
如附图所示的，诸如“在...之上”、“在...之下”、“顶部”、“底部”、“上部”和“下部”的相对术语可以用于描述各个元件彼此之间的关系。除了附图中描述的方位之外，这些相对术语旨在包含设备和/或元件的不同方位。例如，如果设备相对于附图中的视图是倒置的，则例如被描述为在另一元件“上方”的元件现在将在该元件“下方”。类似地，如果设备相对于附图中的视图旋转了90°，则在另一个元件“之上”或“之下”描述的元件现在将与另一个元件“相邻”；其中“相邻”是指邻接另一个元件，或者在元件之间具有一个或多个层、材料、结构等。
如在说明书和所附权利要求中所使用的，除了它们的普通含义之外，术语“实质”或“实质上”是指具有可接受的限制或程度。例如，“实质上取消”意味着本领域技术人员会认为取消是可接受的。
本教导总体上涉及将解剖对象的轮廓或概况与对应的轮廓匹配。本教导的***、装置和方法可用于配准比较稀疏的视觉特征，例如腹部区域中的器官(肾脏、肝脏和膀胱)。如随着本说明书继续将变得更清楚，代表性实施例针对用于使用解剖对象的术前和术中(实时)轮廓标志对外科手术图像采集设备进行配准的装置、***、方法和非暂态计算机可读介质。
首先，注意到例如肾脏和肝脏等器官比诸如心脏之类的器官具有更少的纹理，使得使用可见表面特征进行配准具有挑战性。在这种情况下，本教导的有益方面可以匹配否则缺乏视觉可检测特征的这种器官的轮廓。轮廓可以手动或自动描绘，并且可以是器官的完整或部分轮廓。由于器官在特定取向上的视图相对于其他器官和取向而言通常具有独特的形状，因此其轮廓或三维轮廓可以缩减为紧凑的低维特征，以便快速实时匹配和配准。
首先参考图1和图2，将描述根据本教导的特征的外科手术***100。具体而言，外科手术***100可以用于许多不同的医学和外科手术流程，包括但不限于微创心脏外科手术(例如，冠状动脉旁路移植或二尖瓣置换)、微创腹部外科手术(腹腔镜外科手术)(例如，***切除术或胆囊切除术)，以及自然口经腔内窥镜外科手术。要强调的是，所提及的医学和外科手术流程仅仅是说明性的，并且预期了受益于本公开的本领域普通技术人员的范围内的其他外科手术流程。
图1示意性地图示了外科手术***100，其包括图像采集设备102、显示器104和控制单元106，图像采集设备102被配置为采集外科手术部位S处的解剖对象(例如器官)或目标T的一幅或多幅实况图像。
图像采集设备102被配置为采集外科手术部位S处的器官或其他目标T的一幅或多幅实况图像。通常，术语“内窥镜成像的”在本文中被广义地定义为由具有从体内进行成像的能力的任何类型的内窥镜采集的图像的表征。用于本发明目的的内窥镜的实例包括但不限于任何类型的柔性或刚性的观察仪器(例如内窥镜、关节镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、胃镜、宫腔镜、腹腔镜、喉镜、神经镜、耳镜、推进式肠镜、鼻喉镜、乙状结肠镜、鼻窦镜、胸腔镜等)以及与装备有图像***(例如，具有成像的嵌套套管)的观察仪器相似的任何设备。成像是局部的，并且表面图像可以用光纤、透镜或小型化(例如基于CCD的)成像***来光学地获得。预期结合本教导使用的内窥镜***的另外的细节可以在例如共同拥有的美国专利申请20140301618中找到，具体地通过引用将其公开内容并入本文。
在某些代表性实施例中，内窥镜可包括刚性或柔性管、照明被检查的器官或对象的光递送***(例如，光源通常在身体外部并且光通常经由光纤***引导)、将图像从物镜传输到观察者的透镜***，在刚性内窥镜的情况下通常是中继透镜***，或者在纤维内窥镜的情况下是光纤束。还预期了不具有目镜的视频镜，其中，相机将图像发送到用于图像捕获的屏幕。额外的通道能够允许医学仪器或操纵器的进入。
显示器104被配置为在外科手术流程期间提供对临床医师有用的各种图像中的一种或多种。这些图像包括例如来自图像采集设备102的实时图像和术前图像，如下面更全面描述的。
显示器104可以包括一个或多个显示器，这些显示器可以共同位于外科医师附近或定位为与外科手术***100的各个元件相邻。显示器104包括输出设备或用户接口或两者，其适于显示图像或数据，如本文更全面描述的。显示器104可以包括一个或多个显示器，所述一个或多个显示器可以共同定位为靠近定位为与外科手术***100的各个元件相邻的临床医师的位置。显示器104被配置为显示外科手术部位S的实况或术前图像。
显示器可以输出视觉、音频和/或触觉数据。显示器的范例包括但不限于：计算机监测器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、向量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪和头戴式显示器。
控制单元106通常被配置为提供一个或多个控制命令以控制与外科手术部位S和解剖对象或目标T有关的实况图像和术前图像的采集和处理。控制单元106被配置为接收来自外科手术***100的各种部件的输入，并且向其提供输出，如以下更全面描述的。控制单元106包括输入/输出(I/O)电路108，其接收来自外科手术***100的各种部件的输入，并且向处理器130提供输出并从处理器130接收输入，如下面更全面描述的。
处理器130包括存储器132，存储器132包括解剖对象T的术前轮廓标志的数据库134、从图像采集设备102采集的数据以及被配置成由处理器130执行的机器可读指令(程序)。
存储在存储器中的术前图像可以包括3D图像，诸如经由计算机断层摄影(CT)、超声、磁共振成像(MRI)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)等获得的3D图像。实时图像可以包括在开放式外科手术或微创流程期间通过医学成像捕获的静止或视频图像，例如通过内窥镜、X射线、超声、单切片MRI获得的图像。
处理器130可以包括一个或多个微处理器，其可使用软件(例如，微码)来编程以执行本文所公开的各种功能。值得注意的是，处理器130可以包括多于一个的处理器或处理核心。处理器130可以例如是多核处理器。处理器130还可以包括单个计算机***(未示出)内或分布在与外科手术***100相关联的多个计算机***(未示出)中间的处理器的集合。如本说明书讲意识到的，许多程序使其指令由处理器130执行，处理器130可以在相同的计算设备内或者甚至可以分布在多个计算设备上。
在本公开的各种实施例中可以用作处理器130的部件的范例包括但不限于常规微处理器、微控制器单元、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
存储器132被配置为存储对处理器有用的软件以及在外科手术***100的各个部件的功能的过程期间收集的各种类型的数据。这些数据包括收集的图像数据和跟踪数据，如在下文更全面描述的。存储器132还可以存储术前数据，诸如术前图像数据。
此外，存储器132存储机器可读指令，所述机器可读指令被配置为由处理器130执行以控制外科手术***100。这些指令(程序)被编码在存储器132中，并且当在处理器130上执行时，执行至少本文讨论的功能中的至少一些。(术语“程序”或“计算机程序”在本文中一般意义上用于指可以用来编程控制单元106的任何类型的计算机代码(例如，软件或微码)。)例如，并且如本文更全面地描述的，存储在存储器132中的机器可读指令被配置为由处理器130执行以控制包括图像采集设备102的外科手术***100，图像采集设备102被配置为采集外科手术部位S处的解剖对象的实况图像。此外，机器可读指令通过处理器130被配置为执行下面更全面描述的方法，以使用术前和术中图像两者将图像采集设备102与外科手术部位S配准。
存储器132可以包括非易失性计算机存储器或易失性计算机存储器或两者，包括但不限于：软盘、磁硬盘驱动器、固态硬盘、闪存、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、通用串行总线(USB)驱动器、软盘、压缩盘(CD)、光盘，磁带等)、智能卡、数字多功能光盘(DVD)、CD-ROM、固态硬盘驱动器、光盘、磁光盘和处理器的寄存器文件。光盘的范例包括压缩盘(CD)和数字多功能盘(DVD)，例如CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。各种存储介质可以被固定在处理器130内或者可以是可移动的，使得存储在其上的一个或多个程序可以被加载到处理器130中，从而实现本文讨论的本教导的各个方面。
输入/输出(I/O)电路108控制与控制单元106外部的元件和设备的通信。I/O电路108充当接口，包括解释输入和输出信号或数据去往/来自处理器130的必要逻辑。I/O电路108被配置为例如经由有线或无线连接从图像采集设备102接收所采集的实况图像。I/O电路108还被配置为从术前轮廓标志数据库134接收解剖对象T的术前图像，并将在控制单元106中确定的解剖对象T的潜在轮廓标志匹配提供给显示器104。
外科手术***100包括用户接口110。与显示器104类似，用户接口110示范性地经由硬件接口(未示出)和I/O电路108耦合到控制单元106，这是本领域技术人员所能理解的。硬件接口使得处理器130能够与外科手术***100的各个部件交互，并且能够控制外部计算设备(未示出)和/或装置。硬件接口可以允许处理器130将控制信号或指令发送到外科手术***100的各个部件以及外部计算设备和/或装置。硬件接口还可以使处理器130能够与外科***的各个部件以及外部计算设备和/或装置交换数据。硬件接口的范例包括但不限于：通用串行总线、IEEE 1394端口、并行端口、IEEE 1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口和数字输入接口。
用户接口110允许临床医师通过计算机或计算机***(未示出)与外科手术***100交互。用户接口110例如包括触摸屏、键盘、鼠标、轨迹球或触摸板。通常，用户接口110可以向临床医师提供信息或数据和/或从临床医师接收信息或数据。用户接口110可以被配置为从临床医师接收要由计算机接收的输入，并且可以从计算机向用户提供输出。换句话说，并且随着本说明书继续将变得更清楚，用户接口110可以被配置成使操作者能够控制或操纵计算机，并且用户接口110可以被配置为允许计算机指示临床医师的控制或操纵的效果。在显示器104或其图形用户接口上的数据或信息显示是向临床医师提供信息的范例。通过触摸屏、键盘、鼠标、轨迹球、触摸板、指点杆、绘图板、操纵杆、游戏手柄、网络摄像头、头戴式耳机、变速杆、方向盘、有线手套、无线遥控器和加速度计接收数据都是使得能够从操作者接收信息或数据的用户接口110的部件的范例。
处理器130被配置为处理来自一个或多个取向的解剖对象T的术前图像以生成解剖对象T的术前轮廓标志的术前轮廓标志数据库134。处理器130被配置为处理采集的实况图像以生成解剖对象T的实时轮廓标志。
根据代表性实施例，处理器130被配置为执行基于轮廓标志的配准。基于轮廓标志的配准包括针对特定医学或外科手术流程的术前和术中(实时)部分两者的轮廓标志的生成。如下面更全面描述的，用作代表性实施例的配准流程的部分的轮廓标志生成包括廓影的提取。相机视图是3D器官的最大面积2D投影，因此解剖对象的廓影表示其在查看取向处的轮廓。这会产生定义轮廓的点的采样。
接下来，轮廓标志生成包括将点重新采样到最高分辨率。值得注意的是，沿着定义的轮廓的点能够由于变化的曲率而不均匀地间隔开，因此可以在可能的最高分辨率下在采样点之间执行内插，使得结果是可以缩放的相对平滑的轮廓。这种内插通过处理器130使用一种或多种已知内插技术通过为此目的生成的并存储在存储器132中的特定程序。
接下来，轮廓标志生成包括将标志确定为沿轮廓的局部曲率。只要结果在查看取向上识别器官/对象，就存在可以从给定的(重新采样的)轮廓计算标志的各种方式。本说明书能够集中于捕获器官的物理形状的轮廓标志，但是其他编码方案也是可能的。
无论选择哪种方法，都通过处理器130使用从图像采集设备102、解剖对象T的术前轮廓标志的术前轮廓标志数据库134收集的图像并通过执行存储在存储器132中的相关程序(指令)来执行轮廓标志生成。最终，处理器130通过将标志计算为沿轮廓的局部曲率来生成轮廓标志生成。
物理轮廓标志的范例是局部曲率。局部曲率在直线段具有较低值，在曲线段具有较高值，与弯曲程度相称。在点i处沿着轮廓的局部曲率si可以被计算为从点位置pi沿着轮廓到任一侧延伸到相邻点的向量的叉积；这些向量被指代为v-和v+。该计算在下面的等式中示出，其中，c是在样本嘈杂的情况下可以被调谐以跳过相邻点的参数。
v-＝pi-pi-c
v+＝pi+c-pi
si＝|v-×v+|/‖v-‖‖v+‖
处理器130将实时轮廓标志与解剖对象T的术前轮廓标志的术前轮廓标志数据库134进行比较以自动生成匹配，或者生成一组潜在轮廓标志匹配，并将该实时轮廓标志和该组潜在轮廓标志匹配发送到显示器104，以供用户选择最终轮廓标志匹配，如将在下面进一步详细描述的。处理器130基于与选定的最终轮廓标志匹配相对应的取向将图像采集设备102与外科手术部位S配准。
如图所示，处理器130可以包括存储器132，存储器132包括术前轮廓标志数据库134的存储。这种存储器132还可以包括或访问非暂态计算机可读介质，如将在下面描述的。
因此，外科手术前轮廓标志数据库134在术前通过收集个体手术前轮廓标志来生成。在代表性实施例中，这些术前轮廓标志可以是在3D取向范围内的CT图像。通常，由处理器130基于术前图像生成术前轮廓标志，所述术前图像可包括3D图像，诸如经由计算机断层摄影(CT)、超声、磁共振成像(MRI)、正电子发射断层摄影(PET)、单光子发射计算机断层扫描(SPECT)等等获得的3D图像。
CT扫描利用从不同角度拍摄的许多X射线图像的计算机处理的组合来产生扫描对象的特定区域的横截面(断层摄影)图像(虚拟“切片”)，从而允许用户看到对象内部而无需切割。数字几何结构处理用于从围绕单个旋转轴拍摄的大量二维射线照相图像生成对象内部的三维图像。CT产生一定量的数据，这些数据可以基于它们阻止X射线射束的能力***纵以便说明各种身体结构。尽管通常在轴向或横向平面中生成图像，并且该一定量的数据可以在各种平面中重新格式化，或者甚至可以作为结构的体积(3D)表示。
在本说明性方法中，虚拟旋转CT图像等同于改变相机视图取向，因此术前轮廓标志数据库134包含可以在配准的实时部分期间经由图像采集设备102(例如内窥镜)找到的可能标志。该功能取决于CT(术前)和内窥镜检查(实时)产生的轮廓之间的等同性，这被认为是公平的和可用的假设。
结合图2A-2C描述了根据代表性实施例的术前轮廓标志数据库134的生成。
在图2A中，示出了处于特定已知取向处的肾脏的CT(术前)图像。值得注意的是，使用肾作为解剖学目标T仅仅是说明性的，并且绝不限制本教导。
在图2B中，从肾的廓影中提取对应的轮廓，其中，也可以计算矩形概况B以加速随后的匹配过程。
在图2C中，来自肾的一系列CT取向的轮廓标志的集合被示出在曲线图中。该轮廓标志集合形成用于该特定解剖目标的术前轮廓标志数据库134。这表示术前轮廓标志数据库134。此外，计算的概况(矩形或任何其他形状)可以被包括在术前轮廓标志数据库134中。
由于从CT体积生成每个标志的取向是已知的，因此找到实时生成的标志与术前轮廓标志数据库134中的标志之间的最佳匹配产生图像采集设备102或内窥镜的对应取向，从而进行配准，这将在下面进一步详细讨论。
在代表性实施例中，使用由图像采集设备102捕获的术中图像来计算轮廓标志，所述图像采集设备说明性地为内窥镜。在实况内窥镜下，使用相机快照或静止图像来生成单个实时轮廓标志CS。可以使用与用于生成术前轮廓标志数据库134的方法类似的方法来执行这种单个实时轮廓标志的生成，如上面更全面描述的那样。然而，由于环境或外科手术部位S中存在其他对象，轮廓的分割能够更具挑战性。因此，本领域已知的更复杂的方法可执行自动或半自动分割，或器官轮廓(或其一些子集)可以使用常规的计算机鼠标、笔式鼠标、触摸屏或其他输入设备(例如，用户接口110)以软件手动绘制。
在收集单个实况轮廓标志之后，实况图像和术前轮廓标志数据库134中的轮廓标志之间的互相关由处理器130使用存储在存储器中的用于该目的的特定程序通过算法执行。例如，单个实况轮廓标志CS可以由处理器与预编译的术前轮廓标志数据库134进行匹配。目前描述的代表性实施例的方法的技术相对于已知的配准方法的一个益处被实现。为此，将3D对象与同一对象的2D投影配准的问题(在没有外部定位***的情况下是潜在的耗时工作)被减少到相对于一列信号的相对较快的1D互相关。通过从术前轮廓标志数据库134的搜索中排除显然不匹配的取向(如通过图2B中的矩形框的计算所确定的)，可以进一步加速该过程。所示的用于计算这种框的本代表性实施例的方法使用器官形状的主成分分析，但本教导考虑了其他技术。例如，使用诸如球谐函数形状建模技术的已知方法实现的其他形状描述符和Reeb图被预期用于本教导。
图3图示了代表性实施例的匹配过程，其中，根据来自图像采集设备102的图像(例如，内窥镜图像)生成实时轮廓标志CS，该实时轮廓标志CS由处理器130与存储在使用互相关从CT生成的术前轮廓标志的术前轮廓标志数据库134中的图像进行比较。
例如通过实现预定的确定性，使用来自存储器132的特定程序的处理器130基于最佳匹配确定实况图像与存储在术前轮廓标志数据库134中的图像的最佳匹配。备选地，可以将由互相关距离度量确定的在先前步骤中找到的最佳N个匹配呈现给用户以进行最终选择。换句话说，可以在显示器104上显示实况图像和最佳N个匹配。
图4显示了用五个最佳匹配轮廓并置显示的实况图像的范例。在由临床医师选择之后，使用对应的取向来配准内窥镜和CT图像。
一旦配准完成，CT图像可以叠加在内窥镜视频上，以向临床医师提供解剖背景信息，如图5图示的，例如，图5示出了在显示器104上的肾脏(即解剖学对象T)的实况图像上的血管BV的交叠。
可以通过重复先前的步骤自动地进行配准，或者可以在内窥镜重新定位时按需执行。
在某些实施例中，处理器130还可以被配置为处理来自用户接口110的选择信号以用于由用户选择最终轮廓标志匹配。换句话说，由于实况图像和最佳5个匹配可以显示在图4所示的显示器104上，外科医师或临床医师然后可例如经由用户接口110选择最佳匹配。在某些实施例中，处理器130还可以被配置为处理来自用户接口110的启动信号以启动配准模式。
在某些实施例中，处理器130还可以被配置为利用术前图像来增强来自图像采集设备102的实况图像，例如，如图5所示。
在某些实施例中，处理器130还可以被配置为处理所采集的实况图像以使用解剖对象T的轮廓的分段或部分来生成解剖对象T的实时轮廓标志。
额外参考图6的示意图讨论根据本方法的特征的方法600的另外的细节。本发明的实施例还可以针对存储在存储器132中的非暂态计算机可读存储介质，并且其中存储有机器可读指令，所述机器可读指令被配置为由处理器130执行以控制外科手术***100，所述外科手术***包括图像采集设备102，图像采集设备102被配置为采集外科手术部位S处的解剖对象T的实况图像。使用机器可读指令，处理器130执行方法600以将图像采集设备102与外科手术部位S配准。该方法包括：602处理来自一个或多个取向的解剖对象的术前图像以生成解剖对象T的术前轮廓标志数据库134；604处理所采集的实况图像以生成解剖对象T的实时轮廓标志；606将实时轮廓标志与解剖对象的术前轮廓标志的术前轮廓标志数据库134进行比较以生成用于选择最终轮廓标志匹配的一组潜在轮廓标志匹配；以及608基于与选定的最终轮廓标志匹配对应的取向将图像采集设备102与外科手术部位S配准。
在某些实施例中，该方法还可以包括将实时轮廓标志和该组潜在轮廓标志匹配发送到显示器104，以用于由用户或临床医师选择最终轮廓标志匹配。
在某些实施例中，该方法还可以包括处理来自用户接口110的选择信号以由用户选择最终的轮廓标志匹配。该方法还可以包括处理来自用户接口110的启动信号以启动配准模式。
在某些实施例中，该方法还可以包括利用术前图像来增强来自图像采集设备102的实况图像。
在某些实施例中，该方法还可以包括处理所采集的实况图像以使用解剖对象T的轮廓的分段来生成解剖对象T的实时轮廓标志。
在某些实施例中，该方法还可以包括将实时轮廓标志与解剖对象T的术前轮廓标志的术前轮廓标志数据库134进行比较以生成该组潜在的轮廓标志匹配，包括基于解剖对象的形状排除一些术前轮廓标志，例如，如以上参考图2B所讨论的。
本方法是朝向智能***和设备的技术发展的部分。实时内窥镜检查与术前图像(例如CT图像)之间的实时配准的可能应用包括：利用术前CT的实况视频的增强现实，外科手术导航(尤其是在微创外科手术中，其中，工作空间被遮挡)并且寻找解剖目标和肿瘤。
尽管本公开描述了在内窥镜程序的背景下的基于轮廓标志的配准，但该方法也适用于使用其他成像(例如，超声)或形状感测(例如，光学形状感测、红外范围感测)模态的流程。此外，这些备选模态可能不提供在内窥镜检查中经常见到的用于匹配的密集特征集合，增加轮廓标志在计算机辅助外科手术介入中配准图像、设备和解剖结构方面的重要性。
鉴于本公开，要注意的是，各种半导体结构和有源半导体器件可以以各种材料和变体结构来实现。此外，各种材料、结构和参数仅通过范例被而不是在限制的意义上被包括。鉴于本公开，本领域技术人员可以在确定它们自己的应用和实现这些应用所需的材料和设备中实施本教导，同时保持在权利要求的范围内。

Claims (23)

1.一种用于对图像采集设备进行配准的控制单元，所述图像采集设备被配置为采集外科手术部位处的解剖对象的实况图像，所述控制单元包括：
处理器，其被配置为：
根据来自一个或多个取向的所述解剖对象的术前图像来生成所述解剖对象的术前轮廓标志的数据库；
根据所采集的实况图像来生成所述解剖对象的实时轮廓标志；
将所述解剖对象的所述实时轮廓标志与术前轮廓标志的所述数据库进行比较以生成一组潜在轮廓标志匹配，以选择最终轮廓标志匹配；并且
基于与选定的最终轮廓标志匹配对应的取向将所述图像采集设备与所述外科手术部位配准。
2.根据权利要求1所述的控制单元，还包括输入/输出(I/O)电路，所述输入/输出电路包括：
第一输入部，其被配置为接收来自所述图像采集设备的所采集的实况图像；
第二输入部，其被配置为接收来自图像采集设备的所述解剖对象的所述术前图像；
第一输出部，其被配置为将所述解剖对象的所述潜在轮廓标志匹配提供到显示器；以及
第二输出部，其被配置为将来自所述图像采集设备的所述外科手术部位的实况图像提供到所述显示器。
3.根据权利要求1所述的控制单元，其中，所述处理器还被配置为将所述实时轮廓标志和所述一组潜在轮廓标志匹配发送到显示器以由用户选择所述最终轮廓标志匹配。
4.根据权利要求3所述的控制单元，其中，所述处理器还被配置为处理来自用户接口的选择信号以由所述用户选择所述最终轮廓标志匹配。
5.根据权利要求1所述的控制单元，其中，所述处理器还被配置为处理来自用户接口的启动信号以启动配准模式。
6.根据权利要求1所述的控制单元，其中，所述处理器还被配置为利用所述术前图像来增强来自所述图像采集设备的实况图像。
7.根据权利要求1所述的控制单元，其中，所述处理器还被配置为处理所采集的实况图像以使用所述解剖对象的轮廓的分段来生成所述解剖对象的所述实时轮廓标志。
8.根据权利要求1所述的控制单元，其中，所述处理器还被配置为将所述解剖对象的所述实时轮廓标志与术前轮廓标志的所述数据库进行比较以生成所述一组潜在轮廓标志匹配，包括基于所述解剖对象的形状来排除一些术前轮廓标志。
9.一种外科手术***，包括：
图像采集设备，其被配置为采集外科手术部位处的解剖对象的实况图像；
显示器，其被配置为显示所述外科手术部位的实况图像；
控制单元，其包括：
输入/输出(I/O)电路，其被配置为接收来自所述图像采集设备的所采集的实况图像，接收来自图像采集设备的所述解剖对象的术前图像，并且将所述解剖对象的潜在轮廓标志匹配提供到显示器；以及
处理器，其被配置为：
根据来自一个或多个取向的所述解剖对象的术前图像来生成所述解剖对象的术前轮廓标志的数据库；
根据所采集的实况图像来生成所述解剖对象的实时轮廓标志；
根据所采集的实况图像来生成所述解剖对象的实时轮廓标志；
将所述解剖对象的所述实时轮廓标志与术前轮廓标志的所述数据库进行比较以生成一组潜在轮廓标志匹配；
将所述实时轮廓标志和所述一组潜在轮廓标志匹配发送到所述显示器以由用户选择最终轮廓标志匹配；并且
基于与选定的最终轮廓标志匹配对应的取向将所述图像采集设备与所述外科手术部位配准。
10.根据权利要求9所述的外科手术***，其中，所述显示器包括：
第一显示器，其被配置为显示所述外科手术部位的所述实况图像；以及
第二显示器，其被配置为显示所述实时轮廓标志和所述一组潜在轮廓标志匹配以由所述用户选择所述最终轮廓标志匹配。
11.根据权利要求10所述的外科手术***，其中，所述I/O电路包括：
第一输入部，其被配置为接收来自所述图像采集设备的所述实况图像；
第二输入部，其被配置为接收来自所述图像采集设备的所述解剖对象的所述术前图像；
第一输出部，其被配置为将所述解剖对象的所述实时轮廓标志和所述一组潜在轮廓标志提供到所述第二显示器；以及
第二输出部，其被配置为将来自所述图像采集设备的所述外科手术部位的所述实况图像提供到所述第一显示器。
12.根据权利要求9所述的外科手术***，还包括用户接口；其中，所述处理器还被配置为处理来自所述用户接口的选择信号以由所述用户选择所述最终轮廓标志匹配。
13.根据权利要求9所述的外科手术***，还包括用户接口；其中，所述处理器还被配置为处理来自所述用户接口的启动信号以启动配准模式。
14.根据权利要求9所述的外科手术***，其中，所述处理器还被配置为利用所述术前图像来增强来自所述图像采集设备的实况图像。
15.根据权利要求9所述的外科手术***，其中，所述处理器还被配置为处理所采集的实况图像以使用所述解剖对象的轮廓的分段来生成所述解剖对象的所述实时轮廓标志。
16.根据权利要求9所述的外科手术***，其中，所述处理器还被配置为将所述解剖对象的所述实时轮廓标志与术前轮廓标志的所述数据库进行比较以生成所述一组潜在轮廓标志匹配，包括基于所述解剖对象的形状来排除一些术前轮廓标志。
17.一种非暂态计算机可读存储介质，在其中存储有机器可读指令，所述机器可读指令被配置为由处理器运行以控制包括图像采集设备的外科手术***，所述图像采集设备被配置为采集外科手术部位处的解剖对象的实况图像，所述机器可读指令被配置为执行用于将所述图像采集设备与所述外科手术部位配准的方法，所述方法包括：
根据三维(3D)取向的范围内的所述解剖对象的术前图像来生成所述解剖对象的术前轮廓标志的数据库；
根据所采集的实况图像来生成所述解剖对象的实时轮廓标志；
将所述解剖对象的所述实时轮廓标志与术前轮廓标志的所述数据库进行比较以生成用于选择最终轮廓标志匹配的一组潜在轮廓标志匹配；并且
基于与选定的最终轮廓标志匹配对应的取向将所述图像采集设备与所述外科手术部位配准。
18.根据权利要求17所述的非暂态计算机可读存储介质，其中，所述方法还包括将所述实时轮廓标志和所述一组潜在轮廓标志匹配发送到显示器以由用户选择所述最终轮廓标志匹配。
19.根据权利要求18所述的非暂态计算机可读存储介质，其中，所述方法还包括处理来自用户接口的选择信号以由所述用户选择所述最终轮廓标志匹配。
20.根据权利要求17所述的非暂态计算机可读存储介质，其中，所述方法还包括处理来自用户接口的启动信号以启动配准模式。
21.根据权利要求17所述的非暂态计算机可读存储介质，其中，所述方法还包括利用所述术前图像来增强来自所述图像采集设备的实况图像。
22.根据权利要求17所述的非暂态计算机可读存储介质，其中，所述方法还包括处理所采集的实况图像以使用所述解剖对象的轮廓的分段来生成所述解剖对象的所述实时轮廓标志。
23.根据权利要求17所述的非暂态计算机可读存储介质，其中，将所述解剖对象的所述实时轮廓标志与术前轮廓标志的所述数据库进行比较以生成所述一组潜在轮廓标志匹配包括基于所述解剖对象的形状来排除一些术前轮廓标志。
CN201680076987.2A 2015-12-29 2016-12-27 使用轮廓标志的外科手术图像采集设备的配准 Pending CN108475436A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562272493P 2015-12-29 2015-12-29
US62/272,493 2015-12-29
PCT/EP2016/082704 WO2017114828A1 (en) 2015-12-29 2016-12-27 Registration of a surgical image acquisition device using contour signatures

Publications (1)

Publication Number Publication Date
CN108475436A true CN108475436A (zh) 2018-08-31

Family

ID=57860791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680076987.2A Pending CN108475436A (zh) 2015-12-29 2016-12-27 使用轮廓标志的外科手术图像采集设备的配准

Country Status (5)

Country Link
US (1) US11564748B2 (zh)
EP (1) EP3398169A1 (zh)
JP (1) JP2019511931A (zh)
CN (1) CN108475436A (zh)
WO (1) WO2017114828A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111227954A (zh) * 2018-11-28 2020-06-05 通用电气公司 用于医学图像的远程可视化的***和方法
CN112634309A (zh) * 2020-11-30 2021-04-09 上海联影医疗科技股份有限公司 图像处理方法、装置、电子设备及存储介质
CN114299072A (zh) * 2022-03-11 2022-04-08 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及***
CN114343873A (zh) * 2022-01-07 2022-04-15 苏州康多机器人有限公司 一种内窥镜手术监测***及方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3461253B1 (en) 2016-05-16 2023-08-09 Cathworks Ltd. Selection of vascular paths from images
WO2019132781A1 (en) * 2017-12-28 2019-07-04 Changi General Hospital Pte Ltd Motion compensation platform for image guided percutaneous access to bodily organs and structures
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
DE102021103411A1 (de) * 2021-02-12 2022-08-18 Aesculap Ag Chirurgisches Assistenzsystem und Darstellungsverfahren
EP4169474A1 (en) 2021-10-25 2023-04-26 Erbe Vision GmbH System and method for image registration
CN114224448B (zh) * 2021-12-21 2023-11-10 武汉大学 穿刺路径规划装置、设备和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005017628A1 (de) * 2004-04-22 2005-11-17 Siemens Corp. Research, Inc. Verfahren und System zum Registrieren von präprozeduralen Bildern mit intraprozeduralen Bilder unter Verwendung einer vorberechneten Informationsdatenbank
US20060233430A1 (en) * 2005-04-15 2006-10-19 Kabushiki Kaisha Toshiba Medical image processing apparatus
CN101518447A (zh) * 2009-03-02 2009-09-02 北京积水潭医院 一种提高脊柱外科手术计算机导航***精度的方法
WO2009109874A1 (en) * 2008-03-07 2009-09-11 Koninklijke Philips Electronics N.V. Ct surrogate by auto-segmentation of magnetic resonance images
US20100091035A1 (en) * 2008-10-15 2010-04-15 Siemens Corporation Combined Segmentation And Registration Framework For Parametric Shapes
WO2011031134A1 (en) * 2009-09-14 2011-03-17 Erasmus University Medical Center Rotterdam Image processing method and system
CN103957832A (zh) * 2011-10-26 2014-07-30 皇家飞利浦有限公司 血管树图像的内窥镜配准

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4836122B2 (ja) * 2006-02-09 2011-12-14 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
EP3679881A1 (en) * 2012-08-14 2020-07-15 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005017628A1 (de) * 2004-04-22 2005-11-17 Siemens Corp. Research, Inc. Verfahren und System zum Registrieren von präprozeduralen Bildern mit intraprozeduralen Bilder unter Verwendung einer vorberechneten Informationsdatenbank
US20050272991A1 (en) * 2004-04-22 2005-12-08 Chenyang Xu Method and system for registering pre-procedural images with intra-procedural images using a pre-computed knowledge base
US20060233430A1 (en) * 2005-04-15 2006-10-19 Kabushiki Kaisha Toshiba Medical image processing apparatus
WO2009109874A1 (en) * 2008-03-07 2009-09-11 Koninklijke Philips Electronics N.V. Ct surrogate by auto-segmentation of magnetic resonance images
CN101959454A (zh) * 2008-03-07 2011-01-26 皇家飞利浦电子股份有限公司 通过磁共振图像的自动分割进行ct替代
US20100091035A1 (en) * 2008-10-15 2010-04-15 Siemens Corporation Combined Segmentation And Registration Framework For Parametric Shapes
CN101518447A (zh) * 2009-03-02 2009-09-02 北京积水潭医院 一种提高脊柱外科手术计算机导航***精度的方法
WO2011031134A1 (en) * 2009-09-14 2011-03-17 Erasmus University Medical Center Rotterdam Image processing method and system
CN103957832A (zh) * 2011-10-26 2014-07-30 皇家飞利浦有限公司 血管树图像的内窥镜配准

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111227954A (zh) * 2018-11-28 2020-06-05 通用电气公司 用于医学图像的远程可视化的***和方法
CN112634309A (zh) * 2020-11-30 2021-04-09 上海联影医疗科技股份有限公司 图像处理方法、装置、电子设备及存储介质
CN112634309B (zh) * 2020-11-30 2023-08-15 上海联影医疗科技股份有限公司 图像处理方法、装置、电子设备及存储介质
CN114343873A (zh) * 2022-01-07 2022-04-15 苏州康多机器人有限公司 一种内窥镜手术监测***及方法
CN114299072A (zh) * 2022-03-11 2022-04-08 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及***

Also Published As

Publication number Publication date
US20190008592A1 (en) 2019-01-10
EP3398169A1 (en) 2018-11-07
US11564748B2 (en) 2023-01-31
WO2017114828A1 (en) 2017-07-06
JP2019511931A (ja) 2019-05-09

Similar Documents

Publication Publication Date Title
CN108475436A (zh) 使用轮廓标志的外科手术图像采集设备的配准
US8672836B2 (en) Method and apparatus for continuous guidance of endoscopy
US11523874B2 (en) Visualization of depth and position of blood vessels and robot guided visualization of blood vessel cross section
EP3463032B1 (en) Image-based fusion of endoscopic image and ultrasound images
US10772684B2 (en) Spatial visualization of internal mammary artery during minimally invasive bypass surgery
JP3847744B2 (ja) 挿入支援システム
CN108140242A (zh) 视频摄像机与医学成像的配准
US20130250081A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
JP6049202B2 (ja) 画像処理装置、方法、及びプログラム
CN106572827A (zh) 智能显示器
CN111588464B (zh) 一种手术导航方法及***
US11596292B2 (en) Endoscope guidance from interactive planar slices of a volume image
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
US20140275994A1 (en) Real time image guidance system
De Paolis et al. Augmented reality in minimally invasive surgery
Merritt et al. Method for continuous guidance of endoscopy
EP3782529A1 (en) Systems and methods for selectively varying resolutions
Vogt Augmented light field visualization and real-time image enhancement for computer assisted endoscopic surgery
EP3788981B1 (en) Systems for providing surgical guidance
Dubrovin et al. Preoperative planning and intraoperative navigation, based on 3D modeling for retroperitoneal procedures
US20240216078A1 (en) Systems and methods for providing surgical guidance
Marzullo et al. AIM in Endoscopy Procedures
WO2024107628A1 (en) Systems and methods for robotic endoscope system utilizing tomosynthesis and augmented fluoroscopy
Khare Global registration for image-guided bronchoscopy
Noblet et al. Registration of 2D monocular endoscopy to 3D CBCT for video-assisted thoracoscopic surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180831