CN105658167B - 用来对用于手术导航的坐标转换进行确定的计算机实现技术 - Google Patents

用来对用于手术导航的坐标转换进行确定的计算机实现技术 Download PDF

Info

Publication number
CN105658167B
CN105658167B CN201380079051.1A CN201380079051A CN105658167B CN 105658167 B CN105658167 B CN 105658167B CN 201380079051 A CN201380079051 A CN 201380079051A CN 105658167 B CN105658167 B CN 105658167B
Authority
CN
China
Prior art keywords
patient
image data
coordinate system
feature
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380079051.1A
Other languages
English (en)
Other versions
CN105658167A (zh
Inventor
约亨·布赖萨克尔
让·斯塔维亚斯基
托比亚斯·赖夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stryker European Operations Holdings LLC
Original Assignee
Stryker European Holdings I LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stryker European Holdings I LLC filed Critical Stryker European Holdings I LLC
Publication of CN105658167A publication Critical patent/CN105658167A/zh
Application granted granted Critical
Publication of CN105658167B publication Critical patent/CN105658167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于确定导航参考坐标系(302)与图像坐标系(304)之间的转换的技术，导航参考坐标系用于相对于患者图像数据来导航手术设备(150)，在图像坐标系中，患者图像数据定义患者表面的形状。该技术的计算机实现方法的实现包括：接收多个数据集，其中，所述数据集是从患者表面的不同视角得到的。根据图片数据集并在导航参考坐标系(302)中确定图片数据集中可识别的多个特征(170)的特征坐标。根据特征坐标，确定导航参考坐标系(302)中患者表面的形状模型。然后，应用形状模型与由患者图像数据定义的患者表面的形状之间的表面匹配来确定导航参考坐标系(302)与图像坐标系(304)之间的转换(T1)。

Description

用来对用于手术导航的坐标转换进行确定的计算机实现技术
技术领域
本公开总体涉及计算机辅助手术。具体地，介绍了用于确定导航参考坐标系与图像坐标系之间的转换的技术。所述技术可被实现为方法、计算机程序产品、设备或***。
背景技术
在过去十年中，在手术导航***的辅助下执行的手术操作的数目急剧增加.该增加可部分归因于手术导航***在使用和构建上已变得较不复杂这一事实.
通常基于在手术之前获取的或在手术进行时获取的患者图像数据(例如，计算机X射线断层(或CT)扫描)执行手术导航。对于图像引导的手术而言，手术设备相对于患者的当前位置被重叠在患者图像上，并且被可视化。该重叠要求相对于图像坐标系(在该***中提供患者图像数据)来配准导航参考坐标系(在该坐标系中跟踪手术设备与患者之间的相对移动)。从数学的角度而言，该配准涉及计算在导航参考坐标系与图像坐标系之间的转换。
在成功配准之后，所导航的手术设备与患者之间的相对移动可被跟踪，且被可视化。使用被配置为检测其视野内的一个或多个跟踪设备的跟踪相机来执行跟踪。通常，患者与手术设备二者各自与专用跟踪设备相关联。可例如从Stryker公司的专利US 8,457,719B2得知这样的导航方案。US 8,457,719 B2公开了各自包括发光二极管(LED)形式的多个分隔开的跟踪点的工具跟踪设备和患者跟踪设备。患者跟踪设备包括柔性块(patch)，该柔性块在要贴到患者身上的一侧具有粘性层，使得在块的另一侧上提供的跟踪点贴合于患者表面。
患者跟踪设备上的跟踪点和工具跟踪设备上的跟踪点是跟踪相机可检测的，该跟踪相机由三个单独的电荷耦合器件(CCD)相机阵列组成。跟踪相机被安装在推车上、手术室墙上或手术室灯上。
为了进行配准，构建要将患者跟踪设备贴在其上的患者表面的模型。构建表面模型要求通过跟踪相机定位患者跟踪设备上的跟踪点。关于这一点，配准例程指示外科医生将患者移动一次或多次，直到在跟踪相机的视野内有足够的跟踪点。应该明白，表面模型的质量极大地取决于可精确检测的跟踪点的数目。
一旦已根据检测到的跟踪点构建了可靠的表面模式，将该表面模型配准到CT扫描形式的患者图像数据。可使用表面匹配技术来执行该配准。如果可在预定误差等级内配准扫描出的患者图像和形状模型，配准例程确认配准过程成功。配准过程的成功受到表面模型的质量的极大影响。表面模型的质量继而取决于跟踪相机精确检测到的跟踪点的数目。
还存在这样的导航方案：仅跟踪患者，而使用与手术设备和跟踪相机有关的先验知识来计算手术设备相对于患者跟踪设备的位置。关于此，Activiews有限公司的US 2008/0208041 A1教导了具有患者跟踪设备的手术导航***，该患者跟踪设备具有被配置为敷到患者的充分平坦的块的形式。该块包括可光学检测的跟踪点布置以及与该跟踪点布置具有已知空间关系的附加的不透无线电的基准布置。通过将在CT扫描中识别出的不透无线电的基准布置与贴附到手术设备的跟踪相机检测到的跟踪点布置进行匹配来完成手术前获取的CT扫描与患者之间的配准。在手术导航期间，设备上安装的跟踪相机对跟踪点布置进行跟踪，并基于与手术设备的几何尺寸、跟踪点布置的几何尺寸以及跟踪相机的成像特性有关的知识来计算手术设备相对于跟踪点布置的位置。由此，不需要单独的工具跟踪设备。
发明内容
本公开的目标是提高配准性能。
根据一个方案，提供给了一种确定导航参考坐标系与图像坐标系之间的转换的计算机实现的方法，所述导航参考坐标系用于相对于患者图像数据来导航手术设备，在所述图像坐标系中，所述患者图像数据定义患者表面的形状。该方法包括接收多个图片数据集，其中，所述图片数据集是从所述患者表面的不同视角得到的。该方法还包括：根据所述图片数据集并在所述导航参考坐标系中确定所述图片数据集中能够识别的多个特征的特征坐标，根据所述特征坐标确定所述导航参考坐标系中所述患者表面的形状模型，以及使用所述形状模型与由所述患者图像数据定义的患者表面的形状之间的表面匹配来确定所述导航参考坐标系与所述图像坐标系之间的转换。
可在实际的导航流程之前的配准流程期间执行该方法。应该明白，可对产生的配准进行更新或验证，使得本文中介绍的方法也可以与导航流程同时实施。
可由计算机设备执行本文中介绍的方法的步骤。用于计算机辅助手术的***可包含该计算机设备。具体地，使用硬件组件和软件组件至少之一来执行方法步骤。例如，可由硬件和软件接口至少之一来执行接收步骤，以及可由耦接到接口的一个或多个处理器(例如，在软件控制下)执行确定步骤。
可从第一相机接收所述图片数据集。所述第一相机可以是在取得图片数据集时可相对于患者移动的。在一个变型中，第一相机是视频相机。在这样的情况下，可通过视频数据流(例如，作为视频帧)的形式从第一相机接收图片数据集。第一相机可以是非立体感相机(例如，其可针对给定时间点从单个视角提供单个图片数据集)。
第一相机可以是手持相机。备选地或附加地，第一相机可以是可贴附到手术设备的。手术设备可以是手持设备。例如，手术设备可采用手术工具的形式，例如，手术指针、手术用针(例如，活体组织穿刺针)或手术动力工具(surgical power tool)。
可对图片数据集中可识别的特征进行分组，以形成一个或多个特征组。对于各个特征组，可导致位置和定向中的至少一项。可存在与分组有关的先验知识(例如，关于：在已知特征编码方案方面，哪个特征定义哪个特征组)。应该注意到，可再次将特征组视为其自身的具有特定特征坐标的特征(例如，特征组中心的特征)。
根据一个实现，使用运动结构(SfM)技术、同时定位及映射(SLAM)技术和姿态估计技术中的一项或多项来确定特征坐标和形状模型中的至少一项。例如，SLAM可被应用于特征组。例如，SfM从不同的视角构建针对在图片数据集中可识别的各个特征(不一定是特征组)的特征跟踪。可将基于不同(相机)视角的三角测量法应用于各个特征跟踪。三角测量法可有助于在三个维度上(例如，在导航参考坐标系中)重构并可选地优化特征坐标。
可通过位于或定义表面的点云的形式确定形状模型。点云可包括20个或更多个点(例如，超过30个或更多的点)。可通过特征的(例如，特征关键点或特征组中心的)坐标来表示每个点。
一般而言，导航参考坐标系可以是旨在用于(例如，在相对于图像坐标系进行成功配准之后的)手术期间手术设备的导航的坐标系。例如，导航参考坐标系可以是在其中跟踪患者跟踪设备以对手术设备进行导航的坐标系。在一个实现中，可附加地使用专用的工具跟踪设备在导航参考坐标系中跟踪手术设备。在另一示例中，可在不使用工具跟踪设备的情况下在导航参考坐标系中计算手术设备或其一部分的位置。
可基于在图片数据集中识别出的特征中的至少一些特征确定导航参考坐标系。在一个变型中，(例如，在运行时间期间)选择识别出的特征中的一些特征来定义导航参考坐标系。在另一变型中，以下先验知识是可用的：在图片数据集中识别出的特征中的一些特征被布置为定义(或丈量(span))导航参考坐标系。在该两个变型中，识别出的特征(例如通过适当的编码)可以是彼此可区分的，但是不是必须这样。通过这种方式，可提高该确定的鲁棒性。
可针对在手术导航期间使用的患者跟踪设备的一个或多个***特征确定特征坐标，其中，患者跟踪设备在图片数据集中是至少部分可识别的，并相对于患者具有固定位置。患者跟踪设备可采用各种形式，例如头戴式设备、可贴附到患者表面的刚性或柔性的块、或可贴附到骨头的设备。患者跟踪设备可包括***特征布置。在实施本文中介绍的方法时，关于***特征布置的几何性质(例如，各个***特征之间的相对位置)和/或布置内的各个***特征的(例如，编码)特性的先验知识是可用的。
***特征可至少部分地定义导航参考坐标系。关于这一点，与如何由***特征定义导航参考坐标系有关的先验知识可以是可用的。该先验知识可允许根据识别出的***特征在空间中的位置和/或其(编码)特性来确定(例如，构建)导航参考坐标系。在某些实施例中，作为一个或多个***特征的替代，或作为一个或多个***特征的附加，图片数据集中可识别的一个或多个其他特征可被用于定义导航参考坐标系。
附加地，或作为备选，可针对在图片数据集中可识别的一个或多个解剖患者特征(包括皮肤特征)确定特征坐标。应该明白，作为识别***特征的附加或替代，可识别一个或多个解剖患者特征的特征坐标。可使用与解剖特征有关的通用知识(例如，关于其所预期的程度、位置和/或形状)来执行在图片数据集中识别一个或多个解剖患者特征。
可根据解剖患者特征至少部分地确定导航参考坐标系。关于这一点，可以使用一个或多个识别出的解剖患者特征来丈量导航参考坐标系。可通过解剖患者特征来单独丈量导航参考坐标系，或通过解剖患者特征与图片数据集中识别出的其他特征(例如，一个或多个***特征)的组合来丈量导航参考坐标系。
在一个变型中，根据解剖患者特征至少部分地确定形状模型。在这样的情况下，表面匹配可包括由患者图像数据定义的患者表面与由识别出的解剖患者特征的相对位置定义的表面之间的匹配。当然，还可根据图片数据集中可识别的附加或备选特征来确定形状模型。
在一个实现中，针对涂敷到患者并在图片数据集中可至少部分地识别的特征块的一个或多个块特征确定特征坐标。特征块可包括衬底，该衬底具有基本平坦的外观，或备选地，是柔性的，以贴合患者表面。备选地，可简单地将特征块画在患者的皮肤上，并因此特征块将会贴合患者表面。可根据块特征至少部分地确定形状模型。还可根据一个或多个块特征与一个或多个解剖患者特征的组合来确定形状模型。
一般而言，特征块可采用涂敷到患者的皮肤遮蔽物的形式。皮肤遮蔽物可具有以下形式(或外部轮廓)：被剪裁成皮肤遮蔽物打算涂敷到的患者解剖特征的区域(例如，前额或在颧骨区域中)。通过这种方式，可选择性地将特征涂敷到特别适合于表面匹配(例如，表示特征的表面)的解剖区域。
此外，可根据块特征至少部分地确定导航参考坐标系。例如，可根据块特征单独确定导航参考坐标系，或根据一个或多个块特征与图片数据集中可识别的一个或多个其他特征(例如，一个或多个***特征和/或一个或多个解剖患者特征)的组合来确定导航参考坐标系。为了确定导航参考坐标系，可存在与块特征的相对位置和/或(例如，编码)特性有关的先验知识。
导航参考坐标系的确定可基于缩放因子。在一个实现中，可根据表面匹配导出缩放因子。例如，可结合表面匹配使用与患者图像一起提供的缩放信息来导出针对导航参考坐标系的缩放因子。附加地，或备选地，可利用图片数据集中可识别的缩放参考的缩放特征来确定针对导航参考坐标系的缩放因子。
一般而言，本文中介绍的技术还包括：在导航期间跟踪或计算手术设备或其一部分相对于一个或多个特征的位置，所述导航参考坐标系已根据上述一个或多个特征确定。关于这一点，可以将手术设备与跟踪相机可检测的工具跟踪设备相关联。备选地，可将跟踪相机安装到手术设备上，且可计算手术设备或其一部分的位置(例如，基于一方面手术设备或设备部分与另一方面相机之间的几何关系的先验知识)。
可至少基于一个或多个解剖患者特征以及患者跟踪设备的一个或多个(人为)***特征中的至少之一来执行跟踪或计算。总而言之，可为此使用至少四种特征。关于***特征，患者跟踪设备可不同于涂敷到患者的特征块，具体地，具有柔性衬底的特征块。
可将手术设备或其一部分相对于患者图像进行可视化。可根据跟踪或计算(包括估计)手术设备相对于一个或多个特征的位置来适配这样的可视化，其中，已根据所述特征中的一个或多个确定了导航参考坐标系。这些特征的坐标在导航参考坐标系中是已知的。
一般而言，可从第一相机接收所述图片数据集，且可基于由不同于第一相机的第二相机提供的图片信息执行跟踪或计算。第一相机可被配置为在取得图片数据集时可在手术室内相对于患者(例如，自由)移动。在手术期间，可将第二相机维持在手术室中基本固定的位置。例如，可将第二相机安装在手术室墙上、手术室灯上或基本固定的推车上。
在备选实现中，从第一相机接收用于确定导航参考坐标系与图像坐标系之间的转换的图片数据集，且在导航期间还基于从第一相机接收到的图片数据集执行跟踪或计算。
图片数据集中可识别的特征可采用各种形式。例如，特征可采用三维体或二维项目的形式。识别出的特征可被彼此区分，或可以不是可区分的。在第一情况下，可根据预定编码方案对在图片数据集中可识别的两个或更多个特征进行编码(或表征)，使得所述特征在图片数据集中能够彼此区分开。编码方案可以是颜色方案或更复杂的方案，例如快速响应(QR)代码类型方案。具体地在后一种情况下，特征也可重叠。
优选地将特征配置为使得它们可以与空间中的单个点(例如，作为导航参考坐标系中的坐标)相关联或减小到空间中的单个点，而与得到图片数据集的视角无关。为此，可执行关键点估计。然后，可将特征坐标表达为特征关键点的坐标，或从多个特征关键点导出(例如，在特征组的情况下)特征坐标。
可使用模式识别技术来(例如，基于先验知识)识别(例如，定位)图片数据集中一个或多个特征。模式识别技术还使得可将识别出的特征彼此区分。在此处也可使用先验知识。
在一个实现中，本文中介绍的方法还包括接收被成像的患者的图像数据。患者图像数据可被提供为二维或三维的。三维患者图像也可被称为图像体(image volume)。优选地在图像坐标系中提供图像数据。
该方法还可包括从图像数据中提取患者表面的形状的步骤。关于此，可将图像数据中包含的患者的预定部分或任意部分用于形状提取。形状提取可获得定义患者表面的点云。
图像数据可采用各种形式。例如，可将图像数据提供为超声波数据，或以CT扫描的形式、磁共振体层摄影术(MRT)扫描的形式或正电子成像术(PET)扫描的形式提供。图像数据还可定义图像坐标系。
患者图像数据可能没有示出任何配准标记(例如，不透无线电的基准布置(fiducials))。换言之，在某些变型中，可使用表面匹配来消除对于在图像数据获取之前将配准标记与患者相关联的需要。患者图像数据可以手术前生成。备选地，或附加地，可使用在手术期间提供的图像数据。
可在导航之前确定配准转换。此外，在导航期间该转换可被重新确定或被调整一次或多次(例如，以验证或校正导航之前确定的转换。)。通过这种方式，可将配准重复一次或多次，以增加导航精确度。在一个实现中，基于在导航期间接收到的每个图片数据集来重新确定转换。关于这一点，可执行过滤方案.例如，可根据预定数目的图片数据集确定转换，该预定数目的图片数据集始终包括在导航期间接收到的最新的图片数据集。
还提供了一种包括程序代码部分的计算机程序产品，当由计算设备上执行计算机程序产品时，程序代码部分执行本文中公开的方法和方法方案任一者的步骤。计算机程序产品可以存储在计算机可读记录介质上，例如硬盘、CD-ROM、DVD或半导体存储器。此外，可以提供计算机程序产品，以经由网络连接下载。
根据另一方案，提供给了一种用于确定导航参考坐标系与图像坐标系之间的转换的设备，所述导航参考坐标系用于相对于患者图像数据来导航手术设备，在所述图像坐标系中，所述患者图像数据定义患者表面的形状。该设备包括：适于接收接收多个图片数据集的接口，其中，所述图片数据集是从患者表面的不同视角得到的。该设备还包括处理器，所述处理器适于：根据所述图片数据集并在所述导航参考坐标系中确定所述图片数据集中能够识别的多个特征的特征坐标；根据所述特征坐标确定所述导航参考坐标系中所述患者表面的形状模型；以及使用所述形状模型与由所述患者图像数据定义的患者表面的形状之间的表面匹配来确定所述导航参考坐标系与所述图像坐标系之间的转换。
此外提供了用于计算机辅助手术的***。该***包括本文中介绍的设备和相机。相机可被配置为可相对于患者移动，并被配置为提供图片数据集。
附图说明
结合附图，根据以下对示例性实施例的描述，本公开的其他方面、细节和优点将变得显而易见，在附图中：
图1A示意性地示出了计算机辅助手术***的实施例，该计算机辅助手术***能够确定导航参考坐标系和图像坐标系之间的转换；
图1B是解释在图1A的***实施例中可用的各种特征实施例的树形图；
图2是示出本文中介绍的技术的方法实施例的流程图；
图3示意性地示出使用图1A的***实施例的配准和导航场景；
图4A、图4B示意性地示出可结合图3的场景使用的患者跟踪设备的特征块和表面；
图4C-4E示意性地示出了特征关键点和可跟踪特征组的概念；
图5A-8B示出使用图1A的***实施例的配准和导航场景的其他实施例；
具体实施方式
在下文示例性实施例的描述中，为了解释性而不是限制性的目的，为了提供对本文示出的技术的全面理解，阐述了具体细节(例如具体方法、功能和流程)。对本领域技术人员显而易见的是，可以在脱离这些具体细节的其它实施例中实践该技术。例如，虽然将主要基于与ENT(耳鼻喉)手术和神经外科有关的配准和导航场景来描述以下的实施例，将会显而易见的是，本文中介绍的技术也可关于患者身体的其他区域(例如，脊柱手术)来实现。
此外，本领域技术人员将意识到：本文解释的方法、功能和步骤可以使用软件功能结合编程微处理器、专用集成电路(ASIC)、数字信号处理器(DSP)或通用计算机来实现。还将意识到的是，虽然将主要在方法、***和设备的上下文下描述以下的实施例，本公开也可体现在计算机程序产品中，该计算机程序产品可被加载，以在包括一个或多个处理器以及担当存储设备的一个或多个存储器的计算设备或分布式计算***上运行，其中，该一个或多个存储器被配置为存储控制该一个或多个处理器执行本文中公开的方法、功能和步骤的一个或多个计算机程序。
图1A示出了用于计算机辅助手术的***100的实施例。如图1A中所示，***100包括计算设备110(例如，个人计算机、平板计算机或膝上型计算机)、显示设备120(例如，触摸屏或计算机监视器)以及外部存储设备130(例如，在其中提供数据库或其他数据***的硬盘或半导体存储器)。***100还包括被配置为获得患者区域的二维或三维图像数据的成像设备140。一般而言，成像设备140可以是可免持操作的设备、机械引导的设备或完全固定的设备。例如，成像设备140可以是CT设备、MRT设备、PET设备或超声波设备。成像设备140被配置为根据医疗数字成像和通信(DICOM)格式或任何其他患者图像格式向计算设备110提供患者图像数据(例如，通过诸如CD-ROM或者无线或有线链路的数据载体)。备选地，计算设备110或与其不同的计算设备可被配置为根据任何患者图像格式对成像设备140获取的患者图像数据进行格式化。
***100还可包括用于生成(或触发生成)用户交互信号的至少一个用户可操作输入设备，例如一个或多个按钮、键盘、鼠标或轨迹球(未示出)。用户交互信号可控制***100的操作。输入设备和显示设备12(可以集成到触摸屏中。触摸屏继而可以是平板计算机的一部分。
***100还包括在手术流程中使用的手术设备150(例如，手术工具)。如本文中所理解的，患者的诊断和治疗处理也被认为构成手术流程。手术设备150可包括输入设备(例如，一个或多个按钮的形式)。
手术设备150可以是免持操作设备或被引导的设备。在后一情况下，手术设备150可由手术机器人(例如，全自动地或半自动地)操作。在其他变型中，可出现由外科医生约束手术设备150的移动的机械引导。在以下实施例中的一些实施例中，手术设备150被配置为活体组织穿刺针，或被配置在内窥镜上。
显示设备120被配置为使患者图像数据可视化。在手术流程之前或在手术流程期间已由成像设备140获得患者图像数据。显示设备120还被配置为将用于相对于患者对手术设备150进行导航的计算机辅助引导可视化。这种可视化可包括将手术设备150或其一部分的当前位置(可选地，包括定向)重叠在根据图像数据导出的患者图像上。应该注意到，可通过声学或触觉反馈来附加地或备选地提供这样的引导。
如图1A中所示，***100还包括至少一个相机160以及定义特征集170的多个特征。相机160被配置为从两个或更多不同的视角获取患者的图片数据集，使得每个图片数据集至少包括特征集170的至少一些特征。相机160可以是被配置为在获得图片数据集时可相对于患者自由移动的手持相机。例如，可将相机160实现为能够提供连续视频数据流(例如，作为视频帧)形式的图片数据集的视频相机。
在一个变型中，相机160被刚性地安装到手术设备150，使得相机160可与手术设备150一起移动。在另一变型中，可独立于手术设备150来操作相机160。在这样的变型中，可将相机160并入智能电话、平板计算机或任何其他移动用户设备中。
可选地，可提供至少一个其他相机160A。在一个实现中，将该其他相机160A刚性地安装到手术设备150，以用于手术导航期间的跟踪(例如，如US 2008/0208041 A1中所描述的)，而可结合如本文中所述地确定坐标系转换的配准流程，独立于手术设备150来操纵另一相机160。在另一实现中，相机160被刚性地安装到手术设备150，并用于配准目的和导航(即，跟踪)目的二者。在另一实现中，相机160、160A二者都被安装到手术设备150，其中相机160用于配准目的，而相机160A用于受引导导航目的。在又一实现中，相机160A用于手术导航期间的跟踪，并贴附到手术室墙上、手术室灯上或推车上(图1A中未示出)。推车可被配置为运输至少计算设备110以及显示设备120。
在被安装到手术设备150时，相机160、160A中的任一个可具有包括手术设备150所针对的患者表面的视野。例如，在手术设备150使用指向患者的纵轴时，视野可沿着手术设备150的纵轴延伸。
特征集170包括至少在相机160(且可选地，相机160A)获得的图片数据集中可识别的多个特征。出于识别目的，可由计算设备110提供模式识别能力。关于此，***100可具有或可不具有对要检测的特征的布置、编码或其他特性的先验知识。特征中的一个或多个可以是有源标记(例如，要被相机160检测到的发射辐射)。此外，或在备选中，特征中的一个或多个可以是无源标记.无源标记可具有反射或非反射性质。可在任何刚性(例如，平坦的)或柔性衬底(例如，患者和工具跟踪设备中任一个)上实现无源标记(例如，通过印刷)，或可将无源标记涂抹在患者皮肤上。可通过表示特性的解剖学患者特征来实现特征中的一个或多个，该表示特性的解剖学患者特征可包括任何附加标记，但不是必须包括。
图1B示出了树形图示例性特征实现。如图所示，特征可以是人为特征或解剖学特征。***100可具有对人为特征(例如，具有所谓校准信息的形式)的先验知识，或可不具有该知识。该先验知识可涉及特征编码方案和特征相对于彼此的位置中的一项或多项。已知先验的人为特征可例如是在衬底上盖戳或印刷的无源标记，或备选地是有源标记(图1B中未示出)。可通过在患者皮肤上随机涂抹来实现未知先验的人为特征。
关于解剖学特征，***100一般将不具有专用的先验知识，而是可使用通用模型来识别解剖学特征。例如，对于解剖学特征，可提及(通常二维的)皮肤特征，例如斑点、胎记和毛孔。其他(通常三维的)解剖学特征包括例如患者的眼睛或鼻尖。
现在转到图1A，计算设备110包括至少一个数据接口112、至少一个处理器114(例如，中央处理单元(CPU))以及内部存储设备116(例如，用于存储数据和程序代码的硬盘或半导体存储器)。在一个变型中，数据接口112被配置为输入/输出接口。一般而言，数据接口112可被用于在一方面的计算设备110与在另一方面的显示设备120、外部存储设备130、成像设备140、相机160和160A以及计算机网络180(例如，局域网(LAN)和/或互联网)中的一个或多个之间建立有线或无线通信。数据接口112可被实现为一个或多个硬件组件、一个或多个软件组件或其组合的形式。例如，数据接口可被实现为包括一个或多个通用串行总线(USB)接口。数据接口112可备选地或附加地被实现为用于读取数据载体(例如，CD-ROM或SD卡)的设备。
内部存储设备116或外部存储设备130或其二者可被配置为存储成像设备140获得的患者图像的图像数据。备选地或附加地，还可经由计算机网络180接收(例如，下载)这样的图像数据。外部存储设备130可例如至少部分实现在成像设备140中，以由计算设备110读取。
此外，内部存储设备116或外部存储设备130或其二者可被配置为存储校准数据的各项。这样的校正数据构建***100的先验知识，且下面将更详细地描述各个校正数据示例。应该明白，***100的先验知识可备选地或附加地包括其他信息项。
内部存储设备116或外部存储设备130或其二者可附加地被配置为存储从相机160(且如果存在，从相机160A)接收的图片数据集。如上所述，可通过视频数据流的形式接收这些图片数据集，其被至少临时地存储，以由处理器114进行处理。这样的处理可例如包括模式识别，以识别(例如，定位和可选地解码)接收到的图片数据集中的一个或多个特征。
下面，将参考剩余的图更详细地讨论图1A中示出的***100的示例性操作模式。应该注意到，也可以在具有与图1A中示出的配置不同的配置的***中实现本文中讨论的操作模式。将使用相同的附图标记来表示相同或相似的组件。
一般操作图1A的***100来在手术流程期间提供计算机辅助。计算机辅助可包括计算机辅助引导，计算机辅助引导用于相对于由成像设备140获取并在显示设备120上可视化的患者图像数据来导航手术设备150或其一部分。如前所述，这样的导航通常要求前置的配准步骤，在该配准步骤中确定一方面的导航参考坐标系和另一方面的图像坐标系之间的转换。导航参考坐标系一般可以是患者的身体坐标系或具有相对于患者的固定位置的患者跟踪设备的***坐标系。患者跟踪设备可例如采用刚性地贴附到患者的***特征布置的形式。通常固有地在成像设备140提供的图像数据集中定义图像坐标系。
图2示出了代表计算机实现方法实施例的流程图200，该计算机实现方法实施例用来确定用于手术设备150的导航的参考坐标系与在其中提供成像设备140获取的患者图像数据的图像坐标系之间的转换。
如流程图200中所示，方法实施例包括第一步骤202，在第一步骤202中，计算设备110经由接口112从图1A中示出的相机160和相机160A之一接收多个图片数据集。这样接收到的图片数据集可至少临时存储在内部存储设备116中，以由处理器114进行处理。如上所述，在相机160、160A中的一个或二者相对于感兴趣的患者区域移动时，可通过连续视频数据流的形式或者不连续地接收图片数据集。存储设备116中存储的图片数据集因此从患者表面的两个或更多个不同的视角获得。
在下面的步骤204中，处理器114处理存储设备116中的图片数据集。使用模式识别技术，处理器114首先识别(例如，定位)图片数据集中的多个特征，并确定其在导航参考坐标系中的坐标(例如，以其关键点坐标的形式)。关于此，处理器114还可基于多个识别出的特征来确定导航参考坐标系。处理器114可具有对图片数据集中丈量(span)导航参考坐标系的具体特征的先验知识，或可简单地指定或选择识别出的特征中的特征以丈量导航参考***。
在另一步骤206中，处理器114根据特征坐标确定导航参考坐标系中患者表面的形状模型。可通过由假设位于患者皮肤上的特征的特征坐标所定义的点云来表示形状模型。定义形状模型的点云通常可包括30个以上的点，且在某些实施例中可包括几百个点。
然后，在步骤208中，处理器114确定导航参考坐标系与图像坐标系之间的转换(即，转换参数集)。该转换是使用表面匹配技术确定的，且是一方面在步骤206中确定的形状模型(例如，表面点云)与另一方面由成像设备140获取的患者图像数据所定义的患者表面的形状之间的转换。为此，例如在已经从内部存储设备116和外部存储设备130任一个中检索出患者图像数据之后，处理器114可在图2中未示出的之前步骤或并行步骤中从患者图像数据提取患者表面的形状。一旦步骤208中已经确定坐标系转换，可以使用该转换来相对于导航参考坐标系适当地配准患者图像数据，在导航参考坐标系中，可跟踪患者和手术设备150中的一个或其二者，以向对手术设备150进行导航的手术提供图像引导辅助。
图3图形化地示出了步骤208中获得的转换，表示为T1。如图3中所示，转换T1建立导航参考坐标系302(其也可被称为患者或***坐标系)与图像坐标系304之间的联系。图像坐标系304在该情况下是三维坐标系，在该三维坐标系中给出了患者头部的手术前获取的图像数据或图像体。
图3中还示出了具有相关联的相机坐标系306的手持可自由移动配准相机160以及具有相关联的设备坐标系308的手持可自由移动手术设备150。如图3中示出的，具有相关联相机坐标系310的跟踪相机160A刚性地贴附到手术设备150。在备选实施例中，可通过基本固定的方式将跟踪相机160A安装在手术室内。在这样的实施例中，可将单独的工具跟踪设备(未示出)刚性地贴附到手术设备150。
以上参考图2讨论的配准步骤202至208基于配准相机160获取的图像数据集。另一方面，(初始)配准流程之后的导航流程基于从跟踪相机160A接收的图片数据集。如上所述，在备选实施例中，配准相机160也可以与跟踪相机160A一起或替代跟踪相机160A贴附到手术设备150。在后一情况下，配准相机160也可用于导航(即，跟踪)。
图3中还示出了，通过设备坐标系308与相机坐标系310之间的第二转换T2的转换参数定义跟踪相机160A(或在备选实施例中，相机160)与手术设备150(例如，其顶端)之间的位置关系。可以在制造期间(例如，针对手术设备150和相应相机160/160A之一或其二者的工厂校准步骤中)或紧接在手术流程之前(例如，使用用于对任何手术设备150进行通用适配的就地校准)，已经由校准过程导出对应的转换参数。
可将第二转换T2的转换参数存储为校准数据(例如，存储在图1A中示出的计算设备110的内部存储设备116中或相应相机160、160A的内部存储设备中)，以在导航期间使用。这样的校准数据还可描述相机160与其相关联的图像坐标系之间以及相机160A与其相关联的图像坐标系之间的其他转换的转换参数。可被同样存储在内部存储设备116中的对应转换参数可以定义相应相机160、160A的投影模型。该投影模型可被用于确定相应相机160、160A相对于在由该相应相机160、160A提供的图片数据集中识别出的一个或多个特征的位置(关于这一点，例如参见US 2008/0208041 A1)。例如，可结合图2中示出的步骤204并可选地结合基于跟踪相机160A提供的图片数据集对手术设备150导航，将投影模型用于配准。
可由相应相机制造商或由***100的分销商提供具体投影模型底层的转换参数。也可利用就地的校准固定装置对其进行估计，或针对具体相机类型进行标准化。在某些实现中，可经由适合的接口由相应相机160、160A自已提供转换参数(例如，取决于当前选择的缩放等级实时地提供)。
在例如图1A的计算设备110的内部存储设备116中提供来作为校准数据的还有与图3中示出的特征集170有关的信息。这样的信息可包括特征相对位置和/或任何所应用的特征编码方案。基于(例如，相关联的相机坐标系中)相机160、160A中任一个所拍摄的图像中的已知特征相对位置和(投影)特征相对位置，可通过从对应的图像坐标系向在其中提供特征坐标的任何参考***(例如，导航参考坐标系302)的透视后向投影(perspectiveback-projection)来(例如，实时地)确定另一转换的转换参数。在图3中，分别通过针对相机160和160A的第三转换T3和T3A对此进行指示。
通过针对每个单个的特征j求解以下的等式***，计算针对相机160的第三转换T3的转换参数：
Mj，160＝T4·T3-1·Mj，cal，
其中，Mj，160是相机160的图片数据集的图片中具有相对于其图像坐标系的坐标的图像化特征j(例如，视频帧)，Mj，cal被作为校准数据提供，并指示具有相对于导航参考坐标系302的坐标的特征j(的关键点)，以及第四转换T4指定相机160和与其所相关联的图像坐标系之间的转换参数。
通过类似的方式，可针对跟踪相机160A计算转换T3的转换参数。应该注意到，上述的透视后向投影有时也被称为相机姿态估计，或结合相机姿态估计来执行。
在图3中示出的示例性场景中，以两个特征子集的形式提供特征集170，其中，第一特征子集与患者跟踪设备320相关联，且第二特征子集与特征块330相关联。附加地或备选地，可通过解剖学患者特征的形式提供第二特征子集。在图3中，通过黑点来用符号表示单个特征。当然，也可通过将任意的或良好块的图样涂抹在患者的皮肤上来将特征块330一般化。
图4A示出了图3的特征块330的实施例，特征块330是在其上包括了多个编码特征的多部分皮肤遮蔽物的形式。图4B示出了图3的患者跟踪设备320的二维(即，平坦)表面。
参考图4A，定义特征块330的皮肤遮蔽物包括柔性衬底，在柔性衬底面向患者的一侧具有粘合物，且在柔性衬底上具有定义鲁棒的光学可视特征的印刷表面。每个特征具有二维扩展，在本实施例中，该二维扩展包括唯一的扩展QR型编码(其允许各个特征的交叠)。
在图4A中，单个扩展特征在图形上被示出为位于白环之内，其中，环的中心定义了特征关键点。一般而言，每个扩展特征可定义这样的一个特定关键点(或中心)，该特定关键点指示特征的位置(或坐标)。在计算机的视角中，术语“特征”也被称为对周围(即，特征扩展的)关键点的描述。
图4C示意性地示出环的示例形式中扩展特征的关键点概念。应该明白，该关键点概念可被容易地扩展为图4A的特征类型。
还应该注意到，图4A中的白环仅被用于示意的目的，且在实际的特征块330中没有出现。还将意识到的是，在备选实施例中，可通过其他方式定义并编码各个特征。作为示例，可以使用彩色编码环或点。
如前所述，图4A中示出的特征块330的衬底是柔性的，使得可贴合患者的表面，特征块330通过其粘合层涂敷到患者表面。在某些实现中，可将特征块330上的各个特征分组到小的区域中，可假设该小的区域形成平的(即，平坦的)表面，而不受任何表面弯曲的影响。
可将各个特征的相对位置以及其编码方案(其使得可区分各个特征)存储为校准数据(即，可以是先验已知的)。此外，还可将各个特征(或特征关键点)与患者皮肤的距离(即，特征块330的厚度)存储为校准数据。
图4B示出了图3的患者跟踪设备320的二维(即，平坦)表面。在本实施例中，患者跟踪设备320被配置为要坐落在患者鼻子上的头戴式设备。患者跟踪设备320将会被刚性地贴附到患者，使得其将与患者一起移动。通过这种方式，患者跟踪设备320可检测任何患者移动，在用于跟踪或计算(包括估计)导航参考坐标系302中手术设备150或配准相机160相对于患者的位置的导航期间，这将会是特别需要的。
在本实施例中，由在图4B的患者跟踪设备的二维表面上提供的特征(以黑白区域组合的形式)来定义(或丈量)导航参考坐标系302。这意味着一旦在从相机160、160A中任一个接收到的图片数据集中识别出并可选地解码患者跟踪设备320的表面上定义的***特征，可确定导航参考坐标系302以及这些特征在坐标系302内的坐标。如果特征块330的特征在导航参考坐标系302内是已知的，也可以将其用于该计算。
一般而言，以上与图4A中示出的特征块330的特征有关的陈述同样适用于图4B的患者跟踪设备320的特征。例如，图1A的***100同样也将具有与在患者跟踪设备320上提供的特征的相对位置和编码有关的先验知识(校准数据的形式)。
下面将描述确定导航参考坐标系302与图像坐标系304之间的转换的其他实施例。这些具有将会更加详细地讨论的某些修改的实施例从图3中示出的一般性场景中导出。将会看到，可在成像设备140获得图像数据时不需要将不透无线电的基准布置或其他任何标记贴附到患者的情况下确定坐标系转换T1。
在准备下面的实施例时，将讨论特征组(也称为“迷你***”)的概念以及某些计算机视角概念，例如姿态估计、SLAM和SfM。
图4D示出抽象层级的迷你***概念。迷你***可通过四个(或通常多得多的)特征一组来定义，并可被认为构成其自身的各个特征(即，可以与唯一的三维特征坐标集相关联)。在图4D中描绘了四个特征。每个特征具有某些扩展(由环来指示)和编码(由特定的线型来指示)。该编码使得可将四个特征彼此区分开。应该明白，可使用图4A的QR型编码或图4B的区域编码来实现图4D的抽象迷你***概念。
定义迷你***的特征组使得可将空间中良好定义的点(以及可选地，定向)与迷你***相关联。这由图4D中的坐标系示出，其中，坐标系(“迷你***坐标系”)的原点指示空间中良好定义的点，且轴示出了定向。在将特征组布置在具有已知形状的表面上时，可以将坐标系的原点与该表面上的已知点相关联。特征组的特征(即，其特征关键点)在迷你***坐标系内描述，或换而言之，迷你***坐标系可从构成特征组的特征的关键点坐标导出。可使用以上参考图3讨论的姿态估计(透视后向投影)来确定这些关键点坐标。应该注意到，不需要在所有的实施例中都确定迷你***定向和迷你***坐标系。在很多实施例中，将迷你***与空间中良好定义的点相关联便足够了。
对于图4A中示出的特征块示例，可以假设在特征块330贴合患者表面时将每个特征组布置在局部平坦的表面上(其可能要求将特征彼此靠近布置)。由此，每个迷你***都可被解译为定义已知的表面点(例如，迷你***坐标系的原点)，且可如图4E中所示地确定多个迷你***/表面点之间的转换。一般而言，若干表面点之间的转换定义表面点的相对位置(或坐标)(参见图2中的步骤204)，并因此定义描述所需表面模型的点云(参见图2中的步骤206)。
在图4E中，由T11-1·T10来指示两个示例性表面点之间的三维转换。构建转换T10和T11将相应迷你***坐标系与相机坐标系(图3中的附图标记306)相关联。在一个实现中，可根据配准相机160从单个视角获取的单个图片数据集(例如视频帧)针对多个迷你***计算这种转换。在实践中，多次从(从多个视角获取的)多个图片数据集导出表面点之间的转换(T11-1·T10)，并在然后将其平均以增加计算的鲁棒性。
在一个实施例中，使用SLAM技术(包括姿态估计)来计算表面点相对于相机坐标系306(参见图3)的转换T11和T10。如前所述，姿态估计涉及使用后向投影方案(例如，如上参考图3所述)根据二维图片确定位置和定向(有时是可选的)。SLAM允许同时定位(即，确定相机位置)和映射(即，表面模型形式的患者表面重构)。
在本实现中，SLAM利用局部平坦的区域(由迷你***定义)来对要重构的患者表面进行建模，使得可使用平坦姿态估计来局部地重构患者表面。在某些实施例中，可相对于患者跟踪设备(例如图4B的患者跟踪设备320(即，在图3的导航参考坐标系302中))来计算(例如，估计)姿态。由点云表示所产生的形状模型。应该明白，点云的每个点表示单个迷你***的(例如，其相关联的迷你***坐标系的原点的)特征坐标。
作为SLAM的备选，可使用姿态估计和SfM技术的组合来导出用于形状模型的特征坐标(图2中的步骤204和206)。关于这一点，在配准相机160从不同视角获取的多个图片数据集中的每个图片数据集中，通过二维的方式识别单个特征(例如，特征关键点，但不是必须是例如迷你***的特征组)。在某些实施例中，可由图4A的特征块330提供特征。对于每个图片数据集，例如相对于图4B的患者跟踪设备320来计算相应相机姿态。由此，可能需要区分患者跟踪设备320上的特征和特征块330上的特征。
然后，应用SfM以导出三维特征坐标(即，构建患者表面并生成形状模型)。SfM构造在配准相机160相对于患者移动时针对各个特征的二维特征跟踪。根据该特征跟踪，在导航参考坐标系中(例如，患者跟踪设备320的坐标系302中)导出特征坐标。关于这一点，可针对图片数据集来利用配准相机160相对于患者跟踪设备320的姿态，根据该图片数据集构造特征跟踪。因此将特征跟踪用于三维特征坐标系。
可将三角测量法以及可选地束调整应用于三维特征坐标重构和形状模型生成。在一个变型中，三角测量法针对每个特征跟踪确定在(例如相对于患者跟踪设备320的)相机姿态中具有最大角距离的两个图片数据集(例如，视频帧)。然后，从这两个图片数据集导出二维特征信息，以得到导航参考坐标系中特征坐标的初始三维重构。然后，将针对所有特征跟踪的初始重构与很多或所有相关联的图片数据集(以及相关联的相机姿态)一起用于执行束调整。束调整是用于降低反投影(reprojection)误差的优化流程。此外，在本情况下，由具有三维特征坐标的点云来表示所产生的形状模型。
应该明白，也可以在没有相对于患者跟踪设备的显式相机姿态估计的情况下执行SfM。在这样的情况下，可对相应相机姿态进行估计和迭代优化。在Klein等的ParallelTracking and Mapping for Small AR Workspaces(Proceedings of the 2007 6th IEEEand ACM International Symposium on Mixed and Augmented Real ity，Pages 1 to10，13-16November 2007)中描述了相关处理。
基于上述对***概念、姿态估计、SLAM和SfM的解释，现在将描述图5A至图8B中描绘的更详细的实施例。
在图5A至图5C中示出的实施例中，使用与图3中类似的设置。这意味着，处于配准目的，将手持相机160相对于患者移动，以从患者表面的不同视角提供图片数据集。将图4A中示出的(多部分)特征块330和具有图4B中示出的特征图样的患者跟踪设备320二者都被涂敷到患者。因此，可在配准相机160提供的图片数据集中识别患者跟踪设备320的特征和特征块330的特征二者。
图5B示出了基于图5A的设置的方法实施例的流程图500。方法实施例使用姿态估计和图4C至图4D中示出的特征组(或迷你***)概念，但不要求应用SLAM。
在初始步骤502中，对感兴趣的患者区域(即，要手术治疗的患者区域)进行手术前扫描或手术中扫描。如上所述，不需要将特定的基准布置或任何其他标记贴附到患者的身体。将所产生的患者图像数据(通常是体数据集)导入图1A的计算机设备110。可使用标准防议(例如DICOM)执行该导入。
在下一步骤504中，从图像数据提取感兴趣的患者表面的形状。所提取的形状表示可描述患者的感兴趣的解剖区域的皮肤表面。在图5A中示出的示例性实施例中，提取正面的头部和面部的表面。可使用射线跟踪技术或任何其他技术(例如，三维图像分割)，由计算设备110或备选计算设备执行该提取。
将会意识到，可在手术前几天或甚至几周执行步骤502和504。在某些情况下，还可以在手术治疗期间(即，手术治疗的同时)执行该两个步骤。
紧接在手术治疗之前，将其上具有编码特征的皮肤遮蔽物类型的特征块330贴附到患者的皮肤表面(步骤506)。如上所述，将编码特征分组，以形成(同样编码的)迷你***。由于特征块330面向患者的一侧上的粘合物，所贴附的特征块330将贴合患者表面。
同时，将患者跟踪设备320贴附到患者(步骤508)。将患者跟踪设备贴附为使得可以保证其在配准和导航期间将不会相对于患者的身体移动。在图5A中示出的实施例中，使用携带平坦衬底的头戴式设备，在该平坦衬底上印刷了***特征(参见图4B)。在备选实施例中，可使用头带或头架(headframe)，或可将患者跟踪设备可被粘贴在患者皮肤上。
在步骤510中开始实际的配准流程：在图1A的计算设备110的内部存储设备116中记录从配准相机160接收的视频数据流，同时相对于患者移动。对应的视频数据流包括相对于患者表面从不同视角得到连续图片数据集系列。图片数据集使得可识别在配准相机160的相应视野内的患者跟踪设备320和特征块330二者上的特征。
然后，在步骤512中，针对可在其中识别(例如，检测)患者跟踪设备320的至少四个鲁棒特征的每个图片数据集，可在导航参考坐标系302中相对于患者跟踪设备320在三个维度上确定特征块330(其也可在该图片数据集中识别)上每个迷你***的位置(例如，使用以上参考图3时论的姿态估计)。在本情况下，在步骤512中，通过患者跟踪设备320上的识别出的特征布置来先验地定义导航参考坐标系302，且也确定导航参考坐标系302。由此，步骤512包括估计患者跟踪设备320的位置和定向(即，姿态)以及迷你***相对于配准相机坐标系306的位置(通过与参考图3所讨论的类似方式)。通过坐标转换，可以计算迷你***关于导航参考坐标系302的位置。
因此，通过处理从配准相机160接收到的视频数据流，可以采集多个迷你***的(即，图4E中示出的相关联的表面点的)相对于患者跟踪设备320(即，在导航参考坐标系302中)的特征坐标，并可选地进行过滤。过滤可包括计算从多个图片数据集(即，从不同视角得到的图片数据集)导出的单个迷你***的多个计算出的位置的平均值。因此，获得对特征块330上相对于导航参考坐标系320的迷你***位置(即，特征坐标)进行指示的点云。该点云表示已涂敷了特征块的患者表面的形状模型。
可在记录视频数据流并向操作配准相机160的用户提供视觉反馈或其他反馈的同时完成上述计算中的一个或多个。这样的反馈可包括以下一项或多项：显示设备120上对配准相机160获取的视频数据流的渲染、涉及是否可在图片数据集中识别患者跟踪设备320的信息、以及涉及特征块330的各个特征的状态的信息(例如，检测状态、涉及特征的估计位置的质量信息、等等)。
在步骤512中确定指示特征块330的特征坐标的点云之后，方法进行到步骤514。在步骤514中，执行表面匹配，将步骤512中导出的导航参考坐标系302中的特征坐标的点云与步骤504中从图像数据提取的图像坐标系304中的患者表面进行匹配。可使用迭代最近点(ICP)或任何其他技术来执行表面匹配。步骤514中的匹配结果是针对转换T1的从导航参考坐标系302(其在本实施例中与患者跟踪设备坐标系一致)到图像坐标系304的配准转换矩阵(即，转换参数)，或反之(参见图3)。
然后，在步骤516中，且基于配准转换矩阵，在导航相机160A可识别导航参考坐标系302中已知的至少四个特征(例如，患者跟踪设备320的特征)时可在患者图像体数据集中对具有所贴附的跟踪相机160A的手术设备150进行导航，且可以使用姿态估计技术计算跟踪相机160A相对于患者跟踪设备320的姿态。
图5C示出了用于基于图5A中示出的设置来确定图3的坐标系转换T1的备选方案的流程图550。步骤552至566基本上对应于以上参考图5B讨论的步骤502至516，且因此将仅对与步骤562的主要区别进行更详细的讨论。这些区别涉及没有实现迷你***概念这一事实。相反使用了具有姿态估计的SfM技术。因此，仅需要识别和处理特征块330上的各个(编码)特征。
在步骤562中，使用SfM技术来确定特征块330的特征的特征坐标。如上所述所，SfM指代根据图片数据集的二维序列估计三维结构的处理。因此，可以根据配准相机160得到的移动场景的(投影)二维运动域恢复三维表面。关于这一点，(通过例如光流算法)逐图片数据集地在图片数据集的序列中跟踪特征块330的各个特征。通过针对每个图片数据集知道(所估计的)相对于患者跟踪设备320的相机姿态并应用SfM，可以计算导航参考坐标系302(即，患者跟踪设备坐标系)中识别出的特征的三维坐标。这些计算的结果将是导航参考坐标系302中特征块330的特征的坐标点云。
在图6A中，示出了省略专用患者跟踪设备的备选设置。替代预先贴附到患者的专用患者跟踪设备(分别参考图5B和图5C中的步骤508和558)，计算机***110仅在配准流程期间根据特征块330的识别出的特征生成患者跟踪设备。
在图6B的流程图600中示出了对应处理步骤。步骤602、604、606、616和618很大程度上分别对应于以上参考图5B描述的步骤502、504、506、514和516，且因此将不会更详细地讨论。因此，图6B的方法实施例也使用了迷你***概念。
由于没有将专用患者跟踪设备贴附到患者，步骤608中记录的视频数据流仅指示特征块330的特征。
在步骤610中，针对每个图片数据集，估计特征块330的每个识别出的迷你***相对于配准相机坐标系306(参见图3)的姿态(即，位置和定向)。如上参考图4D所解释的，具体迷你***的已知位置和定向定义了局部的迷你***坐标系。由此，可以(例如在任意迷你***的坐标系中)计算从一个识别出的迷你***的坐标系到任何其他识别出的迷你***的坐标系的转换。上文参考图4E对该处理进行了解释。
在步骤612中，采集并可选地(例如通过形成从不同视角计算的每个迷你***的转换的平均值来)过滤针对各个特征组合在步骤610中计算的转换。
然后，在步骤614中，根据针对识别出的迷你***导出的位置(即，坐标)和/或转换构造任意坐标系。任意”特征块”坐标系中的各个识别出的迷你***的特征坐标再次地(在该坐标系中)形成点云，该点云表示已涂敷了特征块330的患者表面的表面模型。此外，可指定识别出的迷你***中的多个迷你***，以用于手术导航期间(经由跟踪相机160A)的后续跟踪。由此，定义任何的特征块坐标系，以构建导航参考坐标系302，该导航参考坐标系302替换结合图5A至5C中示出的方法实施例用于相同目的的患者跟踪设备坐标系。
因此，在步骤618中，迷你***已被用于导航期间的跟踪，以确定导航相机相对于患者(以及手术设备)的位置。该事实解释了表达迷你“***”。将要意识到是，在存在专用患者跟踪设备的其他实施例(参见例如图5B)中，不需要将迷你***用于导航期间的实际跟踪。
图7A示出了与图6A中示出的设置类似但利用了SfM技术的又一设置。由此，将不根据迷你***来确定导航参考坐标系。图7A还示出补充缩放(scaling)参考190。在使用迷你***的其他实施例中，可将与迷你***有关的先验知识用于缩放。
图7A中的缩放参考190包括具有已知相对距离的缩放特征。例如，缩放参考190可采用其上具有对缩放特征进行定义的规则或不规则图样的平坦衬底的形式。缩放特征同样地是配准相机160提供的图片数据集中可识别的，且使得可确定针对患者表面的形状模型的缩放因子。在备选实施例中，可在表面匹配流程期间从与匹配设备140得到的患者图像数据相关联的已知缩放因子导出这样的缩放因子。
图7B的流程图700中示出的相关联方法实施例很大程度上对应于参考图6B讨论的方法实施例。根据一个差异，在步骤708中记录的视频数据流中包括(刚性)缩放参考190，该缩放参考190具有至少两个鲁棒的视觉可检测且可区分的光缩放特征(以及先验已知的彼此的相对位置)。应该注意到的是，如果需要，可将缩放参考190包括在特征块330中。此外，不需要将缩放参考190贴附到患者，而是在出于配准目的获取视频数据流时，缩放参考190应该具有与患者的固定位置。
与基于姿态估计执行的步骤610相反，在步骤710中，使用SfM来计算识别出(即，检测到且可选地解码)的各个特征(并非必须是特征组)的点云.在步骤712中通过缩放因子来缩放点云，缩放因子是通过根据对缩放特征在空间中的相对位置的先验知识来对在图片数据集中识别出的缩放参考特征进行缩放而确定的。将意识到的是，在步骤610中利用的姿态估计技术不需要这样的缩放。在步骤714中，根据特征块330的至少四个(个体)特征构造患者跟踪设备和相关联的坐标系。然后，在步骤718中，将使用该至少四个特征来估计相机姿态，以用于导航目的。
图8A示出了另一设置，在该另一设置中，除了图3的患者跟踪设备320之外，还省略了特征块330。另一方面，再次提供可选的缩放参考190。图8B的流程图800中示出的对应方法实施例部分对应于图7B的方法实施例。由此，将省略对与步骤702、704、712、714、716和718分别对应的步骤802、804、814、816、818和820的描述。
在步骤806中，将缩放参考190放置在配准相机160的查看方向上(即，视野中)。然后，在步骤808中，利用配准相机160从多个视角(或查看角度)记录感兴趣患者区域(在此是患者脸部)的视频数据流，使得还可以看到缩放参考190。在另一步骤810中，对解剖患者特征进行识别并可选地分类，以基于检测到的特征在视频数据流中进行跟踪。应用SfM来如上所述地解释三维点云。
结合步骤810(即，并行地)，在步骤812中应用模式识别来识别附加的解剖患者特征(所谓的地标)，该附加的解剖患者特征被用来定义预期有解剖患者特征的图片区域。该方案有助于防止检测到没有位于患者表面的特征。将意识到的是，在步骤820中还将会利用解剖患者特征来定义用于手术导航的患者跟踪设备。由此，不管是专用特征块还是专用患者跟踪设备，在图8A和图8B中示出的实施例中都不需要。
在图8A的实现中，步骤810中使用的解剖患者特征可以是个人皮肤特征。这样的皮肤特征包括在配准相机160获取的图片数据集中(经由模式识别)可检测到的毛孔、斑点和胎记中的一项或多项。应该明白，在其他实现中，可将涂抹在患者皮肤上的图样用于与皮肤特征相同的目的。一般而言，这样的涂抹图样可替代任何的上述实施例中的基于衬底的特征块330。
应该注意到，在图8A示出的设置中，缩放参考190是可选的。作为备选，可基于患者图像数据中固有包括的缩放信息来结合表面匹配执行缩放。
从以上实施例将变得显而易见的是，本公开提供了具有创新性配准方法的手术导航技术。可以低成本地提供导航***，因为在最简单的变型中，单个相机(例如，经由接口耦接到计算机设备的网络相机)便足够了。配准流程是容易且直观的，且对于获取用于手术导航的患者图像数据而言，不需要任何特别的患者治疗。
在上文中，已经示例性地描述了实现本文公开的技术的原理、实施例和各种模式。不应将本发明解释为限制在本文公开的具体原理、实施例和模式。相反，将要意识到，本领域技术人员可在不背离下面的权利要求中定义的本发明的范围的情况下做出各种改变和修改。

Claims (35)

1.一种确定导航参考坐标系(302)与图像坐标系(304)之间的转换(T1)的计算机实现的方法，所述导航参考坐标系用于相对于患者图像数据来导航手术设备(150)，在所述图像坐标系中，所述患者图像数据定义患者表面的形状，所述方法包括：
从第一相机(160)接收(202)多个图片数据集，所述第一相机(160)在从所述患者表面的不同视角得到所述图片数据集时能够相对于所述患者移动，其中，所述第一相机(160)是视频相机，且所述图片数据集是通过视频数据流的形式从所述视频相机接收的；
根据所述图片数据集并在所述导航参考坐标系(302)中确定(204)所述图片数据集中能够识别的多个特征(170)的特征坐标；
根据所述特征坐标确定所述导航参考坐标系(302)中所述患者表面的形状模型；以及
使用所述形状模型与由所述患者图像数据定义的患者表面的形状之间的表面匹配来确定(208)所述导航参考坐标系(302)与所述图像坐标系(304)之间的转换(T1)。
2.根据权利要求1所述的方法，其中：
所述第一相机(160)是以下至少之一：手持相机，以及能够贴附到所述手术设备(150)。
3.根据权利要求1所述的方法，其中：
将至少一个图片数据集中能够识别的特征中的若干特征归组，以形成特征组，其中，每个特征组能导致位置和定向中的至少一项。
4.根据权利要求1所述的方法，其中，使用运动结构SfM技术、同时定位及映射技术SLAM和姿态估计技术中的一项或多项来确定所述特征坐标和所述形状模型中的至少一项。
5.根据权利要求3所述的方法，其中：
使用同时定位及映射技术SLAM确定所述特征坐标和所述形状模型中的至少一项；以及
将SLAM应用于所述特征组。
6.根据权利要求4所述的方法，其中：
SfM从不同的视角构建针对在所述图片数据集中能够识别的各个特征的特征跟踪，且将基于不同视角的三角测量法应用于各个特征跟踪。
7.根据权利要求1所述的方法，其中：
由点云表示所述形状模型。
8.根据权利要求1所述的方法，还包括：
基于在所述图片数据集中识别出的特征(170)中的至少一些特征确定所述导航参考坐标系(302)。
9.根据权利要求1所述的方法，其中：
针对在手术导航期间使用的患者跟踪设备(320)的一个或多个***特征确定所述特征坐标，其中，所述患者跟踪设备(320)在所述图片数据集中是能够至少部分识别的，并相对于所述患者具有固定位置。
10.根据权利要求8所述的方法，其中：
针对在手术导航期间使用的患者跟踪设备(320)的一个或多个***特征确定所述特征坐标，其中，所述患者跟踪设备(320)在所述图片数据集中是能够至少部分识别的，并相对于所述患者具有固定位置；以及
所述***特征至少部分地定义所述导航参考坐标系(302)。
11.根据权利要求1所述的方法，其中：
针对在所述图片数据集中能够识别的一个或多个解剖患者特征确定所述特征坐标。
12.根据权利要求11所述的方法，还包括：
使用与解剖特征有关的通用知识在所述图片数据集中识别所述一个或多个解剖患者特征。
13.根据权利要求11所述的方法，其中：
将至少一个图片数据集中能够识别的特征中的若干特征归组，以形成特征组，其中，每个特征组能导致位置和定向中的至少一项；
使用同时定位及映射技术SLAM确定所述特征坐标和所述形状模型中的至少一项；其中
将SLAM应用于所述特征组；以及其中
至少部分地根据所述解剖患者特征确定所述导航参考坐标系(302)。
14.根据权利要求11所述的方法，其中：
至少部分地根据所述解剖患者特征确定所述形状模型。
15.根据权利要求1所述的方法，其中：
针对涂敷到所述患者并在所述图片数据集中能够至少部分地识别的特征块(330)的一个或多个块特征确定所述特征坐标。
16.根据权利要求15所述的方法，其中：
所述方法还包括：基于在所述图片数据集中识别出的特征(170)中的至少一些特征确定所述导航参考坐标系(302)；以及
至少部分地根据所述块特征确定所述导航参考坐标系(302)。
17.根据权利要求15所述的方法，其中：
所述特征块(330)贴合到所述患者表面，且至少部分地根据所述块特征确定所述形状模型。
18.根据权利要求1所述的方法，还包括：
根据所述表面匹配导出缩放因子，且还根据所述缩放因子确定所述导航参考坐标系(302)。
19.根据权利要求1所述的方法，其中：
在所述图片数据集中能够识别缩放参考(190)的缩放特征，且还根据从所述缩放特征导出的缩放因子确定所述导航参考坐标系(302)。
20.根据权利要求1所述的方法，还包括：
在导航期间跟踪或计算所述手术设备(150)或其一部分相对于所述导航参考坐标系(302)的位置，所述导航参考坐标系(302)是已根据所述特征中的一个或多个特征确定的。
21.根据权利要求20所述的方法，其中：
至少根据一个或多个患者特征以及在手术导航期间使用的患者跟踪设备(320)的一个或多个***特征执行所述跟踪或计算，所述患者跟踪设备(320)不同于涂敷到所述患者的特征块(330)。
22.根据权利要求20所述的方法，还包括：
将所述手术设备(150)或其一部分相对于所述患者图像进行可视化,其中根据所述跟踪或计算对所述可视化进行适配。
23.根据权利要求20所述的方法，其中：
从第一相机(160)接收所述图片数据集，且基于由不同于所述第一相机(160)的第二相机(160A)提供的图片信息执行所述跟踪或计算。
24.根据权利要求23所述的方法，其中：
在手术期间，将第二相机(160A)维持在手术室中的基本固定的位置。
25.根据权利要求20所述的方法，其中：
从第一相机(160)接收所述图片数据集，且还基于从所述第一相机(160)接收到的图片数据集执行所述跟踪或计算。
26.根据权利要求1所述的方法，其中：
根据预定编码方案对在所述图片数据集中能够识别的两个或更多个特征进行编码，使得在所述图片数据集中所述特征能够彼此区分开。
27.根据权利要求1所述的方法，还包括：
基于模式识别来识别所述图片数据集中的一个或多个特征。
28.根据权利要求1所述的方法，还包括：
接收所述患者图像数据，所述患者图像数据是在所述图像坐标系(304)中提供的；以及
从所述患者图像数据提取所述患者表面的形状。
29.根据权利要求28所述的方法，其中：
所述患者图像数据没有示出任何配准标记。
30.根据权利要求28所述的方法，其中：
所述患者图像数据是手术前生成的。
31.根据权利要求1所述的方法，其中：
在导航前确定所述转换(T1),且附加地在导航期间一次或多次地确定所述转换(T1),以验证或校正导航前确定的所述转换。
32.根据权利要求31所述的方法，其中：
基于在导航期间接收到的每个图片数据集重新确定所述转换(T1)。
33.一种计算机可读存储介质，其上存储有指令，所述指令被计算设备执行时执行权利要求1所述的方法。
34.一种用于确定导航参考坐标系(302)与图像坐标系(304)之间的转换(T1)的设备(110)，所述导航参考坐标系用于相对于患者图像数据来导航手术设备(150)，在所述图像坐标系中，所述患者图像数据定义患者表面的形状，所述设备(110)包括：
接口(112)，适于：从第一相机(160)接收多个图片数据集，所述第一相机(160)在从所述患者表面的不同视角得到所述图片数据集时能够相对于所述患者移动，其中，所述第一相机(160)是视频相机，且所述图片数据集是通过视频数据流的形式从所述视频相机接收的；
处理器(114)，适于：根据所述图片数据集并在所述导航参考坐标系(302)中确定所述图片数据集中能够识别的多个特征(170)的特征坐标；根据所述特征坐标确定所述导航参考坐标系(302)中所述患者表面的形状模型；以及，使用所述形状模型与由所述患者图像数据定义的患者表面的形状之间的表面匹配来确定所述导航参考坐标系(302)与所述图像坐标系(304)之间的转换(T1)。
35.一种***(100)，包括：
根据权利要求34所述的设备；以及
相机(160)，能够相对于患者移动，并被配置为提供图片数据集。
CN201380079051.1A 2013-08-23 2013-08-23 用来对用于手术导航的坐标转换进行确定的计算机实现技术 Active CN105658167B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2013/067529 WO2015024600A1 (en) 2013-08-23 2013-08-23 Computer-implemented technique for determining a coordinate transformation for surgical navigation

Publications (2)

Publication Number Publication Date
CN105658167A CN105658167A (zh) 2016-06-08
CN105658167B true CN105658167B (zh) 2018-05-04

Family

ID=49035586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380079051.1A Active CN105658167B (zh) 2013-08-23 2013-08-23 用来对用于手术导航的坐标转换进行确定的计算机实现技术

Country Status (5)

Country Link
US (1) US9901407B2 (zh)
EP (1) EP3007635B1 (zh)
JP (1) JP6159030B2 (zh)
CN (1) CN105658167B (zh)
WO (1) WO2015024600A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102176193B1 (ko) * 2012-08-10 2020-11-09 마우이 이미징, 인코포레이티드 다중 어퍼처 초음파 프로브들의 교정
US10716834B2 (en) * 2012-09-06 2020-07-21 Norwegian University Of Science And Technology (Ntnu) Intervention device
US9883848B2 (en) 2013-09-13 2018-02-06 Maui Imaging, Inc. Ultrasound imaging using apparent point-source transmit transducer
EP2884364B1 (en) * 2013-12-12 2018-09-26 Hexagon Technology Center GmbH Autonomous gardening vehicle with camera
DE102014104802A1 (de) * 2014-04-03 2015-10-08 Aesculap Ag Medizinische Referenzierungsvorrichtung, medizinisches Navigationssystem und Verfahren
DE102014104800A1 (de) 2014-04-03 2015-10-08 Aesculap Ag Medizinische Befestigungseinrichtung sowie Referenzierungsvorrichtung und medizinisches Instrumentarium
EP3178067A4 (en) * 2014-08-08 2018-12-05 Carestream Dental Technology Topco Limited Facial texture mapping to volume image
US10091418B2 (en) * 2014-10-24 2018-10-02 Bounce Imaging, Inc. Imaging systems and methods
US9436993B1 (en) * 2015-04-17 2016-09-06 Clear Guide Medical, Inc System and method for fused image based navigation with late marker placement
US10082384B1 (en) 2015-09-10 2018-09-25 Stryker European Holdings I, Llc Systems and methods for detecting fixation frame parameters
US9665936B2 (en) * 2015-09-25 2017-05-30 Siemens Healthcare Gmbh Systems and methods for see-through views of patients
WO2017132517A1 (en) 2016-01-27 2017-08-03 Maui Imaging, Inc. Ultrasound imaging with sparse array probes
US11062465B2 (en) 2016-03-17 2021-07-13 Brainlab Ag Optical tracking
CN109152591B (zh) 2016-03-24 2021-08-27 史赛克欧洲控股I有限责任公司 具有带握把的切割组件的外科手术器械
EP4186458A1 (en) 2016-05-23 2023-05-31 MAKO Surgical Corp. System for tracking a physical object
US10578880B2 (en) * 2016-06-21 2020-03-03 Intel Corporation Augmenting reality via antenna and interaction profile
DE102016213663A1 (de) * 2016-07-26 2018-02-01 Siemens Aktiengesellschaft Verfahren zum Steuern eines Endelementes einer Werkzeugmaschine und eine Werkzeugmaschine
KR101848027B1 (ko) * 2016-08-16 2018-04-12 주식회사 고영테크놀러지 정위수술용 수술로봇 시스템 및 정위수술용 로봇의 제어방법
US10993771B2 (en) * 2016-09-12 2021-05-04 Synaptive Medical Inc. Trackable apparatuses and methods
US10507064B1 (en) 2016-09-27 2019-12-17 Brainlab Ag Microscope tracking based on video analysis
US10643330B2 (en) 2017-04-21 2020-05-05 Biosense Webster (Israel) Ltd. Registration of an anatomical image with a position-tracking coordinate system based on proximity to bone tissue
US10452263B2 (en) * 2017-09-13 2019-10-22 Biosense Webster (Israel) Ltd. Patient face as touchpad user interface
WO2019165430A1 (en) * 2018-02-26 2019-08-29 Cornell University Augmented reality guided system for cardiac interventional surgery
CN111970986A (zh) * 2018-04-09 2020-11-20 7D外科有限公司 用于执行术中指导的***和方法
US20210059859A1 (en) 2018-04-13 2021-03-04 Stryker European Holdings I, Llc Systems and Methods of Performing Transcanal Ear Surgery
CN108682048B (zh) * 2018-05-15 2022-05-17 杭州三坛医疗科技有限公司 导向通道的姿态显示方法、装置和***、可读存储介质
CN110584775A (zh) * 2018-06-13 2019-12-20 凯勋国际股份有限公司 气道模型生成***及插管辅助***
US11007031B2 (en) * 2018-08-14 2021-05-18 Verb Surgical Inc. Setup of surgical robots using an augmented mirror display
JP2022506220A (ja) 2018-10-29 2022-01-17 ストライカー・コーポレイション 脊椎手術を行うシステム及び方法、並びに手術部位における流体を維持するシステム及び方法
TWI766253B (zh) * 2019-03-19 2022-06-01 鈦隼生物科技股份有限公司 基於影像匹配決定手術路徑之方法與系統
EP3712900A1 (en) * 2019-03-20 2020-09-23 Stryker European Holdings I, LLC Technique for processing patient-specific image data for computer-assisted surgical navigation
EP3711699B1 (en) * 2019-03-21 2024-01-03 Stryker European Operations Limited Technique for transferring a registration of image data of a surgical object from one surgical navigation system to another surgical navigation system
US11024096B2 (en) 2019-04-29 2021-06-01 The Board Of Trustees Of The Leland Stanford Junior University 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device
CN110123453B (zh) * 2019-05-31 2021-07-23 东北大学 一种基于无标记增强现实的手术导航***
US10881353B2 (en) * 2019-06-03 2021-01-05 General Electric Company Machine-guided imaging techniques
CN110680470B (zh) * 2019-10-08 2021-04-23 山东大学 一种肿瘤自动穿刺机的激光引导定位装置
CN110755156A (zh) * 2019-11-14 2020-02-07 苏州铸正机器人有限公司 一种用于人工耳蜗导航手术的钛钉配准装置及方法
CN112420143A (zh) * 2019-11-27 2021-02-26 上海联影智能医疗科技有限公司 提供个性化健康护理的***，方法和装置
US11430564B2 (en) * 2019-11-27 2022-08-30 Shanghai United Imaging Intelligence Co., Ltd. Personalized patient positioning, verification and treatment
US11461929B2 (en) * 2019-11-28 2022-10-04 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for automated calibration
JP7392555B2 (ja) 2020-04-01 2023-12-06 マツダ株式会社 エンジンのオイルクーラの振動低減構造
US11540887B2 (en) 2020-06-05 2023-01-03 Stryker European Operations Limited Technique for providing user guidance in surgical navigation
CN111821025B (zh) * 2020-07-21 2022-05-13 腾讯科技（深圳）有限公司 空间定位方法、装置、设备、存储介质以及导航棒
CN113040908B (zh) * 2021-02-02 2022-03-25 武汉联影智融医疗科技有限公司 手术导航的配准方法、装置、计算机设备和存储介质
CN114176779B (zh) * 2021-12-31 2023-12-26 杭州三坛医疗科技有限公司 一种手术机器人导航定位方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6033415A (en) * 1998-09-14 2000-03-07 Integrated Surgical Systems System and method for performing image directed robotic orthopaedic procedures without a fiducial reference system
EP2153794A2 (en) * 2008-08-15 2010-02-17 Stryker Leibinger GmbH & Co. KG System for and method of visualizing an interior of a body
EP2452649A1 (en) * 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality
CN103118596A (zh) * 2010-05-04 2013-05-22 开创治疗股份有限公司 用于使用伪特征进行腹部表面匹配的***和方法
CN103209656A (zh) * 2010-09-10 2013-07-17 约翰霍普金斯大学 配准过的表面下解剖部的可视化

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6381485B1 (en) * 1999-10-28 2002-04-30 Surgical Navigation Technologies, Inc. Registration of human anatomy integrated for electromagnetic localization
US8038602B2 (en) * 2001-10-19 2011-10-18 Visionscope Llc Portable imaging system employing a miniature endoscope
US6978167B2 (en) 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method
US7869861B2 (en) 2002-10-25 2011-01-11 Howmedica Leibinger Inc. Flexible tracking article and method of using the same
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
CN101536013B (zh) * 2006-03-30 2013-08-28 埃克特维有限公司 光学位置测量及将坚硬或半柔软的工具引导到目标的***和方法
US8010177B2 (en) * 2007-04-24 2011-08-30 Medtronic, Inc. Intraoperative image registration
US8494608B2 (en) * 2008-04-18 2013-07-23 Medtronic, Inc. Method and apparatus for mapping a structure
KR100961661B1 (ko) * 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
EP2501320A4 (en) 2009-11-19 2014-03-26 Univ Johns Hopkins COST-EFFICIENT IMAGE-CONTROLLED NAVIGATION AND INTERVENTION SYSTEMS WITH COOPERATIVE SETS OF LOCAL SENSORS
EP2558011A4 (en) 2010-04-14 2017-11-15 Smith & Nephew, Inc. Systems and methods for patient- based computer assisted surgical procedures
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
FR2976107B1 (fr) * 2011-05-30 2014-01-03 Commissariat Energie Atomique Procede de localisation d'une camera et de reconstruction 3d dans un environnement partiellement connu
US20140275763A1 (en) * 2013-03-15 2014-09-18 Lucent Medical Systems, Inc. Partially disposable endoscopic device
AU2014231344B2 (en) * 2013-03-15 2018-10-04 Synaptive Medical Inc. Systems and methods for navigation and simulation of minimally invasive therapy

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6033415A (en) * 1998-09-14 2000-03-07 Integrated Surgical Systems System and method for performing image directed robotic orthopaedic procedures without a fiducial reference system
EP2153794A2 (en) * 2008-08-15 2010-02-17 Stryker Leibinger GmbH & Co. KG System for and method of visualizing an interior of a body
CN103118596A (zh) * 2010-05-04 2013-05-22 开创治疗股份有限公司 用于使用伪特征进行腹部表面匹配的***和方法
CN103209656A (zh) * 2010-09-10 2013-07-17 约翰霍普金斯大学 配准过的表面下解剖部的可视化
EP2452649A1 (en) * 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality

Also Published As

Publication number Publication date
US9901407B2 (en) 2018-02-27
JP6159030B2 (ja) 2017-07-05
US20160157938A1 (en) 2016-06-09
JP2016527996A (ja) 2016-09-15
EP3007635A1 (en) 2016-04-20
CN105658167A (zh) 2016-06-08
EP3007635B1 (en) 2016-12-21
WO2015024600A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
CN105658167B (zh) 用来对用于手术导航的坐标转换进行确定的计算机实现技术
JP7455847B2 (ja) 基準フレームの位置合わせ
US11759261B2 (en) Augmented reality pre-registration
US20230016227A1 (en) Medical augmented reality navigation
US20210346101A1 (en) Methods and devices for tracking objects by surgical navigation systems
EP2953569B1 (en) Tracking apparatus for tracking an object with respect to a body
US9665936B2 (en) Systems and methods for see-through views of patients
JP4434890B2 (ja) 画像合成方法及び装置
US20200129240A1 (en) Systems and methods for intraoperative planning and placement of implants
US20080123910A1 (en) Method and system for providing accuracy evaluation of image guided surgery
JP2008046750A (ja) 画像処理装置および方法
Wen et al. In situ spatial AR surgical planning using projector-Kinect system
US20200297428A1 (en) Technique For Transferring A Registration Of Image Data Of A Surgical Object From One Surgical Navigation System To Another Surgical Navigation System
Liu et al. A portable projection mapping device for medical augmented reality in single-stage cranioplasty
Plopski et al. Tracking systems: Calibration, hardware, and peripherals
Trevisan et al. Augmented vision for medical applications
Rong Projection-Based Spatial Augmented Reality for Interactive Visual Guidance in Surgery
Bensch Toward Real-Time Video-Enhanced Augmented Reality for Medical Visualization and Simulation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Michigan, USA

Patentee after: Stryker Europe operations Holdings Ltd.

Address before: Michigan, USA

Patentee before: Stryker Europe holdings III Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20211214

Address after: Michigan, USA

Patentee after: Stryker Europe holdings III Ltd.

Address before: Michigan, USA

Patentee before: STRYKER EUROPEAN HOLDINGS, I, LLC

TR01 Transfer of patent right