CN1957373A - 基于视频的扩增实境增强型外科手术导航***的精度评估 - Google Patents

基于视频的扩增实境增强型外科手术导航***的精度评估 Download PDF

Info

Publication number
CN1957373A
CN1957373A CNA2005800080429A CN200580008042A CN1957373A CN 1957373 A CN1957373 A CN 1957373A CN A2005800080429 A CNA2005800080429 A CN A2005800080429A CN 200580008042 A CN200580008042 A CN 200580008042A CN 1957373 A CN1957373 A CN 1957373A
Authority
CN
China
Prior art keywords
reference point
tested object
image
regulation
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800080429A
Other languages
English (en)
Inventor
朱传贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bracco Imaging SpA
Original Assignee
Bracco Imaging SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bracco Imaging SpA filed Critical Bracco Imaging SpA
Publication of CN1957373A publication Critical patent/CN1957373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提出了用于对基于视频的扩增实境增强型外科手术导航***中的重叠误差进行测量的***和方法。在本发明的示例性实施例中，该***和方法包括提供一个测试对象，生成一个虚拟对象，其中该虚拟对象为测试对象的计算机模型，配准该测试对象，在扩增实境***的测量空间中捕捉各个位置的测试对象上控制点的图像，以及从被捕捉的图像中提取出测试对象上控制点的位置，计算虚拟图像中控制点的位置，以及计算测试对象的各个视频和虚拟图像之间相应控制点的位置的位置差异。该方法和***可以进一步评估该重叠精度是否符合可接受的标准。在本发明的示例性实施例中，提供了一种方法和***，用于识别该***中的各种误差源，并且评估它们对于***精度的影响。在本发明的示例性实施例中，在确定了AR***的精度之后，该AR***可以被用作一个工具，用于评估给定的应用中其他处理的精度，例如配准误差。

Description

基于视频的扩增实境增强型外科手术导航***的精度评估
相关申请的交叉引用
该申请要求2004年3月12日提出的美国临时专利申请第60/552,565号的权益和优先权，其在这里通过引用而被并入本文。该申请还在这里通过引用将2004年4月27日提出的共同未决PCT专利申请第PCT/EP04/50622(“Camera Probe Application”)号并入本文。
发明领域
本发明涉及基于视频的真实性增强的增强型外科手术导航***，并且更具体地涉及评估该***的精度的方法和***。
发明背景
图像导引***已经越来越多地被用在外科手术过程中。该***已经被证实增加了各种外科手术过程的精度并降低了手术创伤。同时，图像导引外科手术***(“外科手术导航***”)是基于获得了手术前的扫描或成像数据序列，例如核磁共振成像(“MRI”)，计算机X射线断层造影术(“CT”)等，接着可以通过各种方式把它们配准至实体世界中的患者。
在许多传统的图像导引手术中，从手术前扫描图像中生成的容积测定数据或三维(“3D”)数据被显示作为三个正交平面中的二维图像，其中该二维图像根据由外科医生控制的跟踪探头尖端的三维位置而发生变化。当这样的探头被导入外科手术区域中时，其尖端的位置通常被表示为在该图像上绘制的图标，因此专业人员实际上看到的就是三个2D视图1的每一个中的移动图标。通过将预先获得的成像数据1该显示的视图一般为穿过所感兴趣的区域的轴向、冠状以及倾斜的切片。与实际的外科手术区域(即，给定的3D实体空间中真实世界可见的人体)相关联，该导航***能够为外科医生或其他专业人员提供有价值的信息，而该信息对于他来说在外科手术区域中并不能立即被看到。例如，该导航***能够计算和显示当前手持工具在患者体内相对于周围结构的精确位置。在AR***中，例如摄像头探头应用(Camera ProbeApplication)中描述的，周围结构可以是部分扫描图像。通过配准处理，将它们与患者的相应实际结构对准。这样，我们在监视器上看到的就是手持探头相对于扫描图像中患者的解剖结构(解剖结构上的某点与患者身上等同点之间的位置差异就是这一点处的配准误差)的类似点(它与实际尖端的位置差异就是跟踪误差)。这有助于在手术区域的实际组织与手术前计划中使用的图像(那些组织以及它们周围结构)之间建立联系。
在该方法中有一个固有的缺陷。由于在传统的***中，该被显示的图像只是二维的，为了被充分地利用，当外科医生(或其他用户)工作时，必须在心里使得这些二维显示图像与三维图像相一致。这样，会共同遇到一个问题，该问题对于所有的传统导航***来是共同的，即2D正交切片中出现手术前的成像数据，因此外科医生不得不付出很大的精神努力将手术前的图像序列中的空间信息与感兴趣的患者区域的物理定位关联在一起。这样，例如，神经外科医生通常必须将患者的实际头部(在手术期间，其经常几乎都被盖住)以及其中的各种组织与根据手术前的扫描获得的分立的轴向的、矢状的以及冠状的图像切片关联在一起。
为解决这个问题，一些传统的***在第四显示窗口中显示三维(“3D”)数据集。但是，在该***中，显示的3D视图只不过是手术前扫描数据的3D透视图，并且根本没有与外科手术区域中外科医生的实际视角关联起来，更不用说与医生的实际视角相结合了。结果，使用该***的外科医生仍旧不得不在心里使得显示的3D视图与其实际区域的实时视角相一致。这就通常会导致外科医生在感兴趣对象的3D透视图(通常被表示作为相对于黑背景的“抽象”对象)和他正在操作或操作附近的实际真实世界对象之间持续地切换视角。
为了克服这些不足，扩增实境(AR，Augmented Reality)可以被用于增强图像导引外科手术。扩增实境生成一个环境，在该环境中，计算机生成的虚拟对象的图像能够与真实世界中真实对象的用户的视角结合在一块。这可以通过如下方式实现，例如：将虚拟对象的3D透视图与从视频摄像头(基于视频的AR)获得的实时视频信号结合在一起，将该虚拟对象投影至头戴式显示器(HMD)装置中，或者甚至是将该虚拟对象直接投影至用户的视网膜上。
基于视频的AR增强型外科手术导航***一般使用视频摄像头来提供患者的实时图像，以及使用计算机根据通过手术前扫描而获得的患者的三维图像数据生成虚拟结构的图像。该计算机生成的图像被重叠在现场视频上，提供了能够被用于外科手术导航的扩增显示。为了在实时视频图像中使得计算机生成的图像与它们的实际等同物精确一致，(i)可以使虚拟结构(组织)与该患者进行配准，以及(ii)视频摄像头相对于患者的位置和方位可以被输入至计算机。在配准之后，可以确定患者与参考***之间的几何关系。该参考***可以是，例如与3D跟踪装置相连的坐标***，或者与患者刚性链接的参考***。这样就可以通过与患者以及视频摄像头相连的3D跟踪装置来确定摄像头与患者之间的关系。
在共同未决的“摄像头探头应用”的申请中描述了这种外科手术导航***。其中描述的该***包括***头，该***头位于能够被跟踪***跟踪的手持导航探头中。这样就能够通过查看由***头获取的该实时图像从而在给定的手术区域中进行导航，其中，根据描述了感兴趣结构的先前的扫描数据，将这些实时图像与计算机生成的3D虚拟对象结合在一起。通过改变实时图像与叠加的3D图形的透明度设置，该***能够使用户的立体感(深度感知，depth perception)得到加强。另外，探头与叠加的3D虚拟对象之间的距离可以被动态地显示在该组合图像中或其附近。使用该摄像头探头技术，通过利用手术前获得的多模式CT以及MRI数据，虚拟真实***可以被用于设计外科手术方案，并且能够随后将外科手术设计情节转换为实际外科手术区域的实时图像。
虚拟与真实结构的重叠；重叠误差
在该外科手术导航***中，在该实时合并的图像中，虚拟结构(即，从患者手术前的容积测定数据生成的那些虚拟结构)的叠加图像与它们的实际等同物精确一致是至关重要的。容积测定数据中的各种误差源，包括配准误差、校准误差以及几何误差，都会在与实际图像相关的叠加的图像的某个区域的显示位置中产生不准确的情况。结果，当患者的容积测定数据的3D透视图覆盖在该患者的实时照相图像上时，在3D透视图中出现的某些区域或结构可能会与该患者实时图像中的相应区域或结构存在些许位置差异。这样，参照在3D透视图中的位置而被导引的外科手术器械就无法准确地对准在实际外科手术区域中所希望的相应位置。
在William Hoff和Tyrone Vincent所著的“Analysis of Head PoseAccuracy in Augmented Reality”(《IEEE Transactions on Visualizationand Computer Graphics》，第6卷第4期，2000年10-12月)中详细论述在外科手术导航***中出现的各种类型的误差。
这里为了便于描述，在扩增图像中虚拟结构相对于它们的实际等同物的位置误差被称为“重叠误差”。对于扩增实境增强型外科手术导航***来说，为了提供精确的导航和导引信息，该重叠误差应该被限制在可接受的标准2之内。
2该可接受标准的例子可以是，例如，理想应用条件下，在贯穿AR***的整个工作空间的扩增图像中，虚拟结构与它们的真实世界等同物之间重叠误差的两个像素标准偏差。这里使用的“理想应用条件”可以指(i)***配置和设置与评估中的一样；(ii)没有出现由于例如模型误差以及组织变形的应用而引起的误差；以及(iii)配准误差与评估中的一样小。
目测
传统的重叠精确评估方法是目测。在该方法中，一个简单的对象，例如盒子或立方体，被作为模型并着色(render)。在一些情况下，通过CT或MRI对带有标志的人头实体模型进行扫描，并且使用3D数据空间中具有3D坐标的虚拟标志来代替。所着色的图像随即被叠加在真实对象的实时图像上。通过从不同的摄像头位置及角度来检查重叠误差，从而估计出该重叠精度。为了显示出该***的精确程度，通常记录多个图像或短视频作为证据。
该方法的缺点在于简单的目测无法提供定量的评估。虽然这个缺点可以通过如下方式而被改进：通过测量扩增图像中虚拟对象与实际对象的共同特征之间的重叠误差——这是通过在合成的AR图像中测量实际对象上的特征与虚拟对象上的相应特征之间的位置差异来实现的，但是该测量的有效性通常都是受到制约的，这是因为(1)这些特征的数量通常是有限的；(2)被选中的特征仅仅对工作空间的有限部分进行采样；以及(3)在特征的建模、配准以及定位中缺乏精度。
进一步的缺点就是该方法无法将评估过程中引入的误差与由AR***生成的重叠误差分开。重叠误差的可能的来源可能包括例如CT或MRI成像误差、虚拟结构建模误差、特征定位误差、在对真实对象和虚拟对象进行配准时发生的误差、校准误差以及跟踪误差。并且，由于某些误差源，例如那些与虚拟结构建模和特征位置相关的误差源并不是由于AR***而引起的，因此它们对于评估中重叠误差所起到的作用应该被去除或得到有效的抑制。
此外，该方法无法区分各种误差源的影响，并且这样就几乎无法在改进***精度方面提供思路。
数值模拟
另一种用于对重叠精度进行评估的传统方法就是“数值模拟”法。该方法寻求通过将误差源分成不同的类别，例如校准误差，跟踪误差以及配准误差，来评估各种误差源对于重叠精度的影响。该模拟一般使用手术前的图像中随机生成的一组目标点。通常由鉴别器从实验数据集中确定的典型配准、跟踪以及校准矩阵能够被用于将这些点从手术前的图像坐标转换为重叠坐标。(关于该矩阵的细节在前面的Hoff和Vincent的论著中提供)。在这些不同的坐标空间中，这些点的位置经常被用作无误差基线或“黄金标准”。接着可以通过在确定这些矩阵时将各误差也包含进去来计算一组新的略有不同的配准、跟踪以及校准矩阵。可以根据从实验数据集中估计的它们的标准偏差(SD)来随机地确定各误差。例如，配准处理中定位误差的SD可以为0.2mm。使用这组新的转换矩阵再一次对这些目标点进行转换。目标点与“黄金标准”在不同坐标空间中的位置差异就是各种阶段的误差。该过程可以被重复很多次，例如1000次，以得到一个模拟结果。
对于数值模拟(方法)存在很多问题。首先，很难确定SD误差的值。对于某些误差源来说，可能非常困难以至于无法获得SD值，并且这样就无法在模拟中将这些源包含进去。其次，误差可能不是正常分布，由此该模拟可能会不准确。第三，模拟需要实时测量数据以对模拟结果进行验证。因此，没有验证，就很难证明某个模拟能够有一定把握地模仿出真实世界的情况。最后，但是最重要的——该模拟无法告知一个给定的AR***的精确程度，这是因为该模拟结果是一个统计数字，而该统计数字一般只按照类型给出关于该***精度的概率(例如，95％的该***将比0.5mm更精确)。实际上，每个给定类型或种类的实际***应该被评估为证明它的误差低于某一标准，例如SD0.5mm以下，因此如果没有低于该标准，则该***能够被重新校准，或者甚至是修改，直到它符合该标准。
这样，本领域内所需要的就是一个评估过程，该过程能够定量地评估给定的AR增强型外科手术导航***的重叠精度，并且能够进一步评估该重叠精度是否符合可接受的标准。并且，该***应该评估以及量化各种误差源对于总的重叠精度的单独贡献。
发明概要
因此，提出了在基于视频的扩增实境增强型外科手术导航***中，用于对重叠误差进行测量的***和方法。在本发明的示例性实施例中，该***和方法包括提供测试对象；创建虚拟对象，其中该虚拟对象为测试对象的计算机模型；配准该测试对象；在扩增实境***的测量空间中，在各个位置处捕捉测试对象上控制点的图像；以及从所捕捉的图像中提取测试对象上控制点的位置；计算虚拟图像中控制点的位置，以及计算测试对象的各个视频和虚拟图像之间相应各控制点位置的位置差异。该方法和***可以进一步评估该重叠精度是否满足可接受的标准。在本发明的示例性实施例中，提供了一种方法和***，用于识别该***中的各种误差源，并且评估它们对于***精度的影响。在本发明的示例性实施例中，在确定了AR***的精度之后，该AR***可以被用作一个工具，用于评估给定的应用中其他处理的精度，例如配准(重合)误差。
附图说明
图1示出了根据本发明示例性实施例的精度评估示例性方法的处理流程图；
图2示出了在本发明的示例性实施例中使用的图像平面误差(IPE)以及对象空间误差(OSE)的定义；
图3示出了根据本发明示例性实施例的示例性双平面测试对象；
图4示出了根据本发明示例性实施例的图3的测试对象的虚拟对应物；
图5示出了根据本发明示例性实施例的规定的精确空间；
图6示出了根据本发明示例性实施例的示例性配准处理流程；
图7示出了根据本发明示例性实施例的示例性屏幕截图，该示例性屏幕截图示出了由于基于配准处理的基准而导致的配准误差。
图8(a)(增强灰度)和(b)(初始颜色下的相同图像)示出了根据本发明示例性实施例的精度已经被确定的AR***的应用，其中该AR***的精度被作为评估工具用以对某个对象的配准误差进行评估；
图9(a)(增强灰度)和(b)(初始颜色下的相同图像)示出了根据本发明示例性实施例的精度已经被确定的AR***的应用，其中该AR***的精度被作为评估工具用以对内部目标对象的配准误差进行评估；
图10示出了根据本发明示例性实施例的用于对示例性测试对象进行配准的27个示例点；
图11(a)-(c)示出了根据本发明示例性实施例的从示例性平面测试对象的示例性重叠显示的各种不同摄像头位置的截图，其中该示例性平面测试对象被用于对AR***进行评估；
图12示出了根据本发明示例性实施例的用9个控制点表示的示例性平面测试对象；以及
图13示出了根据本发明示例性实施例的使用图12中的示例性平面测试对象的示例性评估***。
本发明的详细描述
在本发明的示例性实施例中，提供了用于对AR增强型外科手术导航***的重叠精度进行评估的***和方法。在本发明的示例性实施例中，该方法能够另外被用于确定给定的AR***的重叠精度是否满足规定的标准或规范。
在本发明的示例性实施例中，为了对AR***进行优化的目的，方法以及相应的设备可以更容易地对各种单独误差源对于整体精度的影响作出评估。
使用本发明的方法，一旦建立了给定的AR***的重叠精度，则该AR***本身就能够被用作评估工具，用以对其他处理的精度进行评估，其中所述的其他处理能够影响给定应用的重叠精度，例如先前对于患者的扫描数据的配准。
图1示出了根据本发明示例性实施例的示例性精度评估过程。该过程能够被用于例如对给定的AR增强型外科手术导航***进行评估，其中该导航***可以是例如在“摄像头探头应用”中所描述的。
参照图1，要被评估的示例性AR***包括：光学跟踪装置101，跟踪探头102，以及计算机105或其他数据处理***。该探头含有参照系103以及微型视频摄像头104。该参照系103可以是，如在“摄像头探头应用”中所述的，例如一组三个反射球，其可以被跟踪装置所检测。这样，这三个球，或者本领域中已知的其他参照系，就可以确定加在探头上的参照系。
该跟踪装置可以是例如光学的，例如NDI Polaris***，或者其他可接受的跟踪***。这样，就能够确定在跟踪装置的坐标***中探头参照系的3D位置和方位。可以假设该示例性AR***已经被恰当地校准，并且该校准结果已经被输入至计算机105中。该校准结果一般包括摄像头的内部参数，例如摄像头的焦距fx和fy，图像中心Cx和Cy，以及失真参数K(1)，K(2)，K(3)和K(4)，以及从摄像头到探头参照系的变换矩阵 TM cr = R cr 0 T cr 1 . 在该变换矩阵中，Rcr是指在参照系的坐标***中摄像头的方位，而Tcr是指在参照系的坐标***中摄像头的位置。这样，该矩阵就在该探头参照系内提供了摄像头106的位置和方位。因此虚拟摄像头107就能够由这些参数构成，并且被存储在计算机105中。
该AR外科手术导航***能够实时地对由探头102中***头104获得的患者的实时视频图像以及从患者的手术前成像数据中产生的计算机生成的虚拟图像进行合成。为了确保虚拟图像中的虚拟结构与在实时视频中看到的它们的现实世界中的等同物相一致，该手术前的成像数据可以被配准到该患者，并且可以通过例如对该探头进行跟踪来实时地更新与患者相关的视频摄像头的位置和方位。
在本发明的示例性实施例中，测试对象110可以被用于例如对上述的示例性AR外科手术导航***的重叠精度进行评估。(需要注意的是，测试对象在这里有些时候被称为“真实测试对象”，以清楚地与“虚拟测试对象”进行区分，例如图1的110)。该测试对象可以是，例如具有大量控制点或参考点的三维对象。控制点就是测试对象上的点，它的在与该测试对象相关的坐标***中的3D位置能够被精确地确定，并且它的由视频摄像头捕捉的测试对象的图像中的2D位置也能够被精确地确定。例如，黑白方块的各个拐角就可以被用作图3的示例性测试对象的示例性控制点。为了在给定的测量容积上精确地测定给定AR***的精度，控制点可以例如分布在其整个范围内。另外，在本发明的示例性实施例中，在由被评估的AR***的摄像头所获取的测试对象图像中，控制点需要是可见的，并且它们在该图像中的位置需要很容易识别以及非常精确地定位。
在本发明的示例性实施例中，可以生成例如虚拟测试对象111，以对例如上述的示例性AR外科手术***的重叠精度进行评估。可以按照与AR***在给定应用中对其他虚拟结构进行着色(render)的相同方式，使用AR***的虚拟摄像头107来生成虚拟测试对象111的虚拟图像109。虚拟摄像头107模拟真实摄像头的成像过程。这是真实摄像头的计算机模型，该模型由例如通过校准过程获得的一组参数来描述。“虚拟测试对象”111也是计算机模型，其可以被虚拟摄像头成像，并且其输出是虚拟对象111的“虚拟图像”109。为了在下面进行清楚的讨论，计算机生成的图像在这里被称为“虚拟图像”，并且来自视频摄像头的图像(一般为“实时的”)被称为“视频图像”。在本发明的示例性实施例中，真实测试对象110与虚拟测试对象111上的控制点的数量相同。虚拟测试对象111上的控制点可以在由计算机生成的虚拟图像109中看到。它们在图像中的位置可以很容易地被识别并且可以很精确地被定位。
如上面所指出的，虚拟测试对象111是真实测试对象110由计算机生成的模型。例如，可以通过使用来自测试对象的测量结果来生成虚拟测试对象。或者，例如，它可以是来自CAD设计的模型并且该测试对象可以由CAD模型作成。本质上，在本发明的示例性实施例中，测试对象以及相应的虚拟测试对象在几何上是等同的。特别地，每个测试对象和虚拟测试对象上的控制点都必须在几何上是等同的。测试对象的其他部分最好也与虚拟测试对象的等同，但这不是必须的。
需要注意的是，生成虚拟测试对象的过程会引入建模误差。但是，可以通过目前的技术将该建模误差控制为小于0.01mm(需要注意的是，利用现有技术，例如，在半导体芯片制造业中，可以测量和制造的容差为10-7m)，这比AR重叠精度领域情形的一般范围更精确。这样，在本发明的示例性实施例中，该建模误差一般可以忽略不计。
在本发明的示例性实施例中，在评估的开始，可以通过配准处理112将虚拟测试对象111配准至相应的真实测试对象110。为了实现该配准，例如在“摄像头探头应用”的示例性AR***中，3D探头可以被跟踪装置跟踪，并且被用于逐个地指向测试对象上的各控制点，同时记录每个这样的点在跟踪装置的坐标***中的3D位置。在本发明的示例性实施例中，该3D探头可以是例如特殊设计以及精确校准的探头，因此其指向精度比例如在“摄像头探头应用”中所述的AR应用中通常使用的3D探头更高。
例如，该特定探头可以：(1)具有最优形状的尖端，使得它能够更精确地接触到测试对象上的控制点，(2)通过使用校准装置精确地确定它的尖端在探头参照系内的坐标，和/或(3)具有参照系，其包括多于3个的标记，分布在多于一个的平面中，并且在各标记之间具有较大的距离。该标记可以是任何标记，钝态的(passive)或者活动的(active)，可以通过跟踪装置对它们进行非常精确的跟踪。这样，通过使用该探头，就可以很精确地通过该探头尖端对真实测量对象上的控制点进行定位。这就能够很精确地确定它们在跟踪装置的坐标***中各自的3D坐标。最低限度，在本发明的示例性实施例中，为了配准至少应该收集三个控制点的3D位置。但是，在可选示例性实施例中，可以使用更多的控制点(例如20-30个)，使得可以通过使用例如最小二乘法的优化方法来改进配准的精度。
为了降低指向误差从而进一步地改进配准精度，在制造真实测试对象时，可以制造例如多个支点(pivot)3。该支点可以例如精确地与部分控制点对准，或者如果它们没有精确地对准，则可以精确地测量出它们相对于各控制点的位置。支点例如可以设计成特殊的形状，使得它能够精确地与探头的尖端对准。在本发明的示例性实施例中，在测试对象上至少有3个这样的支点，但是如上面指出的，可选地，也可以使用更多的支点以改进配准精度。通过指向这些支点而不是指向控制点来进行配准。
在配准之后，虚拟测试对象可以例如与真实测试对象对准，并且可以确定该真实测试对象与跟踪装置之间的几何关系。例如，可以用如下的变换矩阵来表示该几何关系 TM ot = R ot 0 T ot 1 . 在该矩阵中，Rot是指测试对象在跟踪装置的坐标***中的方位，而Tot是指测试对象在跟踪装置的坐标***中的位置。
该探头102例如可以被保持在相对于跟踪装置101的某个位置上，在该位置上，它可以更好地被跟踪。可以通过视频摄像头来捕捉测试对象110的视频图像108。同时，可以记录探头上参照系的跟踪数据，并且可以确定从参照系到跟踪装置的变换矩阵，即 TM rt = R rt 0 T rt 1 . 在
3支点为锥形凹陷，用以将3D探头的尖端设陷(trap)到某一位置，而与探头的旋转无关。为了使得该指向更精确，可以使得该支点的形状与探头尖端的形状相匹配。该等式中，Rrt是指探头的参照系在跟踪装置的坐标***中的方位，而Trt是指探头的参照系在跟踪装置的坐标***中的位置。
接着，在本发明的示例性实施例中，可以根据跟踪数据、配准数据、以及校准结果，通过使用公式 TM co = TM cr · TM rt · TM ot - 1 来计算从摄像头到真实测试对象TMco的变换矩阵，其中TMco包括摄像头到测试对象的方位和位置。使用TMco的值、虚拟摄像头的存储数据(即如上所述的校准参数)以及虚拟测试对象，计算机例如可以按照与例如“摄像头探头”的应用中相同的方式生成虚拟测试对象的虚拟图像109。
可以使用本领域内已知的方法，例如使用拐角作为控制点、Harrie拐角查找方法、或者本领域内已知的其他拐角查找方法，来提取视频图像108中各控制点113的2D位置。可以从制造或测量测试对象中知道控制点在测试对象坐标***中的3D位置(Xo，Yo，Zo)。可以通过表达式(Xc Yc Zc)＝(Xo Yo Zo)·TMco来获得它相对于摄像头的3D位置(Xc，Yc，Zc)。这样，在本发明的示例性实施例中，可以由计算机105直接给出虚拟图像109中控制点114的2D位置。
由于重叠图像中相应点之间的距离远远小于与任何其他点的距离，因此找出视频图像108中给定控制点与相应虚拟图像109中它的对应点之间的对应关系一般来说并不成问题。并且，即使重叠误差很大，也仍旧可以很容易地通过例如比较视频图像与虚拟图像中的特征来解决控制点的对应问题。
继续参看图1，在115处，在比较过程115中，例如，视频图像中控制点的2D位置可以与虚拟图像中它们的相应点的2D位置进行比较。这样就可以计算视频图像108和虚拟图像109中每对控制点之间的位置差异。
该重叠误差可以被定义为视频图像108和虚拟图像109中各控制点之间的2D位置差。为了下面更清楚的论述，该重叠误差在这里应该被称为图像平面误差(IPE)。对于单独的控制点，该IPE可以被定义为：
IPE = ( Δx ) 2 + ( Δy ) 2 ,
其中，Δx和Δy为视频图像108和虚拟图像109之间该控制点的位置在X和Y方向上的位置差。
该IPE可以被映射为3D对象空间误差(OSE)。对于OSE可以有不同的定义。例如，OSE可以被定义为测试对象上控制点与通过在虚拟图像中相应控制点的图像的反投影形成的视线之间的最小距离。为了简单起见，术语OSE在这里就是指控制点和上述交叉点之间的距离，所述交叉点是所述视线与对象平面的交叉点。该对象平面被定义为穿过测试对象上的控制点并与图像平面平行的平面，如图2中所示。
对于单独的控制点，该OSE可以被定义为：
OSE = ( Δx Z c / fx ) 2 + ( Δy Z c / fy ) 2 ,
其中，fx和fy是视频摄像头在X和Y方向上的有效焦距，这可以从摄像头校准中获知。Zc为从视频摄像头的观察点到对象平面的距离，并且Δx和Δy为视频图像和虚拟图像之间该控制点在X和Y方向上的位置差，这与定义IPE的方式相同。
这样，使用本发明的示例性实施例的方法，就可以通过根据视频图像和虚拟图像中相应控制点位置差异所计算出的IPE和OSE误差进行统计分析，从而确定AR外科手术导航***的重叠精度。在本领域内有多种方式来报告重叠精度，例如IPE和OSE的最大值、平均值、以及均方根(RMS)值。对于由本发明人评估的示例性AR***(摄像头探头应用中所述的DEX-Ray***的版本)，以像素为单位，IPE的最大值、平均值、以及RMS值分别为2.24312、0.91301以及0.34665，并且相应的OSE的最大值、平均值、以及RMS值分别为0.36267、0.21581以及0.05095mm。这个比用于神经外科的当前IGS***的应用误差大约要好上10倍。需要注意的是，该结果表示***精度。在任何给定的应用中使用该评估过的***，整体应用误差可能会由于该应用中固有的其他误差源而更高一些。
在本发明的示例性实施例中，虚拟测试对象可以是例如数据集，其中包括控制点相对于测试对象坐标***的3D位置。虚拟测试对象的虚拟图像可以例如只由虚拟控制点构成。或者，作为选择，可以使用一些图形指示器例如十字标线、虚拟形象(avatar)、星号等来显示虚拟控制点。或者，作为另一选择，可以使用图形将该虚拟控制点“投影”在视频图像上。或者，作为另一选择，例如，根本无需显示它们的位置，因为在任何情况下，它们的位置都是由计算机计算的，由于虚拟图像是由计算机生成的，因此该计算机已经“知道了”该虚拟图像的属性，其中包括了它的虚拟控制点的位置。
在本发明的示例性实施例中，(真实)测试对象可以是例如如图3中所示的双平面测试对象。该示例性测试对象包括两个相连的具有棋盘图案的平面。这些平面彼此呈直角(所以称“双平面”)。该测试对象的控制点可以被例如精确地制造或精确地测量，并且这样该控制点的3D位置对于某一精度来说是已知的。
在本发明的示例性实施例中，例如可以从图4中所示的双平面测试对象的属性中创建虚拟测试对象。该虚拟测试对象是双平面测试对象的计算机模型。例如，它可以根据双平面测试对象的已测得的数据来生成，因此该控制点的3D位置对于双平面测试对象的预定义的坐标***来说是已知的。测试对象和虚拟测试对象上的各控制点在几何上是等同的。这样，它们就具有相同的点间距离，并且到测试对象边界的距离也分别相同。
在本发明的示例性实施例中，测试对象可以由单个平面上的控制点构成。在这种情况下，可以通过一个精确移动装置，例如线性移动平台(stage)，使得该测试对象可以，例如步进地穿过测量容积。例如可以按照与已经为容积测定(volumetric)的测试对象描述的方式相同的方式，在例如逐面的基础上进行精度评估。可以通过移动该平面测试对象来达到横穿该测量容积的多个点，并且可以通过本领域内各种已知的方式来确定这些点相对于该移动装置的坐标。接着，可以通过类似于在上述使用容积测定的测试对象中描述的配准处理那样——即通过使用3D探头来检测在某些不同位置处的各控制点的3D位置，从而确定这些点相对于光学或其他跟踪装置的坐标。在这种情况下，该3D探头可以保持在能够被跟踪装置检测到的适当位置。在配准之后，可以按照例如与上述用于容积测定的测量对象相同的方式来确定控制点相对于视频摄像头的坐标。可以通过存储在计算机中的配准结果、跟踪数据以及AR***校准数据，按照与上述用于容积测定的测量对象相同的方式来确定在每次给定步进时各控制点的几何关系。这样就可以由计算机来生成在每次步进时各控制点的虚拟图像。例如，也可以在每次步进时捕捉视频图像，并随后通过计算视频图像中的控制点与相应虚拟图像中的相同控制点之间的位置差来确定该步进处的重叠精度。
在本发明的示例性实施例中，测试对象甚至是可以由单个控制点构成。在这种情况下，可以通过一个精确移动装置，例如坐标测量仪(CMM)，例如DEA Inc.的Delta 34.06，其具有0.0225mm的容积测定精度，使得该测试对象步进地穿过测量容积。至于使用容积测试对象，例如可以使用与上述的逐点原则相同的原则进行精度评估。可以通过移动该测试对象来到达遍及该测量容积的多个点，并且可以通过本领域内各种已知的方式来确定它们相对于该移动装置的坐标。可以通过类似于在上述用于容积测定的测试对象中描述的配准处理那样——即通过使用3D探头来检测在某些不同位置处各控制点的3D位置，从而确定它们相对于跟踪装置的坐标。在这种情况下，该3D探头可以保持在能够被跟踪装置检测到的适当位置。在配准之后，可以按照例如与平面测试对象相同的方式来确定控制点相对于视频摄像头的坐标。可以通过存储在计算机中的配准结果、跟踪数据以及AR***校准数据，按照与上述用于容积测定的测量对象相同的方式来确定每次步进时各控制点的几何关系。这样就可以由计算机来生成每次移动步进时各控制点的虚拟图像。例如，可以在每次步进时捕捉视频图像，并接着通过对视频图像中的控制点与相应虚拟图像中的控制点之间的位置差进行计算，来确定该步进处的重叠精度。
在根据本发明的示例性实施例中，该方法可以被用于评估该重叠精度是否符合规定的可接受标准。
AR外科手术导航***的生产者通常定义这样一个可接受的标准。该可接受的标准，有时被称为“可接受规范”，一般需要使***具有可以出售的合格证明。在根据本发明的示例性实施例中，典型的可接受标准可以被规定如下：
当使用本发明的示例性实施例的评估方法确定时，整个预定义容积的OSE值＜＝0.5mm。这就是有时所说的“亚毫米精度”。
在根据本发明的示例性实施例中，预先定义的容积可以被称为“精确空间”。如图5中所述，示例性的精确空间也可以被定义为与视频摄像头相关的锥形空间。该示例性精确空间的***面到该摄像头的视点的距离为130mm。该锥形的深度为170mm。***面的高度和宽度都为75mm，并且远平面的高度和宽度都是174mm，相当于图像中的512×512的像素区域。
对于相对于跟踪装置的不同的摄像头位置和方位，该重叠误差可能是不同的。这是因为该跟踪精度可以取决于参照系相对于跟踪装置的位置和方位。由于探头的方位，该跟踪精度可以受到制造者***的结构设计(例如DEX-Ray探头上的三个反射球)的限制。在本领域中可以知道的是，对于大多数跟踪***来说，最好使得参照系的平面与跟踪***的视线垂直。但是，由于探头位置的改变而引起的跟踪精度的变化可以由用户来控制。这样，在本发明的示例性实施例中，由于用户可以通过调整探头的方位使得参照系面对应用中的跟踪装置，从而获得相似的探头方位，因此可以在优选的探头方位上完成精度评估。由于虚拟控制点的虚拟图像可以被重叠在真实控制点的视频图像上，因此也可以在对重叠精度进行评估的同时目测到该重叠精度。
这样，由于能够通过一应用来移动探头，由此可以通过移动探头在AR显示器上可视地对任何探头位置和方位处的重叠精度进行评估。
在本发明的示例性实施例中，为了对AR***进行优化，精度评估方法和设备可以被用于评估各个单独的误差源对整体精度所产生的影响。
上述的测试对象可以被用于对AR***进行校准。在校准之后，相同的测试对象可以被用于对该AR***的重叠精度进行评估。也可以单独地对由不同的误差源(例如校准或跟踪误差源)对重叠精度产生的影响进行评估。
如上所述，基于视频的AR外科手术导航***的校准包括：校准摄像头的固有参数，以及校准从摄像头到探头上的参照系的变换矩阵。摄像头校准可以是本领域内所周知的。它的作用就是找出描述该摄像头属性的固有参数，例如焦距、图像中心和失真，以及非固有参数，即摄像头相对于用于校准的测试对象的位置和方位。在校准过程中，该摄像头捕捉测试对象的图像。提取出图像中各控制点的2D位置，并找出它们相对于测试对象与控制点的3D位置的对应关系。接着，通过使用控制点的3D和2D位置作为输入，利用本领域公知的校准程序来求解摄像头的固有和非固有参数。
对于来自AR***的示例性摄像头的示例性摄像头校准可以表示如下：
固有参数
图像大小：Nx＝768，Ny＝576
焦距：fx＝885.447580，fy＝888.067052
图像中心：Cx＝416.042786，Cy＝282.107896
失真：kc(1)＝-0.440297，kc(2)＝0.168759，kc(3)＝-0.002408，kc(4)＝-0.002668
非固有参数
Tco＝-174.545851    9.128410    -159.505843
Rco＝0.635588       0.015614    -0.771871
     -0.212701      0.964643    -0.155634
     0.742150       0.263097    0.616436
在本发明的示例性实施例中，如上面所指出的，可以通过校准来确定从摄像头到测试对象的变换矩阵。无需跟踪，可以利用该校准后的参数来生成测试对象的虚拟图像。该虚拟图像可以与用于校准的视频图像进行比较，并能够计算该重叠误差。由于在该点处的重叠精度仅仅涉及由摄像头校准而引入的误差，因此该重叠误差就可以被用作该摄像头校准对总体重叠误差的影响的指示器。在本发明的示例性实施例中，该重叠精度起到基线或标准的作用，利用该基线或标准，通过在虚拟图像的成像过程中逐个地加入其他误差源，就可以评估所述其他误差源的影响。
通过如上所述的配准处理，可以得到从测试对象到跟踪装置的变换矩阵。由于探头上的参照系是由制造者定义的，因此可以直接通过跟踪来得到从测试对象到跟踪装置的变换矩阵，例如由跟踪装置跟踪的三个反射球。这样，就可以计算从摄像头到参照系的变换矩阵
TM cr = TM co · TM ot · TM rt - 1 .
在校准之后，就可以从跟踪该参照系中获得从摄像头到测试对象的变换矩阵。为了评估跟踪误差对于重叠精度的影响，该摄像头和测试对象例如可以在校准和跟踪装置中保持在相同的位置，并且可以例如移动至各种位置和方位，优选地就是在跟踪装置的整个跟踪容积中对该探头进行定位。从等式 TM co = TM cr · TM rt · TM ot - 1 中可以看出，通过在每个希望的位置和方位记录真实和虚拟校准对象的一对图像，并随后分别对各个真实和虚拟图像中各控制点之间的差异进行比较，就可以评估出，在摄像头相对于跟踪装置具有不同的位置和方位的情况下，跟踪精度在穿过整个跟踪容积时对于重叠误差的影响。
使用评估后的AR***作为评估工具
在根据本发明的示例性实施例中，在已经对重叠精度进行了评估并且证明了其在某一标准内是精确的之后，AR***本身接着就可以被用作一个工具，用以对可能影响该重叠精度的其他误差源进行评估。
例如，在根据本发明的示例性实施例中，该评估后的AR***(“EAR”)可以例如被用于评估某个应用中的配准精度。
已经有了许多已知的配准方法，用于将患者的以前3D图像数据与患者对准。它们都依赖于使用3D图像数据和患者中的共同特征。例如，基准点、标志或表面通常都被用于严格的对象配准。对于传统的图像导引外科手术以及AR增强型外科手术导航***来说，配准都是关键的步骤。但是，为了实现高精度的配准却是相当困难的，并且对配准精度进行评估也同样困难。
但是，使用AR***对配准误差的影响进行评估却是非常容易的。这样，在本发明的示例性实施例中，在配准之后，可以很容易地看到出现在真实和虚拟图像中的特征或标志之间的重叠误差，并且超过了精度标准的任何重叠误差都可以被假设为是由配准所引起的，其中该精度标准是对AR***进行评估后的精度标准。并且，通过计算真实和虚拟图像中这些特征的位置差异也可以进行定量的评估。
在根据本发明的示例性实施例中，本发明人使用了具有6个基准点的人头骨的仿真模型来阐述该原理。分别为锥形、球形、圆柱形以及立方体的4个几何对象分别被安装在该仿真模型中作为配准精度评估的目标。对该模型(含有四个目标对象)进行CT扫描。从CT数据中对该模型以及4个几何对象的表面进行截取。
对CT扫描数据中的基准点进行识别，并且记录了它们在扫描图像坐标***中的3D位置。因此，如上所述，通过使用被跟踪的3D探头逐一地指向它们，就可以检测到它们在光学跟踪装置的坐标***中的3D位置。接着进行已知的基于基准点的配准处理，如图6的615所示。图7中示出了来自于该过程的配准误差，这是由新加坡的VolumeInteractions Pte Ltd提供的DEX-RayTM AR***的示例性界面的屏幕截图，其被用于进行该测试。
该获得的配准误差显示出了非常好的配准结果。该虚拟图像与视频图像的重叠非常好。如图8(图8(a)为增强灰度图像，图8(b)为初始彩色图像)中所示，这可以从对截取后的模型表面与该模型视频图像的重叠图像进行检测而得到验证。
图8为虚拟和真实图像的重叠的很好的示例。由于没有虚拟对象，可以很容易地在那里看到背景的视频图像。尽管它完全被虚拟图像所覆盖，但是仍然可以看到真实头骨的视频图像(能够很容易地被区分开头骨前面的小孔以及头骨上的其他清楚特征，例如图的中央附近的弯弯曲曲的黑线、虚拟头骨中的孔的右边缘上的垂直黑线、以及基准点)。由于虚拟头骨的某个部分没有被着色，因此虚拟头骨的虚拟图像中有个孔(如曲折边缘包围的部分所示)，这是因为该部分比定义在探头尖端位置并与摄像头垂直所的切面更接近于摄像头。可以看到内部对象的虚拟图像，在这里就是在视频图像中无法看到的虚拟头骨中的孔的左上方处的虚拟球。
按照如下方式找出目标对象处的配准误差。如图9(图9(a)为增强灰度图像，图9(b)为初始彩色图像)中所示，在可视的情况下，可以很容易地评估虚拟和真实目标对象的重叠误差。
目标对象上的配准误差一般很难评估。但是，由于已经使用了本发明的方法对AR***的重叠精度进行了评估，并且已经证明该重叠精度远远小于图9中所示的重叠(误差)，因此该配准误差被确定为对整个误差起到主要作用。并且，由于已经知道，对于高精度来说，虚拟几何对象是真实对象的精确模型，因此在该示例性测试中可以较确切地得出如下结论：即，该重叠误差主要是有配准误差引起的。
例子
下面的例子说明了使用根据本发明示例性实施例的方法和设备对AR***进行的示例性评估。
1.精确空间
该精确空间被定义为与摄像头相关的锥形空间。它的***面距离摄像头的视点(与探头尖端相同)为130mm。该锥形的深度为170mm。如图5中所示，***面的高度和宽度都为75mm，远平面的高度和宽度均为174mm，相当于图像中的512×512像素区域。
通过从为了进行评估而收集的数据集中去除精确空间外部的控制点来评估精确空间中的重叠精度。
2.使用的设备
1.电机驱动的线性平台(stage)，包括KS312-300Suruga Z轴机动平台，DFC 1507P Oriental Stepper驱动器，M1500，MicroE线性编码器，以及MPC3024Z JAC移动控制卡。适配器板被安装在该平台上，它的表面与移动方位垂直。该平台的行进距离为300mm，精度为0.005mm。
2.平面测试对象，其通过将打印的棋盘方块图案粘贴在平面玻璃板上而制成。在图12的特写角度以及图13的整个测试设备的背景中对该测试对象进行了描述。该图形中有17×25个方块，每个方块的大小为15×15mm。该棋盘方块的拐角被用作各控制点，如图12中的箭头所表示。
3.Polaris混合跟踪***
4.Traxtal TA-200探头
5.待评估的DEX-Ray摄像头。需要注意的是，DEX-Ray是由Volume Interactions Pte Ltd开发的AR外科手术导航***
3.评估方法
根据本发明的示例性实施例的评估方法，用于计算视频和虚拟图像中各个控制点位置之间的位置差或重叠误差。以像素和毫米(mm)为单位来报告重叠误差。
该线性平台被定位在Polaris跟踪空间中的适当位置。该测试对象被放置在适配器板上。由支架将该校准后的DEX-Ray摄像头固定在测试对象上方的适当位置。整个装置如图13所示。通过利用线性平台来移动平面对象，控制点均匀地分布在整个容积中，其被称为测量容积(measurement volume)，并且可以获得它们在测量容积内的3D位置。在评估中，要确保DEX-RayTM的精确空间位于测量容积之内。对不同移动步进处的校准对象的一系列图像进行捕捉。通过从这些图像中提取出拐角，就收集到了真实图像中各控制点的位置。
通过在测试对象上已知的拐角的位置以及移动距离，就能够确定测试对象上定义的参考坐标***中各控制点的相应的3D位置。通过检测某些控制点在Polaris坐标***中的3D位置，通过如上所述的配准处理，创建了从该参考坐标***到Polaris坐标的变换矩阵。通过跟踪可以获知该参照系在探头上的位置和方位。这样，使用该摄像头的校准数据，按照在DEX-Ray***中进行的相同的方式，当为了外科手术导航的目的(有时也被称为“应用”，与这里所述的评估过程相反)而将虚拟对象与实际视频图像相结合时，生成了控制点的虚拟图像并将其重叠在真实图像上。
上面的方法可以被用于非常精确地评估在一个或多个摄像头位置处的重叠误差。通过在移动摄像头的同时实时地更新该重叠显示，也可以看到Polaris跟踪空间中位于不同摄像头的旋转和位置处的重叠误差。在不同摄像头位置处的截图被用作显示重叠精度的另一种方式。图11示出了在各种示例性摄像头位置处的重叠。
4.校准结果
在评估之前，使用安装在线性平台上的相同测试对象来对DEX-RayTM摄像头进行校准。所获得的校准结果如下：
摄像头固有参数：
焦距：fc＝[883.67494  887.94350]±[0.40902  0.40903]
主点：cc＝[396.62511  266.49077]±[1.28467  1.00112]
扭曲：alpha_c＝[0.00000]±[0.00000]
失真：kc＝[-0.43223  0.19703  0.00004  -0.00012  0.00000]±[0.00458  0.01753  0.00020  0.00018  0.00000]
摄像头非固有参数
方位：omc＝[-0.31080  0.27081  0.07464]±[0.00113  0.00140.00031]
位置：Tc＝[-86.32009  -24.31987  160.59892]±[0.238020.18738 0.0.15752]
标准像素误差
err＝[0.19089  0.17146]
摄像头到标志(marker)的变换矩阵
Tcm＝0.5190  -22.1562  117.3592
Rcm＝-0.9684  -0.0039  0.2501
     0.0338   -0.9929  0.1154
     0.2479   0.1202   0.9615
5.评估结果
5.1测试对象的配准
Traxtal TA-200探头被用于检测在Polaris坐标***中控制点的坐标。拾取了9个控制点的3D位置，其中所述各控制点以90mm的距离均匀地分布在测试对象上。该测试对象被向下移动80mm以及160mm，并且重复相同的过程。因此如图10所示，总共有27个点被用于确定测试对象相对于Polaris的姿态。可以按照如下方式计算从评估对象到Polaris的变换矩阵：
Tot＝93.336  31.891  -1872.9
Rot＝-0.88879  -0.25424  0.38135
     -0.45554  0.39842   -0.79608
     0.050458  -0.88126  -0.46992
在Matlab中使用的示例性配准算法如下：
X＝测试对象坐标***中各控制点的坐标
Y＝在Polaris坐标***中各控制点的坐标
Ymean＝mean(Y)’；
Xmean＝mean(X)’；
K＝(Y’-Ymean*ones(1，length(Y)))*(X’-Xmean*ones(1，length(X)))’；
[U，S，V]＝svd(K)；
D＝eye(3，3)；D(3，3)＝det(U*V’)；
R＝U*D*V’；
T＝Ymean-R*Xmean；
Rot＝R’；Tot＝T’；
％％％配准误差
配准误差＝(Y-ones(length(X)，1)*Tot)*inv(Rot)-X；
如下面的表A中所示，X表示测试对象坐标***中27个控制点的坐标，Y表示Polaris坐标***中27个控制点的坐标，
               X                Y                                     配准误差
  000909090-90-90-90000909090-90-90-90000909090-90-90-90   900-90-90090900-90900-90-90090900-90900-90-90090900-90   000000000808080808080808080160160160160160160160160160   52.72493.377134.5154.30513.364-27.679132.37173.32214.2556.40697.479138.3958.32517.4-23.637136.41177.29218.3460.337101.44142.4662.45221.461-19.564140.27181.34222.3-   67.68131.736-3.896-26.9719.03244.90590.77954.68118.908-2.7-38.499-74.314-97.196-61.509-25.80520.256-15.721-51.686-73.316-109.28-144.75-167.96-132.01-96.075-50.351-86.321122.15   -1943.8-1872.9-1801.4-1767.2-1838.9-1910.1-1978.8-1907.4-1835.7-1982.3-1910.4-1839-1804.9-1876.2-1947.7-2016.4-1944.6-1873.1-2019.5-1947.8-1876.6-1842.3-1913.8-1985.2-2053.8-1982.2-1910.7   -0.0442640.019906-0.22025-0.043994-0.144930.058586-0.040712-0.0245530.012441-0.10223-0.076278-0.10134-0.11446-0.0139080.10365-0.0355320.153190.0850470.191520.11251-0.18026-0.05999-0.0620370.0421760.224460.146310.10999   -0.72786-0.0549770.0911690.254270.31594-0.0050320.0292750.145540.212420.16771-0.0693550.183420.374360.020188-0.123360.00074754-0.11817-0.076872-0.21518-0.287520.224630.0576790.035828-0.12814-0.14881-0.15297-0.0049041   -0.223870.13114-0.0196230.225210.14737-0.043916-0.130280.160350.0537810.073327-0.13808-0.094966-0.00193490.025560.13671-0.10829-0.111190.018895-0.0427460.039059-0.112490.150090.068357-0.097016-0.119260.00117920.0080165
                                                               表A
5.2跟踪数据
该摄像头被固定在测试对象上方的适当位置。在整个评估过程中它一直保持静止。Polaris传感器在评估期间也保持静止。在DEX-RayTM上的参照系中，探头相对于Polaris的位置和方位为：
Trt＝180.07    269.53    -1829.5
Rrt＝0.89944   -0.40944  -0.15159
     0.09884   -0.14717  0.98396
     -0.42527  -0.90017  -0.091922
5.3视频图像
在配准后，该测试对象向摄像头移近。由计算机通过编码器的反馈自动检测它被移动的距离。捕捉并存储视频图像。随后该测试对象被向下移动20mm并停下来，捕捉并存储另一个视频图像。连续进行该过程，直到该对象超出了测量容积的范围。在该评估中，移动的总距离为160mm。一共得到8个视频图像(160mm处的图像超出了测量容积的范围，因此没有被使用)。
5.4评估结果
通过使用该校准后的数据、配准数据测试对象、参照系的跟踪数据以及测试对象的移动距离，确定了各控制点相对于摄像头的位置，并且如上所述，生成了在每次移动步进处各控制点的虚拟图像。
计算出每次移动步进时视频图像中的各控制点与该移动步进时虚拟图像中相应的各控制点之间的位置差异。使用上述的方法计算重叠精度。
在贯穿该DEX-Ray***的整个工作空间中评估该重叠精度。在探头位置处评估的最大值、平均值、以及RMS误差为2.24312、0.91301以及0.34665，单位是像素。映射至对象空间，相应的值为0.36267、0.21581以及0.05095mm。
需要注意的是，上述的过程可以被用于在各种摄像头位置和方位处对重叠精度进行评估。还可以按照与实际应用中类似的方式动态地看到该重叠精度。图11中示出了在一些位于不同摄像头位置处的重叠显示的截图。虽然该评估结果只是在一个摄像头位置上获得的，但是这些截图表明在通常条件下也是成立的。
在这里，下面的每篇参考文件通过引用被全文并入本文。说明了该申请中与每篇参考文件相关的部分。
[1]P J.Edward等所著的“Design and Evaluation of a System forMicroscope-Assisted Guided Interventions(MAGI)”，IEEE Transactionson Medical Imaging，第19卷第11期，2000年11月，参看标题为“VRError Analysis”的部分。
[2]W.Birkfeller等所著的“Current status of the Varioscope AR，ahead-mounted operating microscope for computer-aided surgery”，IEEEand ACM International Symposium on Augmented Reality(ISAR’01)，2001年10月29-30日，纽约，参看标题为“Results”的部分。
[3]W.Grimson等所著的“An Automatic Registration Method forFrameless Stereotaxy，Image Guided Surgery，and Enhanced RealityVisualization”，Transactions on Medical Imaging，第15卷第2期，1996年4月，参看部分1“Motivating Problem”。
[4]William Hoff，Tyrone Vincent所著的“Analysis of Head PoseAccuracy in Augmented Reality”，IEEE Transactions on Visualization andComputer Graphics，第6卷第4期，2000年10-12月，参看全文。
[5]A.P.King等所著的“An Analysis of calibration and RegistrationErrors in an Augmented Reality System for Microscope-Assisted GuidedIntervention，Proc.”，Medical Image Understanding and Analysis 1999，参看部分3“Accuracy”。
前文中仅仅说明了本发明的原理，因此可以理解的是，本领域内的技术人员可以设计出许多可选的装置，尽管在这里没有对这些可选的配置进行明确的描述，但是本发明原理的具体体现落入了本发明的精神和保护范畴之内。

Claims (35)

1.一种测量扩增实境***中重叠误差的方法，包括：
提供测试对象；
对该测试对象进行配准；
在规定的工作空间中的各种位置处捕捉所述测试对象上各参考点的图像；
从所捕捉的图像中提取出所述测试对象上各参考点的位置；
计算该参考点的再投影位置；以及
计算所提取出的各参考点以及再投影的参考点之间的差异。
2.根据权利要求1的方法，其中该测试对象是双平面的。
3.根据权利要求1的方法，其中该测试对象是平面的。
4.根据权利要求3的方法，其中在规定的工作空间内将该测试对象移动精确的已知增量，从而为多个参考点的每一个获取多个位置。
5.根据权利要求1的方法，其中对该测试对象进行精确地制造或测量，使得相继的各参考点之间的距离基本上处于已知的容差范围内。
6.根据权利要求1的方法，其中该测试对象具有1个或多个支点，并且其中精确地知道从所述支点到参考点之间的距离在规定的容差范围内。
7.根据权利要求1的方法，其中使用了各参考点的至少三个位置。
8.根据权利要求1的方法，其中对于每个参考点都计算所提取出的参考点和再投影的参考点之间的差异，并且这些参考点的差异计算包括：在规定的工作空间范围内的全部参考点上计算最小、最大、平均以及标准偏差中的一个或多个。
9.根据权利要求1-8中任何一个的方法，进一步包括确定该扩增实境***的所有提取出的参考点和再投影的参考点之间的全部给定差异是否符合给定标准。
10.根据权利要求1-8中任何一个的方法，进一步包括使用所有提取出的参考点和再投影的参考点之间的差异作为基线，并通过该基线来测量重叠误差的其他源。
11.根据权利要求10的方法，其中所述重叠误差的其他源包括配准误差。
12.一种测量扩增实境***中重叠误差的方法，包括：
提供真实测试对象；
生成虚拟测试对象
将该真实测试对象配准至虚拟测试对象；
在规定的工作空间范围内的各位置处，捕捉测试对象上各参考点的图像，并生成虚拟测试对象上相应点的虚拟图像；
从所捕捉的图像中提取出所述真实测试对象上所述各参考点的位置；
从所述虚拟图像中提取出所述虚拟测试对象上所述各参考点的相应位置；以及
计算所述各真实参考点和虚拟参考点之间的位置差异。
13.根据权利要求12的方法，其中该测试对象是双平面的。
14.根据权利要求12的方法，其中该测试对象是平面的。
15.根据权利要求14的方法，其中在规定的工作空间内将该测试对象移动精确已知的增量，从而为多个参考点的每一个获取多个位置。
16.根据权利要求13的方法，其中对该测试对象进行精确地制造或测量，使得相继的各参考点之间的距离基本上处在已知的容差范围内。
17.根据权利要求13的方法，其中该测试对象具有一个或多个支点，并且其中精确地知道从所述支点到所述各参考点之间的距离是在规定的容差范围之内。
18.根据权利要求13的方法，其中使用了各参考点的至少三个位置。
19.根据权利要求13的方法，其中对于每个参考点，计算所提取出的参考点和再投影的参考点之间的差异，并且该计算包括：在规定的工作空间内的全部参考点上计算最小、最大、平均以及标准偏差中的一个或多个。
20.一种用于测量扩增实境***中重叠误差的***，包括：
具有多个规定参考点的测试对象；
跟踪装置；
数据处理器；
在AR***中使用的摄像头或成像装置，
其中可以在跟踪***的跟踪空间中跟踪该测试对象和摄像头中的每一个，并且其中在操作中，该摄像头或成像***生成一个或多个测试对象的图像，并且在规定工作空间中各种位置处，该数据处理器相应于虚拟测试对象生成相同数量的虚拟图像，并计算各相应参考点之间的位置差异。
21.根据权利要求20的***，其中该测试对象是双平面的。
22.根据权利要求20的***，其中该测试对象是平面的。
23.根据权利要求20的***，其中在运行中，在规定的工作空间内将该测试对象移动精确已知的增量，从而为所述多个参考点中的每一个获取多个位置。
24.根据权利要求20的***，其中对该测试对象进行精确地制造或测量，使得相继的各参考点之间的距离基本上处于已知的容差范围之内。
25.根据权利要求20的***，其中该测试对象具有一个或多个支点，并且其中精确地知道从所述支点到所述参考点之间的距离处于规定的容差范围之内。
26.根据权利要求20-25中任何一个的***，其中在运行中，将该摄像头或成像装置保持固定在相对于所述跟踪装置的规定位置上，同时生成一个或多个图像。
27.根据权利要求1的方法，其中该测试对象是测定容积的。
28.根据权利要求27的方法，其中所述各参考点分布在测试对象的整个容积内。
29.根据权利要求1的方法，其中该测试对象具有单个参考点。
30.根据权利要求29的方法，其中在规定的工作空间中的各种精确已知的位置处对该单个参考点进行成像。
31.根据权利要求20的***，其中该测试对象为测定容积的。
32.根据权利要求20的***，其中该测试对象具有单个参考点。
33.根据权利要求32的***，其中通过CMM使得该测试对象在整个规定的工作空间中步进。
34.根据权利要求1-8中任何一个的方法，其中该规定的工作空间是与摄像头或成像***相关的空间。
35.根据权利要求20-25或31-33中任何一个的***，其中该规定的工作空间是与摄像头或成像***相关的空间。
CNA2005800080429A 2004-03-12 2005-03-14 基于视频的扩增实境增强型外科手术导航***的精度评估 Pending CN1957373A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US55256504P 2004-03-12 2004-03-12
US60/552,565 2004-03-12

Publications (1)

Publication Number Publication Date
CN1957373A true CN1957373A (zh) 2007-05-02

Family

ID=34962095

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800080429A Pending CN1957373A (zh) 2004-03-12 2005-03-14 基于视频的扩增实境增强型外科手术导航***的精度评估

Country Status (6)

Country Link
US (1) US20050215879A1 (zh)
EP (1) EP1723605A1 (zh)
JP (1) JP2007529007A (zh)
CN (1) CN1957373A (zh)
CA (1) CA2556082A1 (zh)
WO (1) WO2005091220A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103445863A (zh) * 2012-06-02 2013-12-18 复旦大学 基于平板电脑的手术导航和增强现实***
CN103702631A (zh) * 2011-05-05 2014-04-02 约翰霍普金斯大学 用于分析任务轨迹的方法和***
CN105074776A (zh) * 2013-03-14 2015-11-18 高通股份有限公司 平面自然特征目标的原位形成
CN105247595A (zh) * 2013-05-27 2016-01-13 卡尔蔡司工业测量技术有限公司 用于产生测量对象的至少一个虚拟图像的方法和设备
CN107392995A (zh) * 2017-07-05 2017-11-24 天津大学 机械轴导航***中的人体下肢配准方法
CN107633526A (zh) * 2017-09-04 2018-01-26 腾讯科技（深圳）有限公司 一种图像跟踪点获取方法及设备、存储介质
CN109416841A (zh) * 2016-07-11 2019-03-01 台湾骨王生技股份有限公司 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
CN110494921A (zh) * 2017-03-30 2019-11-22 诺瓦拉德公司 利用三维数据增强患者的实时视图
CN111480050A (zh) * 2017-12-15 2020-07-31 麦普威有限公司 具有计算机生成的虚拟参照物的机器视觉***
CN111751082A (zh) * 2020-06-24 2020-10-09 歌尔光学科技有限公司 组装精度的检测方法和检测装置
CN112929750A (zh) * 2020-08-21 2021-06-08 海信视像科技股份有限公司 一种摄像头调节方法及显示设备
CN113012230A (zh) * 2021-03-30 2021-06-22 华南理工大学 一种术中ar辅助引导手术导板安放的方法

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US8996169B2 (en) 2011-12-29 2015-03-31 Mako Surgical Corp. Neural monitor-based dynamic haptics
US11202676B2 (en) 2002-03-06 2021-12-21 Mako Surgical Corp. Neural monitor-based dynamic haptics
US7747311B2 (en) 2002-03-06 2010-06-29 Mako Surgical Corp. System and method for interactive haptic positioning of a medical device
JP4522129B2 (ja) * 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
DE102004016331B4 (de) * 2004-04-02 2007-07-05 Siemens Ag Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen
DE102004037464A1 (de) * 2004-07-30 2006-03-23 Heraeus Kulzer Gmbh Anordnung zur Abbildung von Oberflächenstrukturen dreidimensionaler Objekte
ITBO20040749A1 (it) * 2004-12-02 2005-03-02 Bieffebi Spa Macchina per il montaggio a registro di cliche' flessografici con sistema informatico virtuale
JP4726194B2 (ja) * 2005-04-01 2011-07-20 キヤノン株式会社 キャリブレーション方法及び装置
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US7840256B2 (en) 2005-06-27 2010-11-23 Biomet Manufacturing Corporation Image guided tracking array and method
US20070038059A1 (en) * 2005-07-07 2007-02-15 Garrett Sheffer Implant and instrument morphing
CN100418489C (zh) * 2005-10-27 2008-09-17 上海交通大学 手术导航中基于基准面膜的多模式医学图像配准***
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
US8165659B2 (en) 2006-03-22 2012-04-24 Garrett Sheffer Modeling method and apparatus for use in surgical navigation
CN101448468B (zh) 2006-05-19 2011-10-12 马科外科公司 用于验证外科手术装置的校准的***和方法
US8560047B2 (en) 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
US20080123910A1 (en) * 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US8934961B2 (en) 2007-05-18 2015-01-13 Biomet Manufacturing, Llc Trackable diagnostic scope apparatus and methods of use
US20080319491A1 (en) 2007-06-19 2008-12-25 Ryan Schoenefeld Patient-matched surgical component and methods of use
US8339418B1 (en) * 2007-06-25 2012-12-25 Pacific Arts Corporation Embedding a real time video into a virtual environment
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
JP4950834B2 (ja) * 2007-10-19 2012-06-13 キヤノン株式会社 画像処理装置、画像処理方法
EP2055255A1 (de) * 2007-10-31 2009-05-06 BrainLAB AG Verifizierung des Kalibrierungszustandes eines optischen Trackingsystems
DE102007059478B4 (de) * 2007-12-11 2014-06-26 Kuka Laboratories Gmbh Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt
US8571637B2 (en) 2008-01-21 2013-10-29 Biomet Manufacturing, Llc Patella tracking method and apparatus for use in surgical navigation
US9248000B2 (en) 2008-08-15 2016-02-02 Stryker European Holdings I, Llc System for and method of visualizing an interior of body
US20100285438A1 (en) * 2009-03-12 2010-11-11 Thenkurussi Kesavadas Method And System For Minimally-Invasive Surgery Training
US8326088B1 (en) * 2009-05-26 2012-12-04 The United States Of America As Represented By The Secretary Of The Air Force Dynamic image registration
GB0915589D0 (en) * 2009-09-07 2009-10-07 Sony Comp Entertainment Europe Image processing method, apparatus and system
JP5380348B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
US9498231B2 (en) 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
CA2840397A1 (en) 2011-06-27 2013-04-11 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US11911117B2 (en) 2011-06-27 2024-02-27 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
WO2013192598A1 (en) * 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
CA2892554C (en) * 2013-03-15 2017-04-18 Synaptive Medical (Barbados) Inc. System and method for dynamic validation, correction of registration for surgical navigation
US8922589B2 (en) 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
EP3811891A3 (en) 2014-05-14 2021-05-05 Stryker European Holdings I, LLC Navigation system and processor arrangement for tracking the position of a work target
WO2016007492A1 (en) 2014-07-07 2016-01-14 Smith & Nephew, Inc. Alignment precision
EP3009097A1 (en) 2014-10-17 2016-04-20 Imactis Method for navigating a surgical instrument
TWI628613B (zh) * 2014-12-09 2018-07-01 財團法人工業技術研究院 擴增實境方法與系統
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10484437B2 (en) * 2015-01-21 2019-11-19 Logmein, Inc. Remote support service with two-way smart whiteboard
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US9836650B2 (en) * 2015-02-09 2017-12-05 Empire Technology Development Llc Identification of a photographer based on an image
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
JP6392190B2 (ja) * 2015-08-31 2018-09-19 富士フイルム株式会社 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
US10092361B2 (en) 2015-09-11 2018-10-09 AOD Holdings, LLC Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone
CN111329551A (zh) 2016-03-12 2020-06-26 P·K·朗 用于脊柱和关节手术的增强现实引导
IL245334B (en) * 2016-04-21 2018-10-31 Elbit Systems Ltd Validation of head display reliability
GB2568426B (en) * 2016-08-17 2021-12-15 Synaptive Medical Inc Methods and systems for registration of virtual space with real space in an augmented reality system
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
EP3568070B1 (en) 2017-01-16 2024-01-03 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
WO2018162079A1 (en) 2017-03-10 2018-09-13 Brainlab Ag Augmented reality pre-registration
JP2020511239A (ja) * 2017-03-17 2020-04-16 インテリジョイント サージカル インク． ナビゲーション手術における拡張現実ディスプレイのためのシステム及び方法
US10311637B2 (en) * 2017-05-15 2019-06-04 International Business Machines Corporation Collaborative three-dimensional digital model construction
US10614308B2 (en) * 2017-05-30 2020-04-07 Edx Technologies, Inc. Augmentations based on positioning accuracy or confidence
JP6939195B2 (ja) * 2017-07-27 2021-09-22 株式会社大林組 検査処理システム、検査処理方法及び検査処理プログラム
US10593052B2 (en) * 2017-08-23 2020-03-17 Synaptive Medical (Barbados) Inc. Methods and systems for updating an existing landmark registration
WO2019051464A1 (en) 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT
US11058497B2 (en) 2017-12-26 2021-07-13 Biosense Webster (Israel) Ltd. Use of augmented reality to assist navigation during medical procedures
US11348257B2 (en) 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
CN108829595B (zh) * 2018-06-11 2022-05-17 Oppo（重庆）智能科技有限公司 测试方法、装置、存储介质及电子设备
US10657729B2 (en) * 2018-10-18 2020-05-19 Trimble Inc. Virtual video projection system to synch animation sequences
US11786307B2 (en) 2018-10-19 2023-10-17 Canon U.S.A., Inc. Visualization and manipulation of results from a device-to-image registration algorithm
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11237627B2 (en) 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
KR102301863B1 (ko) 2020-02-12 2021-09-16 큐렉소 주식회사 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
KR102341673B1 (ko) * 2020-08-26 2021-12-21 재단법인 오송첨단의료산업진흥재단 수술항법 장치 정확도 평가 시스템 및 이를 이용한 수술항법 장치 정확도 평가방법
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US12016633B2 (en) 2020-12-30 2024-06-25 Novarad Corporation Alignment of medical images in augmented reality displays
US11786206B2 (en) 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
KR20220152736A (ko) * 2021-05-10 2022-11-17 삼성전자주식회사 시청자 환경 기반 ar 서비스 제공 방법 및 장치
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2023021451A1 (en) * 2021-08-18 2023-02-23 Augmedics Ltd. Augmented reality assistance for osteotomy and discectomy

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405072B1 (en) * 1991-01-28 2002-06-11 Sherwood Services Ag Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus
US5730130A (en) * 1993-02-12 1998-03-24 Johnson & Johnson Professional, Inc. Localization cap for fiducial markers
EP0869745B8 (en) * 1994-10-07 2003-04-16 St. Louis University Surgical navigation systems including reference and localization frames
US6019724A (en) * 1995-02-22 2000-02-01 Gronningsaeter; Aage Method for ultrasound guidance during clinical procedures
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US6775404B1 (en) * 1999-03-18 2004-08-10 University Of Washington Apparatus and method for interactive 3D registration of ultrasound and magnetic resonance images based on a magnetic position sensor
US7228165B1 (en) * 2000-06-26 2007-06-05 Boston Scientific Scimed, Inc. Apparatus and method for performing a tissue resection procedure
US20040254454A1 (en) * 2001-06-13 2004-12-16 Kockro Ralf Alfons Guide system and a probe therefor
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702631A (zh) * 2011-05-05 2014-04-02 约翰霍普金斯大学 用于分析任务轨迹的方法和***
CN103445863B (zh) * 2012-06-02 2015-10-07 复旦大学 基于平板电脑的手术导航和增强现实***
CN103445863A (zh) * 2012-06-02 2013-12-18 复旦大学 基于平板电脑的手术导航和增强现实***
CN105074776A (zh) * 2013-03-14 2015-11-18 高通股份有限公司 平面自然特征目标的原位形成
US11481982B2 (en) 2013-03-14 2022-10-25 Qualcomm Incorporated In situ creation of planar natural feature targets
US10733798B2 (en) 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
CN105247595A (zh) * 2013-05-27 2016-01-13 卡尔蔡司工业测量技术有限公司 用于产生测量对象的至少一个虚拟图像的方法和设备
US9721345B2 (en) 2013-05-27 2017-08-01 Carl Zeiss Industrielle Messtechnik Gmbh Method and device for generating at least one virtual image of a measurement object
CN109416841B (zh) * 2016-07-11 2023-03-31 台湾骨王生技股份有限公司 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
CN109416841A (zh) * 2016-07-11 2019-03-01 台湾骨王生技股份有限公司 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
CN110494921A (zh) * 2017-03-30 2019-11-22 诺瓦拉德公司 利用三维数据增强患者的实时视图
CN110494921B (zh) * 2017-03-30 2023-11-28 诺瓦拉德公司 利用三维数据增强患者的实时视图
CN107392995A (zh) * 2017-07-05 2017-11-24 天津大学 机械轴导航***中的人体下肢配准方法
CN107392995B (zh) * 2017-07-05 2021-12-07 天津大学 机械轴导航***中的人体下肢配准***
US11164323B2 (en) 2017-09-04 2021-11-02 Tencent Technology (Shenzhen) Company Limited Method for obtaining image tracking points and device and storage medium thereof
CN107633526A (zh) * 2017-09-04 2018-01-26 腾讯科技（深圳）有限公司 一种图像跟踪点获取方法及设备、存储介质
US11443418B2 (en) 2017-12-15 2022-09-13 Oy Mapvision Ltd Machine vision system with a computer generated virtual reference object
CN111480050A (zh) * 2017-12-15 2020-07-31 麦普威有限公司 具有计算机生成的虚拟参照物的机器视觉***
CN111751082A (zh) * 2020-06-24 2020-10-09 歌尔光学科技有限公司 组装精度的检测方法和检测装置
CN112929750A (zh) * 2020-08-21 2021-06-08 海信视像科技股份有限公司 一种摄像头调节方法及显示设备
CN112929750B (zh) * 2020-08-21 2022-10-28 海信视像科技股份有限公司 一种摄像头调节方法及显示设备
CN113012230A (zh) * 2021-03-30 2021-06-22 华南理工大学 一种术中ar辅助引导手术导板安放的方法
CN113012230B (zh) * 2021-03-30 2022-09-23 华南理工大学 一种术中ar辅助引导手术导板安放的方法

Also Published As

Publication number Publication date
WO2005091220A1 (en) 2005-09-29
JP2007529007A (ja) 2007-10-18
US20050215879A1 (en) 2005-09-29
EP1723605A1 (en) 2006-11-22
CA2556082A1 (en) 2005-09-29

Similar Documents

Publication Publication Date Title
CN1957373A (zh) 基于视频的扩增实境增强型外科手术导航***的精度评估
Sholts et al. Comparison of coordinate measurement precision of different landmark types on human crania using a 3D laser scanner and a 3D digitiser: implications for applications of digital morphometrics
US20070236514A1 (en) Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
Owen et al. Display-relative calibration for optical see-through head-mounted displays
CN103782321B (zh) 当3d扫描刚性对象时可移动对象的检测
WO2017185540A1 (en) Neurosurgical robot navigation positioning system and method
US7190331B2 (en) System and method for measuring the registration accuracy of an augmented reality system
US20080123910A1 (en) Method and system for providing accuracy evaluation of image guided surgery
CN1604026A (zh) 图像显示方法和图像显示***
US11547488B2 (en) Systems and methods for performing intraoperative image registration
CN1650148A (zh) 跟踪扭转的眼睛的方向和位置
US20060173357A1 (en) Patient registration with video image assistance
JP2010259605A (ja) 視線測定装置および視線測定プログラム
EP1942662A1 (en) Automatic improvement of tracking data for intraoperative C-arm images in image guided surgery
CN1853571A (zh) 使用超声轮廓重建进行三维心脏成像的软件产品
CN1853576A (zh) 使用超声轮廓重建的三维心脏成像
CN1853575A (zh) 二维超声扇的显示
CN1868409A (zh) 使用超声***的束方向显示导管尖
CN1864176A (zh) 用于估计对象状态的估计***、估计方法和估计程序
CN1357132A (zh) 三维图像显示装置,显示方法和用于显示的程序
CN1757035A (zh) 用于一组骨关节的生物力学模拟方法
JP2007130240A (ja) 医用三次元画像の表示方向修正装置、修正方法および修正用プログラム
JP2018078880A (ja) 画像生成装置、画像生成方法およびプログラム
JP2006267879A (ja) 画像処理方法、画像処理装置、マーカ
CN106103733A (zh) 药效评价方法以及用于药效评价的图像处理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication