CN116528752A - 自动分割与配准***及方法 - Google Patents

自动分割与配准***及方法 Download PDF

Info

Publication number
CN116528752A
CN116528752A CN202180071968.1A CN202180071968A CN116528752A CN 116528752 A CN116528752 A CN 116528752A CN 202180071968 A CN202180071968 A CN 202180071968A CN 116528752 A CN116528752 A CN 116528752A
Authority
CN
China
Prior art keywords
data
augmented reality
preoperative
operative
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180071968.1A
Other languages
English (en)
Inventor
约翰·布莱克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medical Vision Xr Co ltd
Original Assignee
Medical Vision Xr Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medical Vision Xr Co ltd filed Critical Medical Vision Xr Co ltd
Publication of CN116528752A publication Critical patent/CN116528752A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/745—Details of notification to user or communication with user or patient ; user input means using visual displays using a holographic display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/462—Displaying means of special interest characterised by constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Processing Or Creating Images (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种用于执行医疗程序的全息增强现实可视化和引导***(100)包括用于向用户显示操作信息(154)的增强现实***(102)。所述操作信息(154)可以包括解剖结构(196)的术前数据(158)、术中数据(160)和融合数据(162)。计算机***(106)与所述增强现实***(102)通信并且被配置为通过合并所述术前数据(158)和所述术中数据(160)来选择性地生成所述融合数据(162)，经由所述术前数据(158)和所述术中数据(160)之间的差异来识别所述解剖结构(196)的变形，将所述操作信息(154)发送到所述增强现实***(102)，并根据变形引擎(150)实时补偿所述解剖结构(196)的变形。

Description

自动分割与配准***及方法
相关申请的交叉引用
本申请要求于2020年10月20日提交的第63/093,904号美国临时申请的优先权和权益。上述申请的公开内容通过引用并入本文。
技术领域
本公开涉及增强现实应用，更具体地，涉及使用增强现实的医疗应用。
背景技术
本节提供了与本公开相关的背景信息，该背景信息不一定是现有技术。
图像引导手术已成为在患者解剖部位上进行不同医疗程序的标准实践。图像引导手术可以在视觉上将术中数据与术前数据相关联，以辅助用户，例如医生。图像引导手术的使用可以提高这些程序的安全性和成功率。通过增强现实技术的使用，可以进一步提高图像引导手术。增强现实可以包括真实世界环境的交互体验，其中存在于真实世界中的一个或更多个特征通过计算机生成的感知信息来增强，有时跨越多个感觉形式。在医疗环境中，这些增强现实技术可以用于增强患者护理环境中的真实环境。例如，用户可以在执行医疗程序的同时在患者的同一视野中查看内容特定的信息，而不必改变他们的视线。
医学图像分割技术可用于支持从诊断、治疗计划、干预计划和随访的临床成像工作流程。解剖对象或结构的分割对于许多医学图像任务(例如运动跟踪、诊断和量化)是必要的。医学图像配准用于在不同的医学成像模式(例如计算机断层扫描(computedtomography，CT)、锥形束计算机断层扫描(cone beam computed tomography，CBCT)、磁共振成像(magnetic resonance imaging，MRI)***、正电子发射型断层扫描(positronemission tomography，PET)和荧光透视成像)中检测解剖对象或结构。
超声***可以提供实时成像部件；然而，结构的回声反射性会导致关键结构的图像质量较差。在现代超声成像中，临床图像质量对于介入程序的准确诊断和导航至关重要。回声反射性是结构反射回声的能力，例如，在超声检查中返回信号。当反弹声回声的表面反射增加的声波时，回声反射性更高。具有较高回声反射性的组织被称为“高回声反射性”，通常在超声图像上用较浅的颜色表示。相反，具有较低回声反射性的组织被称为“低回声反射性”，通常用较深的颜色表示。没有回声反射性的区域被称为“无回声反射性”，通常显示为完全黑暗。
不期望的是，在医疗程序期间，结构的回声反射性会导致关键结构和/或盲点的成像不良。此外，在医疗程序期间，诸如遮蔽或用户由于阻碍结构而无法获得超声探头的正确角度等其他因素可能导致图像质量差等问题。一种已知的解决方案是从其他成像模式获得术前成像。然而，依赖术前图像可能导致失去术中成像(如超声)的优势。用户可以选择使用术前成像和术中成像，但在不同图像之间来回变换可能既困难又耗时。此外，由于多种不同的因素，身体的某些解剖结构可能随着时间的推移而变形或移位。不期望的是，由于术前图像拍摄后解剖结构变形或移位，术中成像可能看起来与术前成像不同。
持续需要一种用于执行医疗程序的可视化和引导***和方法，该***和方法可以克服实时成像限制，例如产生阴影或抑制超声探头角度调整的低回声反射性结构或阻碍结构。期望地，该***和方法可以针对可变形的解剖结构进行调整。
发明内容
根据本公开，令人惊讶地发现了用于在用户对患者执行医疗程序时进行全息增强现实可视化和引导的***和方法，其允许对术前图像被捕获后已经变形或移位的所分割的解剖结构进行变形校正，并提高图像质量。
在某些实施例中，用于执行医疗程序的全息增强现实可视化和引导***包括用于向用户显示操作信息的增强现实***。操作信息可以包括解剖结构的术前数据、术中数据和融合数据。计算机***与增强现实***通信，并被配置为通过合并术前数据和术中数据来选择性地生成融合数据，经由术前数据与术中数据之间的差异来识别解剖结构的变形，将操作信息发送到增强实现***，并且根据变形引擎实时补偿解剖结构的变形。
在一个示例中，在计算机***将多个操作信息发送到增强现实***之前，变形引擎通过人工智能(artificial intelligence，AI)和机器学习将术前数据与术中数据对准，从而自动地补偿解剖结构的变形。在另一个示例中，变形引擎通过允许用户手动地将术前数据与术中数据对准来手动地补偿解剖结构的变形。在其他各种示例中，计算机***包括图形和物理引擎，其被配置为基于解剖结构的特性对术前数据设置上边界条件和下边界条件。计算机***可以通过将术中数据叠加(super-imposing)在术前数据上或将术前数据叠加在术中数据上来生成融合数据。
在另一实施例中，一种用于在用户对患者执行医疗程序时进行全息增强现实可视化和引导的方法包括提供一种***，该***具有被配置为在增强现实环境中显示患者的多个操作信息的增强现实***、第一全息图像采集***、第二全息图像采集***和具有变形引擎的计算机***。来自患者的术前数据可以由第一全息图像采集***采集。来自患者的术中数据可以由第二全息图像采集***采集。可以选择性地将术前数据配准到多个操作信息。可以选择性地将术中数据配准到多个操作信息。融合数据可以由计算机***选择性地生成。在术前数据与术中数据未对准的情况下，术前数据可以根据变形引擎进行选择性地调整。多个操作信息可以由计算机***发送到增强现实***。在术中数据允许用户导航患者的身体的情况下，可以由增强现实***选择性地显示术中数据。在术中数据基本上不允许用户导航患者的身体的情况下，可以由增强现实***选择性地显示术前数据。在术前数据和术中数据都允许用户导航患者的身体的情况下，可以由增强现实***选择性地显示融合数据。用户可以选择性地实时调整多个操作信息。
本文提供的***和方法可以包括各种方面。在某些实施例中，第一全息图像采集***可以选自计算机断层扫描(CT)装置、锥形束计算机断层扫描(CBCT)装置、磁共振成像(MRI)装置、投影射线照相装置、正电子发射断层扫描(PET)装置、容积超声和荧光透视***及它们的组合。在某些实施例中，第二全息图像采集***可以选自普通超声、经食管超声、内窥镜超声、护理点超声、超声心动图(echocardiogram，ECG)成像装置、荧光透视装置、经胸超声心动图(transthoracic echocardiogram，TTE)、经食管超声心动图(transesophageal echocardiogram，TEE)、心内超声心动图(intracardiacechocardiogram，ICE)及它们的组合。在某些实施例中，计算机***可以包括图形和物理引擎，其被配置为基于术前数据的特性来对术前数据设置上边界条件和下边界条件。
在另一实施例中，一种用于在用户对患者执行医疗程序时进行全息增强现实可视化和引导的方法包括提供计算机***，捕获患者的解剖结构的术前数据，以及在医疗程序期间用探针捕获患者的解剖结构的术中数据。术前数据和术中数据可以交叉参考。接下来，在医疗程序期间实时分割术前数据，然后在医疗程序期间由计算机***实时配准所分割的术前数据和术中数据。接下来，由计算机***将所分割的术前数据和术中数据实时发送到增强现实***。增强现实***在医疗程序期间实时显示术前数据和术中数据。
本文提供的***和方法可以包括各种方面。在某些实施例中，该方法可以包括由计算机***识别术前数据中解剖结构的轮廓的变形。在某些实施例中，计算机***可以包括变形引擎，该变形引擎被配置为通过人工智能和机器学习将术前数据与术中数据对准来自动地补偿所识别的解剖结构的变形。替代地，变形引擎被配置为允许用户手动地将术前数据与术中数据对准。在某些实施例中，计算机***包括图形和物理引擎，其被配置为基于解剖结构的特性对术前数据设置上边界条件和下边界条件。在某些实施例中，计算机***包括变形引擎，该变形引擎被配置为通过允许用户在上边界条件和下边界条件内手动地将术前数据与术中数据对准来调整所识别的解剖结构的变形。在某些实施例中，捕获术前数据可以包括捕获计算机断层扫描图像数据，并且/或者捕获术中数据可以包括捕获超声成像。该方法可以包括将术中数据叠加在术前数据上以识别术前数据和术中数据之间可能发生的变化，并且/或者将术前数据叠加在术中数据上以识别术前数据与术中数据之间可能发生的变化。
从本文所提供的描述中，其他适用领域将变得显而易见。应理解的是，说明书和具体示例仅用于说明目的，而不旨在限制本公开的范围。
附图说明
本文描述的附图仅用于所选择的实施例而非所有可能的实现方式的说明目的，并不旨在限制本公开的范围。
图1是根据本公开的某些实施例的***的示意图，示出了增强现实***、成像***、测量***和计算机***；
图2是根据本公开的被跟踪仪器的示意图描绘；
图3是根据本公开的头戴式设备的侧视图；
图4a-图4c示意性地描绘了根据本公开的自动分割和配准过程；
图5示意性地描绘了根据本公开的术前数据叠加在术中数据上；
图6示意性地描绘了根据某些实施例的操作中的***，示出了在增强现实环境中显示的融合数据；
图7示意性地描绘了根据本公开的术中数据叠加在术前数据上；以及
图8是示出了用于使用该***进行自动分割和配准的方法的流程图。
具体实施方式
以下技术描述仅是一项或更多项发明的主题、制造和使用的示例性性质，并不旨在限制本申请或可提交的要求本申请优先权的其他申请或由此颁发的专利中所要求保护的任何特定发明的范围、应用或使用。针对所公开的方法，所呈现的步骤的顺序本质上是示例性的，因此，在各种实施例中，步骤的顺序可以是不同的，包括可以同时执行某些步骤的情况。本文使用的“一个(a)”和“一个(an)”表示“至少一个”术语存在；在可能的情况下可以存在多个这样的术语。除非另有明确地指示，否则在描述本技术的最广泛范围时，本说明书中的所有数量都应理解为由“大约(about)”一词修改，并且所有几何和空间描述符都应理解为由“实质上”一词更改。当应用于数值时，术语“大约”指示计算或测量允许数值中的一些轻微的不精确性(在数值上有一些精确性的方法；近似地或合理地接近该数值；接近地)。如果由于某种原因，“大约”和/或“实质上”所提供的不精确性在本领域中没有被理解为具有这种普通含义，那么本文所使用的“大约”或“实质上”至少指示测量或使用这些参数的普通方法可能产生的变化。
尽管本文使用开放式术语“包含”作为非限制性术语(如包括、包含或具有)的同义词来描述和要求保护本技术的实施例，但也可以使用更具限制性的术语(如“由…组成”或“基本上由…组成”)来描述实施例。因此，对于任何给定的实施例列举材料、部件或工艺步骤，本技术还具体包括以下实施例：由这样的材料、部件或工艺步骤组成，或基本上由这些材料、部件和工艺步骤组成，不包括附加材料、部件或工艺步骤(用于组成)，也不包括影响实施例的重要特性的附加材料、部件或工艺步骤(用于基本上由…组成)，即使这样的附加材料、部件或工艺在本申请中没有明确地列举。
除非另有规定，否则公开内容的范围包括端点，并包括整个范围内的所有不同值和进一步划分的范围。因此，例如，“从A到B”或“从大约A到大约B”的范围包括A和B。特定参数(如量、重量百分比等)的值和值范围的公开内容并不排除本文中有用的其他值和值范围。可以设想，给定参数的两个或更多个特定示例值可以为可以要求保护参数的值范围定义端点。例如，如果参数X在本文中被例示为具有值A并且也被例示为具有值Z，则可以设想参数X可以具有从大约A到大约Z的值范围。类似地，可以设想，参数的两个或更多个值范围的公开内容(无论这些范围是嵌套的、重叠的还是不同的)包含了可以使用所公开范围的端点来要求保护的值的所有可能的范围组合。例如，如果参数X在本文中例示为具有范围在1-10、2-9或3-8内的值，还可以设想参数X可以具有其他值范围，包括1-9、1-8、1-3、1-2、2-10、2-8、2-3、3-10和3-9等等。
当一个元件或层被称为“在…上”、“接合到”、“连接到”或“耦接到”另一元件或层时，它可以直接地在其他元件或层上、接合到其他元件或层、连接到其他元件或层或者耦接到其他元件或层，也可以存在介入元件或层。相反，当一个元件被称为“直接地在…上”、“直接地接合到”、“直接地连接到”或“直接地耦接到”另一个元件或层时，不可能存在介入元件或层。用于描述元件之间关系的其他词应以类似的方式解释(例如，“在…之间”与“直接地在…之间”、“相邻”与“直接地相邻”等)。如本文所用，术语“和/或”包括相关列举项中的一个或更多个的任何和所有组合。
尽管术语第一、第二、第三等在本文中可用于描述各种元件、部件、区域、层和/或部分，但这些元件、部件，区域、层和/或部分不应受到这些术语的限制。这些术语只能用于将一个元件、部件、区域、层或部分与另一个区域、层或部分区分开来。除非上下文明确地指示，否则当本文中使用“第一”、“第二”等术语和其他数字术语时并不意味着序列或顺序。因此，在不偏离示例实施例的教导的情况下，下面所讨论的第一元件、部件、区域、层或部分可以被称为第二元件、部件、区域、层或部分。
为了便于描述，可以在本文中使用空间相对术语，如“内部”、“外部”、“在…下方”、“下面”、“下部的”、“在…上方”、“上部的”等，以描述一个元素或特征与另一元素或特征的关系，如图所示。除了图中所描绘的定向之外，空间相对术语可以旨在包括设备在使用或操作中的不同定向。例如，如果图中的设备被翻转，则被描述为“下面”或“在…下方”的其他元素或特征的元素将被定向为“在其他元素或特征上方”。因此，示例术语“下面”可以包含在…上方和下面的定向。设备可以以其他方式定向(旋转90度或以其他定向)，并且本文使用的空间相对描述符被相应地解释。
除非另有明确地说明，否则本详细说明书中所引用的所有文件(包括专利、专利申请和科学文献)均通过引用并入本文。在通过引用所并入的文件与本详细描述之间可能存在任何冲突或歧义的情况下，以本详细描述为准。
如本文所用，术语“解剖结构”可包括神经、血管、肿瘤、***和癌性肿瘤。应理解，在本公开的范围内，解剖结构还可以包括患者体内的其他结构。
如本文所用，术语“经皮”是指通过皮肤进行、完成或影响的东西。
如本文所用，术语“经皮医疗程序”是指经由皮肤的针头穿刺进入内脏或组织，而不是通过使用暴露内脏或组织的开放方法(通常使用手术刀)。
如本文所用，术语“非血管性”当与“经皮医疗程序”一起使用时，是指在对象身体的与经皮进入的脉管***不同的任何部位进行的医疗程序。经皮医疗程序的示例可以包括活检、组织消融、冷冻疗法程序、近距离放射治疗程序、血管内程序、引流程序、矫形程序、疼痛管理程序、椎体成形程序、椎弓根/螺钉放置程序、导丝放置程序、骶髂(Sacro-Iliac,SI)关节固定程序、训练程序或类似程序。
如本文所用，术语“血管内”当与“经皮医疗程序”一起使用时，是指在经皮进入的血管(或淋巴***)上进行的医疗程序。血管内经皮医疗程序的示例可以包括动脉瘤修复、支架移植/放置、血管内假体的放置、导线的放置、导管***术、过滤器放置、血管成形术等。
如本文所用，术语“介入设备”或“被跟踪仪器”是指在非血管经皮医疗程序期间使用的医疗器械。
如本文所用，术语“跟踪***”是指用于观察一个或更多个正在运动的物体并在跟踪坐标系中提供及时有序的跟踪数据序列(例如，位置数据、定向数据等)以供进一步处理的东西。例如，跟踪***可以是电磁跟踪***，其可以在配备有传感器线圈的介入设备移动通过患者身体时观察介入设备。
如本文所用，术语“跟踪数据”是指跟踪***所记录的与一个或更多个正在运动的物体的观察有关的信息。
如本文所用，术语“跟踪坐标系”是指使用一个或更多个数字来确定特定跟踪***特有的点或其他几何元素的位置的三维(three dimensional,3D)笛卡尔坐标系。例如，跟踪坐标系可以相对于标准的3D笛卡尔坐标系旋转、缩放等。
如本文所用，术语“头戴式设备”或“头戴式耳机”或“头戴式显示器(Head MountedDisplay，HMD)”是指被配置为佩戴在头上的显示设备，其在一只或更多只眼睛前面具有一个或更多个显示光学器件(包括镜头)。这些术语甚至通常可以用术语“增强现实***”来指代，尽管应理解的是，术语“增强现实***”不限于被配置为佩戴在头部上的显示设备。在一些情况下，头戴式设备还可以包括非暂时性存储器和处理单元。合适的头戴式设备的示例是Microsoft
如本文所用，术语“成像***”、“图像采集装置”、“成像采集***”等指的是创建患者身体内部的视觉表示的技术。例如，成像***可以是计算机断层扫描(CT)***、荧光透视***、磁共振成像(MRI)***、超声(ultrasound，US)***等。
如本文所用，术语“坐标系”或“增强现实***坐标系”是指3D笛卡尔坐标系，该坐标系使用一个或更多个数字来确定特定增强现实***或图像采集***所特有的点或其他几何元素的位置。例如，头戴式耳机坐标系可以相对于标准3D笛卡尔坐标系旋转、缩放等。
如本文所用，术语“图像数据”或“图像数据集”或“成像数据”是指成像***以3D记录的与患者身体内部的观察相关的信息。例如，“图像数据”或“图像数据集”可以包括例如断层图像等处理后的二维或三维图像或模型，例如，由根据医学数字成像与通信(DigitalImaging and Communications in Medicine，DICOM)标准或其他相关成像标准所格式化的数据来表示。
如本文所用，术语“成像坐标系”或“图像采集***坐标系”是指3D笛卡尔坐标系，该坐标系使用一个或更多个数字来确定特定成像***特有的点或其他几何元素的位置。例如，成像坐标系可以相对于标准3D笛卡尔坐标系旋转、缩放等。
如本文所用，术语“全息图”、“全息”、“全息投影”或“全息表示”是指投影到头戴式耳机镜头上的计算机生成图像。通常，全息图可以(在增强现实(augmented reality，AR)中)合成地生成，并且与物理现实无关。
如本文所用，术语“物理的”指的是真实的东西。物理的东西不是全息的(或者不是计算机生成的)。
如本文所用，术语“二维”或“2D”是指以两个物理维度表示的东西。
如本文所用，术语“三维”或“3D”是指以三个物理维度表示的东西。“4D”元素(例如，3D加上时间和/或运动维度)将包含在三维或3D的定义中。
如本文所用，术语“集成”可以指两件事联系或协调。例如，线圈传感器可以与介入设备集成。
如本文所用，术语“自由度”或“DOF”是指许多独立可变的因素。例如，跟踪***可以具有六个自由度(six degrees-of-freedom,6DOF)、一个3D点和三维旋转。
如本文所用，术语“实时”是指过程或事件发生的实际时间。换句话说，实时事件是实时完成的(在几毫秒内，这样结果就可以立即地作为反馈)。例如，可以在事件发生的100毫秒内表示实时事件。
如本文所用，术语“对象”和“患者”可以互换使用，并且指的是任何脊椎动物。
如本文所用，术语“配准”是指在程序期间将跟踪数据和身体图像数据转换为公共坐标系并创建相对于物理患者身体的图像和信息的全息显示的步骤，例如，如West等人的美国专利申请公开第2018/0303563号、以及Black等人的申请人共同拥有的美国专利申请序列号17/110,991和Martin III等人的美国专利申请序列号17/117,841中进一步描述的，这些专利申请的全部公开内容通过引用并入本文。
参考图1，用于在用户对患者解剖部位执行医疗程序时进行全息增强现实可视化和引导的***100包括增强现实***102、被跟踪仪器104、计算机***106和第一图像采集***108。在某些实施例中，***100可以进一步包括第二图像采集***110、变形引擎150、图形和物理引擎152和/或多个操作信息154。增强现实***102、被跟踪仪器104、第一图像采集***108、第二图像采集***110中的每一个可以例如经由计算机网络112选择性地或永久地与计算机***106通信。根据需要，本领域技术人员也可以使用与***100一起使用的其他合适的仪器、工具、器械、子***等，以及包括***100的部件之间的有线和无线通信装置(means)的其他网络装置。
参考图2，被跟踪仪器104可以是被感测的介入设备，使得被跟踪仪器104的位置和定向都可以由计算机***106确定。特别地，被跟踪仪器104可以具有细长主体，例如长柔性管，以及沿着细长主体的长度设置的多个部分114、116、118、120，每个部分又可以具有多个传感器115、117、119、121中的一个。例如，被跟踪仪器104可以具有尖端部分114、顶部部分116、中间部分118和底部部分120。尖端传感器115可以设置在被跟踪仪器104的尖端部分114处。顶部传感器117可以设置在被跟踪仪器104的顶部部分116处。中间部分传感器119可以设置在被跟踪仪器104的中间部分118处。底部部分传感器121可以设置在被跟踪仪器104的底部部分120处。传感器115、117、119、121中的每一个可以与计算机***106通信或者以其他方式可由计算机***106检测。
应意识到，尖端传感器115所提供的跟踪是特别有利的，因为用户可以将其用作被跟踪仪器104的预选参考点。预选参考点可以被配置为诸如可由增强现实***102生成的全息光线之类的轨迹全息图(图1中所示，在本文中被描述为“142”)的锚定点。全息光线可以帮助用户沿着优选路径或轨迹对准和移动被跟踪仪器104，如本文进一步描述的。应理解，本领域技术人员也可以在本公开的范围内选择任意数量的预选参考点。在某些实施例中，预选参考点可以在医疗程序期间由用户实时调整，并且另外可以根据需要基于其他传感器115、117、119、121中的一个或更多个。
在某些示例中，传感器115、117、119、121可以是电磁(electromagnetic，EM)跟踪***的部分，该***可以是计算机***106的部分和/或由计算机***106使用以检测物理被跟踪仪器104的位置和定向。例如，传感器115、117、119、121可以包括一个或更多个传感器线圈。计算机***106可以检测一个或更多个传感器线圈，并且响应于检测而提供跟踪数据(例如，具有六个自由度)。例如，跟踪数据可以包括实时3D位置数据和实时3D定向数据。计算机***106的跟踪***还可以检测不位于物理被跟踪仪器104或物理介入设备上的线圈传感器，例如位于基准标记或其他成像目标上的一个或更多个传感器。
此外，传感器115、117、119、121可以被配置为评估被跟踪仪器104的各种附加信息，例如被跟踪仪器104的角速度和加速度。适用于确定角速度和加速度的传感器115、117、119、121的非限制性示例包括加速度计、陀螺仪、电磁传感器和光学跟踪传感器。尤其是，电磁传感器的使用可以在没有视线限制的情况下实现小物体的更精确的实时物体跟踪。
其他合适的跟踪***，如光学跟踪***，可以与增强现实***102和计算机***106结合使用。可以设想被跟踪仪器104可以通过无线地传输或通过有线连接与增强现实***102和计算机***106进行通信的实施例。还应理解，本领域技术人员可以根据需要使用混合类型的传感器115、117、119、121。
被跟踪仪器104可以包括以下方面，这些方面可以取决于正在执行的医疗程序的类型、患者的解剖部位和/或正在执行的医疗程序的特定步骤。被跟踪仪器104的非限制性示例包括导管、矫形工具、用于安装、调整或移除植入物的工具、消融探针、腹腔镜仪器和/或介入工具。在本公开的范围内，本领域普通技术人员可以使用用于被跟踪仪器104的其他合适的介入设备，取决于所期望的程序或所期望的程序的特定步骤。
再次参考图1，第一图像采集***108可以被配置为从患者采集第一全息图像数据集122。特别地，第一图像采集***108可以被配置为以术前方式从患者采集第一全息图像数据集122。在某些实施例中，第一图像采集***108可以包括计算机断层扫描(CT)装置、锥形束计算机断层扫描(CBCT)装置、磁共振成像(MRI)装置、投影射线照相装置、正电子发射型断层扫描(PET)装置以及体积超声和荧光透视***中的一个或更多个。根据需要，也可以使用用于第一图像采集***108的其他合适类型的仪器。还可以使第一图像采集***108包括通过相同的或不同的成像装置进行的包括融合图像的多个图像采集，其中，第一图像数据集122因此可以包括来自相同或不同成像装置的多个图像和/或融合图像。
同样地，第二图像采集***110可以被配置为从患者采集第二全息图像数据集124。特别地，第二图像采集***110可以被配置为以术中方式从患者采集第二全息图像数据集124，并且最特别地在程序进行时实时采集。在某些实施例中，第二图像采集***110可以包括一个或更多个超声***，包括普通超声、经食管超声、内窥镜超声、护理点超声、超声心动图(ECG)成像装置、荧光透视装置以及其他主动或实时成像***。进一步的实施例包括其中第二全息图像数据集124可以通过预设模式获取，该预定模式包括经胸超声心动图(TTE)、经食管超声心动图(TEE)和心内超声心动图(ICE)中的一个。根据需要，也可以采用用于第二图像采集***110的其他合适类型的仪器和模式。还可以使第二图像采集***110包括通过相同或不同的成像装置进行的包括融合图像的多个图像采集，其中，第二图像数据集124因此可以包括来自相同或不同成像装置的多个图像和/或融合图像。
尽管本文显示并描述了第一图像采集***108和第二图像采集***110两者的使用，但其中仅使用第一图像采集***108和第二图像采集***110中的一个或另一个的实施例被认为在本公开的范围内。
继续参考图1，计算机***106可以包括处理器126，处理器126被配置为执行与用于全息增强现实可视化和引导的***100的操作相关联的功能。处理器126可以包括一种或更多种类型的通用或专用处理器。在某些实施例中，可以使用多个处理器126。作为非限制性示例，处理器126可以包括通用计算机、专用计算机、微处理器、数字信号处理器(digitalsignal processor，DSP)、现场可编程门阵列(field-programmable gate array，FPGA)、专用集成电路(application-specific integrated circuit，ASIC)和基于多核处理器架构的处理器中的一个或更多个。
计算机***106可以包括存储器128，在存储器128上可以存储有形的、非暂时的、机器可读的指令130。存储器128可以包括一种或更多种类型的存储器，并且可以包括适合于本地应用环境的任意类型。示例包括其中存储器128可以包括易失性和/或非易失性数据存储技术的各种实现方式，例如基于半导体的存储器设备、磁存储器设备和***、光存储器设备和***、固定存储器和可移动存储器。例如，存储器128可以包括随机存取存储器(RAM)、只读存储器(ROM)、诸如磁盘或光盘的静态存储设备、硬盘驱动器(HDD)或任何其他类型的非暂时性机器或计算机可读介质以及上述类型的存储器的组合中的一个或更多个。存储在存储器128中的指令可以包括程序指令或计算机程序代码，当由处理器126执行时，这些程序指令或计算机程序代码使得***100能够执行本文所述的任务。
机器可读指令130可以包括一个或更多个不同的模块。这样的模块可以实现为功能逻辑、硬件逻辑、电子电路、软件模块等中的一个或更多个。根据需要，这些模块可以包括增强现实***模块、图像采集模块、仪器跟踪模块、图像数据集配准模块、全息图渲染模块、图像配准模块、轨迹全息图渲染模块和/或其他合适的模块中的一个或更多个。
计算机***106可以与增强现实***102、被跟踪仪器104、第一图像采集***108和第二图像采集***110通信，例如，经由网络112，并且可以由机器可读指令130配置为根据本文进一步所述的用于在用户对患者的解剖部位执行医疗程序时进行全息增强现实可视化和引导的各种方法来操作。计算机***106可以被单独地提供并且与增强现实***102间隔开，或者计算机***106根据需要可以作为单个一体式单元与增强现实***102一起提供或者与其他***集成。
应理解，***100的网络112可以包括各种无线和有线通信网络，包括无线电接入网络，例如LTE或5G、局域网(local area network，LAN)、诸如互联网等广域网(wide areanetwork，WAN)或无线局域网(wireless LAN，WLAN)，作为非限制性示例。应理解，这样的网络示例不旨在限制，并且本公开的范围包括其中***100的一个或更多个计算平台可以经由一些其他通信耦接(包括无线和有线通信网络的组合)可操作地链接的实现。***100的一个或更多个部件和子部件可以被配置为经由无线或有线连接与联网环境通信。在某些实施例中，一个或更多个计算平台可以被配置为经由无线或有线连接彼此直接通信。各种计算平台和联网设备的示例包括但不限于智能手机、可穿戴设备、平板电脑、笔记本电脑、台式电脑、物联网(Internet of Thing，IoT)设备或其他移动或固定设备，如独立服务器、联网服务器或服务器阵列。
在某些实施例中，计算机***106可被配置为使用多个传感器115、117、119、121来跟踪被跟踪仪器104，以提供被跟踪仪器数据集132。可以使用存储器128来存储被跟踪仪器数据集132。特别地，例如，被跟踪仪器数据集132可以包括被跟踪仪器104在物理空间中的位置和定向。
计算机***106还可以被配置为将来自第一图像采集***108的第一全息图像数据集122和由计算机***106所获得的被跟踪仪器数据集132与患者配准，如本文所述。
参考图3，并继续参考图1，增强现实***102可被配置为在根据本公开的***100的操作中呈现多个全息图134、136、138、140、142。特别地，增强现实***102可以包括混合现实(mixed reality，MR)显示器。例如，MR显示器可以包括MR智能眼镜或MR头戴式显示器103，如图3所示。增强现实***102的非限制性示例可以包括Magic Leap或Microsoft/>的版本。应理解，其他类型的MR显示器可以用于增强现实***102，只要它们能够将包括全息图在内的计算机生成的图像叠加在真实世界物体上即可。真实世界物体的非限制性示例包括患者的身体、手术台或空的空间。此外，尽管增强现实***102可以主要被描述为包括头戴式显示器103，但是应理解，根据需要，也可以采用不是头戴式的、但是能够在真实世界视图上生成和叠加全息图134、136、138、140的其他类型的显示器。
增强现实***102和计算机***106可以集成到单个部件中，也可以是通过本地网络112进行通信的单独部件。应理解，在增强现实***102未与计算机***106集成或不包含计算机***106的情况下，增强现实***102可以进一步包括可以帮助全息图134、136、138、140、142的渲染或生成的附加的非暂时性存储器和处理单元(该处理单元可以包括一个或更多个硬件处理器)。增强现实***102还可以包括用于记录一个或更多个图像的记录装置或相机、用于生成/显示全息图134、136、138、140、142的可视化的一个或更多个图像生成部件和/或其他可视化和/或记录元件。同样，增强现实***102可以将一个或更多个非增强视图、全息图134、136、138、140、142和/或混合现实视图的图像、记录和/或视频发送到计算机***106以用于存储或记录，无论计算机***106是本地的还是远离增强现实***102的。
应意识到，在某些实施例中，增强现实***102还可以包括一个或更多个位置传感器144。增强现实***102的一个或更多个位置传感器144可以被配置为确定增强现实***102的各种位置信息，例如在三维(3D)空间中的近似位置、增强现实***102的定向、角速度和加速度。例如，应理解，这可以允许在操作中在用户的视野内准确地显示全息图像。位置传感器144的非限制性示例包括加速度计、陀螺仪、电磁传感器和/或光学跟踪传感器。应进一步理解的是，本领域技术人员可以例如根据正在其中使用的增强现实***102的程序或情况的需要采用增强现实***102的不同类型和数量的位置传感器144。
如图1所示，例如，增强现实***102所生成的全息图134、136、138、140、142可以包括第一全息图134、被跟踪仪器全息图136、第二全息图138、动画全息图140和轨迹全息图142中的一个或更多个。增强现实***102所生成的第一全息图134可以基于来自患者的第一全息图像数据集122。增强现实***102所生成的被跟踪仪器全息图136可以基于被跟踪仪器数据集132。增强现实***102所生成的第二全息图138可以基于第二全息图像数据集124。动画全息图140可以基于计算机***106对第二全息图像数据集124的处理来提供动画全息图数据集148，如本文所述。轨迹全息图142可以基于轨迹数据集146，其可以被手动地或自动地选择并存储在计算机***106的存储器128中，如本文所述。
参考图4a-图7，增强现实***102还可以被配置为向用户显示多个操作信息154。计算机***106可以与增强现实***102进行通信。计算机***106可以被配置为通过用户和/或其他医疗专业人员的手动干预或者基于编码在存储器128内的机器可读指令130自动地存储和生成操作信息154。例如，可以根据被跟踪仪器104的传感器确定的位置和/或定向在增强现实***102中生成操作信息154，例如通过使用算法、人工智能(AI)协议或其他用户输入的数据或阈值。此外，计算机***106还可以被配置为允许用户选择性地实时调整多个操作信息154。期望地，这可以允许用户自由地选择将显示哪些信息。例如，用户可以调整轨迹全息图142的位置或定向。此外，用户可以决定操作信息154或数据中的哪一个正在被主动地显示。应理解，在本公开的范围内，操作信息154的其他设置和属性可以由用户实时调整。此外，应理解，在本公开的范围内，本领域技术人员可以在计算机***106内采用其他特征。
增强现实***102可以被配置为捕捉增强现实***102周围环境的真实世界视图。增强现实***102截取真实世界视图，并将真实世界视图与多个操作信息一起再显示给用户。多个操作信息154可以是全息投影，其被叠加在真实世界物体上。真实世界物体的非限制性示例包括患者的身体、手术台或空的空间。应理解，在本公开的范围内，多个操作信息154可以被叠加在其他真实世界物体上。增强现实***102可以将操作信息154投影在用户的视野内，该视野与各种真实世界物体相邻，并且覆盖或突出显示真实世界物体，例如患者的解剖部位的一个或更多个部分、被跟踪仪器104或各种全息图134、136、138、140、142。例如，操作信息154可以包括要采用的轨迹的实时导航指令或引导。应理解，增强现实***102可以根据需要将操作信息154叠加在诸如被跟踪仪器104之类的各种真实世界物体上或在与被跟踪仪器102相邻的区域中，以及在所渲染的各种全息图134、136、138、140、142上。有利地，这样的操作信息154或细节的生成允许用户在同一视野中同时查看患者和多个操作信息154。此外，操作信息154或细节与各种全息图134、136、138、140、142一起的生成允许用户在操作中规划被跟踪仪器104、确定被跟踪仪器104的尺寸或预先定向被跟踪仪器104。
如图4a-图4c所示，在一个特定示例中，来自超声程序的超声成像156可以被直接叠加为从仪器104(即超声探头)发射的锥形。有利地，这可以允许用户在与仪器104相同的视野内观看超声成像156，而不必在用户视野外的监视器处扫视。仪器104的非限制性示例包括植入物、针头、超声探头、导管、支架、机械心脏瓣膜和生物心脏瓣膜。应理解，本领域技术人员可以在本公开的范围内使用不同类型的仪器。
继续参考图4a-图4c，多个操作信息154可以具有术前数据158、术中数据160和融合数据162中的至少一个。术前数据158可以包括例如使用第一全息图像采集***108在医疗程序之前获得的与患者有关的信息，以及从各种来源获得、处理和/或注释的数据。术前数据158的实施例包括各种图像、融合图像、注释图像以及患者的解剖部位的一个或更多个标记或标示点或部分。术前数据158的非限制性示例包括与计算机断层扫描(CT)成像、锥形束计算机断层扫描(CBCT)成像、磁共振成像(MRI)、正电子发射型断层扫描(PET)成像和/或体积超声和荧光透视成像有关的静态图像或记录。应理解，术前数据158可以根据需要包括来自其他诊断医疗程序、成像模式和建模***的信息。
术前数据158可被配置为基于在先前医疗程序和/或成像中获得的术前数据158，在医疗程序期间为用户提供参考和引导。增强现实***102可以在患者的身体上显示术前数据158，并对准所投影的术前数据158，从而使其与患者的正确解剖结构相关并对应。期望地，这可以允许用户使用术前数据158作为参考来导航患者的身体。
参考图5，由于术中数据160中的缺陷，当术前数据158更适合作为导航引导时，可以显示术前数据158。例如，如果超声成像156不能检测身体中的特定解剖结构，则可以改为显示术前数据158，以使用来自术前数据158的成像来显示特定解剖结构。如图5所示，解剖结构在超声成像156中产生阻塞区域164，从而将目标解剖结构166(例如，肝脏的肝静脉)渲染为不可检测的。增强现实***102可以检索肝脏的肝静脉的术前CT图像(术前数据158)，并将术前图像158叠加在质量差的实时超声图像流(术中数据160)上，并在用户的视野内显示全息可视化。全息可视化包括与实时超声图像流(术中数据160)的所配准的全息投影和源自CT的肝静脉的全息图像(术前数据158)一致的被跟踪仪器104(例如，介入设备)的全息表示。该全息可视化用于将介入设备或被跟踪仪器104导航并引导到目标解剖结构。
应意识到，在本公开的范围内，可能存在术前数据158将显示给用户的其他情况。此外，应理解，本领域技术人员可以根据需要选择不同的表面和空的空间来显示术前数据158。
术中数据160可以包括在医疗程序期间例如使用第二全息图像采集***110实时获得的与患者和患者的解剖部位有关的信息。例如，关于术前数据158的诊断性医疗程序可以与当前医疗程序同时执行，并被实时收集和使用作为术中数据160。例如，可以获得实时超声图像156并将其集成到第二全息图像采集***110中，第二全息图像采集***110可以结合第二全息图像采集***110实时提供静态或可移动的实时视图。应理解，本领域技术人员可以根据需要将来自其他来源的其他信息用于术中数据160。
术中数据160可被配置为在医疗程序期间向用户提供参考，这些参考在医疗程序期间实时获得。增强现实***102可以在患者的身体上显示术中数据160。此外，增强现实***102可以对准所投影的术中数据160，从而使其与患者的正确解剖结构相关并对应。
参考图7，术中数据160可以被叠加在术前数据158之上，以识别术前成像和医疗程序期间发生的成像之间可能发生的变化。此外，当术中数据160更适合作为导航引导时，可以显示术中数据160。例如，超声成像156可以提供患者身体的最新成像。应理解，在本公开的范围内，可以存在术中数据160将被显示给用户的其他情况。此外，应理解，术中数据160可以投影在不同的表面和空的空间上。
此外，***100可以关联术前数据158和术中数据160并建立它们之间的关系。例如，图7中所示的缝线(hem line)168允许第一端点170和第二端点172之间的测量。第一端点170位于超声成像156(术中数据160)内，而第二端点172位于CT扫描(术前数据158)内。期望地，这允许用户不仅同时查看术前数据158和术中数据160，而且还使用来自这两种数据类型的材料执行诊断程序。
融合数据162可以包括通过合并术前数据158和术中数据160生成的信息，例如静态图像和记录。期望地，融合数据162可以向用户呈现更简洁和近似的图像和动画。应理解，在本公开的范围内，融合数据162可以包括其他类型的信息。
融合数据162可被配置为在医疗程序期间基于术前数据158和术中数据160两者为用户提供参考。在某些情况下，数据的融合可以以手动方式进行。在其他情况下，计算机***106可以被配置为生成融合数据162并将多个操作信息154发送到增强现实***102，例如，使用机器可读指令130中提出的一个或更多个算法或经由人工智能(AI)。在某些情况下，这可以通过有线连接来实现。在其他情况下，这可以通过无线地完成。应理解，在本公开的范围内，计算机***106可以使用其他方法和过程来发送多个操作信息154。
增强现实***102可以在患者的身体上显示融合数据162。此外，增强现实***102可以对准所投影的融合数据162，从而使其与患者的正确解剖结构相关并对应。例如，如图7所示，增强现实***102正在显示融合数据162，使得CT扫描(术前数据158)被叠加在患者的身体上并与患者的身体对准，而超声成像(术中数据160)被施加在CT扫描(术前数据158)上。在其他情况下，融合数据162简单地同时显示术前数据158和术中数据160。应理解，在本公开的范围内，可以存在融合数据162将被显示给用户的其他情况。此外，应意识到，融合数据162可以投影在不同的表面和空的空间上。
返回参考图4a-图4c，用于全息增强现实可视化和引导的***100包括自动分割和配准过程200。特别地，自动分割和配准过程200可以自动地将原始术前扫描(术前数据158)分割成片段，并将每个片段配准到术前数据158。期望地，***100然后可以在需要时显示每个片段，而不是整个原始术前扫描。
参考图4a，自动分割和配准过程200采用CBCT成像***174，该***包括辐射源176和位于辐射源176对面的图像检测器178。辐射源176沿着波束轴并朝向等中心(isocenter)182发射X射线波束180，从而将辐射输送到介于辐射源176和图像检测器178之间的患者186的目标体积184。图像检测器178接收穿过目标体积184的X射线180，并基于接收到的X射线180产生术前CT扫描图像。CT扫描图像用于生成患者目标解剖结构的CBCT全息表示(术前数据158)。
在图4b中，术前CT扫描图像158与患者的当前位置进行比较，术中数据160(例如，超声成像156)被叠加为从超声探头188发射的锥形。术前扫描被自动地分割成片段190。接下来，将每个片段配准到术前数据158中。来自术前扫描的片段190可以创建训练数据集以实时分割和配准解剖结构。在一个示例中。可以使用人工智能(AI)和机器学习来实现自动分割和配准过程200。特别地，AI可以包括来自训练数据集的基于体素的分割和重建。可以通过AI模型来确定特定阈值，以将来自术前数据158的成像分割成与来自术前数据158的成像中的每个解剖结构相对应的片段190。通过模式识别和算法中对其特征的调整，从正常状态中识别出解剖结构和病理状态。通过这种方式，这些类型的数据处理可以基于体素特征从正常解剖结构中识别异常。自动分割和配准过程200可以进一步从超声探头188所发射的超声成像156获得一个或更多个术中图像160，并且可以将术中图像160与片段190共同配准到术前数据158中，从而允许AI模型构建新的分割数据集。
参考图4c，通过共同配准术前片段(术前数据158)和术中图像(术中数据160)，可以将术前数据158和术中数据160合并在一起，生成融合数据162，该融合数据162提供用于重建3D表示192的基线，其可以被投影为增强现实***102中的一个或更多个全息图。
返回参考图1，计算机***106可以具有变形引擎150，变形引擎150被配置为在医疗程序期间将术前数据158与患者体内的相应解剖结构对准。如前所述，计算机***106可以被配置为通过合并术前数据158和术中数据160来选择性地生成融合数据162，经由术前数据158和术中数据160之间的差异来识别解剖结构的变形，并且将融合数据162发送到增强现实***102。变形引擎150允许手动地或通过AI和机器学习自动地实时补偿解剖结构的变形。变形引擎150可以通过AI和机器学习将术前数据158与术中数据160对准来自动地补偿解剖结构的变形。此外，变形引擎150通过允许用户手动地将术前数据158与术中数据160对准来手动地补偿解剖结构的变形。
特别地，在没有变形引擎150的情况下，由于患者体内的解剖结构在定位上变形或移位，术前数据158可能与相应的解剖结构未对准。从收集术前数据158的时间开始，解剖结构可以在定位上显著地变形或移位。期望地，变形引擎150更新术前数据158的定位，以与对应的解剖结构对准，该术前数据158可以包括所分割的术前数据158或未分割的术前数据158。
参考图6，在操作中，变形引擎150合并术前数据158和术中数据160的坐标系。变形引擎150还识别并配准术前数据158中的关键解剖结构196以用作参考点194。这可以包括手动地或通过AI识别解剖结构的回声剖面(profile)。例如，可以使用AI和机器学习识别和配准与组织类型相关的特定体素。变形引擎150然后识别术中数据160中的这些参考点194，并将这些差异与术前数据158进行比较。术中数据160和术前数据158之间的差异可以包括解剖结构的变形和空间定位中的变化，如图6中的箭头所示。然而，应理解，在本公开的范围内，本领域技术人员可以识别其他差异。
一旦识别出差异，变形引擎150就可以通过改变、变形或移位术前数据158来补偿变形，以将术前数据158与相应的解剖结构196对准。在一些情况下，用户还可以手动地改变、变形或移位术前数据158，以将术前数据158与相应的解剖结构196对准。例如，变形引擎150允许用户拉动术前数据158中的解剖结构轮廓198上所识别的每个参考点194，以与术中数据160中的解剖构造196上所识别的对应参考点195对准。期望地，这可以细化对周围关键结构或目标通路的成像，这可以提高医疗程序期间的准确性。
在一些示例中，计算机***106还可以包括标准图形和物理引擎152。标准图形和物理引擎可以基于术前数据158或解剖结构的特性对术前数据158设置上边界条件和下边界条件。有利地，这可以允许实时校正，而基本上不会扭曲术前数据158。应理解，本领域技术人员可以根据需要使用其他图形引擎、物理引擎和模拟来处理术前数据158。
图8中示出了在执行医疗程序中用于全息增强现实可视化和引导的方法300。方法300包括提供***100的步骤302。然后，在步骤304，可以将术前数据158选择性地配准到多个操作信息。接下来，在步骤306，可以将术中数据160选择性地配准到多个操作信息。然后，在步骤308，计算机***106生成融合数据162。如前所述，可以自动地或手动地生成融合数据162。接下来，在步骤310，在术前数据158与术中数据160未对准的情况下，可以根据变形引擎150选择性地调整术前数据158。然后，在步骤312，计算机***106将多个操作信息154发送到增强现实***102。接下来，在步骤314，在术中数据160允许用户导航患者的身体的情况下，增强现实***102选择性地显示术中数据160。然后，在步骤316，在术中数据160基本上不允许用户导航患者的身体的情况下，增强现实***102选择性地显示术前数据158。接下来，在步骤318，在术前数据158和术中数据160两者都允许用户导航患者的身体的情况下，增强现实***102选择性地显示融合数据162。然后，在步骤320，用户可以选择性地实时调整多个操作信息154。
有利地，***100和方法200、300可以为用户提供增强的成像。特别地，包括术前数据158、术中数据160和融合数据162在内的多个操作信息可以为用户提供增强的成像。此外，变形引擎150可以针对可变形的解剖结构进行调整。
尽管出于说明本发明的目的显示了某些代表性实施例和细节，但本领域技术人员将清楚，在不脱离本公开范围的情况下，可以进行各种改变，这将在以下所附权利要求中进一步描述。

Claims (20)

1.一种全息增强现实可视化和引导***，用于由用户对对象的解剖结构执行医疗程序，包括：
增强现实***，被配置为向所述用户显示多个操作信息，所述多个操作信息包括所述解剖结构的术前数据、所述解剖结构的术中数据和所述解剖结构的融合数据中的至少一个；以及
计算机***，与所述增强现实***通信，所述计算机***具有变形引擎，
其中，所述计算机***被配置为通过合并所述术前数据和所述术中数据来选择性地生成所述融合数据，经由所述术前数据和所述术中数据之间的差异来识别所述解剖结构的变形，将包括所述融合数据的所述多个操作信息发送到所述增强现实***，并根据所述变形引擎实时补偿所述解剖结构的变形。
2.根据权利要求1所述的***，其中，在所述计算机***将所述多个操作信息发送到所述增强现实***之前，所述变形引擎通过人工智能和机器学习将所述术前数据与所述术中数据对准，来自动地补偿所述解剖结构的变形。
3.根据权利要求1所述的***，其中，所述变形引擎通过允许所述用户手动地将所述术前数据与所述术中数据对准来手动地补偿所述解剖结构的变形。
4.根据权利要求1所述的***，其中，所述计算机***包括图形和物理引擎，所述图形和物理引擎被配置为基于所述解剖结构的特性对所述术前数据设置上边界条件和下边界条件。
5.根据权利要求1所述的***，其中，所述计算机***通过将所述术中数据叠加在所述术前数据上来生成所述融合数据。
6.根据权利要求1所述的***，其中，所述计算机***通过将所述术前数据叠加在所述术中数据上来生成所述融合数据。
7.一种用于在用户对患者执行医疗程序时进行全息增强现实可视化和引导的方法，所述方法包括以下步骤：
提供一种***，所述***具有被配置为在增强现实环境中显示所述患者的多个操作信息的增强现实***、第一全息图像采集***、第二全息图像采集***和具有变形引擎的计算机***；
由所述第一全息图像采集***从所述患者采集术前数据；
由所述第二全息图像采集***从所述患者采集术中数据；
将所述术前数据选择性地配准到所述多个操作信息；
将所述术中数据选择性地配准到所述多个操作信息；
由所述计算机***选择性地生成融合数据；
在所述术前数据与所述术中数据未对准的情况下，根据所述变形引擎选择性地调整所述术前数据；
由所述计算机***将所述多个操作信息发送到所述增强现实***；
在所述术中数据允许所述用户导航患者的身体的情况下，由所述增强现实***选择性地显示所述术中数据；
在所述术中数据基本上不允许所述用户导航所述患者的身体的情况下，由所述增强现实***选择性地显示所述术前数据；
在所述术前数据和所述术中数据两者都允许所述用户导航所述患者的身体的情况下，由所述增强现实***选择性地显示所述融合数据；以及
由所述用户选择性地实时调整所述多个操作信息。
8.根据权利要求7所述的方法，其中，所述第一全息图像采集***选自计算机断层扫描CT装置、锥形束计算机断层扫描CBCT装置、磁共振成像MRI装置、投影射线照相装置、正电子发射型断层扫描PET装置、容积超声和荧光透视***及它们的组合。
9.根据权利要求7所述的方法，其中，所述第二全息图像采集***选自普通超声、经食管超声、内窥镜超声、护理点超声、超声心动图ECG成像装置、荧光透视装置、经胸超声心动图TTE、经食管超声心动图TEE、心内超声心动图ICE及它们的组合。
10.根据权利要求7所述的方法，其中，所述计算机***包括图形和物理引擎，所述图形和物理引擎被配置为基于所述术前数据的特性对所述术前数据设置上边界条件和下边界条件。
11.一种用于在用户对患者执行医疗程序时进行全息增强现实可视化和引导的方法，所述方法包括以下步骤：
提供计算机***；
捕获所述患者的解剖结构的术前数据；
在所述医疗程序期间用探针捕获所述患者的解剖结构的术中数据；
交叉参考所述术前数据和所述术中数据；
在所述医疗程序期间，实时分割所述术前数据；
在所述医疗程序期间，由所述计算机***实时配准所分割的术前数据和所述术中数据；
在配准步骤之后，由所述计算机***将所分割的术前数据和所述术中数据实时发送到增强现实***；以及
在所述医疗程序期间，由所述增强现实***实时显示所发送的所分割的术前数据和所述术中数据。
12.根据权利要求11所述的方法，还包括由所述计算机***识别所述术前数据中所述解剖结构的轮廓的变形。
13.根据权利要求12所述的方法，其中，所述计算机***包括变形引擎，所述变形引擎被配置为通过人工智能和机器学习将所述术前数据与所述术中数据对准，来自动地补偿所识别的所述解剖结构的变形。
14.根据权利要求12所述的方法，其中，所述计算机***包括变形引擎，所述变形引擎被配置为允许所述用户手动地将所述术前数据与所述术中数据对准。
15.根据权利要求12所述的方法，其中，所述计算机***包括图形和物理引擎，所述图形和物理引擎被配置为基于所述解剖结构的特性对所述术前数据设置上边界条件和下边界条件。
16.根据权利要求15所述的方法，其中，所述计算机***包括变形引擎，所述变形引擎被配置为通过允许所述用户在所述上边界条件和所述下边界条件内手动地将所述术前数据与所述术中数据对准来调整所识别的所述解剖结构的变形。
17.根据权利要求11所述的方法，其中，捕获所述术前数据包括捕获计算机断层扫描图像数据。
18.根据权利要求11所述的方法，还包括将所述术中数据叠加在所述术前数据上，以识别所述术前数据与所述术中数据之间的差异。
19.根据权利要求11所述的方法，还包括将所述术前数据叠加在所述术中数据上，以识别所述术前数据与所述术中数据之间的差异。
20.根据权利要求11所述的方法，其中，捕获所述术中数据包括捕获超声成像。
CN202180071968.1A 2020-10-20 2021-10-20 自动分割与配准***及方法 Pending CN116528752A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063093904P 2020-10-20 2020-10-20
US63/093,904 2020-10-20
PCT/US2021/055754 WO2022087070A1 (en) 2020-10-20 2021-10-20 Automatic segmentation and registration system and method

Publications (1)

Publication Number Publication Date
CN116528752A true CN116528752A (zh) 2023-08-01

Family

ID=81186656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180071968.1A Pending CN116528752A (zh) 2020-10-20 2021-10-20 自动分割与配准***及方法

Country Status (6)

Country Link
US (1) US20220117674A1 (zh)
EP (1) EP4231907A1 (zh)
JP (1) JP2023548773A (zh)
CN (1) CN116528752A (zh)
CA (1) CA3196186A1 (zh)
WO (1) WO2022087070A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1002241S1 (en) 2022-12-12 2023-10-24 Zhejiang Natural Outdoor Goods Inc. Air mattress

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
CN111329551A (zh) * 2016-03-12 2020-06-26 P·K·朗 用于脊柱和关节手术的增强现实引导

Also Published As

Publication number Publication date
WO2022087070A1 (en) 2022-04-28
US20220117674A1 (en) 2022-04-21
EP4231907A1 (en) 2023-08-30
CA3196186A1 (en) 2022-04-28
JP2023548773A (ja) 2023-11-21

Similar Documents

Publication Publication Date Title
US11989338B2 (en) Using optical codes with augmented reality displays
US10820948B2 (en) System and method for holographic image-guided percutaneous endovascular percutaneous procedures
JP6400793B2 (ja) 画像表示の生成方法
JP6395995B2 (ja) 医療映像処理方法及び装置
EP3145420B1 (en) Intra operative tracking method
US8165660B2 (en) System and method for selecting a guidance mode for performing a percutaneous procedure
EP2632384B1 (en) Adaptive imaging and frame rate optimizing based on real-time shape sensing of medical instruments
JP5685605B2 (ja) インターベンション装置をナビゲートするシステム及びその作動方法、コンピュータプログラムエレメント並びにコンピュータ可読媒体
EP2329786A2 (en) Guided surgery
JP2019500185A (ja) 放射線照射を低減された手術中の３次元視覚化
EP3009097A1 (en) Method for navigating a surgical instrument
US8731643B2 (en) Imaging system and methods for medical needle procedures
CN114727845A (zh) 用于再现医疗器械的穿刺点的方法和***
CA3170280A1 (en) Holographic treatment zone modeling and feedback loop for surgical procedures
Nagelhus Hernes et al. Computer‐assisted 3D ultrasound‐guided neurosurgery: technological contributions, including multimodal registration and advanced display, demonstrating future perspectives
US20210236209A1 (en) Real time fused holographic visualization and guidance for deployment of structural heart repair or replacement product
US20220117674A1 (en) Automatic segmentation and registration system and method
CN114980832A (zh) 用于规划和执行三维全息介入手术的***和方法
Shahin et al. Ultrasound-based tumor movement compensation during navigated laparoscopic liver interventions
Lange et al. Development of navigation systems for image-guided laparoscopic tumor resections in liver surgery
US20230248441A1 (en) Extended-reality visualization of endovascular navigation
US20240225748A1 (en) Planning and performing three-dimensional holographic interventional procedures with holographic guide
US11941765B2 (en) Representation apparatus for displaying a graphical representation of an augmented reality
CN117677358A (zh) 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination