CN113177945A - 用于将分割图链接到体数据的***和方法 - Google Patents

用于将分割图链接到体数据的***和方法 Download PDF

Info

Publication number
CN113177945A
CN113177945A CN202110059826.5A CN202110059826A CN113177945A CN 113177945 A CN113177945 A CN 113177945A CN 202110059826 A CN202110059826 A CN 202110059826A CN 113177945 A CN113177945 A CN 113177945A
Authority
CN
China
Prior art keywords
branch
image
mesh model
image dataset
dataset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110059826.5A
Other languages
English (en)
Inventor
O·巴拉索弗斯基
I·舍甫列夫
A·比仁鲍姆
G·阿莱克斯安德罗尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN113177945A publication Critical patent/CN113177945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种图像处理的***和方法，包括与显示器通信的处理器和计算机可读记录介质，所述计算机可读记录介质具有由所述处理器执行以从存储器读取图像数据集、分割所述图像数据集并将分割的图像数据集骨架化的指令。所述指令使所述处理器绘制出骨架化图像数据集，为图中的每个分支分配分支标识(ID)，并将所述分割的图像数据集的每个体素与分支ID相关联。所述指令使所述处理器从绘制的骨架化图像数据集生成三维(3D)网格模型，将所述3D网格模型的每个顶点与分支ID相关联；以及在用户界面中显示所述3D网格模型和所述图像数据集的图像。

Description

用于将分割图链接到体数据的***和方法
技术领域
本公开涉及改进3D分割和解剖分类的图像处理***和方法。具体地，本公开涉及识别计算机断层扫描(CT)图像和从其导出的三维(3D)模型内的结构以改进手术或治疗计划的改进技术和方法。
背景技术
在许多领域中，需要分割和/或分类体数据中的体素。在医学成像方面，存在许多开放源码和专有***，其能够手动分割和/或分类诸如CT图像的医学图像。这些***通常需要临床医生或支持临床医生的技术人员手动检查CT图像并手动有效地绘制血管或其它结构，有时逐像素地绘制。为了获得精确的3D分割/分类，用户通常必须滚动通过许多2D切片并标记许多像素。可以理解，此类手动工作是乏味和耗时的，使得此类方法很难用于任何类型的手术规划。
发明内容
本公开的一个方面涉及一种图像处理方法，包括：采集肺的计算机断层扫描(CT)图像数据集；分割CT图像数据集以识别CT图像数据集中的气道和/或血管；通过识别气道和/或血管的中心点对分割的CT图像数据进行骨架化并且形成骨架；绘制骨架以识别骨架的分支；为骨架的每个分支分配分支标识(ID)；将分割的CT图像数据集的每个体素与分支ID相关联，其中体素的分支ID与最近中心点的分支ID相同。所述图像处理方法还包括从骨架的绘图生成三维(3D)网格模型。图像处理的方法还包括将3D网格模型的每个顶点与分支id相关联，并且在用户界面中显示3D网格模型和来自图像数据集的切片图像，其中突出显示在切片图像中出现的3D网格模型的部分。此方面的其它实施例包括对应的计算机***、设备和记录在一个或多个计算机存储设备上的计算机程序，每个计算机存储设备被配置为执行本文描述的方法和***的动作。
本公开的另一方面涉及一种图像处理的方法，包括：分割图像数据集，对分割的图像数据集进行骨架化，绘制骨架化的图像数据集，为绘图中的每个分支分配分支标识(ID)，将分割的图像数据集的每个体素与分支ID相关联。所述图像处理方法还包括从绘制的骨架化图像数据集生成三维(3D)网格模型；以及将3D网格模型的每个顶点与分支ID相关联。此方面的其它实施例包括对应的计算机***、设备和记录在一个或多个计算机存储设备上的计算机程序，每个计算机存储设备被配置为执行本文描述的方法和***的动作。
本公开的此方面的实现可以包括一个或多个以下特征。其中具有相同分支ID的多个顶点形成对象的方法。其中分割的图像数据集的每个像素基于其分支ID与3D网格模型中的对象相关联的方法。所述方法进一步包括在用户界面上呈现3D网格模型和图像数据集。其中将图像数据集作为图像数据集的切片图像呈现在用户界面上的方法。其中对应于3D网格模型的对象的一部分的切片图像的任何部分被着色为与对应的对象相同的方法。其中当接收到适当的命令时，可以改变3D网格模型中的对象的颜色的方法。其中对象的颜色改变导致图像的对应部分的颜色改变的方法。其中图像数据集的切片图像可滚动的方法。所述方法进一步包括接收对图像数据集的显示图像中的像素的选择。所述方法还可包括确定分支ID是否与选定的像素相关联。所述方法还可以包括当所选择的像素与分支id相关联时，以共同颜色突出显示所显示的图像中具有相同分支ID的所有像素。所述方法进一步包括在用户界面中突出显示具有与图像数据集中的所选像素相同的分支ID的3D网格模型的对象。所述方法进一步包括接收对所显示的3D网格模型中的对象的选择；确定对象的分支ID。所述方法还可以包括以共同颜色显示图像数据集的显示图像中的具有与所选择的分支相同的分支ID的所有像素。所述方法进一步包括用对比色突出显示3D网格模型中的对象。所述方法进一步包括为每个分支定义集群ID。所述方法进一步包括以共同颜色显示具有常用集群ID的所有对象。其中集群ID基于集群对象的共同性的方法。其中集群的对象的共同性基于通过连接的分支或对象之间的最小交角来选择的方法。所描述的技术的实现可包括硬件、方法或过程、或计算机可访问介质上的计算机软件，包括安装在***上的软件、固件、硬件、或它们的组合，所述软件、固件、硬件或它们的组合在操作中使***执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定的操作或动作，当数据处理设备执行所述指令时，使所述设备执行所述动作。
本发明的一个方面涉及一种***，其包括：处理器，其与显示器通信；以及计算机可读记录媒体，其上存储有指令，所述指令在由所述处理器执行时：从所述计算机可读记录媒体读取图像数据集，分割所述图像数据集，将所述经分割的图像数据集进行骨架化，对所述经骨架化的图像数据集进行绘图，为所述绘图中的每一分支指派分支识别(ID)，将经分割的图像数据集的每个体素与分支ID相关联，从绘制的骨架化图像数据集生成三维(3D)网格模型。所述***还使得处理器将3D网格模型的每个顶点与分支ID相关联。所述***还包括在用户界面中显示3D网格模型和来自图像数据集的切片图像，其中突出显示在切片图像中出现的3D网格模型的部分。此方面的其它实施例包括对应的计算机***、设备和记录在一个或多个计算机存储设备上的计算机程序，每个计算机存储设备被配置为执行本文描述的方法和***的动作。
本公开的此方面的实现可以包括一个或多个以下特征。所述***，其中所述指令在由所述处理器执行时：接收对所显示的切片图像中的像素的选择，确定分支ID是否与所选择的像素相关联，以及当所述所选择的像素与分支ID相关联时，以共同颜色突出显示所显示的图像中具有相同分支ID的所有像素，或接收对所显示的3D网格模型中的对象的选择，确定所述对象的分支ID并且以共同颜色显示切片图像中与所选择的分支具有相同分支ID的所有像素。所描述的技术的实现可包括硬件、方法或过程、或计算机可访问介质上的计算机软件，包括安装在***上的软件、固件、硬件、或它们的组合，所述软件、固件、硬件或它们的组合在操作中使***执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定的操作或动作，当数据处理设备执行所述指令时，使所述设备执行所述动作。
附图说明
在附图中绘示了各种示例性实施例。应当理解，为了图示的简单和清楚，在下面参考的附图中示出的元件不必按比例绘制。而且，在认为适当的情况下，可以在附图中重复附图标记以指示相同的、对应或类似的元件。下面列出附图。
图1是描述根据本公开将分割图排列到体数据的示范性方法的流程图；
图2A描述了根据本公开的一个方面的体数据的分割结果；
图2B描绘了从分割的体数据到分割的体数据的骨架的过渡；
图2C描述了绘制图2B的骨架的各种方法；
图3是实现图1中所述方法的结果的用户界面实现方面；
图4是根据本发明的用户界面的聚焦部分；
图5是根据本发明的用户界面的聚焦部分；
图6是实现图1中描述的方法的结果的另外的用户界面实现方面；
图7是根据本发明的用户界面的聚焦部分；和
图8是能够执行本文描述的方法的计算机***的示意图。
具体实施方式
本公开涉及识别CT图像和从其导出的3D模型内的结构的改进技术和方法。改进的结构识别允许图像和3D模型的附加分析，并且能实现精确的手术或治疗计划。
参考图1中概述的步骤来描述本公开的一个方面。这些步骤可以在诸如软件和固件的可执行代码中实现，或者在下面利用图8的组件和***的硬件中实现。作为初始步骤，在步骤102从存储图像数据集的存储器中读取CT图像数据集，并且在步骤104对图像数据集应用一个或多个体积分割算法。可以采用分割来生成CT图像数据集的解剖结构的3D模型。在肺的情况下，体积分割的结果可以是3D模型202，如图2A所示。然而，本公开的方法不一定需要3D模型生成。所需要的是分割，其将图像分离成单独的对象。在肺的分割的情况下，分割的目的是将组成气道和脉管***(例如，腔结构)的对象与周围肺组织分开。
本领域技术人员将理解，尽管通常结合CT图像数据，即构成3D体积的一系列切片图像进行描述，但是本公开不限于此，并且可以在不脱离本公开的范围的情况下，在包括磁共振成像(MRI)、荧光透视、X射线、超声、正电子发射断层扫描(PET)和生成3D图像体积的其他成像技术的各种成像技术中实现。此外，本领域技术人员将认识到，可以采用各种不同的算法来分割CT图像数据集，包括连通分量、区域增长、阈值、集群、流域分割、边缘检测等。
在分割CT图像数据集之后(步骤104)，在步骤106根据体积分割形成骨架。骨架是表示对象的一般形式的形状。图2B描绘了骨架204，其由体积分割206形成。骨架204由多个骨架点208形成，这些骨架点识别包含分割体积206的对象的中心线。有多种技术可用于分割体积206的骨架化以定义这些骨架点208。例如，已知有多种方法骨架计算技术，包括拓扑细化、最短路径确定和与对象边界的距离变换。在不脱离本公开的范围的情况下，本文可以采用这些方法中的任何一种或多种。
在骨架化之后，在步骤108创建图210，如图2C所示。图2C来源于Babin，Danilo等人。“动静脉畸形血管勾绘的骨架化方法”Computers in biology and medicine 93(2018):93-105.图形是序列对象，其中每个连续组件都可以根据它与其邻居的关系来标识。在图2C的幻灯片(a)中，示出了骨架的2D图。图中每个像素中的数字表示此像素的相邻像素的数量。在2D中，邻域被定义为3×3像素，因此每个像素具有8个像素的邻域。本领域技术人员将认识到，在3D中，体素(像素的3D表示)在每个单独的体素(例如，3×3×3矩阵)周围具有邻域26个体素。返回参考图2C的幻灯片(a)，幻灯片(a)中的每个像素中的数字表示周围邻域中的像素的数量，所述周围邻域也在步骤106处导出的骨架中找到。如幻灯片(a)中所示，图中具有1的像素仅具有单个邻居且可描述为叶节点211(例如，分支的端点)。所有具有2个邻居的像素被认为是分支212的一部分。具有3个或更多个邻居的所有像素都是从其延伸多个分支的节点214。幻灯片(b)将节点214和叶节点211的像素描绘在图上的橙色圆圈中，且将分支的像素描绘为由蓝色虚线连接的绿色正方形。幻灯片(c)去除分支并描绘叶节点GN1、GN3、GN4和节点GN2的像素的位置。每个分支212必须在其终端具有节点或叶节点。在幻灯片(d)中，节点GN2减少到单个点214，且分支212由单个实践表示。作为骨架绘制图形的一部分，每个分支214被分配一个单独的分支ID。类似地，为每个节点和叶节点分配单独的节点ID。分支ID和节点ID以及与每个节点相关联的分支都在绘图步骤之后存储在存储器中。
在步骤110，体积分割的每个体素与分支ID相关联。与每个体素相关联的分支ID是从步骤210的绘图过程导出的最近骨架点的分支ID。以这种方式，体积分割的每个体素被分配一个分支ID。
接下来，在步骤112，从图中生成3D网格。3D网格是由多边形组成的3D模型的结构构建。3D网格使用参考点，这里是在图中识别的体素，来定义具有高度、宽度和深度的形状。有多种不同的方法和算法用于创建3D网格，一种此类算法是移动立方体算法。3D网格生成的结果再次是3D模型，其在外观上类似于通过分割技术生成的3D模型，参见图3。
在步骤114，3D网格中的每个顶点(多边形的连接点)然后与分支ID相关联。可以通过找到顶点的壁橱骨架点来分配分支ID。以这种方式，3D网格的每个顶点与特定的分支ID相关联。
从步骤104处的原始体积分割，还开发了与每个分支有关的各种附加数据，包括分支大小(直径)、分支类别、分支类型(例如，动脉或静脉)、分支状态等。这些数据可用于限制3D网格模型中的数据并执行本文所述的其它分析步骤。例如，3D网格模型的视图可以限于仅大于预定直径的那些血管，例如>1mm。
利用与特定分支ID相关联的网格的每个体素和每个顶点，可以向临床医生呈现用户界面(UI)300，如图3所示，其中3D网格模型302在UI的一侧上的第一窗格304中示出，并且来自CT图像数据集的CT图像306在UI的第二侧上的第二窗格308中示出。由于3D网格模型是从CT图像数据集导出的，因此3D网格模型必须与CT图像数据集配准。因此，在计划手术病例或简单地寻求理解患者的解剖结构时，临床医生有许多选择。
3D网格模型现在可以覆盖原始图像数据集(例如，CT图像数据集)。由于3D网格模型和图像数据集通过覆盖它们而彼此配准，因此当用户滚动通过原始图像数据集的图像时，暴露与原始图像数据集的切片对准的3D网格模型的部分。通过使用不同的颜色，例如用于静脉的蓝色和用于动脉的红色，可以在图像数据集中看到这些血管的位置。可以使用用于确定它们的性质的各种算法和技术基于患者的生理、讨论的结构的大小和形状和与其它部件的连通性以及本领域技术人员已知的其它标准来确定3D网格模型的部分(例如，静脉、气道或动脉)的性质。如将进一步理解的，其它颜色可用于识别3D网格模型的各方面并经由用户界面向用户提供所述信息。
如图3所示，第二窗格308显示与3D网格模型302的分支在其显示的CT图像306内的位置相关的彩色部分。CT图像306通常以可滚动的形式提供，因此通过滚动通过连续的CT图像306，临床医生可以将分支视为颜色的连续体，因为在每个连续的CT图像306中描绘了分支。这为临床医生提供了检查分支(例如血管)可以位于CT图像306中的病变或其它感兴趣区域附近的位置的机会。
在一个实施例中，临床医生可以点击3D网格模型302中的分支。然后，驱动用户接口300的应用可以同步第二窗格308，使得所选择的分支在所显示的CT图像306中可见。CT图像306可以被居中以显示其中最接近的骨架点到3D网格模型302中选择的分支的CT图像306。在此CT图像306中可见的分支部分可以如图4所示被突出显示。此外，在3D网格模型302中，可以如图5所示突出显示整个所述分支310。3D网格模型302中的突出显示可以具有与3D网格模型的其余部分形成对比的颜色，并且CT图像306中的突出显示可以具有与为3D网格模型302中的突出显示选择的颜色相同的颜色。
可替代地，临床医生在滚动CT图像306时在窗格308中可以选择CT图像306中的点。如果此点(像素)对应于分割(例如，气道、动脉或静脉等)，则可以在如图4所示的CT图像和如图5所示的3D网格模型302中突出显示属于同一分支的所有体素，例如使用相同颜色或共同颜色来显示它们彼此对应。再次，向临床医生提供关于分支，其在患者体内所采取的路径以及到其它结构的接近度的信息。
在图6所示的备选选项中，从3D网格模型开始，临床医生可以选择3D模型中的分支。例如，临床医生可能想要清楚地理解特定分支出现在CT图像数据集中的何处。一旦被选择，临床医生可以改变具有与所选择的分支相同的分支ID的所有体素的分支颜色。临床医生可以选择改变分支的颜色。如图6中UI的右侧所示，在CT图像数据集的特定切片中可见的分支部分的颜色也改变。这允许临床医生随后滚动通过CT图像数据集并进行分支的评估。
本发明的另一方面是分支的集群的使用。根据本公开的一个方面，用户可以经由用户接口针对CT图像数据集或3D网格模型来选择或定义集群的性质。在集群的一个示例中，临床医生可能对供给或接近肿瘤或病变的血管感兴趣。虽然识别在肿瘤周围的小窗口或边缘内可见的血管可能是有用的，但是当考虑出现肿瘤或病变的肺叶内的所有血管时，可以观察到血流和相关脉管***的更好指示。通过观察发现病变或肿瘤的单个肺叶中的所有血管(所有分支)，可以确定如何进行治疗，切除步骤的顺序和确定关键结构(例如，用于夹紧、缝合或密封的动脉)的大致位置，使得在切除步骤之前提供足够的可及性来操作工具。此外，在试图进行手术之前很久就可以理解与切除相关的特定并发症(例如，接近主动脉、心脏或其它解剖学特征)。
在这个示例中，所有被认为是集群的一部分的分支(例如，所讨论的肺叶)与集群ID相关联。当利用集群时，在上面关于图3描述的示例中，在选择3D网格模型302中的分支之后，不是将CT图像306以最接近所选分支的像素的骨架点为中心并且仅显示具有相同分支ID的分割的那些部分，而是可以显示具有相同集群ID的所有分割(例如，通过以共同颜色描绘集群的所有分支)。
集群的另一示例可用于如图7所描绘的路径生成。当在3D网格模型302中选择分支时，可以应用几何集群约束。这些约束可以识别分支之间的一些共性。例如，为了确定从所选择的点返回到心脏的路径，集群约束是识别连接到所选择的分支的连接分支，其在连接分支之间具有最小的角度。如图7所示，如果选择分支702，则连接的分支704和706将被认为是集群的一部分，但是以比分支704更大的角度与分支702相交的分支708将不是集群的一部分。以这种相同的方式，分支710与分支704以大于分支706的角度相交，因此从集群中排除。执行集群的应用可以重复角度分析过程，并且可以在心脏方向上从所选择的分支702创建集群。这可以向临床医生提供关于所选血管的重要性的信息，或者在计划影响所讨论的血管的过程时提供用于切除或一些其它临床确定的替代位置。可以理解的是，可以结合相交角度或作为形成期望集群的替代，采用其它准则用于集群。
本公开的另一方面涉及结合本文描述的方法使用神经网络或一些其它适当的学习软件或算法。关于神经网络的使用，必须训练神经网络。这是通过允许神经网络分析图像(例如，来自CT图像数据集)来完成的，其中血管、气道和结构的位置和身份是已知的，并且已经根据本文描述的方法被分析和注释以描绘这些结构的位置。因此，血管和气道的快速和高度精确的分析和识别提供了高质量的基线以确定神经网络训练的功效和完整性。
在神经网络的训练期间，在神经网络对每个帧的每次分析之后提供得分。随着时间和训练，神经网络变得更擅长基于其尺寸、形状变化，在CT图像数据集中的位置、互连等来区分结构。结果是分割的图像数据集，其中可以识别和显示气道、血管和其它组织之间的区别，而不需要手动标记和识别结构。在本公开的方法中使用了多种训练神经网络的方法。可以理解，在至少一个实施例中，无论神经网络变得多么鲁棒，UI 300可以包括请求临床医生确认神经网络的分析。
实例1-肺血管分类
为了帮助医生计划治疗，已经开发了肺脉管***分析工具来分析CT图像，其中执行以下步骤。首先分割来自患者CT的肺脉管***。接下来，为了简化表示，分割被骨架化，并且基于骨架生成图形。在第三步骤中，采用深度学习分类器来分离动脉和静脉。所得到的分类分段被可视化给具有编辑能力的用户。
血管分类依赖于分析局部环境和通过跟踪血管起源。为了实现这一点，卷积神经网络基于其周围独立地对每个血管进行分类，随后是合并全局知识以细化分类的后处理算法。
神经网络的输入是围绕血管的主轴提取的3D贴片，输出是动脉或静脉的概率。后处理包括跟踪沿脉管***的解剖路径并执行多数表决。在https://arteryvein.grand-challenge.org/.发现的CARVE数据集的10个完全注释的CT扫描上，用留一法交叉验证方案训练和评价了神经网络。
使用两种方法测量性能。首先，计算单个血管分类的精确度，导致平均结果为86％。此外，对分割的血管的特异性准确度进行了评估，在这种情况下准确度为87％。所开发的工具实现了分类的显著性能，这甚至可以通过附加的注释训练数据或通过更精确的输入骨架化来进一步改进。
实例2-使用深度学习的肺血管分割
执行诸如结节消融或手术的肺癌治疗需要医生研究患者解剖结构，特别是在病变或感兴趣区域附近的血管。例如，当进行叶切除术时，外科医生对进入和离开特定叶的血管感兴趣。医生通常先查看CT扫描并使用它来计划治疗程序。
已经开发了一种利用深度学习自动分割肺血管的工具，以帮助医生可视化和计划肺的治疗程序。所建议的网络体系结构是基于V-Net的3D全卷积神经网络。(Milletari,Fausto,Nassir Navab,and Seyed-Ahmad Ahmadi.“《V-net：用于体积医学图像分割的全卷积神经网络。》(V-net:Fully convolutional neural networks for volumetric medicalimage segmentation.)”2016Fourth International Conference on 3D Vision(3DV).IEEE,2016.)。网络输入是具有64×64×64体素的尺寸并针对像素间距归一化的3D CT补丁。输出是相同尺寸的对应血管分割。网络在来自CARVE14数据集的40次扫描上训练，在https://arteryvein.grand-challenge.org/找到，并使用来自相同数据集的15个不同扫描验证。
所述网络实现了0.922的平均验证骰子精度得分。还将所述网络与现有的基于规则的算法进行比较。视觉检查显示，所述网络比基于规则的算法好得多，甚至能够纠正地面实况中的一些错误。在计算成本方面，所述网络能够在约15秒的平均时间内完全分割新的CT，而经典算法的平均时间为约10分钟。可以进一步训练神经网络以对病理更加鲁棒，并作为区分动脉和静脉的血管分类网络的基础。
本领域的普通技术人员将认识到，本文描述的方法和***可以体现在一个或多个可在计算机***(图8)上操作的应用上用于各种诊断和治疗目的。首先，这些***和方法可以在一个或多个教育或教学应用上实现。此外，所述方法和***可以结合到程序规划***中，在所述程序规划***中，识别在CT图像数据集中发现的结构、血管和其它特征，并且规划手术或介入路径，以使得能够在期望的位置递送活组织检查或治疗。此外，这些方法可用于模拟手术后的血流路径，以确保在手术后未被切除或去除的组织仍可充分供血。当然，所属领域的技术人员将认识到本文所描述的图像处理方法的各种额外和补充用途。
现在参考图8，其为被配置用于包括图1的方法的本公开的方法的***1000的示意图。***1000可以包括工作站1001。在一些实施例中，工作站1001可以例如通过无线通信直接或间接地与诸如CT扫描器或MRI的成像设备1015联接。工作站1001可以包括存储器1002、处理器1004、显示器1006和输入设备1010。处理器或硬件处理器1004可以包括一个或多个硬件处理器。工作站1001可任选地包括输出模块1012和网络接口1008。存储器1002可存储应用程序1018和图像数据1014。应用程序1018可包括可由处理器1004执行以用于执行包括图1的方法的本发明的方法的指令。
应用程序1018可进一步包括用户界面1016。图像数据1014可包括诸如CT图像数据集的图像数据集以及本文可用的其它数据集。处理器1004可以与存储器1002、显示器1006、输入设备1010、输出模块1012、网络接口1008和荧光镜1015联接。工作站1001可以是诸如个人计算机的固定计算设备，或者诸如平板计算机的便携式计算设备。工作站1001可以嵌入多个计算机设备。
存储器1002可以包括用于存储数据和/或软件的任何非暂时性计算机可读存储介质，所述软件包括可由处理器1004执行并且控制工作站1001的操作的指令，并且在一些实施例中，还可以控制成像设备1015的操作。在实施例中，存储器1002可以包括一个或多个存储设备，例如固态存储设备，例如闪存芯片。可替代地，或者除了一个或多个固态存储设备之外，存储器1002可以包括通过大容量存储控制器(未示出)和通信总线(未示出)连接到处理器1004的一个或多个大容量存储设备。
尽管本文所包含的计算机可读介质的描述是指固态存储，但本领域的技术人员应当理解，计算机可读存储介质可以是可由处理器1004访问的任何可用介质。即，计算机可读存储介质可包括以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据等)的任何方法或技术实现的非暂时性、易失性和非易失性、可移动和不可移动介质。例如，计算机可读存储介质可以包括RAM、ROM、EPROM、EEPROM、闪存或其它固态存储器技术、CD-ROM、DVD、蓝光或其它光学存储、磁带盒、磁带、磁盘存储或其它磁存储设备，或可用于存储期望信息且可由工作站1001访问的任何其它介质。
应用程序1018在被处理器1004执行时可以使显示器1006呈现用户界面1016。用户界面1016可被配置成向用户呈现本文所描述的各种图像和模型。用户界面1016可进一步被配置为根据其目的、功能、重要性等以不同颜色显示和标记图像和3D模型的各方面。
网络接口1008可以被配置为连接到网络，例如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网。网络接口1008可用于在工作站1001和成像设备1015之间连接。网络接口1008还可用于接收图像数据1014。输入设备1010可以是用户可以用来与工作站1001交互的任何设备，诸如例如鼠标、键盘、脚踏板、触摸屏和/或语音接口。输出模块1012可以包括任何连接端口或总线，例如并行端口、串行端口、通用串行总线(USB)或本领域技术人员已知的任何其它类似连接端口。
虽然在附图中示出了本公开的若干方面，但并不意图将本公开限制于此，因为意图是本公开的范围应在本领域所允许的范围之内，并且说明书也应同样地阅读。因此，以上描述不应被解释为限制性的，而仅仅作为特定方面的范例。

Claims (20)

1.一种图像处理方法，其包含：
获取肺部的计算机断层扫描(CT)图像数据集；
分割所述CT图像数据集以识别所述CT图像数据集中的气道或血管；
通过识别所述气道和/或所述血管的中心点对分割的CT图像数据进行骨架化并且形成骨架；
绘制所述骨架以识别所述骨架的分支；
为所述骨架的每个分支分配分支标识(ID)；
将所述分割的CT图像数据集的每个体素与分支ID相关联，其中所述体素的所述分支ID与最近中心点的所述分支ID相同；
根据所述骨架的图生成三维(3D)网格模型；
将所述3D网格模型的每个顶点与分支ID相关联；以及
在用户界面中显示所述3D网格模型和来自所述图像数据集的切片图像，其中突出显示在切片图像中出现的所述3D网格模型的部分。
2.一种图像处理方法，其包含：
分割图像数据集；
将分割的图像数据集进行骨架化；
绘制骨架化的图像数据集；
为图中的每个分支分配分支标识(ID)；
将所述分割的图像数据集的每个体素与分支ID相关联；
根据绘制的骨架化图像数据集生成三维(3D)网格模型；以及
将所述3D网格模型的每个顶点与分支ID相关联。
3.根据权利要求2所述的方法，其中具有相同分支ID的多个顶点形成对象。
4.根据权利要求3所述的方法，其中所述分割的图像数据集的每个像素基于其分支ID与所述3D网格模型中的对象相关联。
5.根据权利要求4所述的方法，其进一步包含在用户界面上呈现所述3D网格模型和所述图像数据集。
6.根据权利要求5所述的方法，其中将所述图像数据集作为所述图像数据集的切片图像呈现在所述用户界面上。
7.根据权利要求6所述的方法，其中对应于所述3D网格模型的对象的一部分的所述切片图像的任何部分被着色为与对应的对象相同。
8.根据权利要求7所述的方法，其中当接收到适当的命令时，可以改变所述3D网格模型中的对象的颜色。
9.根据权利要求8所述的方法，其中所述对象的颜色改变导致所述图像的对应部分的颜色改变。
10.根据权利要求9所述的方法，其中所述图像数据集的所述切片图像是可滚动的。
11.根据权利要求4所述的方法，其进一步包含：
接收对所述图像数据集的显示图像中的像素的选择；
确定分支ID是否与所选择的像素相关联；以及
当所述所选择的像素与分支ID相关联时，以共同颜色突出显示所述显示图像中具有所述相同分支ID的所有像素。
12.根据权利要求11所述的方法，其进一步包含在用户界面中突出显示所述3D网格模型的具有与所述图像数据集中的所述所选择的像素相同的分支ID的对象。
13.根据权利要求4所述的方法，其进一步包含：
接收对所显示的3D网格模型中的对象的选择；
确定所述对象的所述分支ID；以及
以共同颜色显示所述图像数据集的显示图像中的具有与所述所选择的分支相同的分支ID的所有像素。
14.根据权利要求13所述的方法，其进一步包含用对比色突出显示所述3D网格模型中的所述对象。
15.根据权利要求3所述的方法，其进一步包含为每个分支定义集群ID。
16.根据权利要求15所述的方法，其进一步包含以共同颜色显示具有共同的集群ID的所有对象。
17.根据权利要求16所述的方法，其中所述集群ID基于所述集群的所述对象的共同性。
18.根据权利要求17所述的方法，其中所述集群的所述对象的所述共同性基于通过连接的分支或对象之间的最小交角来选择。
19.一种***，其包含：
与显示器通信的处理器；以及
计算机可读记录介质，其上存储有指令，所述指令在由所述处理器执行时：
从所述计算机可读记录介质读取图像数据集；
分割所述图像数据集；
将分割的图像数据集进行骨架化；
绘制骨架化的图像数据集；
为图中的每个分支分配分支标识(ID)；
将所述分割的图像数据集的每个体素与分支ID相关联；
根据绘制的骨架化图像数据集生成三维(3D)网格模型；
将所述3D网格模型的每个顶点与分支ID相关联；以及
在用户界面中显示所述3D网格模型和来自所述图像数据集的切片图像，其中突出显示在切片图像中出现的所述3D网格模型的部分。
20.根据权利要求19所述的方法，其中所述指令在由所述处理器执行时：
接收对所述显示的切片图像中的像素的选择；
确定分支ID是否与所述所选择的像素相关联；并且
当所述所选择的像素与分支ID相关联时，以共同颜色突出显示所述显示的切片图像中具有所述相同分支ID的所有像素，或
接收对所显示的3D网格模型中的对象的选择；
确定所述对象的所述分支ID；并且
以共同颜色显示所述切片图像中具有与所述所选择的分支具有相同的分支ID的所有像素。
CN202110059826.5A 2020-01-24 2021-01-18 用于将分割图链接到体数据的***和方法 Pending CN113177945A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062965288P 2020-01-24 2020-01-24
US62/965,288 2020-01-24
US17/108,843 US11380060B2 (en) 2020-01-24 2020-12-01 System and method for linking a segmentation graph to volumetric data
US17/108,843 2020-12-01

Publications (1)

Publication Number Publication Date
CN113177945A true CN113177945A (zh) 2021-07-27

Family

ID=74194527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110059826.5A Pending CN113177945A (zh) 2020-01-24 2021-01-18 用于将分割图链接到体数据的***和方法

Country Status (5)

Country Link
US (2) US11380060B2 (zh)
EP (1) EP3855392A1 (zh)
CN (1) CN113177945A (zh)
AU (1) AU2020294161A1 (zh)
CA (1) CA3105430A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853458A (zh) * 2024-01-10 2024-04-09 北京长木谷医疗科技股份有限公司 翻修手术机器人植入物智能识别评估方法、装置及设备

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6413981B1 (en) 1999-08-12 2002-07-02 Ortho-Mcneil Pharamceutical, Inc. Bicyclic heterocyclic substituted phenyl oxazolidinone antibacterials, and related compositions and methods
US6472372B1 (en) 2000-12-06 2002-10-29 Ortho-Mcneil Pharmaceuticals, Inc. 6-O-Carbamoyl ketolide antibacterials
US20030018266A1 (en) 2001-05-29 2003-01-23 Makin Inder Raj. S. Faceted ultrasound medical transducer assembly
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
US7130457B2 (en) * 2001-07-17 2006-10-31 Accuimage Diagnostics Corp. Systems and graphical user interface for analyzing body images
US9055906B2 (en) 2006-06-14 2015-06-16 Intuitive Surgical Operations, Inc. In-vivo visualization systems
US8335359B2 (en) 2007-07-20 2012-12-18 General Electric Company Systems, apparatus and processes for automated medical image segmentation
US20180009767A9 (en) 2009-03-19 2018-01-11 The Johns Hopkins University Psma targeted fluorescent agents for image guided surgery
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US8706184B2 (en) 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US8827934B2 (en) 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
EP2809249B1 (en) 2012-02-03 2018-12-26 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
CN104427952B (zh) 2012-05-14 2018-06-12 直观外科手术操作公司 用于使用形状感测的变形补偿的***和方法
US10376178B2 (en) 2012-05-14 2019-08-13 Intuitive Surgical Operations, Inc. Systems and methods for registration of a medical device using rapid pose search
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
US20130303945A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Electromagnetic tip sensor
CN109452930B (zh) 2012-05-14 2021-10-29 直观外科手术操作公司 用于使用减小的搜索空间的医疗设备的配准***和方法
US9429696B2 (en) 2012-06-25 2016-08-30 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error in optical fiber shape sensors
US9801551B2 (en) 2012-07-20 2017-10-31 Intuitive Sugical Operations, Inc. Annular vision system
JP6074587B2 (ja) 2012-08-06 2017-02-08 株式会社Ｊｏｌｅｄ 表示パネル、表示装置ならびに電子機器
US10278615B2 (en) 2012-08-14 2019-05-07 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
JP6219396B2 (ja) 2012-10-12 2017-10-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 分岐した解剖学的構造における医療デバイスの位置決定
US20140188440A1 (en) 2012-12-31 2014-07-03 Intuitive Surgical Operations, Inc. Systems And Methods For Interventional Procedure Planning
US9918659B2 (en) 2013-03-15 2018-03-20 Intuitive Surgical Operations, Inc. Shape sensor systems for tracking interventional instruments and mehods of use
EP3027138A4 (en) 2013-07-29 2017-07-05 Intuitive Surgical Operations, Inc. Shape sensor systems with redundant sensing
JP6562919B2 (ja) 2013-08-15 2019-08-21 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 医療処置確認のためのシステム及び方法
JP6785656B2 (ja) 2013-08-15 2020-11-18 インテュイティブ サージカル オペレーションズ， インコーポレイテッド カテーテルの位置付け及び挿入のためのグラフィカル・ユーザインターフェイス
WO2015061756A1 (en) 2013-10-24 2015-04-30 Auris Surgical Robotics, Inc. System for robotic-assisted endolumenal surgery and related methods
WO2015089013A1 (en) 2013-12-09 2015-06-18 Intuitive Surgical Operations, Inc. Systems and methods for device-aware flexible tool registration
AU2015204201B2 (en) 2014-01-06 2019-11-28 Body Vision Medical Ltd. Surgical devices and methods of use thereof
KR20160118295A (ko) 2014-02-04 2016-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 중재 도구의 가상 항행을 위한 조직의 비강체 변형을 위한 시스템 및 방법
US20150223765A1 (en) 2014-02-07 2015-08-13 Intuitive Surgical Operations, Inc. Systems and methods for using x-ray field emission to determine instrument position and orientation
JP2017511176A (ja) 2014-03-17 2017-04-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 非白色光の一般的な照明装置を含む手術システム
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
CN106535812B (zh) 2014-03-28 2020-01-21 直观外科手术操作公司 带有基于定量三维成像的触觉反馈的手术***
JP6716538B2 (ja) 2014-07-28 2020-07-01 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 多数のインターベンショナル処置を計画するシステム及び方法
CN106714656B (zh) 2014-07-28 2019-05-28 直观外科手术操作公司 用于术中分割的***和方法
US10478162B2 (en) 2014-08-23 2019-11-19 Intuitive Surgical Operations, Inc. Systems and methods for display of pathological data in an image guided procedure
US10373719B2 (en) 2014-09-10 2019-08-06 Intuitive Surgical Operations, Inc. Systems and methods for pre-operative modeling
US10314513B2 (en) 2014-10-10 2019-06-11 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensors
CN110811488B (zh) 2014-10-17 2023-07-14 直观外科手术操作公司 用于使用光纤形状传感器减小测量误差的***和方法
AU2015338824A1 (en) 2014-10-20 2017-04-27 Body Vision Medical Ltd. Surgical devices and methods of use thereof
EP4140432A1 (en) 2014-11-13 2023-03-01 Intuitive Surgical Operations, Inc. Systems and methods for filtering localization data
WO2016106114A1 (en) 2014-12-22 2016-06-30 Intuitive Surgical Operations, Inc. Flexible electromagnetic sensor
CN111012286B (zh) 2015-04-06 2022-05-13 直观外科手术操作公司 在图像引导的外科手术中的配准补偿的***和方法
CN107660134B (zh) 2015-05-22 2021-06-29 直观外科手术操作公司 图像引导手术记录的***和方法
KR20170011515A (ko) * 2015-07-23 2017-02-02 삼성전자주식회사 사전 계산을 이용하여 대상체를 모델링 및 복원하는 방법 및 장치
US11202680B2 (en) 2015-08-14 2021-12-21 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
EP3795061A1 (en) 2015-08-14 2021-03-24 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
US11278354B2 (en) 2015-09-10 2022-03-22 Intuitive Surgical Operations, Inc. Systems and methods for using tracking in image-guided medical procedure
KR20240064004A (ko) 2015-09-18 2024-05-10 아우리스 헬스, 인크. 관형 조직망의 탐색
US10405753B2 (en) 2015-11-10 2019-09-10 Intuitive Surgical Operations, Inc. Pharmaceutical compositions of near IR closed chain, sulfo-cyanine dyes
EP3391030A4 (en) 2015-12-14 2019-06-12 Intuitive Surgical Operations Inc. APPARATUS AND METHOD FOR GENERATING ANATOMIC TARGET 3D DATA USING OPTICAL FIBER SHAPE DETECTION
US9996361B2 (en) 2015-12-23 2018-06-12 Intel Corporation Byte and nibble sort instructions that produce sorted destination register and destination index mapping
EP4375934A2 (en) 2016-02-12 2024-05-29 Intuitive Surgical Operations, Inc. Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
CN113729977A (zh) 2016-02-12 2021-12-03 直观外科手术操作公司 用于在图像引导手术中使用配准荧光透视图像的***和方法
EP3426134B1 (en) 2016-03-10 2022-05-04 Body Vision Medical Ltd. Methods and systems for using multi view pose estimation
US10702137B2 (en) 2016-03-14 2020-07-07 Intuitive Surgical Operations, Inc.. Endoscopic instrument with compliant thermal interface
US20170296679A1 (en) 2016-04-18 2017-10-19 Intuitive Surgical Operations, Inc. Compositions of Near IR Closed Chain, Sulfo-Cyanine Dyes and Prostate Specific Membrane Antigen Ligands
WO2017218552A1 (en) 2016-06-15 2017-12-21 Intuitive Surgical Operations, Inc. Systems and methods of integrated real-time visualization
CN114027987A (zh) 2016-06-30 2022-02-11 直观外科手术操作公司 在图像引导程序期间以多种模式显示指导信息的图形用户界面
CN108024833B (zh) 2016-06-30 2021-06-04 直观外科手术操作公司 用于在图像引导过程期间显示引导信息的图形用户界面
CN109414155B (zh) 2016-08-16 2022-04-29 直观外科手术操作公司 使用第一和第二光纤感测柔性工具的形状
EP3503834B1 (en) 2016-08-23 2024-06-12 Intuitive Surgical Operations, Inc. Systems for monitoring patient motion during a medical procedure
US11980344B2 (en) 2016-09-21 2024-05-14 Intuitive Surgical Operations, Inc. Systems and methods for instrument buckling detection
EP3518807A4 (en) 2016-09-30 2020-05-27 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR LOCALIZING AN ENTRY POINT
EP3529579B1 (en) 2016-10-21 2021-08-25 Intuitive Surgical Operations, Inc. Shape sensing with multi-core fiber sensor
JP7229155B2 (ja) 2016-11-02 2023-02-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術のための連続的な位置合せのシステム及び方法
WO2018106950A1 (en) 2016-12-08 2018-06-14 Intuitive Surgical Operations, Inc. Systems and methods for navigation in image-guided medical procedures
JP7097883B2 (ja) 2016-12-09 2022-07-08 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 身体組織の熱流束分布感知のためのシステム及び方法
US11779396B2 (en) 2017-01-09 2023-10-10 Intuitive Surgical Operations, Inc. Systems and methods for registering elongate devices to three dimensional images in image-guided procedures
CN110167477B (zh) 2017-02-01 2023-12-29 直观外科手术操作公司 图像引导手术的配准***和方法
WO2018144636A1 (en) 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided procedures
EP3576662A4 (en) 2017-02-01 2020-12-23 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR DATA FILTERING OF CONTINUOUS SENSOR DATA
EP3600031A4 (en) 2017-03-31 2021-01-20 Auris Health, Inc. ROBOTIC NAVIGATION SYSTEMS IN LUMINAL NETWORKS COMPENSATION FOR PHYSIOLOGICAL NOISE
CN110663084A (zh) 2017-04-18 2020-01-07 直观外科手术操作公司 用于规划程序的图形用户界面
CN118078431A (zh) 2017-04-18 2024-05-28 直观外科手术操作公司 用于监测图像引导程序的图形用户界面
JP7195279B2 (ja) 2017-05-24 2022-12-23 ボディ・ビジョン・メディカル・リミテッド 画像の三次元再構成及び改善された対象物定位のために、放射状気管支内超音波プローブを用いるための方法
CN110234292A (zh) 2017-06-23 2019-09-13 直观外科手术操作公司 用于在医疗程序期间导航到目标位置的***和方法
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
AU2018292284B2 (en) 2017-06-28 2023-03-23 Auris Health, Inc. Electromagnetic field generator alignment
EP3644886A4 (en) 2017-06-28 2021-03-24 Auris Health, Inc. ELECTROMAGNETIC DISTORTION DETECTION
US12004830B2 (en) 2017-08-16 2024-06-11 Intuitive Surgical Operations , Inc. Systems and methods for monitoring patient motion during a medical procedure
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
EP3684281A4 (en) 2017-12-08 2021-10-13 Auris Health, Inc. SYSTEM AND PROCEDURE FOR NAVIGATION AND TARGETING OF MEDICAL INSTRUMENTS
KR20200100613A (ko) 2017-12-14 2020-08-26 아우리스 헬스, 인코포레이티드 기구 위치 추정을 위한 시스템 및 방법
US11160615B2 (en) 2017-12-18 2021-11-02 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
US10885630B2 (en) 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
US20190298451A1 (en) 2018-03-27 2019-10-03 Intuitive Surgical Operations, Inc. Systems and methods for delivering targeted therapy
EP3773304A4 (en) 2018-03-28 2021-12-22 Auris Health, Inc. SYSTEMS AND METHODS FOR DISPLAYING THE ESTIMATED POSITION OF AN INSTRUMENT
KR102489198B1 (ko) 2018-03-28 2023-01-18 아우리스 헬스, 인코포레이티드 위치 센서의 정합을 위한 시스템 및 방법
KR102499906B1 (ko) 2018-05-30 2023-02-16 아우리스 헬스, 인코포레이티드 위치 센서-기반 분지부 예측을 위한 시스템 및 방법
EP3801189A4 (en) 2018-05-31 2022-02-23 Auris Health, Inc. PATH-BASED NAVIGATION OF TUBULAR NETWORKS
WO2019232236A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Image-based airway analysis and mapping
US11559743B2 (en) 2018-08-01 2023-01-24 Sony Interactive Entertainment LLC Cross-pollination of in-game events, assets and persistent communications using signs and likes across virtual environments in gaming sessions of a video game
US11080902B2 (en) 2018-08-03 2021-08-03 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomical tree structures
CN113164149A (zh) 2018-08-13 2021-07-23 博迪维仁医疗有限公司 使用数字计算机断层扫描的多视图姿态估计的方法和***
US11896316B2 (en) 2018-08-23 2024-02-13 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomic tree structures using backward pathway growth
US11637378B2 (en) 2018-11-02 2023-04-25 Intuitive Surgical Operations, Inc. Coiled dipole antenna
US11633623B2 (en) 2019-04-19 2023-04-25 University Of Maryland, Baltimore System and method for radiation therapy using spatial-functional mapping and dose sensitivity of branching structures and functional sub-volumes

Also Published As

Publication number Publication date
US20220335690A1 (en) 2022-10-20
US11380060B2 (en) 2022-07-05
CA3105430A1 (en) 2021-07-24
AU2020294161A1 (en) 2021-08-12
EP3855392A1 (en) 2021-07-28
US20210233308A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US9495794B2 (en) Three-dimensional image display apparatus, method, and program
US20190021677A1 (en) Methods and systems for classification and assessment using machine learning
Mori et al. Automated anatomical labeling of the bronchial branch and its application to the virtual bronchoscopy system
JP2020191130A (ja) 自動医療画像注釈の検証及び修正のためのシステム及び方法
Van Rikxoort et al. Automated segmentation of pulmonary structures in thoracic computed tomography scans: a review
US10085707B2 (en) Medical image information system, medical image information processing method, and program
US10347033B2 (en) Three-dimensional image display apparatus, method, and program
US20070092864A1 (en) Treatment planning methods, devices and systems
US9129391B2 (en) Semi-automated preoperative resection planning
EP2901419A1 (en) Multi-bone segmentation for 3d computed tomography
EP2244633A2 (en) Medical image reporting system and method
WO2005055008A2 (en) Automated segmentation, visualization and analysis of medical images
CN107004305A (zh) 医学图像编辑
Li et al. An efficient interactive multi-label segmentation tool for 2D and 3D medical images using fully connected conditional random field
CN113470060B (zh) 基于ct影像的冠状动脉多角度曲面重建可视化方法
Midya et al. Computerized diagnosis of liver tumors from CT scans using a deep neural network approach
US20220335690A1 (en) System and method for linking a segmentation graph to volumetric data
Pla-Alemany et al. Automatic multi-atlas liver segmentation and Couinaud classification from CT volumes
KR20200048746A (ko) 뇌혈관 비교 판독 영상 디스플레이 장치 및 방법
EP4181152A1 (en) Processing image data for assessing a clinical question
WO2022203814A1 (en) Systems and methods for automatic blood vessel extraction
Sajid et al. Spatial Awareness of Cancer Cells Using Segmentation Process
CN118251732A (zh) 处理用于评估临床问题的图像数据
Prakash et al. Deep learning-based head and neck segmentation in CT angiography
Lu Multidimensional image segmentation and pulmonary lymph-node analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination