CN109923582A - 使用卷积神经网络进行图像分割的***和方法 - Google Patents

使用卷积神经网络进行图像分割的***和方法 Download PDF

Info

Publication number
CN109923582A
CN109923582A CN201780066346.3A CN201780066346A CN109923582A CN 109923582 A CN109923582 A CN 109923582A CN 201780066346 A CN201780066346 A CN 201780066346A CN 109923582 A CN109923582 A CN 109923582A
Authority
CN
China
Prior art keywords
image
dimensional image
stacking
stacks
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780066346.3A
Other languages
English (en)
Other versions
CN109923582B (zh
Inventor
徐峤峰
韩骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elekta Ltd
Original Assignee
Elekta Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elekta Ltd filed Critical Elekta Ltd
Publication of CN109923582A publication Critical patent/CN109923582A/zh
Application granted granted Critical
Publication of CN109923582B publication Critical patent/CN109923582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Radiation-Therapy Devices (AREA)

Abstract

本公开涉及用于分割三维图像的***、方法、设备和非暂态计算机可读存储介质。在一个实现方式中，提供了一种用于分割三维图像的由计算机实现的方法。该方法可以包括：接收由成像设备获取的三维图像，以及创建来自三维图像的第一平面的第一二维图像堆叠和来自三维图像的第二平面的第二二维图像堆叠。该方法还可以包括：由处理器使用至少一个神经网络模型来分割第一二维图像堆叠和第二二维图像堆叠。该方法还可以包括：由处理器通过聚合来自第一堆叠和第二堆叠的分割结果来确定三维图像的标记图。

Description

使用卷积神经网络进行图像分割的***和方法
技术领域
本公开一般地涉及图像分割。更具体地，本公开涉及用于基于神经网络进行自动图像分割的***和方法。
背景技术
在放射疗法(radiotherapy)或放射外科手术(radiosurgery)中，治疗计划通常基于患者的医学图像来执行，并且需要医学图像中的靶区和正常关键器官的描绘。因此，医学图像中的解剖结构的分割是放射疗法治疗计划的先决的且重要的步骤。准确且自动的基于计算机的分割解剖结构或者勾画解剖结构的轮廓可以利于设计和/或调节最佳治疗计划。然而，由于不同患者中的靶区和关键器官的形状、尺寸、位置等的变形和变化性，准确且自动地分割医学图像目前仍然是具有挑战性的任务。
图1示出了来自典型的***癌患者的示例性三维(3D)计算机断层扫描(CT)图像。图(A)以3D视图示出了患者的骨盆区域，其包括患者的膀胱、***和直肠。图像(B)、图像(C)和图像(D)是来自该骨盆区域的3D CT图像的横断图、矢状图和冠状图。如图像(B)、图像(C)和图像(D)所示，患者的***边界的大部分是不可见的。也就是说，人们不能容易地将***与其他解剖结构区分开来或者确定***的轮廓。相比之下，图像(E)、图像(F)和图像(G)示出了相同的3D CT图像上的预期***轮廓。如图1中所示，当使用仅基于图像中呈现的对比度和纹理的常规图像分割方法来分割该示例性3D CT图像时，可能会失败。因此，提出了提高自动分割医学图像的准确性的各种方法。
例如，基于图谱库的自动分割(ABAS)方法已经被用于处理放射疗法治疗计划中的勾画解剖结构的轮廓的问题。ABAS方法基于参考图像(即，图谱库)中的先前定义的解剖结构而在新图像中绘制轮廓。ABAS方法的准确性在很大程度上取决于图谱库配准方法的性能。如上所述，一些器官的形状和尺寸可能针对不同患者而不同，并且对于同一患者而言也可能在不同阶段大比例地变形，这可能降低配准准确性并且影响由ABAS方法执行的自动分割。
机器学习技术的最新发展使得实现了改进的图像分割，例如图像中的低对比度部分或较低质量图像会被更准确地分割。例如，各种机器学习算法可以“训练”机器、计算机或计算机程序来预测医学图像的每个像素或体素所表示的解剖结构(例如，通过估计医学图像的每个像素或体素表示解剖结构的可能性来进行上述预测)。这种预测或估计通常使用医学图像的一个或更多个特征作为输入。因此，分割的性能很大程度上取决于可用特征的类型。例如，随机森林(RF)方法已经被用于图像分割目的并且取得了一些成功。可以基于从一组训练样本中提取不同特征来构建RF模型。然而，RF方法中采用的特征需要手动设计并且特定于勾画一种类型的器官的轮廓。针对不同的分割应用设计最佳的特征组合是繁琐且耗时的。
因此，需要新的自动分割方法来改进对放射疗法或相关领域中的医学图像的分割性能。
发明内容
本公开的某些实施例涉及一种用于分割三维图像的由计算机实现的方法。该方法可以包括：接收由成像设备获取的三维图像，以及创建来自三维图像的第一平面的第一二维图像堆叠和来自三维图像的第二平面的第二二维图像堆叠。该方法还可以包括：由处理器使用至少一个神经网络模型来分割第一二维图像堆叠和第二二维图像堆叠。该方法还可以包括：由处理器通过聚合来自第一堆叠和第二堆叠的分割结果来确定三维图像的标记图。
本公开的某些实施例涉及一种用于分割三维图像的设备。该设备可以包括输入接口，该输入接口接收由成像设备获取的三维图像。该设备还可以包括至少一个存储设备，该存储设备被配置成存储三维图像。该设备还可以包括图像处理器，该图像处理器被配置成：创建来自三维图像的第一平面的第一二维图像堆叠以及来自三维图像的第二平面的第二二维图像堆叠。该图像处理器还可以被配置成：使用至少一个神经网络模型来分割第一二维图像堆叠和第二二维图像堆叠。该图像处理器还可以被配置成：通过聚合来自第一堆叠和第二堆叠的分割结果来确定三维图像的标记图。
本公开的某些实施例涉及一种存储计算机可执行指令的非暂态计算机可读介质。该计算机可执行指令在由至少一个处理器执行时，可以使该至少一个处理器执行一种用于分割三维图像的方法。该方法可以包括：接收由成像设备获取的三维图像，以及创建来自三维图像的第一平面的第一二维图像堆叠和来自三维图像的第二平面的第二二维图像堆叠。该方法还可以包括：由处理器使用至少一个神经网络模型来分割第一二维图像堆叠和第二二维图像堆叠。该方法还可以包括：由处理器通过聚合来自第一堆叠和第二堆叠的分割结果来确定三维图像的标记图。
本公开的另外的目的和优点将部分地在后面的详细描述中阐述，并且将部分地从描述中明显看出，或者可以通过本公开的实践来学习。借助于所附权利要求书中特别指出的元件和组合，将实现和获得本公开的目的和优点。
应当理解，前面的一般性描述和后面的详细描述仅是示例性和说明性的，并不是对要求保护的本发明的限制。
附图说明
构成本说明书的一部分的附图示出了若干实施例，并且与说明书一起用于说明所公开的原理。
图1示出了来自典型的***癌患者的示例性三维CT图像。
图2示出了根据本公开的一些实施例的示例性图像引导放射治疗设备。
图3示出了根据本公开的一些实施例的用于图像分割的示例性卷积神经网络(CNN)模型。
图4示出了根据本公开的一些实施例的用于分割3D图像的示例性图像分割***。
图5示出了根据本公开的一些实施例的用于分割3D图像的示例性图像处理设备。
图6是示出根据本公开的一些实施例的用于训练CNN模型的示例性训练处理的流程图。
图7A是示出根据本公开的一些实施例的使用通过图6的处理获得的一个训练后的CNN模型的示例性图像分割处理的流程图。
图7B是示出根据本公开的一些实施例的使用通过图6的处理获得的至少一个训练后的CNN模型的另一示例性图像分割处理的流程图。
图8A示出了根据本公开的一些实施例的对3D医学图像的第一示例性图像分割处理。
图8B示出了根据本公开的一些实施例的对3D医学图像的第二示例性图像分割处理。
具体实施方式
与本公开一致的***、方法、设备和处理涉及使用基于机器学习算法的图像分割方法来分割3D图像。有利地，示例性实施例允许使用从3D图像获得的相邻2D(二维)图像的堆叠的相依结构信息来提高分割3D图像的准确性和鲁棒性。
如本文中使用的，要被分割或用作训练数据的“3D医学图像”或“3D图像”可以指通过任何类型的成像模式获取的3D图像数据集，这些类型例如为CT、磁共振成像(MRI)、功能性MRI(例如、fMRI、DCE-MRI和扩散MRI)、锥形束计算机断层扫描(CBCT)、螺旋CT、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)、X射线、光学断层扫描、荧光成像、超声成像和放射治疗射野成像等。另外，如本文中使用的，“机器学习算法”是指可以基于现有信息或知识来学习模型或模式并且使用新信息或知识的输入来预测或估计输出的任何算法。
监督学习是机器学习的一个分支，其在给定一组训练数据的情况下推断预测模型。训练数据的每个单独样本是下述对：该对包含数据集(例如，图像)与期望的输出值或数据集。监督学习算法分析训练数据并产生预测函数。一旦通过训练得出预测函数，预测函数就能够针对有效输入合理地预测或估计正确的输出值或数据集。可以基于各种机器学习模型、算法和/或处理来制定预测函数。
卷积神经网络(CNN)是一种可以通过监督学习来训练的机器学习算法。CNN模型的架构包括用于将输入转换为输出的不同的层的堆叠。不同的层的示例可以包括一个或更多个卷积层、非线性运算符层(诸如线性修正单元(ReLu)函数、双曲(sigmoid)函数或双曲正切函数)、池化或子采样层、全连接层和/或最终损失层。每个层可以连接一个上游层和一个下游层。输入可以被认为是输入层，而输出可以被认为是最终输出层。
为了提高CNN模型的性能和学习能力，可以选择性地增加不同层的数目。从输入层到输出层的中间不同层的数目可以变得非常大，从而增加了CNN模型的架构的复杂度。具有大量中间层的CNN模型被称为深度CNN模型。例如，一些深度CNN模型可以包括超过20至30层，而其他深度CNN模型甚至可以包括超过几百层。深度CNN模型的示例包括AlexNet、VGGNet、GoogLeNet、ResNet等。
本公开采用CNN模型、尤其是深度CNN模型的强大学习能力来分割3D图像的解剖结构。与所公开的实施例一致，使用训练后的CNN模型执行3D图像的分割，以用解剖结构标记输入3D图像的每个体素。有利地，本公开的实施例中的用于图像分割的CNN模型允许自动分割解剖结构，而无需手动特征提取。
如本文中使用的，由所公开的分割方法使用的CNN模型可以指基于卷积神经网络的框架而制定、调节或修改的任何神经网络模型。例如，在本公开的实施例中用于分割的CNN模型可以选择性地包括输入层与输出层之间的中间层，例如一个或更多个反卷积层、上采样或上池化层、逐像素预测层和/或复制和裁剪运算符层。
所公开的图像分割方法、***、设备和处理通常包括两个阶段：训练阶段，其使用训练数据集“训练”或“学习”CNN模型，该训练数据集包括为每个体素标记有不同解剖结构的3D图像；以及分割阶段，其使用训练后的CNN模型来预测输入的3D图像的每个体素的解剖结构和/或将输入的3D图像的每个体素标记为解剖结构。
如本文中使用的，“训练”CNN模型是指确定CNN模型中的至少一个层的一个或更多个参数。例如，CNN模型的卷积层可以包括至少一个滤波器或核(kernel)。可以通过例如基于反向传播的训练处理来确定至少一个滤波器的一个或更多个参数，例如核权重、尺寸、形状和结构。
与所公开的实施例一致，为了训练CNN模型，训练处理使用至少一组训练图像。每组训练图像可以包括3D图像及其对应的3D真实标记图，该3D真实标记图将解剖结构与3D图像的每个体素相关联。作为非限制性示例，3D图像可以被划分成顺序的相邻2D图像堆叠，并且3D真实标记图包括分别对应于顺序的相邻2D图像堆叠的顺序2D真实标记图。如本文中使用的，训练图像是已经分割的图像，并且真实标记图为训练图像的代表性图像切片的每个像素提供已知的解剖结构标记。换言之，真实标记图的像素与已知的解剖结构相关联。如果相邻2D图像堆叠包括奇数个图像，则真实标记图提供该堆叠的中间图像的结构标记。替选地，如果相邻2D图像堆叠包括偶数个图像，则真实标记图提供该堆叠的两个中间图像之一的结构标记。
与所公开的实施例一致，相邻2D图像堆叠是沿着所选择的解剖学平面(例如，横断面、矢状面或冠状面)的相邻2D图像切片。因此，相邻2D图像中的解剖结构沿与解剖学平面正交的轴在空间上相依、相关或连续。有利地，所公开的图像分割方法使用相邻2D图像之间的这种相依结构信息来提高3D医学图像的分割结果的鲁棒性和准确性。
与所公开的实施例一致，沿着不同解剖学平面的相邻2D图像堆叠用于训练不同的CNN模型。作为非限制性示例，分别使用三组不同的训练图像来训练三个CNN模型，每组训练图像包括沿着解剖学平面(例如横断面、矢状面和冠状面)的一组相邻2D图像堆叠。每个训练后的CNN模型可以用于使用沿着相应解剖学平面从3D图像获得的相邻2D图像堆叠来分割3D图像。替选地，将沿着三个不同解剖学平面的相邻2D图像堆叠进行组合来训练一个CNN模型。训练后的CNN模型可以用于使用沿着三个解剖学平面中的任何一个解剖学平面从3D图像获得的相邻2D图像堆叠来分割3D图像。
与所公开的实施例一致，使用至少一个训练后的CNN模型来分割3D图像。作为非限制性示例，3D图像可以被划分成多个相邻2D图像或者以多个相邻2D图像的形式提供。例如，可以从要分割的3D图像获得沿着解剖学平面的一系列相邻2D图像堆叠。一系列相邻2D图像堆叠可以是顺序的并且具有一个或更多个交叠的图像，使得这些堆叠的中间图像一起基本上构成整个3D图像。该系列中的每个堆叠被输入到训练后的CNN模型以确定该堆叠中的中间图像的2D输出标记图。基于这些2D相邻图像堆叠的中间图像的2D标记图，可以确定3D标记图。作为非限制性示例，可以通过根据沿着与解剖学平面正交的轴的相邻2D图像堆叠的中间图像的序列来聚合中间图像的2D标记图来获得3D标记图。
如上所述，可以从3D图像获得沿着不同解剖学平面(例如横断面、矢状面或冠状面)的多个系列的相邻2D图像堆叠。在这种情况下，可以分别基于三个解剖学平面的三个系列的相邻2D图像堆叠来确定三个3D标记图。作为非限制性示例，可以分别使用三个不同解剖学平面的三个系列的相邻2D图像堆叠、通过三个不同的训练后的CNN模型来确定三个3D标记图。作为另一个非限制性示例，可以分别使用三个不同解剖学平面的三个系列的相邻2D图像堆叠、通过一个训练后的CNN模型来确定三个3D标记图。可以融合三个所确定的3D标记图以确定3D图像的最终3D标记图。
与所公开的实施例一致，所确定的3D标记图将解剖结构与3D图像的每个体素相关联。作为非限制性示例，3D标记图预测3D图像的每个体素所表示的解剖结构。
所公开的图像分割***、方法、设备和处理可以应用于分割从任何类型的成像模式获得的3D图像，这些成像模式包括但不限于X射线、CT、CBCT、螺旋CT、MRI、功能MRI(例如、fMRI、DCE-MRI和扩散MRI)、PET、SPECT、光学断层扫描、荧光成像、超声成像和放射治疗射野成像等。此外，所公开的图像分割***、方法、设备和处理可以用于分割2D图像和3D图像二者。
与一些实施例一致，所公开的图像分割***可以是参照图2描述的放射治疗设备的一部分。图2示出了根据本公开的一些实施例的示例性图像引导放射治疗设备150。设备150包括诊察台210、与图像获取设备140对应的图像获取部以及与放射治疗设备130对应的放射递送部。
诊察台210可以用于在治疗期(treatment session)期间支承患者(未示出)，并且还可以被称为患者支承***。诊察台210可以沿着(被标记为“I”的)水平平移轴移动，使得安置于诊察台210上的患者可以被移入和/或移出设备150。在一些实施例中，诊察台210可以围绕横穿平移轴的中心竖直旋转轴旋转。诊察台210可以被机动化，以在各个方向上移动并且沿着各种轴旋转，以根据治疗计划适当地定位患者。
图像获取设备140可以包括用于在治疗期之前、期间和/或之后获取患者的2D或3DMRI图像的MRI机器。图像获取设备140可以包括磁体146，磁体146用于产生用于磁共振成像的主磁场。由磁体146的操作产生的磁场线可以基本上平行于中心平移轴I延伸。磁体146可以包括一个或更多个线圈，所述线圈具有平行于平移轴I延伸的轴。在一些实施例中，磁体146中的一个或更多个线圈可以被间隔开，使得磁体146的中心窗口147没有线圈。在其他实施例中，磁体146中的线圈可以足够薄或者具有降低的密度，使得线圈对由放射治疗设备130产生的波长的辐射基本透明。图像获取设备140还可以包括一个或更多个有源屏蔽线圈，所述有源屏蔽线圈可以在磁体146外部产生近似相等幅度且极性相反的磁场，以消除磁体146外部的磁场。放射治疗设备130的辐射源134可以被定位在磁场被消除到至少一阶(first order)的区域中。
图像获取设备140还可以包括两个梯度线圈148和149，线圈148和149可以产生叠加在主磁场上的梯度磁场。线圈148和149可以在所得到的磁场中产生梯度，其允许质子的空间编码，使得可以确定质子的位置。梯度线圈148和149可以与磁体146围绕共同的中心轴定位，并且梯度线圈148和梯度线圈149可以沿着该中心轴彼此移位。移位可以在线圈148与线圈149之间产生间隙或窗口。在磁体146还包括线圈之间的中心窗口147的实施例中，两个窗口可以彼此对准。
预期图像获取设备140可以是除MRI之外的成像设备，例如X射线、CT、CBCT、螺旋CT、PET、SPECT、光学断层扫描、荧光成像、超声成像和放射治疗射野成像设备等。
放射治疗设备130可以包括辐射源134(例如X射线源或线性加速器)以及多叶准直器(MLC)132。放射治疗设备130可以被安装在底架138上。当诊察台210被***到治疗区域中时，底架138可以由一个或更多个底架电机提供动力而围绕诊察台210连续旋转。如果需要，则辐射检测器也可以被安装在底架138上，优选地与辐射源134相对，并且底架138的旋转轴被定位在辐射源134与检测器之间。放射治疗设备130的控制电路可以被集成在设备150内或者远离设备150。
在放射疗法治疗期期间，患者可以被定位在诊察台210上，诊察台210可以被***到由磁线圈146、148、149和底架138限定的治疗区域中。控制台110可以控制辐射源134、MLC132和底架电机，以通过线圈148与线圈149之间的窗口向患者递送辐射。
用于3D图像分割的CNN模型
图3示出了根据本公开的一些实施例的用于图像分割的示例性CNN模型。如图3所示，用于图像分割的CNN模型可以接收相邻2D图像堆叠作为输入，并且输出该堆叠中间的图像之一的预测2D标记图。如上所述，如果相邻2D图像堆叠包括奇数个图像，则2D标记图提供该堆叠的中间图像的结构标记。替选地，如果相邻2D图像堆叠包括偶数个图像，则2D标记图提供该堆叠的两个中间图像之一的结构标记。
如图3所示，CNN模型10通常可以包括两个部分：第一特征提取部分20和第二逐像素标记部分30。特征提取部分20可以提取输入的相邻2D图像堆叠22的一个或更多个特征。特征提取部分使用卷积神经网络24来接收输入的相邻2D图像堆叠22并输出表示输入的堆叠的特征的至少一个特征向量或矩阵。逐像素标记部分30使用特征提取部分20的输出来预测输入的相邻2D图像堆叠22的中间图像26的2D标记图32。可以使用任何合适的方法(例如下面进一步详细描述的基于贴片的方法和全映射方法)来执行逐像素标记部分30。
有利地，使用包含用于训练并且作为CNN模型10的输入的相依结构信息的相邻2D图像堆叠提高了CNN模型10进行输出2D标记图32的预测的准确性。这进一步提高了根据为3D图像的每个图像切片预测的2D标记图所构建的3D图像的预测3D标记图的准确性。
如本文中使用的，相依结构信息可以指沿着与2D图像的解剖学平面正交的轴的相邻2D图像堆叠中示出的解剖结构之间的空间相依关系。作为非限制性示例，由堆叠的第一图像中的第一组像素表示的解剖结构的形状和类型也可以由与第一图像相邻的第二图像中的第二组像素表示。这是因为沿着与解剖学平面正交的轴的第一图像和第二图像的空间相邻允许这些图像中示出的解剖结构的某种相依性或连续性。因此，一个图像中的解剖结构的形状、尺寸和/或类型可以提供沿着相同平面的另一个相邻图像中的解剖结构的形状、尺寸和/或类型的信息。
作为另一个非限制性示例，当相邻2D图像堆叠包括三个顺序图像例如依次堆叠的第一图像切片、第二图像切片和第三图像切片时，可能在该堆叠的第一图像切片中的第一组像素和该堆叠的第三图像切片中的第三组像素中均示出了解剖结构，但是在位于第一图像切片与第三图像切片之间并且与第一图像切片和第三图像切片相邻的第二图像切片的对应的第二组像素(例如，具有与第一组像素和/或第三组像素相似的空间位置的像素)中未示出解剖结构。在这种情况下，第二图像切片中的对应像素可能被错误地标记。三个相邻2D图像切片的堆叠中的解剖结构的这种不连续性可以用作用于训练CNN模型10的相依结构信息。
作为另一个非限制性示例，在三个相邻2D图像的堆叠例如依次堆叠的第一图像切片、第二图像切片和第三图像切片中，该堆叠的第一图像切片中的第一组像素和第三图像切片中的第三组像素均可能指示背景，但是位于第一图像切片与第三图像切片之间并且与第一图像切片和第三图像切片相邻的第二图像切片的对应的第二组像素可能指示解剖结构。第二图像切片中的对应像素可能受到产生假阳性信号的噪声的影响。三个相邻2D图像切片的堆叠中的背景的这种不连续性也可以用作用于训练CNN模型10的相依结构信息。
可以基于各种因素选择性地使用不同类型的相依结构信息，这些因素例如堆叠中的相邻图像的数目、要分割的解剖结构的类型、形状、尺寸、位置和/或数目，和/或用于获得图像的成像模式。如上所述，使用从3D图像获得的相邻2D图像堆叠的这种相依结构信息提高了分割3D图像或生成3D标记图的准确性。
下面详细描述在本公开的实施例中使用的CNN模型10的各种组件和特征。
用于特征提取的卷积神经网络
在一些实施例中，CNN模型10的卷积神经网络24包括输入层，例如，相邻2D图像堆叠22。因为相邻2D图像堆叠被用作输入，所以输入层具有体积，该体积的空间维度由2D图像的宽度和高度确定，并且该体积的深度由堆叠中的图像的数目确定。如本文中所述，可以合乎期望地调整CNN模型10的输入层的深度以与输入的相邻2D图像堆叠22中的图像的数目匹配。
在一些实施例中，CNN模型10的卷积神经网络24包括一个或更多个卷积层28。每个卷积层28可以具有多个参数，例如由上输入层(例如，卷积层28的输入的尺寸)确定的宽度(“W”)和高度(“H”)、以及该层中的滤波器或内核的数目(“N”)及其尺寸。滤波器的数目可以称为卷积层的深度。因此，每个卷积层28可以用3D体积来描述，如图3所示。每个卷积层28的输入在其宽度和高度上与一个滤波器卷积，并且生成与该滤波器对应的2D激活图或特征图。针对每个卷积层的所有滤波器执行卷积，并且沿着深度维度堆叠所得到的激活图或特征图，从而生成3D输出。前一个卷积层的输出可以用作下一个卷积层的输入。
在一些实施例中，CNN模型10的卷积神经网络24包括一个或更多个池化层(未示出)。可以在CNN模型10中的两个连续的卷积层28之间添加池化层。池化层在输入(例如，来自先前卷积层的激活图或特征图)的每个深度切片上独立地操作，并且通过执行非线性下采样的形式来减小其空间维度。如图3所示，池化层的功能是逐渐减小所提取的激活图或特征图的空间维度，以减少网络中的参数和计算的量，并且因此还控制过度拟合。可以基于各种因素例如卷积网络架构的设计、输入的尺寸、卷积层28的尺寸和/或CNN模型10的应用来确定池化层的数目和布置。
可以使用各种非线性函数来实现池化层。例如，可以使用最大池化。最大池化可以将输入的图像切片划分成具有预定步幅的一组交叠的或非交叠的子区域。对于每个子区域，最大池化输出最大值。这会对输入的每个切片沿着其宽度和其高度二者进行下采样，而深度维度保持不变。可以使用其他合适的函数来实现池化层，例如平均池化或者甚至L2范式池化(L2-norm pooling)。
在各种实施例中，CNN模型10可以在其卷积神经网络24中选择性地包括一个或更多个附加层。作为非限制性示例，可以在卷积层之后选择性地添加ReLu层(未示出)以生成中间激活图或特征图。ReLu层可以增加预测器函数和CNN模型10整体的非线性特性，而不影响卷积层28的相应维度。另外，ReLu层可以在反向传播训练处理期间减少或避免饱和。
作为另一个非限制性示例，可以在卷积层和/或池化层之后添加一个或更多个全连接层29。全连接层与前一层的所有激活图或特征图具有全连接。例如，全连接层可以将最后一个卷积层或最后一个池化层的输出作为向量形式的输入，并且执行高级确定并输出沿深度维度布置的特征向量。输出向量可以称为输出层。该向量可以包含CNN模型10的输入的图像堆叠22中的解剖结构的信息。
作为另一个非限制性示例，损失层(未示出)可以被包括在CNN模型10中。损失层可以是卷积神经网络24或CNN模型10中的最后一层。在CNN模型10的训练期间，损失层可以确定网络训练如何惩罚预测2D标记图与2D真实标记图之间的偏差。损失层可以通过各种合适的损失函数来实现。例如，可以使用Softmax函数作为CNN模型10的最终损失层。
逐像素标记方法
如上所述，在CNN模型10的第二部分中，使用由卷积神经网络24提取的一个或更多个特征作为输入来执行逐像素标记，以生成预测2D标记图32。2D标记图可以提供相邻2D图像堆叠的中间图像的结构标记。
在一些实施例中，基于贴片的方法被用于预测输入的相邻2D图像堆叠22的中间图像26的2D标记图32。相邻2D图像堆叠中的每个图像可以类似地被划分成交叠的或非交叠的矩形贴片，每个贴片具有中心像素。这会生成相邻2D图像贴片堆叠。2D图像贴片堆叠可以用作训练数据和CNN模型10的输入。贴片可以被设计成使得这些贴片的中心像素一起基本上构成整个2D图像。CNN模型10可以对每个贴片堆叠的中间贴片的中心像素进行分类，例如，预测由中心像素表示的解剖结构。例如，CNN模型10可以预测堆叠中的中间贴片的中心像素的特征向量，从而允许对中心像素的解剖结构进行分类。重复执行这种分类，直到所有相邻2D图像贴片堆叠的中间贴片的所有中心像素被分类或标记为止，从而实现相邻2D图像堆叠的中间图像的分割。
在上述基于贴片的方法中，当构成整个中间图像26的所有中心像素被分类时，执行了输入的相邻2D图像堆叠22的中间图像26的逐像素标记。
在其他实施例中，使用全映射方法来预测输入的相邻2D图像堆叠22的中间图像26的2D标记图32。在这种情况下，基于输入的相邻2D图像堆叠22来生成中间图像26的2D标记图32作为CNN模型10的输出。CNN模型10中的卷积神经网络24用于提取激活图或特征图作为输出，该输出由包括一个或更多个操作层的逐像素标记结构接收以预测2D标记图。在这种情况下，卷积神经网络24的最后一层可以是输出激活图或特征图的卷积层。
作为非限制性示例，可以将像逐素预测层(未示出)添加到CNN模型10以执行逐像素标记。逐像素预测层将卷积神经网络24的粗略的(coarse)输出特征图(例如，特征向量)转换为输入的相邻2D图像堆叠22的中间图像26的密集的(例如，提供每个像素的更多信息的)预测逐像素2D标记图32。可以使用各种函数来实现逐像素预测层，例如反向上采样(backwards upsampling)或反池化(例如，双线性或非线性内插)以及反向卷积(backwardsconvolution)(反卷积)。
作为另一个非限制性示例，将反卷积网络34添加到CNN模型10以执行逐像素标记。如图3所示。反卷积网络34可以是CNN模型10的卷积神经网络24的镜像版本。与逐渐减小所提取的激活图或特征图的空间维度的卷积神经网络24相反，反卷积网络34通过使用选择的反卷积层36和/或反池化层(未示出)来放大中间激活图或特征图。可以使用反池化层(例如，上采样层)将特征图中的像素放回到它们的先前或原始池位置，从而生成放大但稀疏的激活图或特征图。反卷积层可以用于将输入激活图或特征图的单个像素与多个输出像素相关联，从而放大和增加激活图或特征图的密度。因此，可以将反卷积网络34与卷积神经网络24一起训练和使用以预测2D标记图。
如所属领域的技术人员将了解的，可以在本发明的实施例中调节、修改和/或使用用于执行逐像素标记的其他合适方法。
与本公开的实施例一致，基于上述CNN模型的图像分割方法、***、设备和/或处理包括两个阶段：训练阶段和分割阶段，其中，训练阶段使用包括为每个体素标记有不同解剖结构的3D图像的训练数据集来“训练”或“学习”CNN模型，分割阶段使用训练后的CNN模型来预测输入3D图像的每个体素的解剖结构以及/或者将输入3D医学图像的每个体素标记为解剖结构。下面详细描述基于上述CNN模型的图像分割方法、***、设备和/或处理。
基于CNN模型的图像分割***
图4示出了根据本公开的一些实施例的用于基于至少一个CNN模型来分割3D图像的示例性图像分割***100。如图4所示，图像分割***100可以包括用于执行两个阶段即训练阶段和分割阶段的组件。为了执行训练阶段，图像分割***100可以包括训练图像数据库101和CNN模型训练单元102。为了执行分割阶段，图像分割***100可以包括基于CNN模型的图像分割单元103和医学图像数据库104。在一些实施例中，图像分割***100可以包括图4中所示的组件当中的或多或少的组件。例如，当预训练和设置了用于图像分割的CNN模型时，图像分割***100可以仅包括分割单元103和医学图像数据库104。图像分割***100可以可选地包括网络105。在一些实施例中，网络105可以由有线数据通信***或设备代替。
在一些实施例中，图像分割***100的各种组件可以彼此远离或位于不同的空间中，并且可以通过网络105连接，如图4所示。在一些替选实施例中，图像分割***的某些组件100可以位于同一地点或者位于一个设备内。例如，训练图像数据库101可以位于具有CNN模型训练单元102的地点，或者是CNN模型训练单元102的一部分。作为另一个示例，CNN模型训练单元102和分割单元103可以在同一计算机或处理设备内。
如图4所示，CNN模型训练单元102可以与训练图像数据库101通信以接收一组或多组训练图像。存储在训练图像数据库101中的训练图像组可以从医学图像数据库(例如，包含在放射疗法治疗期期间先前获取的医学图像的医学图像数据库)获得。每组训练图像可以包括3D图像及其对应的3D真实标记图，该3D真实标记图将解剖结构与3D图像的每个体素相关联。可以将3D图像选择性地划分成一个或更多个顺序的相邻2D图像堆叠。3D真实标记图可以被划分成分别对应于顺序的相邻2D图像堆叠的、顺序的2D真实标记图，并且2D真实标记图的像素与已知的解剖结构相关联。可以基于各种因素来确定每个堆叠中的相邻2D图像的数目，这些因素例如3D图像的尺寸、CNN模型的具体框架、沿着与2D图像正交的轴的相邻2D图像中的解剖结构之间的关系、和/或分割的应用。
在一些实施例中，相邻2D图像堆叠包括奇数个图像，诸如3个、5个、7个或者任何合适的奇数个图像。在这种情况下，真实标记图为该堆叠的中间图像的每个像素提供已知的解剖结构标记。在其他实施例中，相邻2D图像堆叠包括偶数个图像，诸如2个、4个、6个或任何合适的偶数个图像。在这种情况下，真实标记图为堆叠的两个中间图像之一的每个像素提供已知的解剖结构标记。
与所公开的实施例一致，可以使用包括MRI、功能性MRI(例如，fMRI、DCE-MRI和扩散MRI)、CT、CBCT、螺旋CT、PET、SPECT、X射线、光学断层扫描、荧光成像、超声成像和放射治疗射野成像等的各种成像模式来获取训练图像。在一些实施例中，可以从肿瘤学信息***(Oncology Information System)收集训练数据。例如，训练图像可以由图像获取设备140获取。
CNN模型训练单元102可以使用从训练图像数据库101接收的训练图像来训练CNN模型以执行新3D图像的图像分割。CNN模型训练单元102可以包括处理器和非暂态计算机可读介质(结合图5详细讨论)。处理器可以通过执行存储在计算机可读介质中的训练处理的指令来进行训练。CNN模型训练单元102可以另外包括输入和输出接口(结合图5详细讨论)，以与训练图像数据库101、网络105和/或用户接口(未示出)通信。用户界面可以用于选择训练图像组、调整训练处理的一个或更多个参数(例如，每个堆叠中的相邻图像切片的数目)、选择或修改CNN模型的框架、以及/或者手动或半自动分割图像以进行训练。后面参照图6详细描述训练处理的示例。
与一些实施例一致，CNN模型训练单元102可以用由执行训练处理的软件(例如，如图6中公开的软件)专门编程的硬件(例如，如图5中公开的硬件)来实现。
分割单元103可以从CNN模型训练单元102接收至少一个训练后的CNN模型。分割单元103可以包括处理器和非暂态计算机可读介质(结合图5详细讨论)。处理器可以通过执行存储在介质中的图像分割处理的指令来进行3D图像的分割。分割单元103可以另外包括输入和输出接口(结合图5详细讨论)，以与医学图像数据库104、网络105和/或用户接口(未示出)通信。用户界面可以用于选择要分割的3D图像、启动分割处理、显示分割的3D图像或3D标记图、以及/或者基于分割的图像或3D标记图来执行进一步的分析。后面参照图7A至图8B详细描述图像分割处理的示例。
与一些实施例一致，分割单元103可以用由执行图像分割处理的软件(例如，如图7A和图7B中公开的软件)专门编程的硬件(例如，如图5中公开的硬件)来实现。
分割单元103可以与医学图像数据库104通信以接收一个或更多个3D图像。存储在医学图像数据库104中的3D图像可以从医学图像数据库获得，该医学图像数据库包含例如放射疗法治疗期的2D和/或3D图像。如本文中所述，3D图像可以根据由医学成像设备(例如图像获取设备140)获取的2D投影图像重建。这些3D图像通常尚未被分割。
分割单元103可以使用从CNN模型训练单元102接收的至少一个训练后的CNN模型来预测3D图像的每个体素所表示的解剖结构。当完成图像分割时，分割单元103可以输出3D标记图，从而将3D图像的每个体素与解剖结构相关联。3D标记图可以被显示在用户界面中，以及/或者被存储在医学图像数据库104中，以供治疗计划中进一步使用。在一些实施例中，分割的图像可以被自动存储在训练图像数据库101中并且成为训练图像。
与所公开的实施例一致，可以使用包括MRI、功能性MRI(例如，fMRI、DCE-MRI和扩散MRI)、CT、CBCT、螺旋CT、PET、SPECT、X射线、光学断层扫描、荧光成像、超声成像和放射治疗射野成像等的各种成像模式来获取要分割的3D图像。在一些实施例中，医学图像数据库104可以是分割单元103的集成部分，或者位于分割单元103的相同地点，例如放射治疗室中。
网络105可以提供图像分割***100中的上述组件中的任意组件之间的连接。例如，网络105可以是局域网(LAN)、无线网络、云计算环境(例如，作为服务的软件、作为服务的平台、作为服务的基础设施)、客户端-服务器、广域网(WAN)等。
基于CNN模型的图像处理设备
图5示出了根据本公开的一些实施例的示例性图像处理设备200。图像处理设备200可以是CNN模型训练单元102或分割单元103或两者的组合的实施例。如本领域技术人员将理解的，在一些实施例中，图像处理设备200可以是专用计算机或通用计算机。例如，图像处理设备200可以是为医院定制以用于执行图像获取和图像处理任务的计算机。
如图5所示，图像处理设备200可以包括图像处理器221、存储器222、医学图像数据库225、图像数据存储设备226、输入/输出接口227、网络接口228、以及图像显示器229。
图像处理器221可以是一个或更多个通用处理设备，例如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。图像处理器221也可以是一个或更多个专用的处理设备，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上***(SoC)等。
图像处理器221可以通信地耦接到存储器222并且被配置成执行存储在其上的计算机可执行指令。存储器222可以是非暂态计算机可读介质，例如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储装置、盒式磁带或其他磁存储设备、或者可以用于存储能够被计算机设备访问的信息或指令的任何其他非暂态介质等。
在一些实施例中，存储器222可以存储计算机可执行指令，例如一个或更多个图像处理程序223以及在执行计算机程序时使用或生成的数据例如医学图像数据224。图像处理器221可以执行图像处理程序223以实现CNN模型训练单元102和/或分割单元103的功能。图像处理器221还可以向存储器222发送和/或从存储器222接收医学图像数据224。例如，图像处理器221可以接收存储在存储器222中的训练图像数据或医学图像数据。图像处理器221还可以生成中间数据，例如CNN模型的更新参数和/或中间2D和/或3D分割图像或标记图，并且图像处理器221可以将这些中间数据发送到存储器222。
图像处理设备200可以可选地包括医学图像数据库225，医学图像数据库225包括训练图像数据库101和医学图像数据库104之一或二者。本领域技术人员将理解，医学图像数据库225可以包括以中央或分布方式定位的多个设备。图像处理器221可以与医学图像数据库225通信以将图像读取到存储器222中或者将来自存储器222的分割图像存储到医学图像数据库225。
图像数据存储设备226可以是可用于存储与由图像处理器221执行的图像处理任务相关联的数据的附加存储装置。在一些实施例中，图像数据存储设备226可以包括非暂态机器可读或计算机可读存储介质。虽然实施例中的机器可读或计算机可读存储介质可以是单个介质，但是术语“机器可读存储介质”或“计算机可读存储介质”应该被理解为包括存储一组或更多组计算机可执行指令或数据的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的缓存和服务器)。术语“机器可读存储介质”或“计算机可读存储介质”还应被理解为包括能够存储或编码一组指令以供机器或计算机执行并且使机器或计算机执行本公开的任何一个或更多个方法的任何介质。因此，术语“机器可读存储介质”或“计算机可读存储介质”应被视为包括但不限于固态存储器、光学介质和磁介质。
输入/输出接口227可以被配置成允许数据由图像处理设备200接收和/或发送。输入/输出接口227可以包括允许图像处理设备200与用户或其他机器和设备通信的一个或更多个数字和/或模拟通信设备。例如，输入/输出接口227可以包括供用户向图像处理设备200提供输入的键盘和鼠标。
网络接口228可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器例如光纤、USB 3.0、雷电(Thunderbolt)等、无线网络适配器例如WiFi适配器、电信(3G、4G/LTE等)适配器等。图像处理设备200可以通过网络接口228连接到网络105。图像显示器229可以是适合于显示医学图像的任何显示设备。例如，图像显示器229可以是LCD、CRT或LED显示器。
示例性CNN模型训练处理
下面参照图6详细描述由本公开的图像分割方法、***和设备执行的示例性训练处理。
图6是示出根据本公开的一些实施例的用于训练CNN模型的示例性训练处理400的流程图。在一些实施例中，训练处理400可以由CNN模型训练单元102执行。
训练处理400可以在CNN模型训练单元102接收到一组训练图像时开始(步骤410)。如上所述，该组训练图像可以包括3D训练图像及其对应的3D真实标记图。例如，3D训练图像可以显示患者的骨盆区域、头部区域、心脏区域、肝脏区域或者另外的解剖区域。在一些实施例中，训练图像可以与要分割的图像属于相同或相似的关注区域。
如图6所示，为了设置用于训练CNN模型的迭代的起始点，在步骤412中，例如，用于跟踪迭代次数的索引被设置为零。在步骤414中，CNN模型训练单元102可以例如从3D训练图像和对应的2D真实标记图中随机地选择一个或更多个相邻2D图像堆叠，并且将所选择的图像和图共同地用作一批训练数据来训练CNN模型。例如，可以从3D训练图像获得沿着解剖学平面的一系列顺序的相邻2D图像堆叠。这些顺序的堆叠可以具有一个或更多个交叠的图像，使得该系列堆叠的中间图像可以基本上构成整个3D训练图像。另外，CNN模型训练单元102可以接收每个所选择的相邻2D图像堆叠的中间图像的对应2D真实标记图。例如，如上所述，3D真实标记图可以被划分成与顺序的相邻2D图像堆叠分别对应的一系列顺序的2D真实标记图。2D标记图为所选择的相邻2D图像堆叠的中间图像的每个像素提供已知的解剖结构标记。因此，2D标记图的每个像素与所选择的相邻2D图像堆叠中包含的已知解剖结构之一或者背景相关联。如上所述，相邻2D图像堆叠包含沿着与解剖学平面正交的轴的相邻2D图像之间的相依结构信息。
在一些实施例中，在步骤414中选择的一个或更多个相邻2D图像堆叠可以沿着来自三个解剖学平面(例如横断面、矢状面或冠状面)的所选择的平面。在这种情况下，处理400可以输出用于该所选择的平面的训练后的CNN模型，例如用于分割沿着该所选择的平面切片的3D图像。在一些实施例中，可以重复处理400以输出三个不同的CNN模型，这三个不同的CNN模型被训练用于分别分割沿着三个解剖学平面的3D图像切片。
在其他实施例中，在步骤414中选择的一个或更多个相邻2D图像堆叠可以沿着两个或更多个所选择的解剖学平面。可以执行处理400以输出一个训练后的CNN模型，该CNN模型可以用于分割沿着两个或更多个所选择的解剖学平面中的任何一个解剖学平面的图像。在其他实施例中，在步骤414中选择的一个或更多个相邻2D图像堆叠可以沿着三个解剖学平面中的任何一个解剖学平面，例如，针对每个解剖学平面选择至少一个相邻2D图像堆叠。可以执行处理400以获得一个训练后的CNN模型，该CNN模型可以用于分割沿着三个解剖学平面中的任何一个解剖学平面的图像。在这种情况下，使用沿着所有三个解剖学平面的、组合的相邻2D图像堆叠来训练输出的CNN模型。
可以多于一次地迭代地执行步骤414至422以训练CNN模型，直到CNN模型输出令人满意的估计的2D和/或3D标记图为止。可以通过各种停止标准来确定迭代次数。在一些实施例中，可以使用最大迭代次数。在每次迭代时，可以随机选择新一批训练数据并且将其用于训练CNN模型，直到达到最大迭代次数为止。附加地或替选地，可以在训练CNN模型之前预先确定预期的准确性。重复执行批选择和CNN模型参数的更新，直到输出的2D和/或3D标记图的准确性满足预期的准确性为止。
为了设置用于训练CNN模型的迭代的起始点，在步骤412中，如图6所示，例如，用于跟踪迭代次数的索引被设置为零。在步骤414中，如上所述，例如随机地选择一批训练数据。在步骤416中，CNN模型训练单元102可以将所选择的一批训练数据输入到CNN模型以进行训练。在步骤418中，CNN模型训练单元102可以采用具有当前参数(例如，滤波器的权重)的CNN模型来获得与输入的相邻2D图像堆叠对应的估计的2D标记图。
在步骤420中，CNN模型训练单元102可以将估计的2D标记图与在步骤412中选择的2D真实标记图进行比较，并且计算对应的误差图。在步骤422中，CNN模型训练单元102可以基于所获得的误差图确定或更新CNN模型的一个或更多个层的参数。例如，反向传播方法可以被用于基于2D真实标记图与输出的估计的2D标记图之间的差异来确定或更新CNN模型的一个或更多个层的参数。例如，反向传播方法可以通过关于CNN模型中的所有参数使损失函数最小化来优化这些参数。
在步骤424中，CNN模型训练单元102可以将用于跟踪迭代次数的索引增加1。在步骤426中，CNN模型训练单元102可以确定是否满足用于停止迭代的标准。如上所述，在一些实施例中，CNN模型训练单元102可以确定索引是否等于或大于预定的最大索引数。附加地或替选地，CNN模型训练单元102可以例如通过确定损失函数是否小于阈值来确定估计的2D标记图的准确性是否满足或超出了预期的准确性。如果CNN模型训练单元102确定尚未满足用于停止迭代的标准(步骤426：否)，则训练处理400可以返回到步骤414以再次选择新一批训练数据来训练CNN模型。如果CNN模型训练单元102确定已经满足了用于停止迭代的标准(步骤426：是)，则训练处理400可以进行到步骤428，步骤428可以保存具有更新后的参数的CNN模型和/或输出训练后的CNN模型。
在一些实施例中，使用多于一个的训练图像数据集(例如，多于一个的3D训练图像和对应的3D真实标记图)来训练CNN模型。在这种情况下，当在步骤414中选择一批训练数据时，可以首先随机选择一个或更多个3D训练图像数据集，然后从每个所选择的3D图像数据集中随机选择一个或更多个相邻2D图像堆叠和相应的2D真实标记图。然后，步骤414至426可以如上所述类似地进行。
示例性的基于CNN模型的图像分割处理
下面参照图7A至图8B详细描述由本公开的图像分割方法、***和设备执行的示例性图像分割处理。
图7A是示出根据本公开的一些实施例的使用通过图6的处理获得的训练后的CNN模型的示例性图像分割处理500A的流程图。图像分割处理500A可以由分割单元103执行。如图7A所示，图像分割处理500A可以在分割单元103接收到要分割的3D图像时开始(步骤512)。3D图像可以是3D医学图像，例如，示出患者的骨盆区域、头部区域、心脏区域、肝脏区域或另外的解剖区域的3D医学图像。在步骤514中，分割单元103可以接收训练后的CNN模型。
在步骤516中，分割单元103可以从由3D图像生成的一系列相邻2D图像堆叠中选择相邻2D图像堆叠。如上所述，一系列相邻2D图像堆叠可以是顺序的并且具有一个或更多个交叠的图像，使得这些堆叠的中间图像基本上构成整个3D图像。在步骤518中，将该系列中的堆叠输入到训练后的CNN模型。在步骤520中，分割单元103可以确定堆叠中的中间图像的2D输出标记图。在步骤522中，分割单元103可以确定是否已经将所有相邻2D图像堆叠输入到了训练后的CNN模型。如果分割单元103确定未使用从3D图像生成的所有相邻2D图像堆叠(步骤522：否)，则图像分割处理500A可以返回到步骤516。如果分割单元103确定使用了从3D图像生成的所有相邻2D图像堆叠(步骤522：是)，则图像分割处理500A可以进行到步骤524。
在步骤524中，可以基于2D相邻图像堆叠的中间图像的2D标记图来确定3D标记图。例如，可以通过根据沿着与2D图像堆叠的解剖学平面正交的轴的中间图像的序列而聚合中间图像的2D标记图来获得3D标记图。可选地，图像分割处理500A可以包括步骤526。在步骤526中，分割单元103输出分割的3D图像。例如，分割单元103可以显示分割的3D图像或3D标记图以供进一步分析或观察。
图7B是示出根据本公开的一些实施例的使用通过图6的处理而获得的一个或更多个训练后的CNN模型的另一示例性图像分割处理500B的流程图。图像分割处理500B可以由分割单元103执行。图像分割处理500B可以包括与图像分割处理500A中的步骤类似的步骤。图像分割处理500B可以在分割单元103接收到要分割的3D图像时开始(步骤528)。3D图像可以是3D医学图像，例如示出了患者的骨盆区域、头部区域、心脏区域、肝脏区域或另外的解剖区域的3D医学图像。
在步骤530中，分割单元103可以选择在步骤528中接收的3D图像的平面，以用于获得相邻2D图像堆叠。例如，如果3D图像是3D医学图像，则步骤530可以选择三个解剖学平面(例如横断面、矢状面和冠状面)当中的一个。在步骤532中，分割单元103可以沿着所选择的解剖学平面从3D图像生成一系列相邻2D图像堆叠。
在步骤534中，分割单元103可以接收一个或更多个训练后的CNN模型。在一些实施例中，接收到的训练后的CNN模型可能已经使用沿着与步骤530中选择的解剖学平面相同的解剖学平面的相邻2D图像堆叠训练过。在这种情况下，当步骤530中的所选择的平面改变时，与解剖学平面对应的另一个训练后的CNN模型可以被接收并且用于执行图像分割。在其他实施例中，训练后的CNN模型可能已经使用沿着3D图像的所有三个解剖学平面的相邻2D图像堆叠训练过。在这种情况下，相同的训练后的CNN模型可以用于对沿着任何所选择的解剖学平面的相邻2D图像堆叠或者从三个解剖学平面组合的任何相邻2D图像堆叠执行图像分割。
步骤536至542类似于图像分割处理500A的步骤516至522。在步骤536中，分割单元103可以从在步骤532中生成的一系列相邻2D图像堆叠中选择相邻2D图像堆叠。在步骤538中，将该系列中的堆叠输入到训练后的CNN模型。在步骤540中，分割单元103可以确定堆叠中的中间图像的2D输出标记图。在步骤542中，分割单元103可以确定是否已经将所有相邻2D图像堆叠输入到训练后的CNN模型。如果分割单元103确定未使用沿着所选择的解剖学平面从3D图像生成的所有相邻2D图像堆叠(步骤542：否)，则图像分割处理500B可以返回到步骤536。如果分割单元103确定使用了沿着所选择的解剖学平面从3D图像生成的所有相邻2D图像堆叠(步骤542：是)，则图像分割处理500B可以进行到步骤544。
在步骤544中，可以基于2D相邻图像堆叠的中间图像的2D标记图来确定3D标记图。例如，可以通过根据沿着与2D图像堆叠的解剖学平面正交的轴的中间图像的序列而聚合中间图像的2D标记图来获得3D标记图。另外，图像分割处理500B可以包括步骤546。在步骤546中，分割单元103确定是否已将沿着所有三个平面(例如，横断面、矢状面和冠状面)的所有三个系列的相邻2D图像堆叠用于分割3D图像。如果分割单元103确定尚未使用与所有三个平面对应的所有的三个系列的2D图像堆叠(步骤546：否)，则图像分割处理500B可以返回到步骤530以选择另一个解剖学平面。如果分割单元103确定已经使用了与所有三个平面对应的所有三个系列的2D图像堆叠(步骤546：是)，则图像分割处理500B可以进行到步骤548。
在步骤548中，分割单元103确定最终的3D标记图。可以通过融合针对三个解剖学平面确定的三个3D标记图来确定最终的3D标记图。在一些实施例中，融合后的3D标记图的体素的值可以通过多数投票来确定。例如，如果三个3D标记图中的两个将3D图像的体素标记为解剖结构，则融合后的3D标记图的对应体素被确定为与同一解剖结构相关联。在其他实施例中，基于对三个3D标记图中的对应体素估计的最大似然率或概率来确定融合后的3D标记图的体素。例如，如果第一3D标记图以0.5的概率确定体素表示膀胱，第二3D标记图以0.4的概率确定体素表示***，且第三3D标记图以0.2的概率确定体素表示直肠，则体素在融合后的3D标记图中被标记为表示膀胱。如本文中所述，可以使用任何合适的方法来融合在图像分割处理500B中确定的三个3D标记图。
如上所述，可以使用沿着三个解剖学平面的相邻2D图像堆叠来训练CNN模型。在这种情况下，当图像分割处理500B执行步骤530以选择第二解剖学平面并且执行步骤532以生成沿着所选择的解剖学平面的一系列相邻2D图像堆叠时，图像分割处理500B可以跳过步骤534并且前进到步骤536。在图8A和图8B中进一步示出了用于分割3D医学图像的图像分割处理500B。
如图8A所示，分割单元103可以接收CNN模型，该CNN模型已经使用沿着多于一个的解剖学平面(例如，横断面、矢状面和冠状面)的相邻2D图像堆叠训练过。沿着三个解剖学平面从要分割的3D医学图像生成的三个系列的相邻2D图像堆叠可以被独立地输入到训练后的CNN模型以获得2D标记图。替选地，沿着三个解剖学平面的三个系列的相邻2D图像堆叠可以被组合，例如被逐个堆叠，并且被输入到相同的训练后的CNN模型。如上所述，沿着每个解剖学平面的一系列相邻2D图像堆叠的中间图像的2D标记图可以被聚合，例如，沿着与解剖学平面正交的轴被堆叠，以获得3D标记图。因此，如图8A所示，可以基于与三个不同解剖学平面对应的三个系列的相邻图像堆叠来获得3D图像的三个3D标记图。如上所述，可以融合三个3D标记图以生成3D医学图像的最终3D标记图。
替选地，如图8B所示，分割单元103可以接收三个CNN模型，每个CNN模型分别使用沿着三个解剖学平面(例如，横断面、冠状面或矢状面)之一的相邻2D图像堆叠来训练。在这种情况下，分割单元103可以选择每个解剖学平面，并且沿着每个解剖学平面从3D医学图像生成一系列相邻2D图像堆叠。沿着三个解剖学平面之一的每个所生成的系列的相邻2D图像堆叠可以被独立地输入到使用对应的解剖学平面的2D图像堆叠训练的、单独的CNN模型，以获得2D标记图。例如，如图8B所示，三个CNN模型即CNN模型1、CNN模型2和CNN模型3分别用于处理分别沿着横断面、冠状面和矢状面获得的相邻2D图像堆叠。类似地，沿着每个解剖学平面的相邻2D图像堆叠的中间图像的2D标记图可以被聚合，例如沿着与解剖学平面正交的轴被堆叠，以获得3D标记图。因此，可以基于三个不同解剖学平面的三个系列的相邻图像堆叠来获得三个3D标记图。如上所述，可以融合三个3D标记图以生成3D医学图像的最终3D标记图。
如本文中所述，在一些实施例中，分割单元103可以接收两个或三个CNN模型，每个CNN模型使用沿着三个解剖学平面之一的相邻2D图像堆叠来训练。在这种情况下，可以基于沿着所选择的两个或三个不同解剖学平面从3D医学图像获得的两个或三个系列的相邻2D图像堆叠来获得两个或三个3D标记图。类似地，可以融合两个或三个3D标记图以生成3D医学图像的最终3D标记图。
本文中描述了可以被实现或定义为软件代码或指令的各种操作或功能。这样的内容可以是可直接执行的(“对象”或“可执行”形式)、源代码或差分代码(“增量”(“delta”)或“补丁”(“patch”)代码)。本文中描述的实施例的软件实现可以通过其上存储有代码或指令的制品提供，或者通过操作通信接口以经由通信接口发送数据的方法提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器(例如，计算设备、电子***等)访问的形式存储信息的任何机制，例如可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备等)。通信接口包括与硬连线介质、无线介质、光学介质等中的任何一种接口的任何机制，以与例如存储器总线接口、处理器总线接口、因特网连接、磁盘控制器等的另一设备通信。可以通过下述方式配置通信接口：提供配置参数和/或发送信号以准备通信接口，以提供描述软件内容的数据信号。可以经由发送到通信接口的一个或更多个命令或信号来访问通信接口。
本发明还涉及用于执行本文中的操作的***。该***可以为所需目的而专门构造，或者该***可以包括通用计算机，该通用计算机由存储在计算机中的计算机程序选择性地激活或重新配置。这样的计算机程序可以被存储在计算机可读存储介质中，例如但不限于任何类型的盘(包括软盘、光盘、CD-ROM和磁光盘)、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、或者适用于存储电子指令的任何类型的介质，上述每种介质都耦接到计算机***总线。
除非另有说明，否则本文中所示和所述的本发明的实施例中的操作的执行或进行的顺序不是必需的。也就是说，除非另有说明，否则操作可以以任何顺序执行，并且本发明的实施例可以包括比本文中公开的操作更多或更少的操作。例如，预期下述内容在本发明的各方面的范围内：特定操作在另一操作之前、与另一操作同时或在另一操作之后执行或进行。
可以用计算机可执行指令来实现本发明的实施例。计算机可执行指令可以被组织成一个或更多个计算机可执行组件或模块。可以用任何数目和组织的这种组件或模块来实现本发明的各方面。例如，本发明的各方面不限于附图中示出和本文中描述的特定组件或模块或者特定的计算机可执行指令。本发明的其他实施例可以包括具有比本文中所示和所述更多或更少功能的不同计算机可执行指令或组件。
虽然本文中描述了所公开原理的示例和特征，但是在不脱离所公开的实施例的精神和范围的情况下，修改、调节和其他实现是可能的。此外，词语“包括”、“具有”、“包含”和“包括”以及其他类似形式旨在在含义上等同并且被解释为开放式的，使得这些词语中的任何一个后面跟随的项目并不意味着该项目的穷举列表或意味着仅限于所列出的项目。除非上下文另有明确规定，否则单数形式“一”、“一个”和“该”旨在包括复数引用。
在已经详细描述了本发明的各方面的情况下，显然在不脱离所附权利要求限定的本发明的各方面的范围的情况下，可以进行修改和变化。由于在不脱离本发明的各方面的范围的情况下可以对上述结构、产品和方法进行各种改变，所以在以上描述中包含的以及在附图中示出的所有内容都应当被解释为说明性的而非限制性的。

Claims (30)

1.一种用于分割三维图像的由计算机实现的方法，所述方法包括：
接收由成像设备获取的三维图像；
创建来自三维图像的第一平面的第一二维图像堆叠以及来自三维图像的第二平面的第二二维图像堆叠；
由处理器使用至少一个神经网络模型来分割第一二维图像堆叠和第二二维图像堆叠；以及
由处理器通过聚合来自第一堆叠和第二堆叠的分割结果来确定三维图像的标记图。
2.根据权利要求1所述的方法，还包括：
创建来自三维图像的第三平面的第三二维图像堆叠；
使用至少一个神经网络模型来分割第三二维图像堆叠；以及
通过聚合来自第一堆叠、第二堆叠和第三堆叠的分割结果来确定三维图像的标记图。
3.根据权利要求1所述的方法，其中，分割第一二维图像堆叠使用第一神经网络模型，并且分割第二二维图像堆叠使用第二神经网络模型。
4.根据权利要求1所述的方法，其中，第一平面或第二平面选自三维图像的横断面、矢状面和冠状面。
5.根据权利要求1所述的方法，其中，分割第一二维图像堆叠和第二二维图像堆叠包括：
根据第一二维图像堆叠和第二二维图像堆叠创建组合的二维图像堆叠；以及
使用一个神经网络模型来分割组合的二维图像堆叠。
6.根据权利要求1所述的方法，其中，分割第一二维图像堆叠和第二二维图像堆叠包括：为三维图像的体素确定多个标记。
7.根据权利要求6所述的方法，其中，聚合分割结果包括：向体素分配多个标记当中具有最高概率值的标记。
8.根据权利要求1所述的方法，其中，至少一个神经网络模型是深度卷积神经网络模型。
9.根据权利要求1所述的方法，其中，三维图像是指示患者的解剖结构的医学图像，其中，标记图将解剖结构与三维图像的每个体素相关联。
10.根据权利要求1所述的方法，还包括：使用至少一个三维训练图像来训练至少一个神经网络模型。
11.一种用于分割三维图像的设备，所述设备包括：
输入接口，其接收由成像设备获取的三维图像；
至少一个存储设备，其被配置成存储三维图像；以及
图像处理器，其被配置成：
创建来自三维图像的第一平面的第一二维图像堆叠以及来自三维图像的第二平面的第二二维图像堆叠；
使用至少一个神经网络模型来分割第一二维图像堆叠和第二二维图像堆叠；以及
通过聚合来自第一堆叠和第二堆叠的分割结果来确定三维图像的标记图。
12.根据权利要求11所述的设备，其中，所述图像处理器还被配置成：
创建来自三维图像的第三平面的第三二维图像堆叠；
使用至少一个神经网络模型来分割第三二维图像堆叠；以及
通过聚合来自第一堆叠、第二堆叠和第三堆叠的分割结果来确定三维图像的标记图。
13.根据权利要求11所述的设备，其中，所述图像处理器还被配置成：使用第一神经网络模型来分割第一二维图像堆叠，并且使用第二神经网络模型来分割第二二维图像堆叠。
14.根据权利要求11所述的设备，其中，第一平面或第二平面选自三维图像的横断面、矢状面和冠状面。
15.根据权利要求11所述的设备，其中，所述图像处理器还被配置成：
根据第一二维图像堆叠和第二二维图像堆叠创建组合的二维图像堆叠；以及
使用一个神经网络模型来分割组合的二维图像堆叠。
16.根据权利要求11所述的设备，其中，所述图像处理器还被配置成：为三维图像的体素确定多个标记。
17.根据权利要求16所述的设备，其中，所述图像处理器还被配置成：向体素分配多个标记当中具有最高概率值的标记。
18.根据权利要求11所述的设备，其中，至少一个神经网络模型是深度卷积神经网络模型。
19.根据权利要求11所述的设备，其中，三维图像是指示患者的解剖结构的医学图像，其中，标记图将解剖结构与三维图像的每个体素相关联。
20.根据权利要求11所述的设备，其中，所述图像处理器还被配置成：使用至少一个三维训练图像来训练至少一个神经网络模型。
21.一种包含指令的非暂态计算机可读介质，所述指令在能够由至少一个处理器执行时使至少一个处理器执行用于分割三维图像的方法，所述方法包括：
接收由成像设备获取的三维图像；
创建来自三维图像的第一平面的第一二维图像堆叠以及来自三维图像的第二平面的第二二维图像堆叠；
由至少一个处理器使用至少一个神经网络模型来分割第一二维图像堆叠和第二二维图像堆叠；以及
由至少一个处理器通过聚合来自第一堆叠和第二堆叠的分割结果来确定三维图像的标记图。
22.根据权利要求21所述的非暂态计算机可读介质，其中，所述方法还包括：
创建来自三维图像的第三平面的第三二维图像堆叠；
使用至少一个神经网络模型来分割第三二维图像堆叠；以及
通过聚合来自第一堆叠、第二堆叠和第三堆叠的分割结果来确定三维图像的标记图。
23.根据权利要求21所述的非暂态计算机可读介质，其中，分割第一二维图像堆叠使用第一神经网络模型，并且分割第二二维图像堆叠使用第二神经网络模型。
24.根据权利要求21所述的非暂态计算机可读介质，其中，第一平面或第二平面选自三维图像的横断面、矢状面和冠状面。
25.根据权利要求21所述的非暂态计算机可读介质，其中，分割第一二维图像堆叠和第二二维图像堆叠包括：
根据第一二维图像堆叠和第二二维图像堆叠创建组合的二维图像堆叠；以及
使用一个神经网络模型来分割组合的二维图像堆叠。
26.根据权利要求21所述的非暂态计算机可读介质，其中，分割第一二维图像堆叠和第二二维图像堆叠包括：为三维图像的体素确定多个标记。
27.根据权利要求26所述的非暂态计算机可读介质，其中，聚合分割结果包括：向体素分配多个标记当中具有最高概率值的标记。
28.根据权利要求21所述的非暂态计算机可读介质，其中，至少一个神经网络模型是深度卷积神经网络模型。
29.根据权利要求21所述的非暂态计算机可读介质，其中，三维图像是指示患者的解剖结构的医学图像，其中，标记图将解剖结构与三维图像的每个体素相关联。
30.根据权利要求21所述的非暂态计算机可读介质，其中，所述方法还包括：使用至少一个三维训练图像来训练至少一个神经网络模型。
CN201780066346.3A 2016-08-26 2017-08-23 使用卷积神经网络进行图像分割的***和方法 Active CN109923582B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/248,628 US9965863B2 (en) 2016-08-26 2016-08-26 System and methods for image segmentation using convolutional neural network
US15/248,628 2016-08-26
PCT/US2017/048271 WO2018039380A1 (en) 2016-08-26 2017-08-23 Systems and methods for image segmentation using convolutional neural network

Publications (2)

Publication Number Publication Date
CN109923582A true CN109923582A (zh) 2019-06-21
CN109923582B CN109923582B (zh) 2023-06-20

Family

ID=59791166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780066346.3A Active CN109923582B (zh) 2016-08-26 2017-08-23 使用卷积神经网络进行图像分割的***和方法

Country Status (7)

Country Link
US (3) US9965863B2 (zh)
EP (1) EP3504680B1 (zh)
JP (3) JP6932182B2 (zh)
CN (1) CN109923582B (zh)
AU (1) AU2017315684B2 (zh)
RU (1) RU2720070C1 (zh)
WO (1) WO2018039380A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363168A (zh) * 2019-07-19 2019-10-22 山东浪潮人工智能研究院有限公司 一种基于卷积神经网络的三维立体图识别***
CN111103275A (zh) * 2019-12-24 2020-05-05 电子科技大学 Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法
CN116071555A (zh) * 2023-03-15 2023-05-05 同心智医科技(北京)有限公司 一种建立WMHs分割模型的方法、WMHs分割方法及装置
CN116324880A (zh) * 2020-08-20 2023-06-23 高通股份有限公司 使用平面分割的对象扫描

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586400B2 (en) * 2018-02-23 2020-03-10 Robert E Douglas Processing 3D medical images to enhance visualization
US9965863B2 (en) 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
EP3513381A1 (en) * 2016-09-18 2019-07-24 Yeda Research and Development Co. Ltd Systems and methods for generating 3d images based on fluorescent illumination
JP6752966B2 (ja) * 2016-09-21 2020-09-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 身体部分の適応的輪郭形成のための装置
US10402943B2 (en) * 2016-10-20 2019-09-03 Htc Corporation Image enhancement device and method for convolutional network apparatus
WO2018077747A1 (en) * 2016-10-25 2018-05-03 Koninklijke Philips N.V. A method and apparatus for segmenting a two-dimensional image of an anatomical structure
US10582907B2 (en) * 2016-10-31 2020-03-10 Siemens Healthcare Gmbh Deep learning based bone removal in computed tomography angiography
US11132529B2 (en) * 2016-11-16 2021-09-28 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
US10733506B1 (en) 2016-12-14 2020-08-04 Waymo Llc Object detection neural network
US10699184B2 (en) * 2016-12-29 2020-06-30 Facebook, Inc. Updating predictions for a deep-learning model
JP6987508B2 (ja) * 2017-02-20 2022-01-05 オムロン株式会社 形状推定装置及び方法
US10580131B2 (en) * 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
WO2018209057A1 (en) * 2017-05-11 2018-11-15 The Research Foundation For The State University Of New York System and method associated with predicting segmentation quality of objects in analysis of copious image data
US10242292B2 (en) 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US10783394B2 (en) 2017-06-20 2020-09-22 Nvidia Corporation Equivariant landmark transformation for landmark localization
US10713537B2 (en) 2017-07-01 2020-07-14 Algolux Inc. Method and apparatus for joint image processing and perception
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和***
KR101995900B1 (ko) * 2017-09-11 2019-07-04 뉴로핏 주식회사 3차원 뇌지도 생성 방법 및 프로그램
US10803984B2 (en) * 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US11517197B2 (en) 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
US10614574B2 (en) * 2017-10-16 2020-04-07 Adobe Inc. Generating image segmentation data using a multi-branch neural network
EP3489627B1 (en) * 2017-11-24 2020-08-19 Leica Geosystems AG True to size 3d-model conglomeration
US11288812B2 (en) 2018-01-10 2022-03-29 Institut De Recherche Sur Les Cancers De I Automatic segmentation process of a 3D medical image by one or several neural networks through structured convolution according to the anatomic geometry of the 3D medical image
BR112020014144A2 (pt) 2018-01-10 2020-12-08 Institut de Recherche sur les Cancers de l'Appareil Digestif - IRCAD Sistema e método de segmentação automática de uma imagem médica 3d por várias redes neurais através de convolução estruturada de acordo com a geometria da imagem médica 3d
US10885630B2 (en) * 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
US10223611B1 (en) * 2018-03-08 2019-03-05 Capital One Services, Llc Object detection using image classification models
EP3547254A1 (de) * 2018-03-29 2019-10-02 Siemens Healthcare GmbH Analyse-verfahren und analyseeinheit zur ermittlung radiologischer ergebnisdaten
CN108764241A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 分割股骨近端的方法、装置、计算机设备和存储介质
US10555779B2 (en) * 2018-04-27 2020-02-11 Medtronic Navigation, Inc. System and method for a tracked procedure
US10736699B2 (en) 2018-04-27 2020-08-11 Medtronic Navigation, Inc. System and method for a tracked procedure
US11234666B2 (en) * 2018-05-31 2022-02-01 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET)
JP7089072B2 (ja) * 2018-06-15 2022-06-21 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなｈｉｌ指標決定のための方法および装置
CN112313668A (zh) * 2018-06-15 2021-02-02 深透医疗公司 使用深度学习进行磁共振成像标准化的***和方法
EP3807650A4 (en) 2018-06-15 2021-11-17 Siemens Healthcare Diagnostics, Inc. SAMPLE CONTAINER CHARACTERIZATION USING A SINGLE DEEP NEURONAL NETWORK IN END-TO-END LEARNING MODE
EP3586748B1 (de) * 2018-06-26 2020-06-24 Siemens Healthcare GmbH Verfahren zum betreiben eines medizinischen bildgebungsgeräts sowie bildgebungsgerät
JP6954719B2 (ja) 2018-07-06 2021-10-27 シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 検査ボリュームの差分画像データセットの決定
CN110728627A (zh) * 2018-07-16 2020-01-24 宁波舜宇光电信息有限公司 图像降噪方法、装置、***和存储介质
CN108986891A (zh) * 2018-07-24 2018-12-11 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
US11300645B2 (en) 2018-07-30 2022-04-12 Hyperfine Operations, Inc. Deep learning techniques for magnetic resonance image reconstruction
AU2019321607A1 (en) 2018-08-15 2021-02-11 Hyperfine Operations, Inc. Deep learning techniques for suppressing artefacts in magnetic resonance images
CN109146899A (zh) * 2018-08-28 2019-01-04 众安信息技术服务有限公司 Ct图像的危及器官分割方法及装置
US10311337B1 (en) * 2018-09-04 2019-06-04 StradVision, Inc. Method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network
CN110766693B (zh) * 2018-09-06 2022-06-21 北京连心医疗科技有限公司 一种基于多模型神经网络联合预测放疗结构位置的方法
CN110889853B (zh) * 2018-09-07 2022-05-03 天津大学 基于残差-注意力深度神经网络的肿瘤分割方法
JP7129870B2 (ja) * 2018-10-01 2022-09-02 富士フイルム株式会社 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
CN109360210B (zh) * 2018-10-16 2019-10-25 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
EP3644275A1 (en) * 2018-10-22 2020-04-29 Koninklijke Philips N.V. Predicting correctness of algorithmic segmentation
US10504027B1 (en) * 2018-10-26 2019-12-10 StradVision, Inc. CNN-based learning method, learning device for selecting useful training data and test method, test device using the same
CN111126115B (zh) * 2018-11-01 2024-06-07 顺丰科技有限公司 暴力分拣行为识别方法和装置
US11301748B2 (en) 2018-11-13 2022-04-12 International Business Machines Corporation Automatic feature extraction from aerial images for test pattern sampling and pattern coverage inspection for lithography
WO2020102584A2 (en) * 2018-11-14 2020-05-22 Intuitive Surgical Operations, Inc. Convolutional neural networks for efficient tissue segmentation
KR101981202B1 (ko) * 2018-12-11 2019-05-22 메디컬아이피 주식회사 의료영상 재구성 방법 및 그 장치
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
US11017542B2 (en) * 2018-12-21 2021-05-25 Beijing Voyager Technology Co., Ld. Systems and methods for determining depth information in two-dimensional images
WO2020138128A1 (ja) * 2018-12-26 2020-07-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
TWI697010B (zh) * 2018-12-28 2020-06-21 國立成功大學 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置
WO2020133354A1 (en) * 2018-12-29 2020-07-02 Shenzhen Malong Technologies Co., Ltd. 3d segmentation network and 3d refinement module
CN110613480B (zh) * 2019-01-14 2022-04-26 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声动态影像检测方法及***
CN110322435A (zh) * 2019-01-20 2019-10-11 北京工业大学 一种基于深度学习的胃癌病理图像癌变区域分割方法
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
US11062459B2 (en) * 2019-02-07 2021-07-13 Vysioneer INC. Method and apparatus for automated target and tissue segmentation using multi-modal imaging and ensemble machine learning models
MX2021011124A (es) * 2019-03-14 2021-10-14 Hyperfine Inc Tecnicas de aprendizaje profundo para generar imagenes por resonancia magnetica a partir de datos de frecuencia espacial.
CN109978037B (zh) * 2019-03-18 2021-08-06 腾讯科技（深圳）有限公司 图像处理方法、模型训练方法、装置、和存储介质
CN109978852B (zh) * 2019-03-22 2022-08-16 邃蓝智能科技(上海)有限公司 基于深度学习的微小组织器官的放疗影像靶区勾画方法及***
EP3726460B1 (en) * 2019-04-06 2023-08-23 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images
CN110473192B (zh) * 2019-04-10 2021-05-14 腾讯医疗健康(深圳)有限公司 消化道内镜图像识别模型训练及识别方法、装置及***
CN110059608B (zh) * 2019-04-11 2021-07-06 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
US20220215646A1 (en) * 2019-04-23 2022-07-07 The Johns Hopkins University Abdominal multi-organ segmentation with organ-attention networks
US11410016B2 (en) 2019-04-26 2022-08-09 Alibaba Group Holding Limited Selective performance of deterministic computations for neural networks
CN110084309B (zh) * 2019-04-30 2022-06-21 北京市商汤科技开发有限公司 特征图放大方法、装置和设备及计算机可读存储介质
CN110110130B (zh) * 2019-05-21 2021-03-02 山东财经大学 基于卷积特征与加权随机游走的个性化标签推荐方法及***
CN110189309B (zh) * 2019-05-21 2021-06-15 上海商汤智能科技有限公司 一种图像处理方法及装置、电子设备和存储介质
US11062183B2 (en) * 2019-05-21 2021-07-13 Wipro Limited System and method for automated 3D training content generation
CN110245710B (zh) * 2019-06-18 2022-11-29 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
JPWO2021002356A1 (zh) * 2019-07-02 2021-01-07
US11308623B2 (en) 2019-07-09 2022-04-19 The Johns Hopkins University System and method for multi-scale coarse-to-fine segmentation of images to detect pancreatic ductal adenocarcinoma
US11100684B2 (en) 2019-07-11 2021-08-24 Canon Medical Systems Corporation Apparatus and method for artifact detection and correction using deep learning
JP2021015425A (ja) * 2019-07-11 2021-02-12 富士通株式会社 学習方法、学習プログラム及び学習装置
US11238580B2 (en) 2019-08-29 2022-02-01 Varian Medical Systems International Ag Systems and methods for image cropping and anatomical structure segmentation in medical imaging
US11063489B2 (en) 2019-09-23 2021-07-13 Canoo Technologies Inc. Fractional slot electric motors with coil elements having rectangular cross-sections
US11581087B2 (en) * 2019-10-23 2023-02-14 GE Precision Healthcare LLC Method, system and computer readable medium for automatic segmentation of a 3D medical image
US11410302B2 (en) * 2019-10-31 2022-08-09 Tencent America LLC Two and a half dimensional convolutional neural network for predicting hematoma expansion in non-contrast head computerized tomography images
CN110989901B (zh) * 2019-11-29 2022-01-18 北京市商汤科技开发有限公司 图像定位的交互显示方法及装置、电子设备和存储介质
EP4052228A4 (en) * 2019-12-03 2023-08-09 Siemens Medical Solutions USA, Inc. NETWORK DETERMINATION OF RECONSTRUCTION OF A LIMITED ANGLE
CN111062944B (zh) * 2019-12-10 2020-08-14 北京推想科技有限公司 网络模型训练方法及装置、图像分割方法及装置
CN113129427B (zh) * 2019-12-31 2023-05-09 久瓴(上海)智能科技有限公司 建筑模型处理方法、装置、计算机设备及可读存储介质
JP7323885B2 (ja) * 2020-03-04 2023-08-09 株式会社Kompath 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム
CN111311592B (zh) * 2020-03-13 2021-10-08 中南大学 一种基于深度学习的三维医学图像自动分割方法
JP7399785B2 (ja) 2020-05-15 2023-12-18 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置およびプログラム
CN111829535B (zh) 2020-06-05 2022-05-03 阿波罗智能技术(北京)有限公司 生成离线地图的方法、装置、电子设备和存储介质
US11645733B2 (en) 2020-06-16 2023-05-09 Bank Of America Corporation System and method for providing artificial intelligence architectures to people with disabilities
US20230281889A1 (en) * 2020-06-26 2023-09-07 Shimadzu Corporation Attenuation coefficient image generation method, nuclear medicine diagnostic apparatus, and trained model generation method
CN114494221A (zh) * 2020-07-14 2022-05-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
WO2022045277A1 (ja) * 2020-08-31 2022-03-03 グローリー株式会社 画像処理装置、画像処理システム、画像処理方法、およびプログラム
WO2022061840A1 (en) * 2020-09-27 2022-03-31 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for generating radiation therapy plan
US12008403B2 (en) 2021-01-22 2024-06-11 Bank Of America Corporation System for electronic identification of attributes for performing maintenance, monitoring, and distribution of designated resources
CN112837782A (zh) * 2021-02-04 2021-05-25 北京大学第三医院（北京大学第三临床医学院） 一种基于深度学习的放疗三维剂量预测方法
CN112950774A (zh) * 2021-04-13 2021-06-11 复旦大学附属眼耳鼻喉科医院 一种三维建模装置、手术规划***及教学***
US20230011759A1 (en) * 2021-07-07 2023-01-12 Canon Medical Systems Corporation Apparatus, method, and non-transitory computer-readable storage medium for improving image quality of a medical image volume
KR102615545B1 (ko) * 2021-07-16 2023-12-19 오스템임플란트 주식회사 상악동 영상 제공 장치와 방법 및 그 학습 방법
JP7315935B1 (ja) 2022-02-16 2023-07-27 国立大学法人大阪大学 予測支援システム、予測支援方法及び予測支援プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101151623A (zh) * 2005-01-27 2008-03-26 剑桥研究和仪器设备股份有限公司 分类图像特征
US20100111386A1 (en) * 2008-11-05 2010-05-06 University Of Louisville Research Foundation Computer aided diagnostic system incorporating lung segmentation and registration
CN101819679A (zh) * 2010-04-19 2010-09-01 李楚雅 三维医学图像分割方法
US20110206260A1 (en) * 2008-11-05 2011-08-25 Koninklijke Philips Electronics N.V. Automated sequential planning of mr scans
CN103955942A (zh) * 2014-05-22 2014-07-30 哈尔滨工业大学 一种基于svm的2d图像的深度图提取方法
US8805043B1 (en) * 2010-04-02 2014-08-12 Jasjit S. Suri System and method for creating and using intelligent databases for assisting in intima-media thickness (IMT)
US20160063720A1 (en) * 2014-09-02 2016-03-03 Impac Medical Systems, Inc. Systems and methods for segmenting medical images based on anatomical landmark-based features
CN105825509A (zh) * 2016-03-17 2016-08-03 电子科技大学 基于3d卷积神经网络的脑血管分割方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3788847B2 (ja) * 1997-06-23 2006-06-21 東芝医用システムエンジニアリング株式会社 画像処理装置
DE69934215T2 (de) * 1998-03-20 2007-10-25 Barbara Ann Karmanos Cancer Institute, Detroit Multidimensionale ermittlung und charakterisierung von pathologischen geweben
GB0114157D0 (en) * 2001-06-11 2001-08-01 Canon Kk 3D Computer modelling apparatus
US6901277B2 (en) 2001-07-17 2005-05-31 Accuimage Diagnostics Corp. Methods for generating a lung report
KR100607985B1 (ko) 2004-06-12 2006-08-02 삼성전자주식회사 기록/재생 장치 및 그 정보 저장 매체
EP2629264A1 (en) * 2006-12-06 2013-08-21 Agency for Science, Technology And Research Identifying in which brain hemisphere a pathological region is located
WO2008133951A2 (en) 2007-04-24 2008-11-06 Massachusetts Institute Of Technology Method and apparatus for image processing
US20100177190A1 (en) * 2008-12-16 2010-07-15 Ann-Shyn Chiang Microscopy system with revolvable stage
US8391603B2 (en) * 2009-06-18 2013-03-05 Omisa Inc. System and method for image segmentation
US20110157218A1 (en) 2009-12-29 2011-06-30 Ptucha Raymond W Method for interactive display
US8390648B2 (en) 2009-12-29 2013-03-05 Eastman Kodak Company Display system for personalized consumer goods
US9319640B2 (en) 2009-12-29 2016-04-19 Kodak Alaris Inc. Camera and display system interactivity
EP2599056A2 (en) * 2010-07-30 2013-06-05 Koninklijke Philips Electronics N.V. Organ-specific enhancement filter for robust segmentation of medical images
EP2633495A1 (en) * 2010-10-25 2013-09-04 Koninklijke Philips Electronics N.V. System for the segmentation of a medical image
CA2833728A1 (en) * 2011-04-18 2012-10-26 Senhu LI Image segmentation of organs and anatomical structures
US8977629B2 (en) 2011-05-24 2015-03-10 Ebay Inc. Image-based popularity prediction
CN104094315B (zh) * 2012-02-01 2018-04-24 皇家飞利浦有限公司 对象图像标示装置、方法和设备
US9230320B2 (en) * 2012-03-30 2016-01-05 University Of Louisville Research Foundation, Inc. Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules
JP6033697B2 (ja) * 2013-02-01 2016-11-30 株式会社Ｎｔｔドコモ 画像評価装置
US9542626B2 (en) 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
KR102204437B1 (ko) * 2013-10-24 2021-01-18 삼성전자주식회사 컴퓨터 보조 진단 방법 및 장치
US9202144B2 (en) 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
WO2015179632A1 (en) 2014-05-22 2015-11-26 Scheffler Lee J Methods and systems for neural and cognitive processing
US9378435B1 (en) * 2014-06-10 2016-06-28 David Prulhiere Image segmentation in optical character recognition using neural networks
WO2015192246A1 (en) 2014-06-19 2015-12-23 Bitlit Media Inc Method and system for identifying books on a bookshelf
US9558268B2 (en) 2014-08-20 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. Method for semantically labeling an image of a scene using recursive context propagation
US9959486B2 (en) * 2014-10-20 2018-05-01 Siemens Healthcare Gmbh Voxel-level machine learning with or without cloud-based support in medical imaging
US9536167B2 (en) 2014-12-10 2017-01-03 Ricoh Co., Ltd. Realogram scene analysis of images: multiples for scene analysis
KR102307356B1 (ko) 2014-12-11 2021-09-30 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
US10219737B2 (en) 2014-12-11 2019-03-05 Skin Depth Inc. Topical product dispensing tool
US9710716B2 (en) 2014-12-16 2017-07-18 Sighthound, Inc. Computer vision pipeline and methods for detection of specified moving objects
US9368110B1 (en) 2015-07-07 2016-06-14 Mitsubishi Electric Research Laboratories, Inc. Method for distinguishing components of an acoustic signal
US10521902B2 (en) * 2015-10-14 2019-12-31 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
US9965863B2 (en) 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101151623A (zh) * 2005-01-27 2008-03-26 剑桥研究和仪器设备股份有限公司 分类图像特征
CN101916359A (zh) * 2005-01-27 2010-12-15 剑桥研究和仪器设备股份有限公司 把样本的不同区域分类到相应类别的方法和设备
US20100111386A1 (en) * 2008-11-05 2010-05-06 University Of Louisville Research Foundation Computer aided diagnostic system incorporating lung segmentation and registration
US20110206260A1 (en) * 2008-11-05 2011-08-25 Koninklijke Philips Electronics N.V. Automated sequential planning of mr scans
US8805043B1 (en) * 2010-04-02 2014-08-12 Jasjit S. Suri System and method for creating and using intelligent databases for assisting in intima-media thickness (IMT)
CN101819679A (zh) * 2010-04-19 2010-09-01 李楚雅 三维医学图像分割方法
CN103955942A (zh) * 2014-05-22 2014-07-30 哈尔滨工业大学 一种基于svm的2d图像的深度图提取方法
US20160063720A1 (en) * 2014-09-02 2016-03-03 Impac Medical Systems, Inc. Systems and methods for segmenting medical images based on anatomical landmark-based features
CN105825509A (zh) * 2016-03-17 2016-08-03 电子科技大学 基于3d卷积神经网络的脑血管分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ADHISH PARSOON等: "Deep Feature Learning for Knee Cartilage Segmentation Using a Triplanar Convolutional Neural Network" *
ARNAUD ARINDRA ADIYOSO SETIO等: "Pulmonary Nodule Detection in CT Images: False Positive Reduction Using Multi-View Convolutional Network", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
MATTHEW LAI: "Deep Learning for Medical Image Segmentation" *
陈华等: "基于神经网络的三维宽场显微图像复原研究" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363168A (zh) * 2019-07-19 2019-10-22 山东浪潮人工智能研究院有限公司 一种基于卷积神经网络的三维立体图识别***
CN111103275A (zh) * 2019-12-24 2020-05-05 电子科技大学 Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法
CN111103275B (zh) * 2019-12-24 2021-06-01 电子科技大学 Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法
CN116324880A (zh) * 2020-08-20 2023-06-23 高通股份有限公司 使用平面分割的对象扫描
CN116324880B (zh) * 2020-08-20 2023-11-17 高通股份有限公司 使用平面分割的对象扫描
CN116071555A (zh) * 2023-03-15 2023-05-05 同心智医科技(北京)有限公司 一种建立WMHs分割模型的方法、WMHs分割方法及装置
CN116071555B (zh) * 2023-03-15 2023-06-23 同心智医科技(北京)有限公司 一种建立WMHs分割模型的方法、WMHs分割方法及装置

Also Published As

Publication number Publication date
EP3504680A1 (en) 2019-07-03
US10346986B2 (en) 2019-07-09
AU2017315684B2 (en) 2020-03-05
RU2720070C1 (ru) 2020-04-23
JP6932182B2 (ja) 2021-09-08
US10134141B2 (en) 2018-11-20
JP2022001261A (ja) 2022-01-06
US20180218503A1 (en) 2018-08-02
WO2018039380A1 (en) 2018-03-01
EP3504680B1 (en) 2023-04-05
US20190050992A1 (en) 2019-02-14
JP2021035502A (ja) 2021-03-04
US9965863B2 (en) 2018-05-08
JP2019531783A (ja) 2019-11-07
AU2017315684A1 (en) 2019-04-18
US20180061059A1 (en) 2018-03-01
CN109923582B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN109923582A (zh) 使用卷积神经网络进行图像分割的***和方法
CN109906470A (zh) 使用神经网络方法的图像分割
CN111727458B (zh) 使用深度学习的基于图谱集的分割
US11386557B2 (en) Systems and methods for segmentation of intra-patient medical images
Roy Choudhury et al. Segmentation of brain tumors using DeepLabv3+
AU2017324069A1 (en) Neural network for generating synthetic medical images
CN108770373A (zh) 使用特征回归模型根据mr数据的伪ct生成
CN108778416A (zh) 使用组织参数估计根据mr数据的伪ct生成
CN110235175A (zh) 在线学习增强的基于图谱的自动分割
US20230097224A1 (en) Ai-based atlas mapping slice localizer for deep learning autosegmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant