CN112348908A - 用于医学成像中分段的基于形状的生成对抗网络 - Google Patents
用于医学成像中分段的基于形状的生成对抗网络 Download PDFInfo
- Publication number
- CN112348908A CN112348908A CN202010788621.6A CN202010788621A CN112348908A CN 112348908 A CN112348908 A CN 112348908A CN 202010788621 A CN202010788621 A CN 202010788621A CN 112348908 A CN112348908 A CN 112348908A
- Authority
- CN
- China
- Prior art keywords
- image
- shape
- network
- loss
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 46
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 60
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 238000010801 machine learning Methods 0.000 claims description 46
- 238000003384 imaging method Methods 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 30
- 238000009826 distribution Methods 0.000 claims description 19
- 238000013135 deep learning Methods 0.000 claims description 12
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000002604 ultrasonography Methods 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000009499 grossing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000003709 heart valve Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
为了医学成像中的分段，在训练中使用形状生成对抗网络(形状GAN)。通过在比图像空间的像素或体素更低维度的空间中包括形状信息，可以利用形状损失或优化来训练网络。对抗损失和形状损失被用于训练网络，因此所得到的生成器可以在2D或3D中对复杂形状进行分段。可以使用其他优化，诸如使用图像空间中的损失。
Description
相关案件
本申请要求2019年8月7日提交的EP19190567.8的优先权，其全部内容通过引用结合于此。
背景技术
本实施例涉及医学成像中的自动分段。形状被广泛用于医学图像分段算法中，以将分段的区域约束为一类学***集。基于机器学习的分段可以不使用形状。深度学习方法已经被用于训练网络以进行分段。在训练中使用的损失函数是基于像素差异的(即，训练损失是以逐像素的方式定义的)。这导致了大部分可用信息的损失。形状先验的缺乏通常导致不正确的拓扑。已经进行了一些尝试，以将基于形状的损失项包括到深度学习问题的优化，并直接在形状空间中进行优化。然而，这些已被证明仅对二维(2D) 简单的、相对凸起的形状有效，而对于更复杂的三维(3D)形状常常不能收敛。
发明内容
作为介绍，下面描述的优选实施例包括用于分段的方法、计算机可读介质和***。在训练中使用形状生成对抗网络(形状GAN)。通过在比图像空间的像素或体素更低维度的空间中包括形状信息，可以利用形状损失或优化来训练网络。通过使用对抗训练，惩罚了错误形状。对抗损失和形状损失被用于训练网络，因此所得到的生成器可以在2D或3D中分段复杂形状。可以使用其他优化，诸如使用图像空间中的损失。
在第一方面，提供了一种用于在医学成像***中进行分段的方法。一种医学扫描仪扫描患者，提供表示该患者的第一成像数据。图像处理器对以第一成像数据表示的对象进行分段。所述分段使用应用于第一成像数据的机器学习生成网络。机器学习生成网络是利用形状空间中的优化来进行对抗训练的。在显示器上输出基于分段的对象的图像。
在一个实施例中，超声扫描仪进行扫描。可以使用扫描仪的其他模态，诸如计算机断层摄影***或磁共振***。
在各种实施例中，所述分段包括将所述机器学习生成网络应用为图像到图像卷积深度学习网络；所述机器学习生成网络已经被训练，其中所述形状空间包括来自流形（manifold）或非监督学习的较低维度空间，诸如所述形状空间是来自带符号距离函数的主分量分析的特征矩阵；所述机器学习生成网络已经被训练，其中所述优化包括图像空间中的第一损失和所述形状空间中的第二损失；所述机器学习生成网络被训练成输出距所述对象边界的按像素或体素的带符号距离；和/或所述机器学习生成网络已经使用关于按体素或像素的距离的对抗损失用判别器来训练。
在进一步的实施例中，根据由机器学习生成网络输出的距离函数来确定形状空间的形状参数。所述形状参数用于基于与参数分布的比较来对所述对象进行分类；和/或基于与参数分布的比较来指示分段中的置信度。
在第二方面，提供了一种用于对象定位的***。一种医学扫描仪被配置为扫描患者，从而产生表示所述患者的图像数据。图像处理器被配置为利用机器学习图像到图像网络来定位图像数据中表示的对象。使用形状先验训练机器学习图像到图像网络。显示器被配置为显示作为所定位的对象的函数的图像。
在一个实施例中，机器学***滑的L1损失对特征值训练的。
在另一实施例中，使用图像空间中的第一损失和形状空间中的第二损失来训练机器学习图像到图像网络。
在又一实施例中，图像处理器被配置成从图像数据确定形状参数，并使用形状参数来辅助诊断。例如，形状参数用于检测对象的特性，以识别类似的情况，和/或识别对象的位置的置信度。
在第三方面，提供了一种对用于分段的模型进行机器训练的方法。生成器被机器训练为基于形状损失和对抗损失来输出分段。存储经训练的生成器。
在进一步实施例中，基础真值被生成为距对象边界的按体素或像素的距离。形状损失是按距离的基于形状的平滑L1损失，而对抗损失是图像空间中的距离。
在另一实施例中，机器训练包括基于形状损失、对抗损失和图像损失将生成器机器训练为全卷积神经网络。形状损失可以基于来自由生成器输出的分段的线性化的特征值。
本发明由所附权利要求来限定，并且本部分中的任何内容都不应被认为是对那些权利要求的限制。一种类型的权利要求(例如，方法或***)的特征可以用于另一种类型的权利要求中。本发明的另外的方面和优点将在下面结合优选实施例进行讨论，并且可以在以后独立地或组合地要求保护。
附图说明
组件和附图不一定是按比例的，而是重点在于说明本发明的原理。此外，在附图中，相同的附图标记在不同的附图中表示相应的部件。
图1是用于使用形状GAN为分段而进行训练的方法的一个实施例的流程图；
图2图示示例性形状GAN；
图3是用于利用对抗训练的生成器进行分段的方法的一个实施例的流程图；以及
图4是用于分段的***的一个实施例的框图。
具体实施方式
提供了一种用于医学图像分段的基于形状的生成对抗模型。训练形状GAN，其中除了图像空间之外还在形状空间中完成优化。形状GAN中的形状先验允许复杂形状的分段。
在图像空间中，模型的生成器可以被训练为基于诸如带符号差函数的差函数来输出像素或体素的值。估计与对象边界的位置上的差。对于对抗训练，使用诸如带符号的差有助于保持解剖学形状的保真度，从而允许为复杂解剖结构进行训练。由于判别器惩罚“假”形状，因此在对抗训练中的判别器影响学习形状先验。判别器的使用是除了对生成器的形状空间的优化之外的形状先验信息的另一合并。
可以使用各种损失函数。对于形状空间中的损失，平滑L1损失而不是L2损失被用作形状参数的损失函数，所述形状参数是诸如特征值。平滑L1损失在数值上稳定了网络，使得能够以更大的图像和体积进行训练。平滑L1损失也可被用于图像空间。使用基于图像的平滑L1损失加速了网络的收敛。
在应用中，形状空间中的参数可以用作诊断的"标记"。形状空间充当捕获解剖和功能特性的低维度特征空间。针对患者的给定扫描的形状空间参数可以用于检测异常、亚分段、病理、人口统计群体或其他分类。分类可以允许使用特定调整的算法用于分段或其他诊断辅助。形状参数可以用作相似性度量，使得能够与相似情况进行比较，可以用于识别不寻常的对象以增强训练数据，和/或可以用于识别需要使用替代算法或专家意见的对象。
图1是用于对分段的模型进行机器训练的方法的一个实施例的流程图。训练形状GAN，以便训练生成器以进行分段。由于使用形状空间中的优化，形状GAN的生成器可以被训练成在2D或3D中对复杂形状进行分段。
方法由图4的***、工作站、服务器、计算机或其它图像处理器来实现。虽然图1针对训练，但是所得到的机器学习生成器可以由实现图3的动作32的图像处理器使用以针对给定患者进行分段。
动作可以以所示的次序(从上到下或数字)或其它次序来执行。也可以提供附加的、不同的或更少的动作。例如，可以提供附加输入(例如，患者特性、临床测量、患者属性和/或基因组学)以用于训练。
获得基础真值数据用于训练。通过从存储器加载或访问存储器来获得基础真值数据。替代地，通过计算机网络接收基础真值数据。
对于为分段进行训练，基础真值数据是基于成像数据的分段。训练学习将输入特征矢量与基础真值分段相关。在使用深度学习的情况下，输入特征矢量是具有或不具有其他信息的成像数据。对于其他类型的机器学习，输入特征矢量是从成像数据导出的信息，诸如Haar小波、易操纵特征、或从Hessian矩阵计算的值。
基础真值分段可以不同于用对象注释的成像数据。在动作10中，利用距离函数生成基础真值。分段对象边界的基础真值位置用于使用距离函数来生成基础真值分段。在图像空间中提供基础真值，因此提供在2D或3D中的不同位置的值。对于每个位置，应用距离函数来确定该值。值的分布提供了分段或基础真值。
可以使用任何距离函数。在一个实施例中，使用带符号的距离函数(SDF)。在对象的一侧上或边界内的位置被分配一个符号(例如，正)，而在对象的另一侧上或边界外的位置被分配另一个符号(例如，负)。可以使用距离到幅度的任何映射，诸如线性的、非线性的或指数的映射，其中较低值用于更远离边界的位置。
距离函数可以被分解成两个输出：距离函数和水平集，其中内部像素被标记为-1，外部被标记为1，轮廓被标记为0。生成器被训练以预测两个输出(例如，距离和水平集)，这两个输出一起定义了分段的对象。判别器可以在两个输出上一起或单独地被训练，以在训练期间学习形状信息。可以使用其他输出或输出的组合。
对于每个基础真值样本，获得对应的成像数据作为训练数据或样本。图像数据是表示对象或患者的数据，该数据可被用于生成图像。图像数据可以是格式化以供显示之前的扫描数据，诸如以不同于显示格式的扫描格式的扫描数据。图像数据可以是为显示而格式化但不显示或先前显示的红、绿、蓝(RGB)数据。对于每个基础真值，提供对应的图像数据集。收集了数十、数百或数千个样本和对应的基础真值。
在动作12中，机器(例如，处理器、计算机、服务器或图像处理器)对生成器进行机器训练以输出分段。可以训练任何类型的机器训练和对应的分类器。机器训练分类器是任何一个或多个分类器。可以使用单类或二元分类器、不同分类器的集合、级联分类器、分层分类器、多类分类器、基于模型的分类器、基于机器学习的分类器或其组合。多类分类器包括CART、K最近邻、神经网络(例如，多层感知器)、混合模型或其它。可以使用概率推进树。可以使用纠错输出码(ECOC)。深度学习或深度强化学习可用于检测和分段。
在一个实施例中，使用深度学习来训练神经网络。深度对抗架构可以用于改进分段的性能。机器(例如，图像处理器)学习基于输入来识别对象的位置。在迭代过程中，训练确定用于将输入矢量与期望输出(即，基础真值)相关的生成器的过滤器内核、节点值、权重和/或其他可学习参数的值。
模型被训练为对任何对象进行分段。例如，对器官进行分段，诸如识别肝脏相对于其他组织的位置。作为另一个示例，识别侵入物体，诸如定位支架或导管。界标(例如，肾脏中的血管)和/或部分(例如，瓣膜、心脏腔室或血管分叉)可以被分段。训练使用来自数据库的样本，诸如患者扫描的样本，以及来自那些扫描的分段的基础真值来训练模型。
可以使用任何机器学习生成网络，诸如完全卷积神经网络。生成网络例如是图像到图像卷积深度学习网络。作为另一示例，可以使用编码器-解码器对。在又一示例中，使用具有或不具有跳过连接的UNet。可以使用具有或不具有卷积的其它神经网络。生成器接收图像作为输入，并且学习生成合成图像作为输出。
生成器将成像数据编码成几个独立的潜在变量，并通过对潜在变量进行采样来生成合成数据。在深度学习中，通过机器训练来学习潜在变量。生成网络返回先验对数似然，并且被实现为分段可微分函数，诸如在深度学习中使用。例如，生成网络是使用受限波尔兹曼机、深度置信网络、神经自回归密度估计器、变化自动编码器、其扩展或用于生成建模的其他深度学习方法的深度学习模型。在一个实施例中，经训练的深度生成网络是具有j个卷积层和k个全连接层的集合的深度神经网络，每个层后面跟随有非线性激活函数、用于特征减少的池化层的集合、以及用于图像生成的比例放大层的集合。在该架构中通常有两个部分，一个部分(例如，编码器)使用池化层将学习的过滤器与增加的抽象卷积，并且后一部分(例如，解码器)使用比例放大层将学习的过滤器与减少的抽象卷积。可以使用任何抽象(特征减少)量和对应的比例放大。可以使用其他的层布置。可以使用具有更多或更少部分的任何布置的任何数量的任何类型的层。
输入成像数据可以是随时间的2D切片、3D厚片、3D体积或4D体积中的一个。可以提供任何数量的输出通道。每个输出通道表示合成图像。
为了训练生成器，输出的对数似然被最大化。生成器通过图像中的位置对表示位置或幅度的特征(即卷积层的内核)进行编码。由于生成训练是无监督的，所以训练不需要好图像和坏图像的匹配对，而这在医学环境中是难以大规模获取的。
对生成器的深度学习使用判别器网络。使用生成对抗训练。判别器网络是被训练以确定输出距离或分段是基础真值(即，训练数据)还是由生成器合成地创建的神经网络。使用对抗训练可以增加由生成器的距离或分段生成的准确度。使用第二网络(即判别器网络)在所生成的距离和基础真值距离之间进行判定允许对正在训练的生成器的结果的改进。
图2示出了示例性训练布置和对应的网络。在图2的示例中，训练数据使用超声体积20作为输入样本，并且使用3D中的位置的带符号的差作为基础真值23。"pred"和"GT"分别指预测和基础真值。生成器21被示出为具有跳过连接和瓶颈连接的UNet或编码器-解码器。
来自生成器21的输出(即，图像空间中的估计距离)用于输入到判别器网络28以进行对抗训练，并且用于通过用于形状先验的流形25来确定形状空间中的形状参数以用于训练生成器21。
判别器网络28包括任何层架构。在一个示例中，判别器网络具有与生成器21类似的卷积层和池化层的下采样架构部分(例如，编码器)，但是到达一个或多个完全连接层以在基础真值23和所生成的距离22之间进行判别。完全连接层可以是用于输出二元指示的软max（最大）层，诸如作为所生成/合成或基础真值的标签。
附加的、不同和/或更少的层或层的类型可被用于生成器21和/或判别器网络28。可以使用跳过连接(即，将特征向前馈送到非相邻层)、反馈和/或最大池化指数。
来自训练判别器网络28的结果被用于进一步训练生成器21。使用迭代过程，其中两个网络彼此传递结果用于训练。生成器21使用判别器网络28的输出作为充分性的指示(即，判别器网络28告知与基础真值的差的能力将被最小化)。判别器网络28使用生成器21的输出作为输入以学习去进行判别。
一旦被训练，生成器21就在没有判别器网络28和/或没有流形25的情况下被应用。生成器21响应于成像数据的输入而输出指示分段的距离。
为了训练，优化权重、连接、卷积内核或其它可学习参数的值。可以使用任何优化，诸如亚当（Adam）。可以使用任意数量的时程（epoch）进行迭代训练。
优化使用一个或多个损失来操作。生成器21被机器训练为基于不同的损失输出分段(例如，距边界的差)。在图2的例子中，使用了三种损失-重建(图像空间分段)损失(Lrecon)、对抗损失(LDisc)和形状损失(Lb)。可以使用附加的、不同的或更少的损失。例如，不使用重建损失和/或对抗损失。
在优化中，损失可以被组合以优化生成器21。可以使用任何组合，诸如加权和。基于损失之间的期望的或经验重要性来分配权重。
在形状空间以及图像空间中完成形状GAN的优化(例如，利用由流形25提供的形状空间的生成器21和判别器网络28)。在一个实施例中，完全卷积生成器21通过带符号的距离函数(SDF)的位置来预测值，其中每个体素的值表示其距基础真值轮廓(例如，对象边界)的最短的带符号的距离。图像空间中的损失使用这些逐像素或逐体素的距离值。形状空间中的损失使用从估计距离导出的较低维度信息(例如，流形空间)。可以使用其他基于形状的损失，诸如使用轮廓距离度量直接惩罚与平均形状的偏差的损失项。
可以使用任何损失函数。例如，使用L1或L2损失。不同的损失函数可被用于不同的损失。在一个实施例中，平滑L1损失用于图像空间中的重建损失和形状空间中的形状损失。可以使用Huber损失。可以使用形状空间优化的任何损失或生成器重建损失。均方误差(MSE)可以用于一种或两种损失。平滑L1可有助于在优化中的收敛。
对于形状损失，使用较低维度形状空间。较低维度空间低于估计的图像空间。例如，处理数千个距离值(例如，针对3D中每一个体素的一个距离值)以降低值的数量。该形状空间是从流形或无监督学习创建的。流形25或其他形状空间过程可以包括在机器学习期间调整的可学习参数。替代地，在训练中，流形25或其它形状空间过程被设置或不可变。
在一个实施例中，形状空间被形成为特征值。主分量分析(PCA)生成特征值的特征矩阵bpred作为形状空间。形状损失由作为形状参数的特征值来确定。在图2的示例中，由生成器21输出的估计的带符号距离22被矢量化。距离被线性化。可以使用其他格式改变。矢量化距离24由流形25来处理。例如，训练数据的所有线性化SDF的矩阵的特征矢量通过主分量分析(PCA)来计算，使用该特征矩阵(W)变换每个数据样本以获得样本的低维度特征值(b)26。误差或形状损失Lb是在这些特征值26内相对于来自基础真值距离23的特征值bGT 27来计算的。形状损失使得能够在较低维度形状空间而不是较高维度图像空间中进行优化。
为了使用对抗损失进行优化，使用不同的输入对来训练判别网络28。为了区分生成的距离和实际距离，输入基础真值距离23和生成器估计距离22的对以及基础真值距离23和原始成像数据20的对。替代地，仅使用基础真值距离23和预测距离22。判别器网络28的二元输出被用于确定对抗损失LDisc。这种对抗损失使用图像空间中的数据作为输入，因此与图像空间损失有关。在SDF22、23上计算对抗损失，因此用作约束来保持解剖结构的可行形状，从而允许预测复杂的解剖结构。
重建损失Lrecon是图像空间中的损失。在逐像素或逐体素的基础上的估计距离22与基础真值距离23的差提供损失，诸如使用平滑L1损失。在优化中包括重建损失可以加速收敛。
一旦被训练，生成器21就具有基于通过使用训练数据的多次迭代的各种损失的可学习参数的值。由于在优化中包括不同的损失，因此所得到的生成器21与使用不同损失的情况不同。结果，生成器21不同地操作，并且可以提供与不同地训练的生成器21不同的结果。
在图1的动作14中，存储学习的或训练的生成器。生成器是具有用于可学习参数的学习值(例如，卷积内核)和用于其他参数的设置值的矩阵或架构。存储机器学习网络以应用于给定未见患者的输入特征矢量。
学习网络或生成器存储在具有训练数据的存储器或其它存储器中。例如，学习网络的副本被分发到不同医学扫描仪或在其上以供医院或医学实践中使用。作为另一示例，将副本存储在一个或多个服务器的存储器中，以用于作为服务或远程分段的分段。
图3示出了用于在医学成像***中进行分段的方法。所述分段使用了机器学习生成网络来定位一个或多个对象作为分段。确定一个或多个对象的一个或多个位置。
图1的方法以所示的次序(例如，从上到下或数字)或不同的次序来实现。例如，动作34可以在动作36之后执行和/或作为动作38的一部分来执行。
可以执行附加的、不同的或更少的动作。例如，在从存储器或通过传输提供数据的情况下，可以省略动作30。作为另一示例，不执行动作36和/或28。
方法由医学成像***实现，诸如用于根据医学扫描进行图像处理的任何***。医学成像***可以是医学诊断成像***、检查站、工作站、计算机、图片存档与通信***(PACS)站、服务器、移动设备、其组合或另一图像处理器。例如，用图4中所示或所述的***实现了该方法，但是可以使用其它***。与存储器(例如PACS数据库或云存储)、显示器和/或医学扫描仪交互的任何类型的***的硬件处理器可以执行这些动作。
所述动作可以自动地执行。用户使患者被扫描或从先前扫描获得患者的扫描数据。用户可以激活该过程。一旦被激活，对象就被分段，并且分段图像就被输出到显示器或医学记录。可以避免在任何扫描数据中的解剖结构的位置的用户输入。由于用于分段的生成网络，不太可能需要对分段的用户校正。可提供一些用户输入，诸如用于改变建模参数值、校正所检测的位置和/或确认准确性。
在动作30中，医学扫描仪扫描患者。医学扫描仪生成表示患者的成像数据。图像或成像数据可由医学扫描仪获得或在医学扫描仪内获得。替代地，获取是来自存储装置或存储器的，诸如从图片存档与通信***(PACS)获取先前创建的数据集。处理器可以从医学记录数据库提取数据。
成像数据可以是任何格式的。虽然使用术语图像和成像，但是图像或成像数据可以是在图像的实际显示之前的格式。例如，医学成像数据可以是以不同于显示格式的笛卡尔或极坐标格式表示不同位置的多个标量值。作为另一个示例，医学图像可以是输出到显示器用于以显示格式生成图像的多个红、绿、蓝(例如RGB)值。医学图像可以是显示器中当前或先前显示的图像或另一种格式。成像数据是可用于成像的数据集，诸如扫描数据或表示患者的所生成的图像。
可以使用任何类型的医学成像数据和对应的医学扫描仪。在一个实施例中，成像数据是用计算机断层摄影(CT)***获取的CT图像。例如，可以通过扫描肺部来获取胸部CT数据集。对于CT，来自检测器的原始数据被重建为三维表示。作为另一示例，利用MR***获取表示患者的磁共振(MR)数据。使用用于扫描患者的成像序列来获取数据。获取表示患者体内区的K空间数据。执行傅立叶分析以将数据从k-空间重构到三维对象或图像空间中。在又一示例中，数据可以是超声数据。波束形成器和换能器阵列声学地扫描患者。极坐标数据被检测并波束形成为表示患者的超声数据。
医学成像数据表示患者的组织、流体和/或骨骼结构。在其他实施例中，医学图像表示功能(诸如灌注)以及结构两者。
医学成像数据表示患者的2D或3D区。例如，医学成像数据将患者的区域或切片表示为像素值。作为另一个示例，医学成像数据表示体素的体积或三维分布。三维表示可以被格式化为堆叠或多个二维平面或切片。为以二维或三维分布的多个位置中的每一个提供值。医学成像数据被获取为一个或多个数据帧。数据帧表示在给定时间或时段的扫描区。数据集可以表示随时间的面积或体积，诸如提供患者的4D表示。
在动作32中，图像处理器对成像数据中表示的对象进行分段。分段提供了对诸如对象的边界或任何部分的对象的位置的估计。在一个实施例中，分段指示对象边界的概率，诸如到边界的距离的估计，其中最短距离指示了边界。可以使用识别给定一个或多个对象的位置的任何分段。分段将成像数据中表示的一个对象与另一个对象区分开。
为了进行分段，图像处理器将机器学习生成网络应用于成像数据。机器学习生成模型定位了对象。图像处理器可以使用由机器学习生成网络估计的输出来进行滤波、阈值处理、骨架化或进一步的图像处理，以识别对象。替代地，输出估计识别了对象。距离识别了对象。
生成网络的应用导致创建合成图像。合成图像可以是表示与对象的边界或轮廓的接近度的距离的空间分布。在其他实施例中，合成图像可以是相同的成像数据，但是也包括用于边界或对象的标签。生成网络生成标签。替代地，生成网络生成包括标签的成像数据。合成成像数据可以具有添加到扫描数据或图像的标签，诸如具有用特定颜色突出显示对象的值。
生成模型可以在二维或三维中定位。对象可以在4D成像数据中随时间而定位。
为了进行分段，将来自患者的扫描的成像数据输入到机器学习生成网络中。诸如被学习为卷积深度网络的经训练的图像到图像网络之类的网络响应于输入来生成分段或对象位置。例如，从成像数据生成按像素或体素的距边界的带符号距离的分布。
机器学习生成网络是使用判别器和判别损失来进行对抗训练的。判别器不在应用中使用。机器学习生成网络是利用形状空间中的优化来训练的。使用流形或无监督学习将估计的距离转换成作为较低维度空间的形状空间。例如，形状空间是来自带符号距离函数的主分量分析的特征矩阵。在应用中可以不使用形状空间。训练生成网络的优化使用图像空间中的重构损失、形状空间中的形状损失和对抗损失。一旦被训练，生成网络就不计算损失。相反，生成网络如通过优化所训练的那样操作以从成像数据的输入生成合成图像，诸如带符号的距离。
在动作34中，图像处理器生成图像并使该图像输出在诸如屏幕的显示器上。基于分段，所述图像是所述对象的图像。仅显示对象。替代地，对象被突出显示并与成像数据中表示的其他组织或对象一起显示。例如，从成像数据生成图像。对象在图像中被突出显示，诸如被着色、以不同的亮度显示、或被注释(用符号或字母数字文本标记)。
图像可以是患者体内的2D平面或区域的图像。图像可以是通过患者和/或对象的横截面。替代地，图像是三维分布到二维显示器、3D全息显示器、增强现实显示器或虚拟现实显示器的渲染。
在动作36中，图像处理器根据由机器学习生成网络输出的距离函数来确定形状空间的形状参数。在应用中，使用形状空间。给定患者的估计距离或成像数据被矢量化并被变换到较低维度形状空间。特定患者的形状参数(例如，bpred)的所得到的值被用作专门的标记以给出有价值的信息。
在动作38中，患者的形状参数的值用于辅助诊断。将所述辅助输出到医学记录和/或显示器。例如，将注释添加到分段的图像。注释指示了关于从形状参数的值确定的对象的类别或其它信息。可以输出推荐，诸如用于进一步研究、分段中的置信度水平和/或要应用的其他后处理。
形状参数的值可以与分布或阈值进行比较以辅助诊断。形状参数的特性可以被计算并用于辅助诊断。
在一个实施例中，bpred的"正态"分布由训练集来定义。从训练数据确定形状参数的值的平均分布。可以确定不同类别的值的分布。可以将患者的分布与一个或多个正态分布或参考分布进行比较，以确定类别成员关系或相似性。
可以基于患者的形状参数与参数的参考分布的比较来对患者中的对象进行分类。例如，位于所接受分布的边缘上的bpred可以被认为是异常。因此，形状参数的值可以用于执行动态异常检测。作为另一个示例，次等分分段可以通过其形状参数的异常值来检测。
在另一个实施例中，比较被用于指示分段中的置信度。例如，作为bpred距离的函数从bpred分布的均值导出分段质量的置信度的度量。与超过一个或多个阈值的形状参数值的距离相关联的较低置信度可以用于自动向放射科医师调用专家审查或突出显示的较低置信度。
可以使用形状参数的值来执行其他分类。例如，使用参考心脏和针对成人心脏、儿童心脏、病理情况或另一类别的对应形状参数分布的数据库来创建针对不同类别的形状参数的参考值。特定患者的特征值用于将患者分成这些各种类别。然后，可以使用分类来基于种类(即，用于不同类别的不同网络)选择机器学习生成网络或其他后处理算法。
异常患者的值bpred可被用于增强训练。通过发现异常患者并将成像数据包括为用于细化或重新训练的样本来改进训练集。这些值可被用于找到相似的情况(用作功能和解剖相似性度量的值)。
可以通过距离度量实现该比较，例如形状参数值之间的平均或加权平均差。替代地，在形状参数上训练分类器，例如朴素贝叶斯分类器、支持矢量机或决策树，以明确地获得特定异常、病理、人口统计群组或类别的标记。经训练的模型响应于形状参数的值的输入而输出类别成员关系或其他信息。
图4示出了用于对象定位的***40。***40实现图1、图3的方法或另一方法。在一个实施例中，***40用于应用机器学习生成网络。给定输入成像数据，***40使用生成网络来生成用于在成像数据中表示的对象的定位的空间分布。虽然下面在应用先前学习的生成网络的上下文中描述了***40，但是***40还可以用于使用具有或不具有重构的形状损失和/或对抗损失来对生成网络进行机器训练。
***40包括图像处理器44、存储器46、显示器48和医学扫描仪42。图像处理器44、存储器46和显示器48被示为与医学扫描仪42分开，诸如作为工作站、计算机或服务器的一部分。在替代实施例中，图像处理器44、存储器46和/或显示器48是医学扫描仪42的一部分。在又其他实施例中，***40不包括医学扫描仪42。可以使用附加的、不同的或更少的组件。
医学扫描仪42是CT、MR、超声、相机或用于扫描患者的肺的其他扫描仪。在一个实施例中，医学扫描仪42是CT***，其具有安装到可移动台架上的x射线源和检测器，用于患者的上部躯干的三维扫描。医学扫描仪42的图像处理器44或其他处理器执行计算机断层摄影以确定在三维中组织对X射线的响应的标量值。在另一实施例中，医学扫描仪42是超声扫描仪。由换能器基于发射波束形成器生成的电信号来生成声能。接收波束形成器响应于来自患者体内不同位置的回波而生成样本。
扫描提供了表示患者体内的扫描数据。医学扫描仪42通过用户设置或预设而配置为扫描患者，从而产生表示患者体内的对象的全部或至少一部分的扫描数据。该成像数据是任何格式的，例如是分布在规则或均匀分散的3D网格(即，均匀体素)中的标量值。
存储器46是缓冲器、高速缓存、RAM、可移除介质、硬盘驱动器、磁、光、数据库或其它现在已知或以后开发的存储器。存储器46是单个设备或两个或多个设备的组。存储器46被示出为与图像处理器44相关联或作为其一部分，但是也可以在***40的其他部件之外或远离其他部件。例如，存储器46是存储来自医学扫描仪42的扫描数据的PACS数据库。
存储器46存储扫描或图像数据、机器学习生成或图像到图像网络45、和/或在图像处理中用于对对象进行分段的信息。为了训练，训练数据(即，输入特征矢量和基础真值)被存储在存储器46中。
存储器46附加地或替代地是具有处理指令的非暂时性计算机可读存储介质。存储器46存储表示可由编程的图像处理器44执行的指令的数据。用于实现这里讨论的过程、方法和/或技术的指令被提供在计算机可读存储介质或存储器上，所述计算机可读存储介质或存储器诸如高速缓存、缓冲器、RAM、可移除介质、硬盘驱动器或其它计算机可读存储介质。机器学习生成或图像到图像网络45可以被存储为用于分段的指令的一部分。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或上的一组或多组指令来执行附图中示出的或本文描述的功能、动作或任务。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码等来执行。同样，处理策略还可以包括多处理、多任务、并行处理等。
在一个实施例中，指令被存储在可移除介质设备上以供本地或远程***读取。在其它实施例中，指令被存储在远程位置以通过计算机网络或通过电话线传输。在又其它实施例中，指令被存储在给定计算机、CPU、GPU或***内。
图像处理器44是通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、数字电路、模拟电路、人工智能处理器、其组合、或用于应用机器学习图像到图像网络45和/或分段的其它现在已知或以后开发的设备。图像处理器44是单个设备、多个设备或网络。对于多于一个的设备，可使用处理的并行或顺序分区。构成图像处理器44的不同设备可以执行不同的功能，诸如一个处理器通过应用图像到图像网络85进行分段，并且另一处理器基于形状参数的值进行分类。在一个实施例中，图像处理器44是医学诊断成像***(例如，医学扫描仪42)的控制处理器或其他处理器。图像处理器44是硬件设备，其由存储的指令、设计(例如，专用集成电路)、固件或硬件配置或根据存储的指令、设计(例如，专用集成电路)、固件或硬件操作以执行本文描述的各种动作。
图像处理器44被配置为利用机器学习图像到图像网络来定位图像数据中表示的对象。图像数据或从其导出的特征被输入到图像网络，作为响应其生成了分段。诸如对象边界的对象位置由图像到图像网络基于网络的先前训练来生成。
机器学***滑L1损失对特征值进行训练。在训练优化中还可能使用了其他损失，诸如图像空间中的重建损失和/或对抗损失。
基于过去的训练，机器学习图像到图像网络45被配置为输出距对象边界的按像素或体素的距离。训练中的损失是基于距离的。
图像处理器44可以被配置为从图像数据确定形状空间参数。例如，诸如估计距离或另一分段的所生成的图像被线性化(例如，矢量化)和变换，诸如利用主分量分析、其他流形或无监督模型。变换确定了形状参数的值。
图像处理器44可以被配置为使用给定患者的形状空间参数的值来辅助诊断、预后和/或治疗。例如，图像处理器44从形状空间参数检测对象的特性，从形状空间参数识别类似的情况，和/或从形状空间参数识别对象的位置的置信度。
图像处理器44可以生成图像。图像到图像网络输出(例如，分段)被用于生成图像。图像是患者的图像，其具有不同部分(诸如对象)的突出显示或相对指示。可以生成表示对象的任何分段图像或任何图像。除了仅示出所检测的组织的图像(即，用于分段的突出显示或图形)之外，该图像还提供了对象的附加可视化。
显示器48是CRT、LCD、等离子、投影仪、打印机或其它输出设备，用于示出图像处理器44和/或医学扫描仪42的图像或其它输出。显示器48被配置为通过存储创建的图像的图像平面存储器来显示对象的图像。可以显示作为所定位的对象的函数的任何图像。
尽管上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明范围的情况下，可以进行许多改变和修改。因此，意图在于，前面的详细描述应被认为是说明性的而不是限制性的，并且应当理解，正是包括所有等同替换物的以下权利要求意图限定本发明的精神和范围。
Claims (20)
1.一种用于在医学成像***中进行分段的方法，所述方法包括：
由医学扫描仪扫描患者，所述扫描提供了表示患者的第一成像数据；
由图像处理器对在第一成像数据中表示的对象进行分段，所述分段使用应用于第一成像数据的机器学习生成网络，所述机器学习生成网络已经利用在形状空间中的优化而被对抗训练；以及
在显示器上基于所述分段输出对象的图像。
2.根据权利要求1所述的方法，其中，扫描包括利用作为超声***的所述医学扫描仪进行扫描。
3.根据权利要求1所述的方法，其中，分段包括将机器学习生成网络应用为图像到图像卷积深度学习网络。
4.根据权利要求1所述的方法，其中，分段包括利用已经被训练的机器学习生成网络进行分段，其中，所述形状空间包括来自流形或无监督学习的较低维度空间。
5.根据权利要求4所述的方法，其中，分段包括利用已经被训练的机器学习生成网络进行分段，其中所述形状空间包括来自带符号距离函数的主分量分析的特征矩阵。
6.根据权利要求1所述的方法，其中，分段包括利用已经被训练的机器学习生成网络进行分段，其中所述优化包括图像空间中的第一损失和形状空间中的第二损失。
7.根据权利要求1所述的方法，其中，分段包括用被训练成输出距对象的边界的按像素或体素的带符号距离的机器学习生成网络进行分段。
8.根据权利要求1所述的方法，其中，分段包括利用已经利用判别器使用来自按体素或像素的距离的输入的对抗损失训练的机器学习生成网络进行分段。
9.根据权利要求1所述的方法，还包括：
根据由所述机器学习生成网络输出的距离函数来确定形状空间中的形状参数；以及
基于形状参数与参数分布的比较来对所述对象进行分类。
10.根据权利要求1所述的方法，还包括：
根据由机器学习生成网络输出的距离函数来确定形状空间中的形状参数；以及
基于形状参数与参数分布的比较来指示分段中的置信度。
11.一种用于对象定位的***，所述***包括：
医学扫描仪，被配置为扫描患者，所述扫描导致表示患者的图像数据；
图像处理器，被配置为利用机器学习图像到图像网络来定位图像数据中表示的对象，所述机器学习图像到图像网络已经使用形状先验来训练；以及
显示器，被配置为根据所定位的对象来显示图像。
12.根据权利要求11所述的***，其中，所述机器学习图像到图像网络被配置为输出距对象边界的按像素或体素的距离，并且利用对距离的对抗损失来训练。
13.根据权利要求11所述的***，其中，所述形状先验包括特征值，并且其中，所述机器学***滑L1损失来训练的。
14.根据权利要求11所述的***，其中，所述机器学习图像到图像网络是使用图像空间中的第一损失和形状空间中的第二损失来训练的。
15.根据权利要求11所述的***，其中，所述图像处理器被配置为从图像数据确定形状参数，并且从形状参数检测对象的特性。
16.根据权利要求11所述的***，其中，所述图像处理器被配置为从图像数据确定形状参数，并且从形状参数识别相似情况。
17.根据权利要求11所述的***，其中，所述图像处理器被配置为从图像数据确定形状参数，并且从形状参数识别对象的位置的置信度。
18.一种对用于分段的模型进行机器训练的方法，所述方法包括：
对生成器进行机器训练以基于形状损失和对抗损失输出分段；以及
存储经训练的生成器。
19.根据权利要求18所述的方法，还包括生成作为距对象边界的按体素或像素的距离的基础真值，其中所述形状损失是基于距离中的形状的平滑L1损失，而所述对抗损失是图像空间中的距离的。
20.根据权利要求18所述的方法，其中，机器训练包括基于形状损失、对抗损失和图像损失对生成器进行机器训练作为完全卷积神经网络，所述形状损失基于来自由生成器输出的分段的线性化的特征值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19190567.8A EP3772721A1 (en) | 2019-08-07 | 2019-08-07 | Shape-based generative adversarial network for segmentation in medical imaging |
| EP19190567.8 | 2019-08-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112348908A true CN112348908A (zh) | 2021-02-09 |
Family
ID=67587401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010788621.6A Pending CN112348908A (zh) | 2019-08-07 | 2020-08-07 | 用于医学成像中分段的基于形状的生成对抗网络 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11464491B2 (zh) |
| EP (1) | EP3772721A1 (zh) |
| CN (1) | CN112348908A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112927211A (zh) * | 2021-03-09 | 2021-06-08 | 电子科技大学 | 一种基于深度三维检测器的通用对抗攻击方法、存储介质和终端 |
| CN115148330A (zh) * | 2022-05-24 | 2022-10-04 | 中国医学科学院北京协和医院 | Pop治疗方案形成方法及*** |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220284585A1 (en) * | 2021-03-02 | 2022-09-08 | Novocure Gmbh | Methods and Apparatuses for Visualization of Tumor Segmentation |
| EP4053752A1 (en) * | 2021-03-02 | 2022-09-07 | Koninklijke Philips N.V. | Cnn-based image processing |
| CN113298036B (zh) * | 2021-06-17 | 2023-06-02 | 浙江大学 | 一种无监督视频目标分割的方法 |
| CN113505885B (zh) * | 2021-06-29 | 2024-05-03 | 中国科学院深圳先进技术研究院 | 基于预设的损失函数的单目深度估计网络的训练方法 |
| CN113781488A (zh) * | 2021-08-02 | 2021-12-10 | 横琴鲸准智慧医疗科技有限公司 | 舌象图像的分割方法、装置及介质 |
| CN114049344A (zh) * | 2021-11-23 | 2022-02-15 | 上海商汤智能科技有限公司 | 图像分割方法及其模型的训练方法及相关装置、电子设备 |
| CN114612618A (zh) * | 2022-03-15 | 2022-06-10 | 腾讯医疗健康(深圳)有限公司 | 图像生成方法、装置、设备、存储介质及计算机程序产品 |
| CN114638851B (zh) * | 2022-05-17 | 2022-09-27 | 广州优刻谷科技有限公司 | 一种基于生成对抗网络的图像分割方法、***及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040264778A1 (en) * | 2003-06-27 | 2004-12-30 | Jianming Liang | System and method for the detection of shapes in images |
| CN104680529A (zh) * | 2015-02-26 | 2015-06-03 | 浙江工业大学 | 基于形状先验和相似性约束的颈动脉内外壁自动分割方法 |
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| CN108805877A (zh) * | 2017-05-03 | 2018-11-13 | 西门子保健有限责任公司 | 对于医学成像中的n维分割的多尺度深度强化机器学习 |
| CN108898606A (zh) * | 2018-06-20 | 2018-11-27 | 中南民族大学 | 医学图像的自动分割方法、***、设备及存储介质 |
| US20190066281A1 (en) * | 2017-08-24 | 2019-02-28 | Siemens Healthcare Gmbh | Synthesizing and Segmenting Cross-Domain Medical Images |
-
2019
- 2019-08-07 EP EP19190567.8A patent/EP3772721A1/en active Pending
-
2020
- 2020-05-28 US US16/885,517 patent/US11464491B2/en active Active
- 2020-08-07 CN CN202010788621.6A patent/CN112348908A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040264778A1 (en) * | 2003-06-27 | 2004-12-30 | Jianming Liang | System and method for the detection of shapes in images |
| CN104680529A (zh) * | 2015-02-26 | 2015-06-03 | 浙江工业大学 | 基于形状先验和相似性约束的颈动脉内外壁自动分割方法 |
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| CN108805877A (zh) * | 2017-05-03 | 2018-11-13 | 西门子保健有限责任公司 | 对于医学成像中的n维分割的多尺度深度强化机器学习 |
| US20190066281A1 (en) * | 2017-08-24 | 2019-02-28 | Siemens Healthcare Gmbh | Synthesizing and Segmenting Cross-Domain Medical Images |
| CN108898606A (zh) * | 2018-06-20 | 2018-11-27 | 中南民族大学 | 医学图像的自动分割方法、***、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| MARKUS A. DEGEL等: "Domain and Geometry Agnostic CNNs for Left Atrium Segmentation in 3D Ultrasound", 《ARXIV》, vol. 1805, 20 April 2018 (2018-04-20), pages 1 - 4 * |
| 刘忠利等: "基于深度学习的脊柱CT图像分割", 《计算机应用与软件》, vol. 35, no. 10, 31 October 2018 (2018-10-31), pages 200 - 204 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112927211A (zh) * | 2021-03-09 | 2021-06-08 | 电子科技大学 | 一种基于深度三维检测器的通用对抗攻击方法、存储介质和终端 |
| CN112927211B (zh) * | 2021-03-09 | 2023-08-25 | 电子科技大学 | 一种基于深度三维检测器的通用对抗攻击方法、存储介质和终端 |
| CN115148330A (zh) * | 2022-05-24 | 2022-10-04 | 中国医学科学院北京协和医院 | Pop治疗方案形成方法及*** |
| CN115148330B (zh) * | 2022-05-24 | 2023-07-25 | 中国医学科学院北京协和医院 | Pop治疗方案形成方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210038198A1 (en) | 2021-02-11 |
| EP3772721A1 (en) | 2021-02-10 |
| US11464491B2 (en) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11464491B2 (en) | Shape-based generative adversarial network for segmentation in medical imaging | |
| US10607114B2 (en) | Trained generative network for lung segmentation in medical imaging | |
| US10489907B2 (en) | Artifact identification and/or correction for medical imaging | |
| US10223610B1 (en) | System and method for detection and classification of findings in images | |
| EP3639240B1 (en) | A system and computer-implemented method for segmenting an image | |
| US10043088B2 (en) | Image quality score using a deep generative machine-learning model | |
| CN106682435B (zh) | 一种多模型融合自动检测医学图像中病变的***及方法 | |
| US11593943B2 (en) | RECIST assessment of tumour progression | |
| US10691980B1 (en) | Multi-task learning for chest X-ray abnormality classification | |
| Chan et al. | Effective pneumothorax detection for chest X‐ray images using local binary pattern and support vector machine | |
| CN111563523B (zh) | 利用机器训练的异常检测的copd分类 | |
| US20210383534A1 (en) | System and methods for image segmentation and classification using reduced depth convolutional neural networks | |
| CN102938013A (zh) | 医用图像处理装置及医用图像处理方法 | |
| EP1996959A2 (en) | System and method of automatic prioritization and analysis of medical images | |
| JP2011526508A (ja) | 医療用画像の領域分割 | |
| EP3705047B1 (en) | Artificial intelligence-based material decomposition in medical imaging | |
| US20230005140A1 (en) | Automated detection of tumors based on image processing | |
| Jung et al. | Deep learning for medical image analysis: Applications to computed tomography and magnetic resonance imaging | |
| US20220383621A1 (en) | Class-disparate loss function to address missing annotations in training data | |
| Ammari et al. | A review of approaches investigated for right ventricular segmentation using short‐axis cardiac MRI | |
| Ogiela et al. | Natural user interfaces in medical image analysis | |
| Song et al. | A survey of deep learning based methods in medical image processing | |
| EP3872584A1 (en) | Technique for determining an indication of a medical condition | |
| EP3759685B1 (en) | System and method for an accelerated clinical workflow | |
| US20240185577A1 (en) | Reinforced attention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |