CN107767384B - 一种基于对抗训练的图像语义分割方法 - Google Patents

一种基于对抗训练的图像语义分割方法 Download PDF

Info

Publication number
CN107767384B
CN107767384B CN201711075403.2A CN201711075403A CN107767384B CN 107767384 B CN107767384 B CN 107767384B CN 201711075403 A CN201711075403 A CN 201711075403A CN 107767384 B CN107767384 B CN 107767384B
Authority
CN
China
Prior art keywords
network
image
countermeasure training
segmentation
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711075403.2A
Other languages
English (en)
Other versions
CN107767384A (zh
Inventor
高建彬
邓泽露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201711075403.2A priority Critical patent/CN107767384B/zh
Publication of CN107767384A publication Critical patent/CN107767384A/zh
Application granted granted Critical
Publication of CN107767384B publication Critical patent/CN107767384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，公开了一种基于对抗训练的图像语义分割方法，用于解决现有语义分割方法不能实现图像全局信息和局部信息的有意义融合以及不能进行学习图像中的高阶势能的问题。本发明由于基于对抗训练网络来定义整个网络的损失函数，作为通用函数逼近器的对抗网络，不仅可以学习如何组合不同层的信息，而且还可以“迫使”生成网络学习到分割图片中的单点、配对、高阶势能等信息，实现图像局部台特征和全部特征的有机融合，得到效果更加逼真的分割图像；同时逐层训练的方法，避免了复杂的网络初始化参数过程，使得整个网络可以使用随机初始化的方法。

Description

一种基于对抗训练的图像语义分割方法
技术领域
本发明属于计算机视觉技术领域，涉及图像语义分割和对抗训练，具体涉及一种基于对抗训练的图像语义分割方法。
背景技术
随着人工智能的发展及普及，图像语义分割在计算机视觉领域的重要地位日渐凸显。许多应用都需要精确、高效的分割技术，如自动驾驶，室内导航，人机交互等等。近五年来，深度学习方法在计算机视觉领域取得巨大成功，各种网络结构被相继提出用以解决该领域的不同问题，如图像分类、定位等。然而，计算机视觉领域最成功的网络结构卷积神经网络(Convolutional Neural Network，CNN)对于图像语义分割来说，有一个重大的缺点：由于网络结构中大量的最大池化层堆叠，CNN最后获取的特征是整张图片的信息，而忽略了图片的局部特征，如图片中物体的边缘、位置等信息。诚然，CNN的特征不变性正是分类定位任务所要求的，然而图像语义分割指的是将图片中每个像素点归为一个类别，这就要求在获取全局特征的同时，保留局部特征。所以，当CNN直接运用到图像语义分割时，往往不能取得特别好的效果。并且CNN最后的分割结果，各像素之间的预测值往往是相互独立的，这也使得最后的分割结果很难保留原始图片的细节信息。
在现有的比较常见的解决上述问题的方法中，大致可归于以下三类；跨层连接：这是指从卷积神经网络的中间层获取图片局部特征，与网络的高层的全局特征进行融合，这样最后生成的分割图像会保留一部分细节信息。条件随机场：这是一种概率图模型，它利用CNN的分割结果来定义单点势能以及配对势能，接着进行推断来得到模型参数，这种方法迫使CNN的分割结果具有空间上的连续性，可以恢复更多的细节信息。其它结构方面的改变：比如空洞卷积，循环卷积神经网络等。
总体说来，图像语义分割还存在以下问题：
(1)跨层连接对于不同层信息的融合方式过于简单，不能实现图像全局信息和局部信息的有意义融合。
(2)条件随机场只局限于单点势能以及配对势能，并没有采用更高阶的势能，比如超像素的标签的连续性，然而，这些更高阶的势能已经被证明在提升分割的结果中是有意义的。
发明内容
本发明的目的在在于：针对上述技术问题，而提供一种基于对抗训练的图像语义分割方法，利用对抗训练来进行更有效的信息融合以及自动学习分割结果的高阶势能。
为解决技术问题，本发明所采用的技术方案是：
一种基于对抗训练的图像语义分割方法，其特征在于，包括如下步骤：
步骤1：将原始图像输入到卷积神经网络进行前向传递，得到低分辨率分割图像；
步骤2：将步骤1中得到的低分辨率分割图像进行上采样，然后将该上采样与卷积神经网络的中间特征层连接得到连接特征层，再将连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与原始图像的下采样分割结果进行对抗训练，利用梯度下降算法分别更新生成网络G及判别网络D参数，直至对抗训练的网络损失函数收敛；
步骤3：根据步骤2中的选取的上采样次数确定对抗训练的网络的层数，根据网络的层数确定步骤2重复的次数。如果步骤2中进行2次上采样，那么对抗训练中的网络层数为2，即完成第一次步骤2之后再重复一次步骤2；若步骤2中进行3次上采样，那么对抗训练中的网络层数为2，在完成第一次步骤2之后再重复二次步骤2。
所述对抗训练为一种深度网络生成型模型，能够学习真实数据分布，对抗训练包括生成网络G和判别网络D，其中对抗训练网络的损失函数定义如下：
Figure BDA0001456684810000024
其中x代表的真实数据，G(z)表下生成网络生成的数据；D(·)指的是将数据x或G(z)输入判别网络D，判别网络D输出结果取值为[0，1]，判别网络D输出结果取值表示输入是真实数据的可能性，其中判别网络D输出结果值越趋近于0，表明是由生成网络G生成的数据，判别网络D输出结果值越趋近于1，表明是真实数据；生成网络G为了学习真实数据分布Pdata(x)，首先对输入噪声z定义了先验分布Pz(z)，生成网络G生成的数据G(z；θG)，其中θG指的是生成网络的参数；判别网络D(x；θD)输出的一个标量值，代表的是x来自真实数据分布Pdata(x)的概率；其中θD指的是判别网络D的参数。
由上述(1)公式得到，生成网络G的梯度下降算法定义如下：
Figure BDA0001456684810000022
由上述(1)公式得到，生成网络G的梯度下降算法定义如下：
Figure BDA0001456684810000023
其中，m代表的是样本个数。
梯度下降算法指的是沿着模型中参数梯度的负方向，即损失函数变小趋势的方向更新参数，是一种基本的最优化方法。
具体的步骤3中确定好重复次数后，将上一次步骤2中获得的连接特征层进行上采样，然后将该上采样与卷积神经网络对应的中间特征层进行连接得到此次步骤的连接特征层，再将此次步骤的连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与真实图像下采样分割结果进行对抗训练，对抗训练包括生成网络G和判别网络D，利用梯度下降算法分别更新生成网络G的参数及判别网络D的参数，直至对抗训练的网络损失函数收敛。
本发明中，指的是将卷积神经网络(CNN)，即生成网络G，生成的分割图像与真实的分割图像交由一个判别网络D进行判定，判别网络的损失函数的物理意义是使得判别网络尽量区分生成的分割图像与真实的分割图像；而生成网络的损失函数的物理意义是使生成的分割图像尽可能逼近真实的分割图像，尽可能“欺骗”判别网络。
由于本发明基于对抗网络来定义整个网络的损失函数，作为通用函数逼近器的对抗网络，不仅可以学习如何组合不同层的信息，而且还可以“迫使”生成网络学习到分割图片中的单点、配对、高阶势能等信息，实现图像局部台特征和全部特征的有机融合，得到效果更加逼真的分割图像；同时逐层训练的方法，避免了复杂的网络初始化参数过程，使得整个网络可以使用随机初始化的方法。
综上所述，与现有技术相比，本发明具有以下有益效果：
(1)利用对抗网络实现了不同层信息有意义的融合；
(2)利用对抗训练来定义网络的生成图像与真实图像的网络损失函数，可以学习到图片中的高阶势能，生成更加逼真的分割图像；
(3)逐层训练的方式，由低分辨率的分割图像逐渐生成原始图片尺寸的分割图像，使得训练更加稳定，能有效缓解生成网络G陷入“崩溃”模式的情形。同时，这种训练方式使得不同层的输出具有不同的含义，增加了生成网络G的可解释性。
附图说明
图1是本发明一实施例的示意图。
具体实施方式
下面结合实施例对本发明作进一步的描述，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动前提下所获得的其他所用实施例，都属于本发明的保护范围。
本发明的基于对抗训练的图像语义分割方法，包括如下步骤：包括如下步骤：
步骤1：将原始图像输入到卷积神经网络进行前向传递，得到低分辨率分割图像；
步骤2：将步骤1中得到的低分辨率分割图像进行上采样，然后将该上采样与卷积神经网络的中间特征层连接得到连接特征层，再将连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与原始图像的下采样分割结果进行对抗训练，利用梯度下降算法分别更新生成网络G及判别网络D参数，直至对抗训练的网络损失函数收敛；
步骤3：根据步骤2中的选取的上采样次数确定对抗训练的网络的层数，根据网络的层数确定步骤2重复的次数。如果步骤2中进行2次上采样，那么对抗训练中的网络层数为2，即完成第一次步骤2之后再重复一次步骤2；若步骤2中进行3次上采样，那么对抗训练中的网络层数为2，在完成第一次步骤2之后再重复二次步骤2。
所述对抗训练为一种深度网络生成型模型，能够学习真实数据分布，对抗训练包括生成网络G和判别网络D，其中对抗训练网络的损失函数定义如下：
Figure BDA0001456684810000041
其中x代表的真实数据，G(z)表示生成网络生成的数据；D(·)指的是将数据x或G(z)输入判别网络D，判别网络D输出结果取值为[0，1]，判别网络D输出结果取值表示输入是真实数据的可能性，其中判别网络D输出结果值越趋近于0，表明是由生成网络G生成的数据，判别网络D输出结果值越趋近于1，表明是真实数据；生成网络G为了学习真实数据分布Pdata(x)，首先对输入噪声z定义了先验分布Pz(z)，生成网络G生成的数据G(z；θG)，其中θG指的是生成网络的参数；判别网络D(x；θD)输出的一个标量值，代表的是x来自真实数据分布Pdata(x)的概率；其中θD指的是判别网络D的参数。
由上述(1)公式得到.生成网络G的梯度下降算法定义如下：
Figure BDA0001456684810000042
由上述(1)公式得到，生成网络G的梯度下降算法定义如下：
Figure BDA0001456684810000043
其中，m代表的是样本个数。
具体的步骤3中确定好重复次数后，将上一次步骤2中获得的连接特征层进行上采样，然后将该上采样与卷积神经网络对应的中间特征层进行连接得到此次步骤的连接特征层，再将此次步骤的连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与真实图像下采样分割结果进行对抗训练，对抗训练包括生成网络G和判别网络D，利用梯度下降算法分别更新生成网络G的参数及判别网络D的参数，直至对抗训练的网络损失函数收敛。
实施例一
结合附图1，本实施例的基于对抗训练的图像语义分割方法，包括以下步骤：
步骤1：将原始图像输入到卷积神经网络(即生成网络G)进行前向传递，得到低分辨率分割图像；
具体为：设原始图像大小为H×W×3，将原始图像输入到卷积神经网络(即生成网络G)进行卷积池化操作后，得到第一次下采样特征层，尺寸为H/s1×W/s1×Cdown1，然后再将第一次下采样特征层再次进行卷积和池化操作，得到第二次下采样特征层，尺寸为H/(s1×s2)×W/(s1×s2)×Cdown2，重复此过程，可以依次得到第三次下采样特征层，第四次下采样特征层等，这里为简单起见，仅解释具有两个下采样特征层的情况，具有三个及其以上下采样特征层的情况可以依次类推。
步骤2：将步骤1中得到的低分辨率分割图像进行上采样，然后将该上采样与卷积神经网络的中间特征层连接得到连接特征层，再将连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与原始图像的下采样分割结果进行对抗训练，利用梯度下降算法分别更新生成网络G及判别网络D参数，直至对抗训练的网络损失函数收敛；
具体为：
(2.1)将最后一次下采样特征层，这里为第两次下采样特征层进行s2倍上采样，得到第一次上采样特征层，尺寸为H/s1×W/s1×Cup1。然后将该上采样层与同样高度宽度的第一次下采样特征层进行连接，得到尺寸为H/s1×W/s1×(Cdown1+Cup1)的连接特征层，对该特征层进行1×1卷积操作，得到预测概率图predictions1，尺寸为H/s1×W/s1，即得到新的分割结果。
(2.2)利用最近邻插值方法，将真实的分割结果进行S1倍下采样，得到ground_truths1，尺寸为H/s1×W/s1。利用预测分割结果predictions1和真实分割结果ground_truths1进行对抗训练。假设有N张predictions1和相应的ground_truths1，损失函数如下：
损失函数如下：
Figure BDA0001456684810000061
λ[log(D(ground_truths1 (i))+log(1-D(predictions1 (i))] (4)
其中，lmce指的是多元互熵，定义如下：
Figure BDA0001456684810000062
其中，
Figure BDA0001456684810000063
指的是第i个像素点真实值与预测值的误差，即第i个像素点的损失函数。式(5)
的损失函数表示的是所有像素点的损失函数的和。D(′)所代表的含义同公式(1)，λ是超参数，由具体情况确定。
为方便起见，
Figure BDA0001456684810000064
y＝ground_truths1。将式(4)分解，可分别得到生成网络G的损失函数：
Figure BDA0001456684810000065
以及判别网络D的损失函数：
Figure BDA0001456684810000066
生成网络G中的第一部分使得生成网络G可以生成像素级的分割结果，第二部分使得生成的分割结果之中，考虑了像素与像素之间的关联性，即实现了图像全局信息和局部信息的融合。两者所占比例系数由参数λ确定，在实际例子中，采用网格搜索法确定最优参数。
再分别利用式(6)和式(7)最小化损失函数，更新网络参数。需要注意的是，这里参数的更新方式可以采用不同的策略，比如常见的每更新k次判别网络D参数θD，就更新一次生成网络G参数θG；或者是每更新k次生成网络G参数θG，就更新一次判别网络D参数θD。
(2.3)更新网络参数直至损失函数收敛。
步骤3：根据步骤2中的选取的上采样次数，确定网络的层数重复步骤2。
(3.1)将过程2得到的尺寸为H/s1×W/s1×(Cdown1+Cup1)的连接特征层，进行s1倍上采样，得到第二次上采样层，尺寸为H×W×Cup2。然后将该上采样层与同样高度宽度的输入图片进行连接，得到尺寸为H×W×(Cup2+3)的连接特征层，对该特征层进行1×1卷积操作，得到预测概率图predictions1，尺寸为H×W，即最终分割结果。
(3.2)真实分割结果为ground_truth，尺寸为H×W，预测分割结果为prediction，尺寸同样为H×W。利用预测分割结果prediction和真实分割结果ground_truth进行对抗训练。假设有N张prediction和相应的ground_truth，剩下过程与(2.2)中所述相同。
(3.3)重复更新网络参数直至损失函数收敛。需要注意的是，此步骤完成后，由于网络预测分割结果图像的尺寸和原始图片尺寸相同，网络已经完成了训练。
需要说明的是：
本申请中公式(1)、(2)、(3)是生成对抗训练网络最基础的公式，需要根据实际的情况做一定的修改。公式(4)、(6)、(7)分别与公式(1)、(2)、(3)一一对应，但是由于用于具体的实际例子，所以形式上有所不同，但是本质依旧是一样的。(2)(3)定义的梯度下降方向，公式(6)(7)定义的是损失函数，两者其实是等价的。公式(5)是对公式(4)的一个解释说明.因为这里用到了具体应用(语义分割)中的损失函数)。

Claims (3)

1.一种基于对抗训练的图像语义分割方法，其特征在于，包括如下步骤：
步骤1：将原始图像输入到卷积神经网络进行前向传递，得到低分辨率分割图像；
步骤2：将步骤1中得到的低分辨率分割图像进行上采样，然后将该上采样后的图像与卷积神经网络中的与上采样层同样高度宽度的中间特征层连接得到连接特征层，再将连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与和其同样高度宽度的真实图像下采样分割结果进行对抗训练，对抗训练包括生成网络G和判别网络D，利用梯度下降算法分别更新生成网络G的参数及判别网络D的参数，直至对抗训练的网络损失函数收敛；
步骤3：根据步骤2中的选取的上采样次数确定对抗训练中网络的层数，根据网络的层数确定步骤2重复的次数；
确定重复的次数后：将上一次步骤2中获得的低分辨率分割图像进行上采样，然后将该上采样后的图像与卷积神经网络中的与上采样层同样高度宽度的中间特征层连接得到连接特征层，再将此次步骤的连接特征层进行1x1卷积操作得到新的分割结果；然后将得到的新的分割结果与和其同样高度宽度的真实图像下采样分割结果进行对抗训练，对抗训练包括生成网络G和判别网络D，利用梯度下降算法分别更新生成网络G的参数及判别网络D的参数，直至对抗训练的网络损失函数收敛。
2.根据权利要求1所述的基于对抗训练的图像语义分割方法，其特征在于，对抗训练的网络损失函数定义如下：
Figure FDA0003285901280000011
其中x代表的真实数据，G(z)表示生成网络生成的数据；D(·)指的是将数据x或G(z)输入判别网络D，判别网络D输出结果取值为[0,1]，判别网络D输出结果取值表示输入是真实数据的可能性；生成网络G为了学习真实数据分布Pdata(x)，首先对输入噪声z定义了先验分布Pz(z)，生成网络G生成的数据G(z；θG)，其中θG指的是生成网络的参数；判别网络D(x；θD)输出的一个标量值，代表的是x来自真实数据分布Pdata(x)的概率；其中θD指的是判别网络D的参数。
3.根据权利要求2所述的基于对抗训练的图像语义分割方法，其特征在于，
由公式(1)得到，生成网络G的梯度下降算法定义如下：
Figure FDA0003285901280000021
由公式(1)得到，判别网络D的梯度下降算法定义如下：
Figure FDA0003285901280000022
公式(2)和公式(3)中，m代表的是样本个数。
CN201711075403.2A 2017-11-03 2017-11-03 一种基于对抗训练的图像语义分割方法 Active CN107767384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711075403.2A CN107767384B (zh) 2017-11-03 2017-11-03 一种基于对抗训练的图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711075403.2A CN107767384B (zh) 2017-11-03 2017-11-03 一种基于对抗训练的图像语义分割方法

Publications (2)

Publication Number Publication Date
CN107767384A CN107767384A (zh) 2018-03-06
CN107767384B true CN107767384B (zh) 2021-12-03

Family

ID=61272191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711075403.2A Active CN107767384B (zh) 2017-11-03 2017-11-03 一种基于对抗训练的图像语义分割方法

Country Status (1)

Country Link
CN (1) CN107767384B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416752B (zh) * 2018-03-12 2021-09-07 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法
CN108492301A (zh) * 2018-03-21 2018-09-04 广东欧珀移动通信有限公司 一种场景分割方法、终端及存储介质
CN110320883A (zh) * 2018-03-28 2019-10-11 上海汽车集团股份有限公司 一种基于强化学习算法的车辆自动驾驶控制方法及装置
CN110363210B (zh) * 2018-04-10 2023-05-05 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
CN108549895A (zh) * 2018-04-17 2018-09-18 深圳市唯特视科技有限公司 一种基于对抗网络的半监督语义分割方法
CN108734211B (zh) * 2018-05-17 2019-12-24 腾讯科技（深圳）有限公司 图像处理的方法和装置
CN108765340B (zh) * 2018-05-29 2021-06-25 Oppo（重庆）智能科技有限公司 模糊图像处理方法、装置及终端设备
CN108921851B (zh) * 2018-06-06 2021-07-09 深圳市未来媒体技术研究院 一种基于3d对抗网络的医学ct图像分割方法
CN108830209B (zh) * 2018-06-08 2021-12-17 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
US11215999B2 (en) * 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
CN108985269B (zh) * 2018-08-16 2022-06-10 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN109598279B (zh) * 2018-09-27 2023-04-25 天津大学 基于自编码对抗生成网络的零样本学习方法
CN109584257B (zh) * 2018-11-28 2022-12-09 中国科学院深圳先进技术研究院 一种图像处理方法及相关设备
CN109902809B (zh) * 2019-03-01 2022-08-12 成都康乔电子有限责任公司 一种利用生成对抗网络辅助语义分割模型
CN110111236B (zh) * 2019-04-19 2022-11-18 大连理工大学 基于渐进式对抗生成网络的多目标草图生成图像的方法
CN110175961B (zh) * 2019-05-22 2021-07-27 艾特城信息科技有限公司 一种基于人脸图像分割对抗思想的去网纹方法
CN110490878A (zh) * 2019-07-29 2019-11-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110414526B (zh) * 2019-07-31 2022-04-08 达闼科技（北京）有限公司 语义分割网络的训练方法、训练装置、服务器和存储介质
CN110490884B (zh) * 2019-08-23 2023-04-28 北京工业大学 一种基于对抗的轻量级网络语义分割方法
CN110826688B (zh) * 2019-09-23 2022-07-29 江苏艾佳家居用品有限公司 一种保障gan模型最大最小损失函数平稳收敛的训练方法
CN111160555B (zh) * 2019-12-26 2023-12-01 北京迈格威科技有限公司 基于神经网络的处理方法、装置及电子设备
CN111192248B (zh) * 2019-12-30 2023-05-05 山东大学 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法
CN111292317B (zh) * 2020-03-11 2022-06-07 四川大学华西医院 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法
CN112801281A (zh) * 2021-03-22 2021-05-14 东南大学 基于量子化生成模型和神经网络的对抗生成网络构建方法
CN113313180B (zh) * 2021-06-04 2022-08-16 太原理工大学 一种基于深度对抗学习的遥感图像语义分割方法
CN113781377A (zh) * 2021-11-03 2021-12-10 南京理工大学 基于对抗性语义引导与感知的红外和可见光图像融合方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015195609A1 (en) * 2014-06-16 2015-12-23 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN107133934A (zh) * 2017-05-18 2017-09-05 北京小米移动软件有限公司 图像补全方法及装置
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN106920206B (zh) * 2017-03-16 2020-04-14 广州大学 一种基于对抗神经网络的隐写分析方法
CN107103590B (zh) * 2017-03-22 2019-10-18 华南理工大学 一种基于深度卷积对抗生成网络的图像反射去除方法
CN107194872B (zh) * 2017-05-02 2019-08-20 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN107122826B (zh) * 2017-05-08 2019-04-23 京东方科技集团股份有限公司 用于卷积神经网络的处理方法和***、和存储介质
CN107194418B (zh) * 2017-05-10 2021-09-28 中国科学院合肥物质科学研究院 一种基于对抗特征学习的水稻蚜虫检测方法
CN107292813B (zh) * 2017-05-17 2019-10-22 浙江大学 一种基于生成对抗网络的多姿态人脸生成方法
CN107274358A (zh) * 2017-05-23 2017-10-20 广东工业大学 基于cGAN算法的图像超分辨恢复技术
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015195609A1 (en) * 2014-06-16 2015-12-23 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107133934A (zh) * 2017-05-18 2017-09-05 北京小米移动软件有限公司 图像补全方法及装置
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Generative Adversarial Nets;Ian J. Goodfellow 等;《arXiv:1406.2661v1》;20140611;第3节、第4节 *
Learning Deconvolution Network for Semantic Segmentation;Hyeonwoo Noh 等;《arXiv:1505.04366v1》;20150519;第3-10页 *
Pyramid Scene Parsing Network;Hengshuang Zhao 等;《arXiv:1612.01105v2》;20170428;第1节、第3.2节、图3 *
Semantic Segmentation using Adversarial Networks;Pauline Luc 等;《arXiv:1611.08408v1》;20161128;第3.2节、图1 *
一种基于标记分水岭的高分辨率遥感影像分割方法;李珀任;《地理与地理信息科学》;20130109;第28卷(第5期);第10-15页 *

Also Published As

Publication number Publication date
CN107767384A (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
CN107767384B (zh) 一种基于对抗训练的图像语义分割方法
CN110321910B (zh) 面向点云的特征提取方法、装置及设备
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN113657388B (zh) 一种融合图像超分辨率重建的图像语义分割方法
CN108345890A (zh) 图像处理方法、装置和相关设备
CN107564009B (zh) 基于深度卷积神经网络的室外场景多目标分割方法
CN108062569B (zh) 一种基于红外和雷达的无人车驾驶决策方法
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN110837811A (zh) 语义分割网络结构的生成方法、装置、设备及存储介质
CN114943963A (zh) 一种基于双分支融合网络的遥感图像云和云影分割方法
CN106910202B (zh) 一种遥感图像地物的图像分割方法及***
CN110188802B (zh) 基于多层特征图融合的ssd目标检测算法
CN113822284B (zh) 一种基于边界注意力的rgbd图像语义分割方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN113449612B (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
CN112016601A (zh) 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN112329801A (zh) 一种卷积神经网络非局部信息构建方法
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
CN113066089A (zh) 一种基于注意力引导机制的实时图像语义分割网络
CN113096239A (zh) 一种基于深度学习的三维点云重建方法
CN114120067A (zh) 一种物体识别方法、装置、设备及介质
CN116863194A (zh) 一种足溃疡图像分类方法、***、设备及介质
CN114066899A (zh) 图像分割模型训练、图像分割方法、装置、设备及介质
CN112767277B (zh) 一种基于参考图像的深度特征排序去模糊方法
Qayyum et al. Deep convolutional neural network processing of aerial stereo imagery to monitor vulnerable zones near power lines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant