CN113627443B - 一种增强特征空间对抗学习的域自适应语义分割方法 - Google Patents

一种增强特征空间对抗学习的域自适应语义分割方法 Download PDF

Info

Publication number
CN113627443B
CN113627443B CN202111178865.3A CN202111178865A CN113627443B CN 113627443 B CN113627443 B CN 113627443B CN 202111178865 A CN202111178865 A CN 202111178865A CN 113627443 B CN113627443 B CN 113627443B
Authority
CN
China
Prior art keywords
feature
discriminator
domain
class
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111178865.3A
Other languages
English (en)
Other versions
CN113627443A (zh
Inventor
陈涛
姚亚洲
孙泽人
沈复民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Code Geek Technology Co ltd
Original Assignee
Nanjing Code Geek Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Code Geek Technology Co ltd filed Critical Nanjing Code Geek Technology Co ltd
Priority to CN202111178865.3A priority Critical patent/CN113627443B/zh
Publication of CN113627443A publication Critical patent/CN113627443A/zh
Application granted granted Critical
Publication of CN113627443B publication Critical patent/CN113627443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种增强特征空间对抗学***衡和特征失真问题以及分类器过度拟合源域特征的问题，促使网络更好地提取域不变特征，提高网络泛化能力的增强特征空间对抗学习的域自适应语义分割算法。

Description

一种增强特征空间对抗学习的域自适应语义分割方法
技术领域
本发明属于无监督域自适应语义分割方法，具体地说，涉及一种增强特征空间对抗学习的域自适应语义分割方法。
背景技术
语义分割的目的是通过标记每个像素来预测输入图像的结构化输出,作为计算机视觉领域的一个重要课题，语义分割在自主驾驶、医学图像分析等领域有着重要的应用。目前的语义分割方法主要是基于深度卷积神经网络的最新进展，随着全卷积网络(fullyconvolutional networks，FCN)的出现，以FCN为骨干网络的语义分割算法取得了巨大的成功。然而，训练深层神经网络需要大量带注释的训练数据。与图像分类任务预测图像的标签不同，语义分割需要对每个像素进行标记，才能预测输入图像的结构化输出，而用于语义分割的像素级注释非常昂贵和耗时。解决语义分割标注问题的一个很有前景的方法是从现代计算机图形学工具提供的合成图像中学习，例如，大量的图像和像素级标签可以从GTA5游戏中自动获取。然而，由于域间显著的差距，例如图像样式和场景布局上的不同，在合成数据集上训练的模型不能很好地泛化到实际图像的分割任务上。
作为解决上述泛化问题的一种方法，无监督域自适应的目的是使在带注释的源域数据集上训练的模型能够较好地迁移到另一个无标记的目标域数据集。当前域自适应的一个最流行的方法是特征空间对抗学习，该类方法致力于为下游任务学习语义上有意义并且领域通用的特征。在特征空间对抗训练中，网络需要训练一个域鉴别器来区分源域和目标域的特征表示，同时，特征生成器被鼓励生成域间不可区分的特征来混淆鉴别器。
生成对抗网络由生成器G和鉴别器D组成，是一种流行的图像合成深度生成模型。 生成对抗网络旨在从噪声变量
Figure 273464DEST_PATH_IMAGE001
生成图像，使得图像能够捕获数据
Figure 190605DEST_PATH_IMAGE002
的分 布。其框架对应一个基于值函数
Figure 534124DEST_PATH_IMAGE003
的双方对抗游戏：
Figure 929333DEST_PATH_IMAGE004
当将对抗学习方法引入到无监督的域自适应语义分割任务中时，需要生成的则是领域不变的特征，而鉴别器则用来预测生成的特征来自哪个领域。
然而，采用传统鉴别器进行特征对抗在自适应方法无法取得令人满意的性能，鉴别器的能力取决于感受野的大小，如果鉴别器感知到太多的上下文特征，可能会过于强大，打破对抗学***衡。尽管特征编码器在训练过程中被期望通过生成域不变特征来混淆鉴别器，从而增强模型泛化能力，但编码器也可能产生失真和模棱两可的特征来欺骗鉴别器，导致网络对源域图像和目标域图像都产生失真和错误的预测。
故而现有技术存在以下缺陷：
（1）尽管在分类任务上已经取得了很大的进展，现有的特征空间自适应方法在用于语义分割任务时，存在对抗训练不平衡问题。由于为分割任务提取的深层特征相比于分类任务包含更加丰富的结构信息，可能会为鉴别器提供过多的领域线索,导致鉴别器可以很容易地区分来自源域和目标域的特征，由于训练平衡被打破，特征编码器无法产生令人满意的域不变特征。
（2）现有特征空间对抗学习方法的另一个问题是原有特征分布容易发生扭曲失真问题，尽管特征生成器致力于提取领域不变的特征来增强网络泛化能力，但它也可能产生失真和模棱两可的特征来欺骗鉴别器，在这种情况下，源域图像和目标域图像都会产生失真和错误的预测。
（3）此外，在特征空间对抗学习中，由于目标域标签的缺失，分类器只能根据源域标签进行参数更新，网络很难生成具有良好结构可分性的目标域特征，使用源域标签训练的分类器容易过度拟合源域特征，无法预测目标域的结构化输出。
发明内容
本发明针对现有的特征空间对抗学***衡、原有特征分布容易发生扭曲失真、无法预测目标域的结构化输出等问题，提出了一种增强特征空间对抗学***衡和特征失真问题以及分类器过度拟合源域特征的问题，促使网络更好地提取域不变特征，提高网络泛化能力的增强特征空间对抗学习的域自适应语义分割算法。
本发明具体实现内容如下：
本发明提出了一种增强特征空间对抗学习的域自适应语义分割方法，基于增强特征空间对抗学习的域自适应语义分割***，包括以下步骤：
步骤1：采用特征编码器对源域图像和目标域图像进行特征提取，生成源域图像特征和目标域图像特征；
步骤2：采用分类约束鉴别器对源域图像特征和目标域图像特征进行特征空间对抗学习；
步骤3：使用对抗学习和伪标签自训练相结合的形式，通过共享分类器对源域图像特征和目标域图像特征进行分割，得到源域图像特征分割图和目标域图像特征分割图；
步骤4：采用类别中心计算模块获取每一类别的源域图像特征分割图和每一类别的目标域图像特征分割图的特征中心，并将源域和目标域对应的同一类别的目标域图像特征分割图和源域图像特征分割图进行特征中心对齐；
所述增强特征空间对抗学习的域自适应语义分割***包括特征提取器、分类约束鉴别器、共享分类器、类别中心计算模块；所述分类约束鉴别器包括与特征提取器连接的分类器和鉴别器；所述共享分类器分别与所述特征提取器、类别中心计算模块连接；所述类别中心计算模块与所述特征提取器连接；所述分类器通过共享除最后一个功能层之外的所有参数来实现对鉴别器的约束；所述分类约束鉴别器通过最后一个功能层分别为分类器和鉴别器预测语义类别和域来源。
为了更好地实现本发明，进一步地，所述步骤2中，在分类约束鉴别器中，采用分类 器组件作为约束，赋予鉴别器源域特征的结构信息，迫使特征编码器从目标域提取包含结 构信息的域不变特征来混淆鉴别器；过程中，将源域图像特征和目标域图像特征输入到分 类约束鉴别器后，使用分类约束鉴别器损失
Figure 743705DEST_PATH_IMAGE005
进行训练，具体公式如下：
Figure 628485DEST_PATH_IMAGE006
；
式中，等号右侧前两项为鉴别器的损失函数，第三项为针对分类器对于源域输出 的辅助分割损失；C表示分类器，c代表类别，D表示鉴别器；
Figure 895518DEST_PATH_IMAGE007
和
Figure 94418DEST_PATH_IMAGE008
表示鉴别器的输出高和 宽；h和w表示输入图像的高和宽；C1表示预定义的类别，
Figure 825614DEST_PATH_IMAGE009
是在训练分类约束鉴别器时控制 辅助分割损失相对重要性的超参数。
为了更好地实现本发明，进一步地，在所述步骤2中，在特征空间对抗学习的过程 中，采用对抗损失函数
Figure 818977DEST_PATH_IMAGE010
来对特征编码器进行训练，通过最大化目标域图像特 征被视为源域图像特征的概率来混淆鉴别器，具体损失函数如下：
Figure 573307DEST_PATH_IMAGE011
；
式中，D表示鉴别器，
Figure 372636DEST_PATH_IMAGE007
和
Figure 896021DEST_PATH_IMAGE008
表示鉴别器的输出高和宽；G表示特征编码器，C表示分 类器；Ft为目标域图像特征。
为了更好地实现本发明，进一步地，所述步骤3中：
对于带有标记的源域数据
Figure 325865DEST_PATH_IMAGE012
：采用预测
Figure 131272DEST_PATH_IMAGE013
和真值标签
Figure 406396DEST_PATH_IMAGE014
之间的交叉熵损失函 数来训练分割网络，具体的损失函数如下：
Figure 49867DEST_PATH_IMAGE015
；
式中，G1表示分割网络，h和w表示输入图像的高和宽，C2表示预定义的类别，c代表类别。
为了更好地实现本发明，进一步地，在所述步骤3中：
对于没有标记的目标域图像特征：在自训练的过程中为目标域图像特征生成伪标签，利用伪标签指导网络更新，具体操作为：
首先，通过预先训练的模型从整个目标域数据
Figure 447350DEST_PATH_IMAGE016
中选择高预测置信度的像素作为 伪标签
Figure 176272DEST_PATH_IMAGE017
，具体选取公式如下：
Figure 255086DEST_PATH_IMAGE018
；
其中，
Figure 815381DEST_PATH_IMAGE019
是第n个像素属于类别c的概率，n=1,2,……,N；
Figure 587027DEST_PATH_IMAGE020
是为每个 类c选择
Figure 537666DEST_PATH_IMAGE021
最可靠伪标签的阈值，代表将被预测为c类的所有像素的概率进行排序， 选择
Figure 482488DEST_PATH_IMAGE022
，使其等于在从高到低排序中处于位置
Figure 834972DEST_PATH_IMAGE023
的概率；Nc是预测为c类的像素数；p表 示伪标签的比例，值介于[0，1]之间；
然后，使用自训练损失函数
Figure 777520DEST_PATH_IMAGE024
来帮助训练分割网络G1，具体公式如下：
Figure 779237DEST_PATH_IMAGE025
；
式中，
Figure 199854DEST_PATH_IMAGE017
为伪标签，C3为预定义的类别，G1为分割网络；h和w分别为输入图像的高 和宽；
Figure 672423DEST_PATH_IMAGE026
为预测。
为了更好地实现本发明，进一步地，所述步骤4的具体操作为：
首先，在训练之前，根据预先训练好的模型为源域和目标域计算每个类别的全局 特征中心
Figure 848190DEST_PATH_IMAGE027
，得到源域的全局特征中心
Figure 773420DEST_PATH_IMAGE028
和目标域的全局特征中心
Figure 60045DEST_PATH_IMAGE029
；
然后，再每次迭代i中，对每个类的全局特征中心进行更新，具体更新公式如下：
Figure 121542DEST_PATH_IMAGE030
；
如果当前训练批次的图像中包含类别c，则以速率
Figure 468210DEST_PATH_IMAGE031
更新类别c的全局特征中心； 如果某类别在当前批次图像中不存在，则保持全局特征中心不变。
为了更好地实现本发明，进一步地，所述全局特征中心
Figure 880737DEST_PATH_IMAGE027
的计算方式为：计算属 于该类的所有像素的特征的平均，具体公式如下：
Figure 908736DEST_PATH_IMAGE032
；
式中，其中
Figure 654100DEST_PATH_IMAGE033
和
Figure 906090DEST_PATH_IMAGE034
分别表示第n个像素的特征和标签；
Figure 494328DEST_PATH_IMAGE035
是指示符函数，如果参 数为真，则输出1，否则输出0。
为了更好地实现本发明，进一步地，所述全局特征中心
Figure 122756DEST_PATH_IMAGE027
的计算方法为：将标签 转换到独热编码，统计属于每个类别的像素个数；然后在对特征沿着通道维度进行softmax 函数处理之后，与独热标签进行矩阵相乘来获得累积的类别特征，然后通过对累积的类别 特征取平均得到类别的全局特征中心
Figure 424424DEST_PATH_IMAGE027
。
为了更好地实现本发明，进一步地，其特征在于，在所述步骤4中，使用如下平分欧 式距离作为特征中心的对齐损失函数
Figure 784998DEST_PATH_IMAGE036
，具体公式为：
Figure 234434DEST_PATH_IMAGE037
。
为了更好地实现本发明，进一步地，所述特征编码器采用预先在ImageNet数据集上进行了预训练的ResNet-101网络。
为了更好地实现本发明，进一步地，对于分割网络G1，采用SGD优化器进行优化，SGD优化器的动量和权重衰减分别为0.9和0.0001，设置初始学习率为0.00025，并使用幂为0.9多项式衰减进行降低。
为了更好地实现本发明，进一步地，采用Adam优化器作为分类约束鉴别器的优化器，设置初始学习率为0.0001，动量为0.9和0.99，并使用幂为0.9多项式衰减进行降低。
为了更好地实现本发明，进一步地，在所述步骤2中，采用对抗损失函数
Figure 604235DEST_PATH_IMAGE038
来对特征编码器进行训练，通过最大化目标域图像特征被视为源域图像特征 的概率来混淆鉴别器，具体损失函数如下：
Figure 494831DEST_PATH_IMAGE039
；
所述步骤3中：
对于带有标记的源域数据
Figure 354203DEST_PATH_IMAGE040
，采用预测
Figure 963039DEST_PATH_IMAGE041
和真值标签
Figure 712031DEST_PATH_IMAGE042
之间的交叉熵损失函 数来训练分割网络，具体的损失函数如下：
Figure 722713DEST_PATH_IMAGE043
；
式中，G1表示分割网络，h和w表示输入图像的高和宽，C2表示预定义的类别，c代表类别；
对于没有标记的目标域图像特征，在自训练的过程中为目标域图像特征生成伪标签，利用伪标签指导网络更新，具体操作为：
首先，通过预先训练的模型从整个目标域数据
Figure 690669DEST_PATH_IMAGE044
中选择高预测置信度的像素作为 伪标签
Figure 786801DEST_PATH_IMAGE045
，具体选取公式如下：
Figure 560722DEST_PATH_IMAGE046
；
其中，
Figure 425909DEST_PATH_IMAGE019
是第n个像素属于类别c的概率，n=1,2,……,N；
Figure 564767DEST_PATH_IMAGE047
是为每个类 c选择
Figure 210512DEST_PATH_IMAGE021
最可靠伪标签的阈值，代表将被预测为c类的所有像素的概率进行排序，选 择
Figure 460227DEST_PATH_IMAGE047
，使其等于在从高到低排序中处于位置
Figure 445501DEST_PATH_IMAGE023
的概率；Nc是预测为c类的像素数；p表示 伪标签的比例，值介于[0，1]之间；
然后，使用自训练损失函数
Figure 817577DEST_PATH_IMAGE048
来帮助训练分割网络G1，具体公式如下：
Figure 888301DEST_PATH_IMAGE049
；
在所述步骤4中，使用如下平分欧式距离作为特征中心的对齐损失函数
Figure 505489DEST_PATH_IMAGE050
，具体 公式为：
Figure 345269DEST_PATH_IMAGE051
；
得到总体损失函数，具体表达式如下：
Figure 825929DEST_PATH_IMAGE052
；
式中，
Figure 180687DEST_PATH_IMAGE053
和
Figure 37785DEST_PATH_IMAGE054
是控制对抗学习损失和特征中心对齐损失的相对重要性的超参 数。
本发明与现有技术相比具有以下优点及有益效果：
（1）本发明采用的分类约束鉴别器将分类组件作为一个辅助分支，用于加强鉴别器来优化对抗学习过程中的特征提取。通过添加分类组件作为约束，赋予鉴别器源域特征的结构信息，将迫使特征生成器从目标域提取包含结构信息的域不变特征来混淆鉴别器，而不是产生不利于自适应分割的模糊或扭曲失真的特征。
（2）在自训练过程中，为未标记的目标域图片生成伪标签，利用伪标签指导网络更新，从而使网络能够从目标域数据中学习分类边界。利用伪标签进行自训练，不仅可以使公共分类器具有更好的适应性，更好地区分不同类别的目标特征，还可以增强特征编码器，为目标域图像提取更具鉴别能力的特征。
（3）通过对齐来自两个域的同一类别的特征中心，可以协助特征空间对抗学习过程中编码器产生域不变的特征，鼓励编码器为不同的类生成更具鉴别能力的特征的同时，为相同类别生成相似的特征。
附图说明
图1为本发明整体流程示意图；
图2为本发明分类约束鉴别器的工作示意图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
本实施例提出了一种增强特征空间对抗学习的域自适应语义分割方法，如图1、图2所示，基于增强特征空间对抗学习的域自适应语义分割***，包括以下步骤：
步骤1：采用特征编码器对源域图像和目标域图像进行特征提取，生成源域图像特征和目标域图像特征；
步骤2：采用分类约束鉴别器对源域图像特征和目标域图像特征进行特征空间对抗学习；
步骤3：使用对抗学习和伪标签自训练相结合的形式，通过共享分类器对源域图像特征和目标域图像特征进行分割，得到源域图像特征分割图和目标域图像特征分割图；
步骤4：采用类别中心计算模块获取每一类别的源域图像特征分割图和每一类别的目标域图像特征分割图的特征中心，并将源域和目标域对应的同一类别的目标域图像特征分割图和源域图像特征分割图进行特征中心对齐；
所述增强特征空间对抗学习的域自适应语义分割***包括特征提取器、分类约束鉴别器、共享分类器、类别中心计算模块；所述分类约束鉴别器包括与特征提取器连接的分类器和鉴别器；所述共享分类器分别与所述特征提取器、类别中心计算模块连接；所述类别中心计算模块与所述特征提取器连接；所述分类器通过共享除最后一个功能层之外的所有参数来实现对鉴别器的约束；所述分类约束鉴别器通过最后一个功能层分别为分类器和鉴别器预测语义类别和域来源。
工作原理：生成对抗网络由生成器G和鉴别器D组成，是一种流行的图像合成深度 生成模型。生成对抗网络旨在从噪声变量
Figure 732071DEST_PATH_IMAGE055
生成图像，使得图像能够捕获数据
Figure 445949DEST_PATH_IMAGE002
的分布。其框架对应一个基于值函数
Figure 491266DEST_PATH_IMAGE056
的双方对抗游戏：
Figure 886475DEST_PATH_IMAGE057
当将对抗学习方法引入到无监督的域自适应语义分割任务中时，需要生成的则是领域不变的特征，而鉴别器则用来预测生成的特征来自哪个领域。
然而，采用传统鉴别器进行特征对抗在自适应方法无法取得令人满意的性能，鉴别器的能力取决于感受野的大小，如果鉴别器感知到太多的上下文特征，可能会过于强大，打破对抗学***衡，去除鉴别器中的任何池化层或跨步卷积可以减小鉴别器的感受野从而平衡对抗训练。尽管特征编码器在训练过程中被期望通过生成域不变特征来混淆鉴别器，从而增强模型泛化能力，但编码器也可能产生失真和模棱两可的特征来欺骗鉴别器，导致网络对源域图像和目标域图像都产生失真和错误的预测。
在自训练过程中，为未标记的目标域图片生成伪标签，利用伪标签指导网络更新，从而使网络能够从目标域数据中学习分类边界。利用伪标签进行自训练，不仅可以使公共分类器具有更好的适应性，更好地区分不同类别的目标特征，还可以增强特征编码器，为目标域图像提取更具鉴别能力的特征。
通过对齐来自两个域的同一类别的特征中心，可以协助特征空间对抗学习过程中编码器产生域不变的特征，鼓励编码器为不同的类生成更具鉴别能力的特征的同时，为相同类别生成相似的特征。
实施例2：
本实施例在上述实施例1的基础上，为了更好地实现本发明，进一步地，所述步骤2 中，在分类约束鉴别器中，采用分类器组件作为约束，赋予鉴别器源域特征的结构信息，迫 使特征编码器从目标域提取包含结构信息的域不变特征来混淆鉴别器；过程中，将源域图 像特征和目标域图像特征输入到分类约束鉴别器后，使用分类约束鉴别器损失
Figure 435268DEST_PATH_IMAGE005
进行训练，具体公式如下：
Figure 585626DEST_PATH_IMAGE058
；
式中，等号右侧前两项为鉴别器的损失函数，第三项为针对分类器对于源域输出 的辅助分割损失；C表示分类器，c代表类别，D表示鉴别器；
Figure 852660DEST_PATH_IMAGE059
和
Figure 51560DEST_PATH_IMAGE060
表示鉴别器的输出高和 宽；h和w表示输入图像的高和宽；C1表示预定义的类别，
Figure 18641DEST_PATH_IMAGE061
是在训练分类约束鉴别器时控制 辅助分割损失相对重要性的超参数。
为了更好地实现本发明，进一步地，在所述步骤2中，在特征空间对抗学习的过程 中，采用对抗损失函数
Figure 277584DEST_PATH_IMAGE062
来对特征编码器进行训练，通过最大化目标域图像特征 被视为源域图像特征的概率来混淆鉴别器，具体损失函数如下：
Figure 31914DEST_PATH_IMAGE063
；
式中，D表示鉴别器，
Figure 831242DEST_PATH_IMAGE059
和
Figure 354628DEST_PATH_IMAGE060
表示鉴别器的输出高和宽；G表示特征编码器，C表示分 类器；Ft为目标域图像特征。
本实施例的其他部分与上述实施例1相同，故不再赘述。
实施例3：
本实施例在上述实施例1-2任一项的基础上，为了更好地实现本发明，进一步地，所述步骤3中：
对于带有标记的源域数据
Figure 784472DEST_PATH_IMAGE064
：采用预测
Figure 760518DEST_PATH_IMAGE065
和真值标签
Figure 363538DEST_PATH_IMAGE066
之间的交叉熵损失函 数来训练分割网络，具体的损失函数如下：
Figure 7009DEST_PATH_IMAGE067
；
式中，G1表示分割网络，h和w表示输入图像的高和宽，C2表示预定义的类别，c代表类别。
为了更好地实现本发明，进一步地，在所述步骤3中：
对于没有标记的目标域图像特征：在自训练的过程中为目标域图像特征生成伪标签，利用伪标签指导网络更新，具体操作为：
首先，通过预先训练的模型从整个目标域数据
Figure 342175DEST_PATH_IMAGE068
中选择高预测置信度的像素作为 伪标签
Figure 133414DEST_PATH_IMAGE069
，具体选取公式如下：
Figure 212228DEST_PATH_IMAGE070
；
其中，
Figure 710205DEST_PATH_IMAGE019
是第n个像素属于类别c的概率，n=1,2,……,N；
Figure 216273DEST_PATH_IMAGE071
是为每个 类c选择
Figure 996273DEST_PATH_IMAGE021
最可靠伪标签的阈值，代表将被预测为c类的所有像素的概率进行排序，选 择
Figure 878778DEST_PATH_IMAGE072
，使其等于在从高到低排序中处于位置
Figure 231262DEST_PATH_IMAGE023
的概率；Nc是预测为c类的像素数；p表示 伪标签的比例，值介于[0，1]之间；
然后，使用自训练损失函数
Figure 298444DEST_PATH_IMAGE073
来帮助训练分割网络G1，具体公式如下：
Figure 736378DEST_PATH_IMAGE074
；
式中，
Figure 156996DEST_PATH_IMAGE069
为伪标签，C3为预定义的类别，G1为分割网络；h和w分别为输入图像的高 和宽；
Figure 691882DEST_PATH_IMAGE075
为预测。
本实施例的其他部分与上述实施例1-2任一项相同，故不再赘述。
实施例4：
本实施例在上述实施例1-3任一项的基础上，为了更好地实现本发明，进一步地，所述步骤4的具体操作为：
首先，在训练之前，根据预先训练好的模型为源域和目标域计算每个类别的全局 特征中心
Figure 539752DEST_PATH_IMAGE076
，得到源域的全局特征中心
Figure 464983DEST_PATH_IMAGE077
和目标域的全局特征中心
Figure 689291DEST_PATH_IMAGE029
；
然后，再每次迭代i中，对每个类的全局特征中心进行更新，具体更新公式如下：
Figure 580149DEST_PATH_IMAGE030
；
如果当前训练批次的图像中包含类别c，则以速率
Figure 864500DEST_PATH_IMAGE031
更新类别c的全局特征中心； 如果某类别在当前批次图像中不存在，则保持全局特征中心不变。
为了更好地实现本发明，进一步地，所述全局特征中心
Figure 277026DEST_PATH_IMAGE076
的计算方式为：计算属 于该类的所有像素的特征的平均，具体公式如下：
Figure 101763DEST_PATH_IMAGE032
；
式中，其中
Figure 283346DEST_PATH_IMAGE078
和
Figure 738598DEST_PATH_IMAGE079
分别表示第n个像素的特征和标签；
Figure 700738DEST_PATH_IMAGE080
是指示符函数，如果参 数为真，则输出1，否则输出0。
为了更好地实现本发明，进一步地，所述全局特征中心
Figure 266848DEST_PATH_IMAGE076
的计算方法为：将标签 转换到独热编码，统计属于每个类别的像素个数；然后在对特征沿着通道维度进行softmax 函数处理之后，与独热标签进行矩阵相乘来获得累积的类别特征，然后通过对累积的类别 特征取平均得到类别的全局特征中心
Figure 302937DEST_PATH_IMAGE076
。
为了更好地实现本发明，进一步地，其特征在于，在所述步骤4中，使用如下平分欧 式距离作为特征中心的对齐损失函数
Figure 929091DEST_PATH_IMAGE036
，具体公式为：
Figure 378527DEST_PATH_IMAGE037
。
本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
实施例5：
本实施例在上述实施例1-4任一项的基础上，如图 1 所示，增强特征空间对抗学习的域自适应语义分割算法，其特征在于：包括以下步骤：
（1） 使用一个骨干网络（例如 ResNet-101） 提取源域图像和目标域图像的特征表示：
使用GTA5->Cityscapes域自适应任务。Cityscapes是一个具有5000个街道场景的 真实数据集，每张图片的分辨率为
Figure 482749DEST_PATH_IMAGE081
，该数据集中的图像分为一个包含2975张图像 的训练集、一个包含500张图像的验证集和一个包含1525张图像的测试集。GTA5数据集由 24966张从视频游戏合成的图像组成，分辨率为
Figure 638924DEST_PATH_IMAGE082
，该数据集与包含19个类别的 Cityscapes数据集兼容。使用GTA5数据集中的全部带标签数据和Cityscapes训练集中不给 出标签的2975张图像共同训练一个能在Cityscapes数据集表现良好的模型，训练时对 Cityscapes和GTA5数据集分别使用
Figure 999760DEST_PATH_IMAGE083
和
Figure 608596DEST_PATH_IMAGE084
的裁剪。在测试过程中，使用 Cityscapes验证集中的500张图像对模型进行性能评估。
使用DeepLab-v2框架作为分割网络，采用在ImageNet上预先训练的ResNet-101模 型作为主干结构，去掉最后两个池层，使输出特征的有效分辨率为输入图像大小的1/8，使 用空洞空间金字塔池化作为最终分类器，并对softmax输出进行上采样来匹配输入图像的 大小。对于分类约束鉴别器，采用全卷积层来保留空间信息。具体地，网络由五个内核大小 为
Figure 782088DEST_PATH_IMAGE085
的卷积层组成，其通道维度分别为{64, 128, 256, 512, 20}。除最后一个功能层 外，每个卷积层后面都跟随一个参数为0.2的Leaky-ReLU激活函数。
分别使用SGD和Adam作为分割网络和分类约束鉴别器的优化器。SGD的动量和权重 衰减分别为0.9和0.0001，设置其初始学习率为0.00025，并使用幂为0.9多项式衰减进行降 低。对于Adam优化器，使用相同的多项式衰减，设置初始学习率为0.0001，动量为0.9和 0.99。训练批大小设置为1。对于分类约束鉴别器，设置权重
Figure 855087DEST_PATH_IMAGE086
和
Figure 823043DEST_PATH_IMAGE087
分别为0.001和0.5。 对于类别特征中心对齐，设置
Figure 919174DEST_PATH_IMAGE087
和
Figure 365199DEST_PATH_IMAGE088
分别为0.05和0.01。对于伪标签的比率，设置p=0.2。
（2） 使用分类约束鉴别器进行特征空间对抗学习的具体过程为：
生成对抗网络由生成器G（特征编码器G）和鉴别器D组成，是一种流行的图像合成 深度生成模型。生成对抗网络旨在从噪声变量
Figure 558283DEST_PATH_IMAGE089
生成图像，使得图像能够捕获数据
Figure 697141DEST_PATH_IMAGE090
的分布。其框架对应一个基于值函数
Figure 280569DEST_PATH_IMAGE091
的双方对抗游戏：
Figure 592601DEST_PATH_IMAGE092
当将对抗学习方法引入到无监督的域自适应语义分割任务中时，需要生成的则是领域不变的特征，而鉴别器则用来预测生成的特征来自哪个领域。
然而，采用传统鉴别器进行特征对抗在自适应方法无法取得令人满意的性能，鉴别器的能力取决于感受野的大小，如果鉴别器感知到太多的上下文特征，可能会过于强大，打破对抗学***衡，去除鉴别器中的任何池化层或跨步卷积可以减小鉴别器的感受野从而平衡对抗训练。
尽管特征编码器在训练过程中被期望通过生成域不变特征来混淆鉴别器，从而增强模型泛化能力，但编码器也可能产生失真和模棱两可的特征来欺骗鉴别器，导致网络对源域图像和目标域图像都产生失真和错误的预测，使用分类约束鉴别器可以有效缓解特征失真问题。分类约束鉴别器将分类组件作为一个辅助分支，用于加强鉴别器来优化对抗学习过程中的特征提取。通过添加分类组件作为约束，赋予鉴别器源域特征的结构信息，将迫使特征生成器从目标域提取包含结构信息的域不变特征来混淆鉴别器，而不是产生不利于自适应分割的模糊或扭曲失真的特征。
将从源域和目标域获得的特征Fs和Ft输入到鉴别网络后，使用如下分类约束鉴别 器损失
Figure 577875DEST_PATH_IMAGE005
进行训练：
Figure 887633DEST_PATH_IMAGE094
式中，等号右侧前两项为鉴别器的损失函数，第三项为针对分类器对于源域输出 的辅助分割损失；C表示分类器，c代表类别，D表示鉴别器；
Figure 522139DEST_PATH_IMAGE059
和
Figure 575546DEST_PATH_IMAGE060
表示鉴别器的输出高和 宽；h和w表示输入图像的高和宽；C1表示预定义的类别，
Figure 415326DEST_PATH_IMAGE061
是在训练分类约束鉴别器时控制 辅助分割损失相对重要性的超参数。
对于分类约束鉴别器，分类器对鉴别器的约束是通过共享除最后一个功能层（分别为分类器和鉴别器预测语义类别和域来源）之外的所有参数来实现的。
对于对抗学习，使用如下对抗损失来训练特征生成器，通过最大化目标域特征Ft被视为源域特征的概率来混淆鉴别器：
Figure 895986DEST_PATH_IMAGE063
；
式中，D表示鉴别器，
Figure 250744DEST_PATH_IMAGE059
和
Figure 107841DEST_PATH_IMAGE060
表示鉴别器的输出高和宽；G表示特征编码器，C表示分 类器；Ft为目标域图像特征。
（3） 使用对抗学习和伪标签自训练相结合的混合协作框架来缓解分类器过度拟合源域特征问题的具体过程为：
对于带标记的源域数据
Figure 802128DEST_PATH_IMAGE095
，主分割损失定义为预测
Figure 516006DEST_PATH_IMAGE096
和真值标签
Figure 561323DEST_PATH_IMAGE066
之间的交 叉熵损失来训练分割网络：
Figure 956532DEST_PATH_IMAGE067
中，G1表示分割网络，h和w表示输入图像的高和宽，C2表示预定义的类别，c代表类别。
由于在无监督域自适应任务中缺乏目标域的真值标签，因此在特征空间对抗学习过程中，分类器只能根据源域线索更新其权值。最终的分类器无法受益于目标特征，使得其决策边界容易偏向于源域特征，因此，将特征空间对抗学习与自训练相结合,学习一个领域鲁棒的分类器对于自适应任务至关重要。在自训练过程中，为未标记的目标域图片生成伪标签，利用伪标签指导网络更新，从而使网络能够从目标域数据中学习分类边界。利用伪标签进行自训练，不仅可以使公共分类器具有更好的适应性，更好地区分不同类别的目标特征，还可以增强特征编码器，为目标域图像提取更具鉴别能力的特征。由于语义分割非常具有挑战性，在单个训练批次中生成的伪标签可能会包含很多噪声，因此通过预先训练的模型从整个目标数据中选择高预测置信度的像素作为伪标签：
Figure 505325DEST_PATH_IMAGE097
其中，
Figure 655683DEST_PATH_IMAGE019
是第n个像素属于类别c的概率，n=1,2,……,N；
Figure 922717DEST_PATH_IMAGE098
是为每个类c 选择
Figure 856038DEST_PATH_IMAGE021
最可靠伪标签的阈值，代表将被预测为c类的所有像素的概率进行排序，选择
Figure 88698DEST_PATH_IMAGE099
，使其等于在从高到低排序中处于位置
Figure 347641DEST_PATH_IMAGE023
的概率；Nc是预测为c类的像素数；p表示伪 标签的比例，值介于[0，1]之间；。生成目标域伪标签
Figure 836391DEST_PATH_IMAGE100
后，使用如下自训练损失来帮助训练 分割网络G1：
Figure 901299DEST_PATH_IMAGE101
式中，
Figure 424684DEST_PATH_IMAGE069
为伪标签，C3为预定义的类别，G1为分割网络；h和w分别为输入图像的高 和宽；
Figure 588950DEST_PATH_IMAGE075
为预测。
（4） 使用类别中心计算模块获取每个类的特征质心，对齐域间同一个类别的特征中心来进一步减少域间特征差异的具体过程为：
通过对齐来自两个域的同一类别的特征中心，可以协助特征空间对抗学***均：
Figure 830575DEST_PATH_IMAGE102
式中，其中
Figure 433595DEST_PATH_IMAGE078
和
Figure 811486DEST_PATH_IMAGE079
分别表示第n个像素的特征和标签；
Figure 412232DEST_PATH_IMAGE103
是指示符函数，如果参 数为真，则输出1，否则输出0。
然而，对于语义分割任务，由于图像分辨率比较高，遍历图像的所有像素并为特征指定相应的标签非常耗时，于是使用一个类别中心计算模块来高效地获取每个类别的特征中心：将标签转换到独热编码统计属于每个类别的像素个数；在对特征沿着通道维度进行softmax之后，将其与独热标签进行矩阵相乘来获得累积的类别特征，然后通过对累积的特征取平均得到类别中心。
在训练之前，根据预先训练好的模型为源域和目标域计算每个类别的全局特征中 心，
Figure 937891DEST_PATH_IMAGE077
和
Figure 282285DEST_PATH_IMAGE029
。然后在每次迭代i中，以如下方式更新每个类的特征中心：
Figure 780262DEST_PATH_IMAGE030
如果当前训练批次的图像中包含类别c，则以速率
Figure 286330DEST_PATH_IMAGE031
更新该类的全局特征中心；如 果该类别在当前批次图像中不存在，则保持全局特征中心不变，使用如下平方欧氏距离作 为特征中心的对齐损失：
Figure 54611DEST_PATH_IMAGE037
总体损失函数可以写作：
Figure 937116DEST_PATH_IMAGE104
式中，
Figure 289600DEST_PATH_IMAGE105
和
Figure 28886DEST_PATH_IMAGE106
是控制对抗学习损失和特征中心对齐损失的相对重要性的超参 数。训练目标是通过交替更新优化分割网络G1和分类约束鉴别器D来求解下式：
Figure 466821DEST_PATH_IMAGE107
。
将本发明的增强特征空间对抗学***均交并比(mIoU)作为分割的评价指标， mIoU 值越高，分割效果越优异。12种域自适应语义分割方法如下：
[1] Y.-H. Tsai, W.-C. Hung, S. Schulter, K. Sohn, M.-H. Yang, and M.Chandraker, “学习调整结构化输出空间进行语义分割,”IEEE计算机视觉和模式识别大会, 2018, pp. 7472–7481.
[2] T.-H. Vu, H. Jain, M. Bucher, M. Cord, and P. Pérez, “语义分割领域自适应的对抗熵最小化方法,” IEEE计算机视觉和模式识别大会, 2019, pp. 2517–2526.
[3] Y. Luo, L. Zheng, T. Guan, J. Yu, and Y. Yang, “语义一致的域适应的类别级对抗,” IEEE计算机视觉和模式识别大会, 2019, pp. 2507–2516.
[4] Y. Zou, Z. Yu, B. Vijaya Kumar, and J. Wang, “基于类平衡自训练的无监督领域自适应语义分割,” 欧洲计算机视觉会议, 2018, pp. 289–305.
[5]F. Pan, I. Shin, F. Rameau, S. Lee, and I. S. Kweon, “基于自监督的无监督域内自适应语义分割,” IEEE计算机视觉和模式识别大会, 2020, pp. 3764–3773.
[6]M. Chen, H. Xue, and D. Cai, “最大平方损失的语义分割域自适应算法,”IEEE计算机视觉国际会议, 2019, pp. 2090–2099.
[7] Y.-H. Tsai, K. Sohn, S. Schulter, and M. Chandraker, “基于区分性面片表示的结构化输出域自适应,” IEEE计算机视觉国际会议, 2019, pp. 1456–1465.
[8] M. N. Subhani and M. Ali, “语义分割域自适应的尺度不变性学习,” 欧洲计算机视觉会议, pp. 2020 290–306.
[9] Y. Li, L. Yuan, and N. Vasconcelos, “语义分割域自适应的双向学习,”IEEE计算机视觉和模式识别大会, 2019, pp. 6936–6945.
[10] G. Kang, Y. Wei, Y. Yang, Y. Zhuang, and A. G. Hauptmann, “像素级循环关联：领域自适应语义分割的新视角,” 神经信息处理***的进展, 2020.
[11] Y. Yang and S. Soatto, “傅立叶域自适应语义分割,” IEEE计算机视觉和模式识别大会, 2020, pp. 4085–4095.
[12] J. Huang, S. Lu, D. Guan, and X. Zhang, “上下文关系一致的语义分割域自适应,” 欧洲计算机视觉会议, 2020, pp. 705–722.
表1 域自适应语义分割结果对比
方法 mIoU
[1] 41.4
[2] 43.8
[3] 43.2
[4] 45.2
[5] 46.3
[6] 46.4
[7] 46.5
[8] 47.5
[9] 47.6
[10] 47.7
[11] 48.1
[12] 48.6
本发明 48.8
从表 1可以看出，本发明在域自适应语义分割任务上都取得了最好的平均性能，表明本发明的方法中分类约束鉴别器缓解特征空间对抗学***衡和特征失真问题的有效性,以及对抗学习和伪标签自训练相结合的混合协作框架对缓解分类器过度拟合源域特征问题的有效性。
本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (11)

1.一种增强特征空间对抗学习的域自适应语义分割方法，基于增强特征空间对抗学习的域自适应语义分割***，其特征在于，包括以下步骤：
步骤1：采用特征编码器对源域图像和目标域图像进行特征提取，生成源域图像特征和目标域图像特征；
步骤2：采用分类约束鉴别器对源域图像特征和目标域图像特征进行特征空间对抗学习；
步骤3：使用对抗学习和伪标签自训练相结合的形式，通过共享分类器对源域图像特征和目标域图像特征进行分割，得到源域图像特征分割图和目标域图像特征分割图；且在步骤3中，对于没有标记的目标域图像特征：在自训练的过程中为目标域图像特征生成伪标签，利用伪标签指导网络更新，具体操作为：
首先，通过预先训练的模型从整个目标域数据
Figure DEST_PATH_IMAGE002
中选择高预测置信度的像素作为伪标签
Figure DEST_PATH_IMAGE004
，具体选取公式如下：
Figure DEST_PATH_IMAGE006
；
其中，
Figure DEST_PATH_IMAGE008
是第n个像素属于类别c的概率，n=1,2,……,N；
Figure DEST_PATH_IMAGE010
是为每个类c选择
Figure DEST_PATH_IMAGE012
最可靠伪标签的阈值，代表将被预测为c类的所有像素的概率进行排序，选择
Figure DEST_PATH_IMAGE013
，使其等于在从高到低排序中处于位置
Figure DEST_PATH_IMAGE015
的概率；Nc是预测为c类的像素数；p表示伪标签的比例，值介于[0，1]之间；
然后，使用自训练损失函数
Figure DEST_PATH_IMAGE017
来帮助训练分割网络G1，具体公式如下：
Figure DEST_PATH_IMAGE019
；
式中，
Figure 209835DEST_PATH_IMAGE004
为伪标签，C3为预定义的类别，G1为分割网络；h和w分别为输入图像的高和宽；
Figure DEST_PATH_IMAGE021
为预测值；
步骤4：采用类别中心计算模块获取每一类别的源域图像特征分割图和每一类别的目标域图像特征分割图的特征中心，并将源域和目标域对应的同一类别的目标域图像特征分割图和源域图像特征分割图进行特征中心对齐；
所述增强特征空间对抗学习的域自适应语义分割***包括特征提取器、分类约束鉴别器、共享分类器、类别中心计算模块；所述分类约束鉴别器包括与特征提取器连接的分类器和鉴别器；所述共享分类器分别与所述特征提取器、类别中心计算模块连接；所述类别中心计算模块与所述特征提取器连接；所述分类器通过共享除最后一个功能层之外的所有参数来实现对鉴别器的约束；所述分类约束鉴别器通过最后一个功能层分别为分类器和鉴别器预测语义类别和域来源。
2.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，所述步骤2中，在分类约束鉴别器中，采用分类器组件作为约束，赋予鉴别器源域特征的结构信息，迫使特征编码器从目标域提取包含结构信息的域不变特征来混淆鉴别器；过程中，将源域图像特征和目标域图像特征输入到分类约束鉴别器后，使用分类约束鉴别器损失
Figure DEST_PATH_IMAGE023
进行训练，具体公式如下：
Figure DEST_PATH_IMAGE025
；
式中，等号右侧前两项为鉴别器的损失函数，第三项为针对分类器对于源域输出的辅助分割损失；C表示分类器，c代表类别，D表示鉴别器；
Figure DEST_PATH_IMAGE027
和
Figure DEST_PATH_IMAGE029
表示鉴别器的输出高和宽；h和w表示输入图像的高和宽；C1表示预定义的类别，
Figure DEST_PATH_IMAGE031
是在训练分类约束鉴别器时控制辅助分割损失相对重要性的超参数；Ft为目标域图像特征。
3.如权利要求1或2所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，在所述步骤2中，在特征空间对抗学习的过程中，采用对抗损失函数
Figure DEST_PATH_IMAGE033
来对特征编码器进行训练，通过最大化目标域图像特征被视为源域图像特征的概率来混淆鉴别器，具体损失函数如下：
Figure DEST_PATH_IMAGE035
；
式中，D表示鉴别器，
Figure DEST_PATH_IMAGE036
和
Figure DEST_PATH_IMAGE037
表示鉴别器的输出高和宽；G表示特征编码器，C表示分类器；Ft为目标域图像特征。
4.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，所述步骤3中：
对于带有标记的源域数据
Figure DEST_PATH_IMAGE039
：采用预测
Figure DEST_PATH_IMAGE041
和真值标签
Figure DEST_PATH_IMAGE043
之间的交叉熵损失函数来训练分割网络，具体的损失函数如下：
Figure DEST_PATH_IMAGE045
；
式中，G1表示分割网络，h和w表示输入图像的高和宽，C2表示预定义的类别，c代表类别。
5.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，所述步骤4的具体操作为：
首先，在训练之前，根据预先训练好的模型为源域和目标域计算每个类别的全局特征中心
Figure DEST_PATH_IMAGE047
，得到源域的全局特征中心
Figure DEST_PATH_IMAGE049
和目标域的全局特征中心
Figure DEST_PATH_IMAGE051
；
然后，再每次迭代i中，对每个类的全局特征中心进行更新，具体更新公式如下：
Figure DEST_PATH_IMAGE053
；
如果当前训练批次的图像中包含类别c，则以速率
Figure DEST_PATH_IMAGE055
更新类别c的全局特征中心；如果某类别在当前批次图像中不存在，则保持全局特征中心不变。
6.如权利要求5所述的一种增强特征空间对抗学***均得到类别的全局特征中心
Figure 936406DEST_PATH_IMAGE047
。
7.如权利要求5或6所述的一种增强特征空间对抗学***分欧式距离作为特征中心的对齐损失函数
Figure DEST_PATH_IMAGE057
，具体公式为：
Figure DEST_PATH_IMAGE059
。
8.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，所述特征编码器采用预先在ImageNet数据集上进行了预训练的ResNet-101网络。
9.如权利要求1或4所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，对于分割网络G1，采用SGD优化器进行优化，SGD优化器的动量和权重衰减分别为0.9和0.0001，设置初始学习率为0.00025，并使用幂为0.9多项式衰减进行降低。
10.如权利要求1或2所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，采用Adam优化器作为分类约束鉴别器的优化器，设置初始学习率为0.0001，动量为0.9和0.99，并使用幂为0.9多项式衰减进行降低。
11.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，在所述步骤2中，采用对抗损失函数
Figure DEST_PATH_IMAGE060
来对特征编码器进行训练，通过最大化目标域图像特征被视为源域图像特征的概率来混淆鉴别器，具体损失函数如下：
Figure DEST_PATH_IMAGE061
；
所述步骤3中：
对于带有标记的源域数据
Figure DEST_PATH_IMAGE062
，采用预测
Figure DEST_PATH_IMAGE063
和真值标签
Figure DEST_PATH_IMAGE064
之间的交叉熵损失函数来训练分割网络，具体的损失函数如下：
Figure 757382DEST_PATH_IMAGE045
；
式中，G1表示分割网络，h和w表示输入图像的高和宽，C2表示预定义的类别，c代表类别；
对于没有标记的目标域图像特征，在自训练的过程中为目标域图像特征生成伪标签，利用伪标签指导网络更新，具体操作为：
首先，通过预先训练的模型从整个目标域数据
Figure DEST_PATH_IMAGE065
中选择高预测置信度的像素作为伪标签
Figure DEST_PATH_IMAGE066
，具体选取公式如下：
Figure DEST_PATH_IMAGE067
；
其中，
Figure 899650DEST_PATH_IMAGE008
是第n个像素属于类别c的概率，n=1,2,……,N；
Figure DEST_PATH_IMAGE068
是为每个类c选择
Figure 190954DEST_PATH_IMAGE012
最可靠伪标签的阈值，代表将被预测为c类的所有像素的概率进行排序，选择
Figure 802195DEST_PATH_IMAGE068
，使其等于在从高到低排序中处于位置
Figure 204358DEST_PATH_IMAGE015
的概率；Nc是预测为c类的像素数；p表示伪标签的比例，值介于[0，1]之间；
然后，使用自训练损失函数
Figure DEST_PATH_IMAGE069
来帮助训练分割网络G1，具体公式如下：
Figure DEST_PATH_IMAGE070
；
在所述步骤4中，使用如下平分欧式距离作为特征中心的对齐损失函数
Figure DEST_PATH_IMAGE071
，具体公式为：
Figure 201132DEST_PATH_IMAGE059
；
得到总体损失函数，具体表达式如下：
Figure DEST_PATH_IMAGE073
；
式中，
Figure DEST_PATH_IMAGE075
和
Figure DEST_PATH_IMAGE077
是控制对抗学习损失和特征中心对齐损失的相对重要性的超参数。
CN202111178865.3A 2021-10-11 2021-10-11 一种增强特征空间对抗学习的域自适应语义分割方法 Active CN113627443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111178865.3A CN113627443B (zh) 2021-10-11 2021-10-11 一种增强特征空间对抗学习的域自适应语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111178865.3A CN113627443B (zh) 2021-10-11 2021-10-11 一种增强特征空间对抗学习的域自适应语义分割方法

Publications (2)

Publication Number Publication Date
CN113627443A CN113627443A (zh) 2021-11-09
CN113627443B true CN113627443B (zh) 2022-02-15

Family

ID=78390784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111178865.3A Active CN113627443B (zh) 2021-10-11 2021-10-11 一种增强特征空间对抗学习的域自适应语义分割方法

Country Status (1)

Country Link
CN (1) CN113627443B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229080B (zh) * 2023-05-08 2023-08-29 中国科学技术大学 半监督域适应图像语义分割方法、***、设备及存储介质
CN116912593B (zh) * 2023-07-31 2024-01-23 大连理工大学 域对抗的遥感图像目标分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
CN111523680A (zh) * 2019-12-23 2020-08-11 中山大学 一种基于Fredholm学习和对抗学习的域适应方法
CN113436197A (zh) * 2021-06-07 2021-09-24 华东师范大学 基于生成对抗和类特征分布的域适应无监督图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699892A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种无监督领域自适应语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
CN111523680A (zh) * 2019-12-23 2020-08-11 中山大学 一种基于Fredholm学习和对抗学习的域适应方法
CN113436197A (zh) * 2021-06-07 2021-09-24 华东师范大学 基于生成对抗和类特征分布的域适应无监督图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Classification constrained discriminator for domain adaptive semantic segmentation》;Tao Chen等;《2020 IEEE International Conference on Multimedia and Expo (ICME)》;20200609;1-6 *

Also Published As

Publication number Publication date
CN113627443A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN110956185B (zh) 一种图像显著目标的检测方法
CN110443818B (zh) 一种基于涂鸦的弱监督语义分割方法与***
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
CN113627443B (zh) 一种增强特征空间对抗学习的域自适应语义分割方法
CN113095263B (zh) 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置
CN113076994A (zh) 一种开集域自适应图像分类方法及***
Wang et al. Multiscale deep alternative neural network for large-scale video classification
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和***
CN115019039B (zh) 一种结合自监督和全局信息增强的实例分割方法及***
CN104680193A (zh) 基于快速相似性网络融合算法的在线目标分类方法与***
Chen et al. Unsupervised domain adaptation for remote sensing image semantic segmentation using region and category adaptive domain discriminator
CN114863091A (zh) 一种基于伪标签的目标检测训练方法
CN109657082A (zh) 基于全卷积神经网络的遥感图像多标签检索方法及***
CN115690549A (zh) 一种基于并联交互架构模型实现多维度特征融合的目标检测方法
Zhang et al. Few-shot object detection with self-adaptive global similarity and two-way foreground stimulator in remote sensing images
Zhong et al. Pica: Point-wise instance and centroid alignment based few-shot domain adaptive object detection with loose annotations
CN114283315A (zh) 一种基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法
CN109886251A (zh) 一种基于姿势引导对抗学习的端到端的行人再识别方法
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法
CN116824333A (zh) 一种基于深度学习模型的鼻咽癌检测***
CN115830643A (zh) 一种姿势引导对齐的轻量行人重识别方法
CN115953663A (zh) 一种利用线标注的弱监督阴影检测方法
CN113792660B (zh) 基于改进YOLOv3网络的行人检测方法、***、介质、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant