CN113221902A - 基于数据分布扩充的跨域自适应语义分割方法及*** - Google Patents

基于数据分布扩充的跨域自适应语义分割方法及*** Download PDF

Info

Publication number
CN113221902A
CN113221902A CN202110511220.0A CN202110511220A CN113221902A CN 113221902 A CN113221902 A CN 113221902A CN 202110511220 A CN202110511220 A CN 202110511220A CN 113221902 A CN113221902 A CN 113221902A
Authority
CN
China
Prior art keywords
image
domain
source
target
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110511220.0A
Other languages
English (en)
Other versions
CN113221902B (zh
Inventor
张兆翔
宋纯锋
王玉玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110511220.0A priority Critical patent/CN113221902B/zh
Publication of CN113221902A publication Critical patent/CN113221902A/zh
Application granted granted Critical
Publication of CN113221902B publication Critical patent/CN113221902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于数据分布扩充的跨域自适应语义分割方法及***，所述跨域自适应语义分割方法包括：获取不同域训练数据集；分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；确定第一语义分割损失模型、第一对抗损失函数、第二对抗损失函数、语义一致性损失函数；确定第二语义分割损失模型；基于第二语义分割损失模型，可对待处理图像进行准确的语义分割，提高分割精度。

Description

基于数据分布扩充的跨域自适应语义分割方法及***
技术领域
本发明涉及计算机视觉及模式识别技术领域，特别涉及一种基于数据分布扩充的跨域自适应语义分割方法及***。
背景技术
领域自适应作为迁移学习的一种，是机器学习领域一个重要且具有挑战性的任务，在图像识别，目标检测以及图像语义分割等领域具有广泛应用。在大数据时代，每天都会有海量的数据产生，但能够用于机器学习的标注数据却很难获取，因为这些数据的标注有些需要耗时的精细标注，比如像素级别的语义分割标注，有些需要标注者有足够的主业知识及经验，比如医学影像的标注，还有些由于数据量极大，标注困难，精度较低。所以如何利用现有的标注样本，把这部分数据学到的知识迁移到新数据中去，是一个非常具有实际意义的任务。
发明内容
为了解决现有技术中的上述问题，即为了提高语义分割精度，本发明的目的在于提供一种基于数据分布扩充的跨域自适应语义分割方法及***。
为解决上述技术问题，本发明提供了如下方案：
一种基于数据分布扩充的跨域自适应语义分割方法，所述跨域自适应语义分割方法包括：
获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
可选地，所述根据高频信息及低频信息，通过傅里叶反变换，得到转换图像，具体包括：
将高频信息与低频信息结合，得到结合信息；
对所述结合信息，进行傅里叶反变换，得到转换图像。
可选地，所述基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像，具体包括：
根据设定幅值，通过所述转换图像，确定数据增强序列；
通过所述数据增强序列，分别对源域图像及目标域图像进行扩充，得到对应的源域扩充图像及目标域扩充图像。
可选地，根据以下公式，确定源域的第一语义分割损失模型Lseg(xs，ys)：
Figure BDA0003060468760000031
其中，H表示源域图像的长，W表示源域图像的宽，C表示源域图像的类别；h,w表示像素位置，c表示该像素类别，xs表示源域图像，ys表示源域图像xs对应的标签数据，
Figure BDA0003060468760000041
表示在位置(h，w)处类别c的值，
Figure BDA0003060468760000042
表示位置(h，w)处的预测结果。
可选地，根据以下公式，确定第一对抗损失函数Ladv(xs，xt)：
Figure BDA0003060468760000043
其中，D表示领域判别器函数，xs表示源域图像，xt表示目标域图像，
Figure BDA0003060468760000044
表示在源域图像xs上的期望、
Figure BDA0003060468760000045
表示在目标域图像xt上的期望，
Figure BDA0003060468760000046
表示针对源域图像xs的预测结果，
Figure BDA0003060468760000047
表示针对目标域图像xt的预测结果。
可选地，根据以下公式，确定第二对抗损失函数
Figure BDA0003060468760000048
Figure BDA0003060468760000049
其中，D表示领域判别器函数，
Figure BDA00030604687600000410
表示源域扩充图像，
Figure BDA00030604687600000411
表示目标域扩充图像，
Figure BDA00030604687600000412
表示在源域扩充图像
Figure BDA00030604687600000425
上的期望、
Figure BDA00030604687600000413
表示在目标域扩充图像
Figure BDA00030604687600000414
上的期望，
Figure BDA00030604687600000415
表示针对源域扩充图像
Figure BDA00030604687600000416
的预测结果，
Figure BDA00030604687600000417
表示针对目标域扩充图像
Figure BDA00030604687600000418
的预测结果。
可选地，根据以下公式，确定语义一致性损失函数
Figure BDA00030604687600000419
Figure BDA00030604687600000420
其中，xt表示目标域图像，
Figure BDA00030604687600000421
表示目标域扩充图像，
Figure BDA00030604687600000422
表示针对目标域图像xt的预测结果，
Figure BDA00030604687600000423
表示针对目标域扩充图像
Figure BDA00030604687600000424
的预测结果，DKL(.)表示KL散度。
为解决上述技术问题，本发明还提供了如下方案：
一种基于数据分布扩充的跨域自适应语义分割***，所述跨域自适应语义分割***包括：
获取单元，用于获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
频域变换单元，用于针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
高斯滤波单元，用于对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
空域变换单元，用于根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
数据增强单元，用于基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
第一建模单元，用于根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
对抗函数建立单元，用于基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
语义一致性损失函数建立单元，用于根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
第二建模单元，用于基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
语义分割单元，用于基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
为解决上述技术问题，本发明还提供了如下方案：
一种基于数据分布扩充的跨域自适应语义分割***，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
为解决上述技术问题，本发明还提供了如下方案：
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
根据本发明的实施例，本发明公开了以下技术效果：
本发明对源域和目标域图像进行分布扩充，并在对抗学习中建立第一对抗损失函数和第二对抗损失函数；针对无标签的目标域数据，采用一种语义一致性损失，通过无监督的方法更好的学到目标域的特征。该发明从数据分布扩充角度解决源域和目标域之间的领域不一致问题，从而提高对无标签待处理图像的语义分割精度。
附图说明
图1是本发明基于数据分布扩充的跨域自适应语义分割方法的流程图；
图2是基于数据分布扩充的跨域自适应语义分割***的模块结构示意图；
符号说明：
获取单元—1，频域变换单元—2，高斯滤波单元—3，空域变换单元—4，数据增强单元—5，第一建模单元—6，对抗函数建立单元—7，语义一致性损失函数建立单元—8，第二建模单元—9，语义分割单元—10。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的目的是提供一种基于数据分布扩充的跨域自适应语义分割方法，对源域和目标域图像进行分布扩充，并在对抗学习中建立第一对抗损失函数和第二对抗损失函数；针对无标签的目标域数据，采用一种语义一致性损失，通过无监督的方法更好的学到目标域的特征。该发明从数据分布扩充角度解决源域和目标域之间的领域不一致问题，从而提高对无标签待处理图像的语义分割精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明基于数据分布扩充的跨域自适应语义分割方法包括：
步骤100：获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
步骤200：针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
步骤300：对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
步骤400：根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
步骤500：基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
步骤600：根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
步骤700：基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
步骤800：根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
步骤900：基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
步骤1000：基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
其中，在步骤100与步骤200之前，本发明基于数据分布扩充的跨域自适应语义分割方法还包括：对训练数据集进行归一化处理，得到统一大小的训练数据集。
例如，在本实施例中，归一化处理得到512×1024×3像素的图像数据。
在本发明中，在数据输入阶段，对源域图像和目标域图像数据分布进行扩充，具体方法包括首先将源域数据分布向目标域分布方向平移(如步骤400所述)，其次是在平移后的分布上进行随机的数据扩充，扩大源域和目标域的数据分布空间，从而使得源于数据和目标域数据的分布能够更好的对齐(如步骤500所述)。
其中，在步骤400中，所述根据高频信息及低频信息，通过傅里叶反变换，得到转换图像，具体包括：
步骤410：将高频信息与低频信息结合，得到结合信息；
步骤420：对所述结合信息，进行傅里叶反变换，得到转换图像。
具体地，根据以下公式，得到转换图像x′st：
x′st＝F-1([gl(σ1).F(xt)+gh(σ2).F(xs)])；
其中，F(.)表示傅里叶变换，F-1(.)表示傅里叶反变换，gl(σ1)表示低频滤波函数，σ1表示低频滤波参考系数，gh(σ2)表示高频滤波函数，σ2表示高频滤波参考系数，xs表示源域图像，xt表示目标域图像。
转换图像x′st图像保持有源域的内容信息并且具有目标域的风格信息，从而使得源域图像分布向目标域迁移，为进一步对齐源域和目标域分布做准备。
在步骤500中，所述基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像，具体包括：
步骤510：根据设定幅值，通过所述转换图像，确定数据增强序列。
其中，数据增强序列T为：
T＝{o1(λ1；p)，o2(λ2；p)，...，oN(λN；p)}；
其中，N表示维度，o1(.)表示数据增强操作、λ1表示操作o1(.)中参数、p表示操作o1(.)的幅值。
步骤520：通过所述数据增强序列，分别对源域图像及目标域图像进行扩充，得到对应的源域扩充图像及目标域扩充图像。
进一步地，在步骤600中，可根据以下公式，确定源域的第一语义分割损失模型Lseg(xs，ys)：
Figure BDA0003060468760000121
其中，H表示源域图像的长，W表示源域图像的宽，C表示源域图像的类别；h，w表示像素位置，c表示该像素类别，xs表示源域图像，ys表示源域图像xs对应的标签数据，
Figure BDA0003060468760000131
表示在位置(h，w)处类别c的值，
Figure BDA0003060468760000132
表示位置(h，w)处的预测结果。
本发明基于对抗学习的框架，对源域图像和目标域图像在输出层面进行判别学习，使得源域和目标域分布更加一致，并且针对增强之后的源域扩充图像和目标域扩充图像图像，同时进行对抗学习，从而可更好的学到领域不变性特征。
具体地，在步骤700中，可根据以下公式，确定第一对抗损失函数Ladv(xs，xt)：
Figure BDA0003060468760000133
Figure BDA0003060468760000134
其中，D表示领域判别器函数，xs表示源域图像，xt表示目标域图像，
Figure BDA0003060468760000135
表示在源域图像xs上的期望、
Figure BDA0003060468760000136
表示在目标域图像xt上的期望，
Figure BDA0003060468760000137
表示针对源域图像xs的预测结果，
Figure BDA0003060468760000138
表示针对目标域图像xt的预测结果。
根据以下公式，确定第二对抗损失函数
Figure BDA0003060468760000139
Figure BDA00030604687600001310
Figure BDA00030604687600001311
其中，D表示领域判别器函数，
Figure BDA00030604687600001312
表示源域扩充图像，
Figure BDA00030604687600001313
表示目标域扩充图像，
Figure BDA00030604687600001314
表示在源域扩充图像
Figure BDA00030604687600001315
上的期望、
Figure BDA00030604687600001316
表示在目标域扩充图像
Figure BDA0003060468760000141
上的期望，
Figure BDA0003060468760000142
表示针对源域扩充图像
Figure BDA0003060468760000143
的预测结果，
Figure BDA0003060468760000144
表示针对目标域扩充图像
Figure BDA0003060468760000145
的预测结果。
针对无监督的目标域数据，由于所采用的数据增强策略只会扩充数据分布的空间，并不会改变数据内容的分布，以此变换后目标域扩充图像和目标域图像之间保持语义的一致性，通过无监督的方法更好的学到目标域的特征。
具体地，在步骤800中，可根据以下公式，确定语义一致性损失函数
Figure BDA0003060468760000146
Figure BDA0003060468760000147
其中，xt表示目标域图像，
Figure BDA0003060468760000148
表示目标域扩充图像，
Figure BDA0003060468760000149
表示针对目标域图像xt的预测结果，
Figure BDA00030604687600001410
表示针对目标域扩充图像
Figure BDA00030604687600001411
的预测结果，DKL(.)表示KL散度。
优选地，本发明可通过梯度反传算法训练模型，利用训练好的目标域的第二语义分割损失模型在目标域数据集进行测试。首先将目标域测试数据归一化为统一的大小(如512×1024×3像素)，输入训练好的语义分割模型，得到目标域数据的分割结果，并与测试数据标签进行对比，确定本发明中目标域的第二语义分割损失模型的性能。
本发明在数据输入阶段对源域和目标域数据进行分布扩充，主要包括两个方面，一是通过分布平移将源域数据分布向目标域移动，减小两个域的分布差异，二是通过定义好的有约束的数据增强空间，随机生成数据增强序列，扩大源域和目标域数据分布空间，从而更好的对齐源域和目标域的分布；另一方面，本发明通过对抗学习的策略，在输出层面进一步对齐源域和目标域，具体方法包含原图像的对齐和增强后的图像之间的对齐，最后，针对无标签的目标域数据，本发明采用一种语义一致性损失，通过无监督的方法更好的学到目标域的特征。该发明从数据分布扩充角度解决源域和目标域之间的领域不一致问题，通过分布迁移和数据增强两个方面，在输入层对齐两个域的分布，并在基于对抗的学习框架下，取得了优秀的适应性能。
此外，本发明还提供一种基于数据分布扩充的跨域自适应语义分割***，可提高语义分割精度。
如图2所示，本发明基于数据分布扩充的跨域自适应语义分割***包括获取单元1、频域变换单元2、高斯滤波单元3、空域变换单元4、数据增强单元5、第一建模单元6、对抗函数建立单元7、语义一致性损失函数建立单元8、第二建模单元9及语义分割单元10。
具体地，所述获取单元1用于获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
所述频域变换单元2用于针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
所述高斯滤波单元3用于对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
所述空域变换单元4用于根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
所述数据增强单元5用于基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
所述第一建模单元6用于根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
所述对抗函数建立单元7用于基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
所述语义一致性损失函数建立单元8用于根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
所述第二建模单元9用于基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
所述语义分割单元10用于基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
此外，本发明还提供了如下方案：
一种基于数据分布扩充的跨域自适应语义分割***，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
进一步地，本发明还提供了如下方案：
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
相对于现有技术，本发明基于数据分布扩充的跨域自适应语义分割***、计算机可读存储介质与上述基于数据分布扩充的跨域自适应语义分割方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于数据分布扩充的跨域自适应语义分割方法，其特征在于，所述跨域自适应语义分割方法包括：
获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
2.根据权利要求1所述的基于数据分布扩充的跨域自适应语义分割方法，其特征在于，所述根据高频信息及低频信息，通过傅里叶反变换，得到转换图像，具体包括：
将高频信息与低频信息结合，得到结合信息；
对所述结合信息，进行傅里叶反变换，得到转换图像。
3.根据权利要求1所述的基于数据分布扩充的跨域自适应语义分割方法，其特征在于，所述基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像，具体包括：
根据设定幅值，通过所述转换图像，确定数据增强序列；
通过所述数据增强序列，分别对源域图像及目标域图像进行扩充，得到对应的源域扩充图像及目标域扩充图像。
4.根据权利要求1所述的基于数据分布扩充的跨域自适应语义分割方法，其特征在于，根据以下公式，确定源域的第一语义分割损失模型Lseg(xs，ys)：
Figure FDA0003060468750000021
其中，H表示源域图像的长，W表示源域图像的宽，C表示源域图像的类别；h，w表示像素位置，c表示该像素类别，xs表示源域图像，ys表示源域图像xs对应的标签数据，
Figure FDA0003060468750000022
表示在位置(h，w)处类别c的值，
Figure FDA0003060468750000023
表示位置(h，w)处的预测结果。
5.根据权利要求1所述的基于数据分布扩充的跨域自适应语义分割方法，其特征在于，根据以下公式，确定第一对抗损失函数Ladv(xs，xt)：
Figure FDA0003060468750000024
其中，D表示领域判别器函数，xs表示源域图像，xt表示目标域图像，
Figure FDA0003060468750000025
表示在源域图像xs上的期望、
Figure FDA0003060468750000026
表示在目标域图像xt上的期望，
Figure FDA0003060468750000027
表示针对源域图像xs的预测结果，
Figure FDA0003060468750000028
表示针对目标域图像xt的预测结果。
6.根据权利要求1所述的基于数据分布扩充的跨域自适应语义分割方法，其特征在于，根据以下公式，确定第二对抗损失函数
Figure FDA0003060468750000029
Figure FDA00030604687500000317
其中，D表示领域判别器函数，
Figure FDA0003060468750000031
表示源域扩充图像，
Figure FDA0003060468750000032
表示目标域扩充图像，
Figure FDA0003060468750000033
表示在源域扩充图像
Figure FDA0003060468750000034
上的期望、
Figure FDA0003060468750000035
表示在目标域扩充图像
Figure FDA0003060468750000036
上的期望，
Figure FDA0003060468750000037
表示针对源域扩充图像
Figure FDA0003060468750000038
的预测结果，
Figure FDA0003060468750000039
表示针对目标域扩充图像
Figure FDA00030604687500000310
的预测结果。
7.根据权利要求1所述的基于数据分布扩充的跨域自适应语义分割方法，其特征在于，根据以下公式，确定语义一致性损失函数
Figure FDA00030604687500000311
Figure FDA00030604687500000312
其中，xt表示目标域图像，
Figure FDA00030604687500000313
表示目标域扩充图像，
Figure FDA00030604687500000314
表示针对目标域图像xt的预测结果，
Figure FDA00030604687500000315
表示针对目标域扩充图像
Figure FDA00030604687500000316
的预测结果，DKL(.)表示KL散度。
8.一种基于数据分布扩充的跨域自适应语义分割***，其特征在于，所述跨域自适应语义分割***包括：
获取单元，用于获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
频域变换单元，用于针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
高斯滤波单元，用于对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
空域变换单元，用于根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
数据增强单元，用于基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
第一建模单元，用于根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
对抗函数建立单元，用于基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
语义一致性损失函数建立单元，用于根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
第二建模单元，用于基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
语义分割单元，用于基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
9.一种基于数据分布扩充的跨域自适应语义分割***，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取不同域训练数据集，所述训练数据集包括多个有标签的源域图像和多个无标签的目标域图像；
针对每一源域图像及目标域图像，分别对源域图像及目标域图像进行傅里叶变换，得到对应的源频域图像及目标频域图像；
对源频域图像进行高频滤波，得到高频信息；对目标频域图像进行低频率波，得到低频信息；
根据高频信息及低频信息，通过傅里叶反变换，得到转换图像；
基于转换图像，对源域图像及目标域图像进行数据增强，得到源域扩充图像及目标域扩充图像；
根据各源域图像及对应的标签，确定源域的第一语义分割损失模型；
基于领域判别器，根据各对源域图像和目标域图像，构造第一对抗损失函数；根据各对源域扩充图像及目标域扩充图像，构造第二对抗损失函数；
根据各目标域图像及对应的目标域扩充图像，构造语义一致性损失函数；
基于所述第一对抗损失函数、第二对抗损失函数、语义一致性损失函数及源域的第一语义分割损失模型，确定目标域的第二语义分割损失模型；
基于所述目标域的第二语义分割损失模型，对待处理图像进行语义分割。
CN202110511220.0A 2021-05-11 2021-05-11 基于数据分布扩充的跨域自适应语义分割方法及*** Active CN113221902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110511220.0A CN113221902B (zh) 2021-05-11 2021-05-11 基于数据分布扩充的跨域自适应语义分割方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110511220.0A CN113221902B (zh) 2021-05-11 2021-05-11 基于数据分布扩充的跨域自适应语义分割方法及***

Publications (2)

Publication Number Publication Date
CN113221902A true CN113221902A (zh) 2021-08-06
CN113221902B CN113221902B (zh) 2021-10-15

Family

ID=77094685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110511220.0A Active CN113221902B (zh) 2021-05-11 2021-05-11 基于数据分布扩充的跨域自适应语义分割方法及***

Country Status (1)

Country Link
CN (1) CN113221902B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674277A (zh) * 2021-10-22 2021-11-19 北京矩视智能科技有限公司 无监督域适应的表面缺陷区域分割方法、装置及电子设备
CN116206108A (zh) * 2023-02-16 2023-06-02 苏州大学 一种基于域自适应的oct图像脉络膜分割网络模型及方法
CN116468744A (zh) * 2023-06-19 2023-07-21 武汉大水云科技有限公司 一种面向水域场景的双分布匹配多域适应分割方法与***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
CN110197229A (zh) * 2019-05-31 2019-09-03 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
WO2019221965A1 (en) * 2018-05-16 2019-11-21 Nec Laboratories America, Inc. Unsupervised cross-domain distance metric adaptation with feature transfer network
CN110533044A (zh) * 2019-05-29 2019-12-03 广东工业大学 一种基于gan的域适应图像语义分割方法
CN111275713A (zh) * 2020-02-03 2020-06-12 武汉大学 一种基于对抗自集成网络的跨域语义分割方法
US20200193269A1 (en) * 2018-12-18 2020-06-18 Samsung Electronics Co., Ltd. Recognizer, object recognition method, learning apparatus, and learning method for domain adaptation
CN111723813A (zh) * 2020-06-05 2020-09-29 中国科学院自动化研究所 基于类内判别器的弱监督图像语义分割方法、***、装置
CN111832511A (zh) * 2020-07-21 2020-10-27 中国石油大学(华东) 一种增强样本数据的无监督行人重识别方法
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
CN112308862A (zh) * 2020-06-04 2021-02-02 北京京东尚科信息技术有限公司 图像语义分割模型训练、分割方法、装置以及存储介质
CN112330625A (zh) * 2020-11-03 2021-02-05 杭州迪英加科技有限公司 免疫组化核染色切片细胞定位多域共适应训练方法
CN112598003A (zh) * 2020-12-18 2021-04-02 燕山大学 基于数据扩充和全监督预处理的实时语义分割方法
CN112668594A (zh) * 2021-01-26 2021-04-16 华南理工大学 一种基于对抗性域适应的无监督图像目标检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
WO2019221965A1 (en) * 2018-05-16 2019-11-21 Nec Laboratories America, Inc. Unsupervised cross-domain distance metric adaptation with feature transfer network
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
US20200193269A1 (en) * 2018-12-18 2020-06-18 Samsung Electronics Co., Ltd. Recognizer, object recognition method, learning apparatus, and learning method for domain adaptation
CN110533044A (zh) * 2019-05-29 2019-12-03 广东工业大学 一种基于gan的域适应图像语义分割方法
CN110197229A (zh) * 2019-05-31 2019-09-03 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN111275713A (zh) * 2020-02-03 2020-06-12 武汉大学 一种基于对抗自集成网络的跨域语义分割方法
CN112308862A (zh) * 2020-06-04 2021-02-02 北京京东尚科信息技术有限公司 图像语义分割模型训练、分割方法、装置以及存储介质
CN111723813A (zh) * 2020-06-05 2020-09-29 中国科学院自动化研究所 基于类内判别器的弱监督图像语义分割方法、***、装置
CN111832511A (zh) * 2020-07-21 2020-10-27 中国石油大学(华东) 一种增强样本数据的无监督行人重识别方法
CN112330625A (zh) * 2020-11-03 2021-02-05 杭州迪英加科技有限公司 免疫组化核染色切片细胞定位多域共适应训练方法
CN112598003A (zh) * 2020-12-18 2021-04-02 燕山大学 基于数据扩充和全监督预处理的实时语义分割方法
CN112668594A (zh) * 2021-01-26 2021-04-16 华南理工大学 一种基于对抗性域适应的无监督图像目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
QIANG ZHOU 等: "Unsupervised domain adaptation with adversarial distribution adaptation network", 《NEURAL COMPUTING AND APPLICATIONS》 *
YUXI WANG 等: "Attention Guided Multiple Source and Target Domain Adaptation", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
王希龙: "基于多核域自适应稀疏表示与深度卷积神经网络的图像分类方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
马闯 等: "基于双重权重偏差建模的无监督域适应", 《计算机科学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674277A (zh) * 2021-10-22 2021-11-19 北京矩视智能科技有限公司 无监督域适应的表面缺陷区域分割方法、装置及电子设备
CN113674277B (zh) * 2021-10-22 2022-02-22 北京矩视智能科技有限公司 无监督域适应的表面缺陷区域分割方法、装置及电子设备
CN116206108A (zh) * 2023-02-16 2023-06-02 苏州大学 一种基于域自适应的oct图像脉络膜分割网络模型及方法
CN116468744A (zh) * 2023-06-19 2023-07-21 武汉大水云科技有限公司 一种面向水域场景的双分布匹配多域适应分割方法与***
CN116468744B (zh) * 2023-06-19 2023-09-05 武汉大水云科技有限公司 一种面向水域场景的双分布匹配多域适应分割方法与***

Also Published As

Publication number Publication date
CN113221902B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN113221902B (zh) 基于数据分布扩充的跨域自适应语义分割方法及***
Zhao et al. Dd-cyclegan: Unpaired image dehazing via double-discriminator cycle-consistent generative adversarial network
Wu et al. Dynamic filtering with large sampling field for convnets
Tu et al. Joint face image restoration and frontalization for recognition
Khmag Additive Gaussian noise removal based on generative adversarial network model and semi-soft thresholding approach
CN111583210B (zh) 基于卷积神经网络模型集成的乳腺癌图像自动识别方法
Ni et al. Example-driven manifold priors for image deconvolution
CN113723295A (zh) 一种基于图像域频域双流网络的人脸伪造检测方法
Liu et al. True wide convolutional neural network for image denoising
CN115272306B (zh) 利用梯度运算的太阳能电池板栅线增强方法
Zhou et al. Structure and texture-aware image decomposition via training a neural network
CN113256508A (zh) 一种改进的小波变换与卷积神经网络图像去噪声的方法
CN110135435B (zh) 一种基于广度学习***的显著性检测方法及装置
Jia et al. Dual-complementary convolution network for remote-sensing image denoising
Yan et al. Joint image-to-image translation with denoising using enhanced generative adversarial networks
Lemarchand et al. Opendenoising: an extensible benchmark for building comparative studies of image denoisers
CN114724183B (zh) 人体关键点检测方法、***、电子设备及可读存储介质
Nanthini et al. A survey on data augmentation techniques
CN112651329B (zh) 一种双流特征学习生成对抗网络的低分辨率船舶分类方法
CN111369452A (zh) 大区域图像局部破损点优化提取方法
Akinlar et al. A novel matching of MR images using gabor wavelets
Li et al. Foundation
CN113537291B (zh) 图像频域对抗样本生成方法及***
Yu et al. MACFNet: multi-attention complementary fusion network for image denoising
Yang et al. Bi-path network coupling for single image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant