CN113837191A - 基于双向无监督域适应融合的跨星遥感图像语义分割方法 - Google Patents
基于双向无监督域适应融合的跨星遥感图像语义分割方法 Download PDFInfo
- Publication number
- CN113837191A CN113837191A CN202111017498.9A CN202111017498A CN113837191A CN 113837191 A CN113837191 A CN 113837191A CN 202111017498 A CN202111017498 A CN 202111017498A CN 113837191 A CN113837191 A CN 113837191A
- Authority
- CN
- China
- Prior art keywords
- image
- domain
- source
- target
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 title claims abstract description 20
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 33
- 239000004576 sand Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006978 adaptation Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 33
- 238000009826 distribution Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002598 diffusion tensor imaging Methods 0.000 description 1
- 238000002408 directed self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双向无监督域适应融合的跨星遥感图像语义分割方法,包括源域‑目标域图像双向转换模型训练、图像转换模型双向转换器参数选择、源域‑目标域图像双向转换、源域和拟目标域语义分割模型训练、源域和目标域类别分割概率生成以及融合。本发明利用源‑目标和目标‑源双向域适应,将源域和目标域上类别分割进行概率融合,提高了跨星遥感图像语义分割模型的准确率和鲁棒性,进一步通过双向语义一致损失和转换器参数选择,从而避免了图像双向转换模型中转换器效果不稳定所带来的影响。
Description
技术领域
本发明属于遥感图像语义分割技术领域,具体涉及一种基于双向无监督域适应融合的跨星遥感图像语义分割方法。
背景技术
随着国产卫星不断的发射和系列类型的完善,收集海量的遥感卫星图像数据成为可能。例如,高分卫星可以在全球范围内捕获大量高空间分辨率的图像,如此大量的数据提供了许多应用机会,同时也提出了许多挑战;在这些挑战中,卫星图像的语义分割或密集标记已经成为最引人关注和长期存在的问题之一,因为它是一个广泛应用于城市监测、城市管理、农业、自动制图和导航等领域的关键技术。
在过去的几年里,卷积神经网络已经成为语义分割中最常用的工具,一些基于CNN的架构已经在这个任务中显示了它们的有效性,例如FCN、SegNet、U-Net、PSPNets和Deeplab。当训练和测试数据来自相同的数据分布时或相同的域时,它们都表现得很好,然而当我们尝试将该模型应用于不同卫星获取的图像并进行语义分割时,由于不同卫星图像之间的数据分布不同(域偏移),模型性能急剧下降,其结果无法让人满意。在一些文献中,这个问题被称为域适应。在遥感领域,域偏移通常是由不同的大气条件、采集差异(这些差异将会改变物体的光谱特征)、内部类的可变性、传感器的光谱特征的差异或与不同类型的光谱波段(比如一些图片可能时红色,绿色和蓝色波段,而其他可能时近红外,红色和绿色波段)引起的。
在一个典型的域适应问题中,训练图像和测试图像通常被指定为源域和目标域,处理域适应的一个普通解决方案是在目标域上创建一个新的语义标记数据集,并在其上训练模型。由于目标城市收集大量像素标记的图像将是耗时和昂贵的,这种解决方案非常昂贵且不切实际。为了减少人工按像素分类的工作量,已经有了一些解决方案,比如从3D渲染图像或弱监督标记中合成数据。然而,这些方法仍然有局限性,因为它们也需要耗费大量的人工劳动。为了提高CNN的泛化能力,另一种常用的方法是随机变化颜色进行数据扩充,例如,伽马校正和图像亮度转换,在遥感中得到了广泛的应用。尽管如此,当数据分布之间存在显著差异时,当涉及到将模型从一个域调整到另一个域时,这些增强方法是非常有限的。例如,使用这种简单的增强方法,不可能将一个包含红、绿、蓝波段的域的模型应用到另一个包含近红外、红、绿通道的域。为了克服这一限制,生成对抗网络(GenerativeAdversarial Network,GAN)被用来生成与目标域图像的数据分布相似的拟目标域图像,这些生成的拟目标域图像可以用来训练目标域上分类器。但是由于生成对抗网络结果不稳定,模型容易出现模式崩塌,即使GAN训练的轮数更多,模型效果也不一定更好。同时,GAN在图像转换中图像的语义信息保持可能会发生改变,导致转换后的图像和标签无法对应,而生成图像的质量以及其与标签的对应程度都会影响目标域语义分割模型微调后的效果。一个理想的生成器,不仅要生成高质量的图像,还要保证转换过程不能改变图像原有的语义信息,因此如何选择一个效果良好的图像转换器以及如何保持转换前后图像语义的一致性,这是跨域遥感图像语义分割面临的重要问题。而根据目标域和源域上训练出的2个分类器可得出2个分割结果,实验中发现,这2个分割结果之间并不是简单的包含关系,如何通过源域和目标域分割结果的融合来进一步提升分割效果也是一个重要的问题。
发明内容
鉴于上述,本发明提供了一种基于双向无监督域适应融合的跨星遥感图像语义分割方法,能够将一颗卫星图像上训练的语义分割模型迁移到其他高分卫星图像上,从而提高跨星遥感图像语义分割模型的性能和鲁棒性。
一种基于双向无监督域适应融合的跨星遥感图像语义分割方法,包括如下步骤:
(1)利用源域图像xs和源域标签ys训练出源域语义分割模型FS;
(2)利用源域图像xs以及目标域图像xt训练源-目标域图像双向转换器,其包含源→目标方向的图像转换器和目标→源方向的图像转换器;
(3)对于上述训练过程中生成的所有图像转换器的中间结果,从中选择一组最优的结果作为源→目标方向的图像转换器GS→T和目标→源方向的图像转换器GT→S;
(4)利用图像转换器GS→T将源域图像xs从源域转换到目标域,得到拟目标域图像GS→T(xs);
(5)利用拟目标域图像GS→T(xs)和源域标签ys训练出拟目标域语义分割模型FT;
(6)利用图像转换器GT→S将目标域图像xt从目标域转换到源域,得到拟源域图像GT→S(xt);
(7)将拟源域图像GT→S(xt)输入至源域语义分割模型FS中,得到目标域图像xt的源域类别分割概率PS;
(8)将目标域图像xt输入至拟目标域语义分割模型FT中,得到目标域图像xt的目标域类别分割概率PT;
(9)融合源域类别分割概率PS和目标域类别分割概率PT,得到目标域图像xt最终的类别分割概率P及分割结果map。
其中:表示数学期望函数,FS(xs)为xs输入至模型FS中得到的输出结果,FT(GS→T(xs))为GS→T(xs)输入至模型FT中得到的输出结果,FT(xt)为xt输入至模型FT中得到的输出结果,FS(GT→S(xt))为GT→S(xt)输入至模型FS中得到的输出结果,为FS(xs)与FT(GS→T(xs))之间的相似度,为FT(xt)与FS(GT→S(xt))之间的相似度。
进一步地,所述步骤(3)的具体实现方式如下:
3.1首先设定训练过程总的迭代(iteration)次数为M,每隔Ni轮保存一次当前模型参数,对应得到个图像转换器即表示第i次迭代所保存的源→目标方向的图像转换器;同样每隔Nj轮保存一次当前模型参数,对应得到个图像转换器 即表示为第j次迭代所保存的目标→源方向的图像转换器,i和j均为自然数且Ni和Nj为自设定的正整数;
3.2将源域图像xs分别输入至图像转换器和中,得到对应的输出结果和注:GT→S为目标→源方向的图像转换器,可以生成拟源域分布的图像,通常用来把目标域图像xt转换为拟源域图像GT→S(xt),此处用来将源域图像xs转换为拟源域图像GT→S(xs),在自损失函数(详见具体实施方式)的作用下,GT→S训练的越好,拟源域图像GT→S(xs)与xs之间的差别越小,语义改变情况也更少,GS→T(xt)同理;
其中:ys为源域标签。
进一步地,所述步骤(9)中通过以下公式对源域类别分割概率PS和目标域类别分割概率PT进行融合,得到目标域图像xt最终的类别分割概率P及分割结果map;
map=σ(P)
其中:λS和λT分别为源域类别分割概率和目标域类别分割概率的权重,σ()为类别分割概率到分割结果的映射函数。
进一步地,所述权重λS和λT的计算表达式如下:
其中:GT→S(xs)为xs输入至图像转换器GT→S转换得到的拟源域图像,FS(GT→S(xs))为GT→S(xs)输入至模型FS中得到的输出结果,FT(GS→T(xs))为GS→T(xs)输入至模型FT中得到的输出结果。
本发明方法是一个完整的跨星遥感图像语义分割框架,包含源域-目标域图像双向转换器训练、图像双向转换器中的模型参数选择、源域-目标域图像双向转换、源域-拟目标域语义分割模型训练、源域-目标域类别分割概率生成以及融合。
本发明提出了一个源域图像和目标域图像之间的图像双向转换网络,在训练该图像双向转换器时,本发明使用了常用的循环一致损失函数、对抗损失函数和自损失函数。除此之外,为了保持图像双向转换前后语义不发生改变,本发明还提出了一种针对图像转换器的语义一致损失函数;在图像双向转换器训练结束以后,本发明采用的图像转换器选择策略选择训练中不同的迭代次数中能生成高得分图像的图像转换器,经观察发现得分高的迭代次数输出的合成图像质量较高,从而避免了低质量合成图像的使用。基于图像双向转换器,本发明实现了源域和目标域之间的双向转换,在获得了目标域和源域两个结果后,本发明采用的融合策略将源域和目标域结果进行融合,得到了最后的语义分割结果,提高了跨域遥感图像语义分割的准确率和方法的鲁棒性。
附图说明
图1为本发明跨星遥感图像语义分割方法的步骤流程示意图。
图2为本发明跨星遥感图像语义分割方法的具体实施过程示意图。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1和图2所示,本发明基于双向无监督域适应融合的跨域遥感图像语义分割方法,包括如下步骤:
(1)利用源域图像xs和源域标签ys训练出源域上的语义分割模型FS。
模型网络结构可采用常用的deeplab、U-net等,损失函数采用具有K类别的交叉熵损失,对应公式如下:
式中:xs为源域图像,ys为源域图像标签,K为标签类别数量,FS为源域上的语义分割模型,为指示函数(当k=ys时,当k≠ys时,指示函数参考-周志华.机器学习[M].北京:清华大学出版社,2016年.主要符号表),表示数学期望函数,为xs输入至模型FS中得到的输出结果中第k类的结果。
本实施方式将带建筑物标签的GF1卫星图像作为源域,并将其大小裁剪为500*500像素,保留4通道,图像和对应建筑物标签数量各为2039张,模型网络结构可采用deeplabV3+,学习率为10-4,优化算法为adam,训练900个epoch得到GF1域上的语义分割模型FS。
(2)基于源域图像xs和目标域图像xt训练出源-目标域图像双向转换模型。
常用方法有基于传统方法(如直方图匹配)和深度学习方法(如GAN),本实例以基于GAN的方法做说明,但不仅限于基于GAN的方法。双向图像转换模型包含源域图像xs到目标域图像xt的图像转换器GS→T、目标域图像xt到源域图像xs的图像转换器GT→S以及源域判别器DS和目标域判别器DT,训练损失函数包含循环一致损失函数、语义一致损失函数、自损失函数和对抗损失函数,训练M个epoch后停止,每N个epoch(此处Ni=Nj=N)保存图像转换模型(源-目标方向的图像转换器和目标-源方向的图像转换器),M和N为大于0的自然数且M>=N。
循环一致损失函数的方程表达式如下:
语义一致损失函数的方程表达式如下:
式中:xs为源域图像,xt为目标域图像,GS→T为源域图像xs到目标域图像xt的图像转换器,GT→S为目标域图像xt到源域图像xs的图像转换器,为数学期望函数,FT为目标域上语义分割模型,FS为源域上语义分割模型,KL(||)为两个分布之间的KL散度。
对抗损失函数的方程表达式如下:
自损失函数的方程表达式如下:
本实施方式将GF1卫星图像作为源域,GF1B卫星图像作为目标域,图像大小均为500*500像素,4通道,其中GF1卫星图像(源域)934张,GF1B卫星图像(目标域)897张,图像中均包含建筑物。图像转换模型使用GAN,包含GF1图像xs到GF1B图像xt的图像转换器GS→T、GF1B图像xt到GF1图像xs的图像转换器GT→S以及GF1域判别器DS和GF1B域判别器DT,生成器网络结构为9层ResNet,判别器网络结构为4层CNN,训练损失函数包含循环一致损失函数、语义一致损失函数、对抗损失函数以及自损失函数,学习率为10-4,优化算法为adam,训练100个epoch后停止,每10个epoch保存图像转换模型,训练结束后得到10个GF1-GF1B方向的图像转换器和10个GF1B-GF1方向的图像转换器
(3)选择最优的源-目标域图像双向转换模型参数。
将源域图像xs分别输入至步骤(2)中保存的对转换器和得到和其中i和j属于将所有和送入语义分割模型FS中,然后计算各个方向中转换器和的得分iteration-score(i)和iteration-score(j),选择所有i中iteration-score(i)得分最高的参数i作为图像转换网络中的源-目标转换器GS→T和选择所有j中iteration-score(j)得分最高的参数j作为图像转换网络中的目标-源转换器GT→S。
得分iteration-score(i)和iteration-score(j)计算公式如下:
本实施方式将2039张500*500像素,4通道的GF1卫星图像(源域图像xs)分别输入步骤(2)中保存的10对转换器和得到和其中i属于[1,10],将所有和送入语义分割模型FS中,然后根据上述公式计算各个方向中转换器和的得分iteration-score(i)和iteration-score(j),选择所有i中iteration-score(j)得分最高的参数iteration(i,j)=60作为图像转换网络中的GF1-GF1B转换器GS→T和选择所有j中iteration-score(j)得分最高的参数iteration(i,j)=80作为图像转换网络中的GF1B-GF1转换器GT→S;iteration-score(i)和iteration-score(j)如表1所示:
表1
iteration(i,j) | iteration-score(i) | iteration-score(j) |
10 | 0.0039 | 0.6597 |
20 | 0.0523 | 0.7928 |
30 | 0.2011 | 0.8 |
40 | 0.1795 | 0.805 |
50 | 0.1805 | 0.8401 |
60 | 0.2067 | 0.8366 |
70 | 0.1805 | 0.8358 |
80 | 0.188 | 0.8473 |
90 | 0.1918 | 0.8398 |
100 | 0.1917 | 0.8429 |
(4)根据模型转换参数i和转换器GS→T将图像xs从源域转换到目标域,得到拟目标域图像GS→T(xs)。
本实施方式根据模型转换参数iteration(i,j)=60和转换器GS→T将2039张500*500像素,4通道的GF1卫星图像从GF1域转换到GF1B域,得到拟GF1B图像GS→T(xs)。
(5)利用拟目标域图像GS→T(xs)和源域标签ys训练出拟目标域语义分割模型FT。
模型网络结构可采用常用的deeplab、U-net等,损失函数采用具有K类别的交叉熵损失,对应公式如下:
式中:xs为源域图像,ys为源域图像标签,K为标签类别数量,FT为目标域上的语义分割模型,为指示函数(当k=ys时,当k≠ys时,),表示数学期望函数,GS→T(xs)为拟目标域图像,为GS→T(xs)输入至模型FT中得到的输出结果中第k类的结果。
本实施方式使用步骤(4)中生成的2039张500*500像素,4通道的拟GF1B域图像GS→T(xs)和源域标签ys训练GF1B域上的语义分割模型FT;模型网络结构采用deeplabV3+,学习率为10-4,优化算法为adam,训练100个epoch得到拟GF1B域上的语义分割模型FT。
(6)根据模型转换参数j和转换器GT→S将图像xt从目标域转换到源域,得到拟源域图像GT→S(xt)。
本实施方式根据模型转换参数iteration(i,j)=80和转换器GT→S将4098张500*500像素,4通道的GF1B卫星图像从GF1B域转换到GF1域,得到拟GF1域图像GT→S(xt)。
(7)将拟源域图像GT→S(xt)输入源域语义分割模型FS得到源域类别分割概率PS(图像中每个像素点的类别概率)。
(8)将目标域图像xt输入拟目标域语义分割模型FT得到目标域类别分割概率PT(图像中每个像素点的类别概率)。
(9)融合源域类别分割概率PS和目标域类别分割概率PT得到最终的类别分割概率P和分割结果map,具体融合方式如下:
map=softmax(P)
式中:λS和λT分别为源域类别分割概率PS和目标域类别分割概率PT权重,具体计算方法如下:
其中:GT→S(xs)为xs输入至图像转换器GT→S转换得到的拟源域图像,FS(GT→S(xs))为GT→S(xs)输入至模型FS中得到的输出结果,FT(GS→T(xs))为GS→T(xs)输入至模型FT中得到的输出结果。
表2为通过相关实验测试出的迁移前、亮度转换(传统方法)、结果PT和PS进行交集、并集融合以及本发明融合策略得到的结果与标签真值计算得到的precision,recall和IoU指标。
表2
迁移前 | 亮度转换 | P<sub>T</sub> | P<sub>S</sub> | P<sub>T</sub>∩P<sub>S</sub> | P<sub>T</sub>∪P<sub>S</sub> | map | |
precision | 0.7478 | 0.4331 | 0.5856 | 0.5335 | 0.3946 | 0.7244 | 0.5837 |
recall | 0.166 | 0.7190 | 0.7137 | 0.3114 | 0.7580 | 0.3599 | 0.7191 |
IoU | 0.1572 | 0.3704 | 0.4742 | 0.2448 | 0.3505 | 0.3165 | 0.4753 |
从上述实验结果可以看出,本实施方式与迁移前相比有效的提升语义分割的IoU指标,提升达到了0.3181。同时,与简单的亮度转换相比,本实施方式的IoU指标也提升了0.1049,这说明了图像转换模型的必要性。与此同时,当一个结果明显差于另一个结果时,只是简单的将PT和PS以交集或并集的方式融合反而会降低PT的IoU结果,相反本实施方式在这种情况下可以提升PT的IoU结果。因此,本发明对提高跨卫星遥感图像语义分割的性能和鲁棒性有很大的帮助。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明,熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (7)
1.一种基于双向无监督域适应融合的跨星遥感图像语义分割方法,包括如下步骤:
(1)利用源域图像xs和源域标签ys训练出源域语义分割模型FS;
(2)利用源域图像xs以及目标域图像xt训练源-目标域图像双向转换器,其包含源→目标方向的图像转换器和目标→源方向的图像转换器;
(3)对于上述训练过程中生成的所有图像转换器的中间结果,从中选择一组最优的结果作为源→目标方向的图像转换器GS→T和目标→源方向的图像转换器GT→S;
(4)利用图像转换器GS→T将源域图像xs从源域转换到目标域,得到拟目标域图像GS→T(xs);
(5)利用拟目标域图像GS→T(xs)和源域标签ys训练出拟目标域语义分割模型FT;
(6)利用图像转换器GT→S将目标域图像xt从目标域转换到源域,得到拟源域图像GT→S(xt);
(7)将拟源域图像GT→S(xt)输入至源域语义分割模型FS中,得到目标域图像xt的源域类别分割概率PS;
(8)将目标域图像xt输入至拟目标域语义分割模型FT中,得到目标域图像xt的目标域类别分割概率PT;
(9)融合源域类别分割概率PS和目标域类别分割概率PT,得到目标域图像xt最终的类别分割概率P及分割结果map。
3.根据权利要求1所述的跨星遥感图像语义分割方法,其特征在于:所述步骤(3)的具体实现方式如下:
3.1首先设定训练过程总的迭代次数为M,每隔Ni轮保存一次当前模型参数,对应得到个图像转换器即表示第i次迭代所保存的源→目标方向的图像转换器;同样每隔Nj轮保存一次当前模型参数,对应得到个图像转换器 即表示为第j次迭代所保存的目标→源方向的图像转换器,i和j均为自然数且Ni和Nj为自设定的正整数;
7.根据权利要求1所述的跨星遥感图像语义分割方法,其特征在于:该方法是一个完整的跨星遥感图像语义分割框架,包含源域-目标域图像双向转换器训练、图像双向转换器中的模型参数选择、源域-目标域图像双向转换、源域-拟目标域语义分割模型训练、源域-目标域类别分割概率生成以及融合。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111017498.9A CN113837191B (zh) | 2021-08-30 | 2021-08-30 | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 |
PCT/CN2021/119171 WO2023029111A1 (zh) | 2021-08-30 | 2021-09-17 | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 |
US17/911,551 US20240212162A1 (en) | 2021-08-30 | 2021-09-17 | Semantic segmentation method for cross-satellite remote sensing images based on unsupervised bidirectional domain adaptation and fusion |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111017498.9A CN113837191B (zh) | 2021-08-30 | 2021-08-30 | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113837191A true CN113837191A (zh) | 2021-12-24 |
CN113837191B CN113837191B (zh) | 2023-11-07 |
Family
ID=78961727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111017498.9A Active CN113837191B (zh) | 2021-08-30 | 2021-08-30 | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240212162A1 (zh) |
CN (1) | CN113837191B (zh) |
WO (1) | WO2023029111A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023201772A1 (zh) * | 2022-04-18 | 2023-10-26 | 浙江大学 | 基于迭代域内适应和自训练的跨域遥感图像语义分割方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116434024B (zh) * | 2023-04-21 | 2023-09-12 | 大连理工大学 | 目标特征嵌入的红外与可见光图像融合方法 |
CN117994667B (zh) * | 2024-04-03 | 2024-06-18 | 深圳市森歌数据技术有限公司 | 基于多模型融合的遥感影像重点关注区域精确识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110444277A (zh) * | 2019-07-19 | 2019-11-12 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
US20200160113A1 (en) * | 2018-11-19 | 2020-05-21 | Google Llc | Training image-to-image translation neural networks |
CN111199550A (zh) * | 2020-04-09 | 2020-05-26 | 腾讯科技(深圳)有限公司 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
CN111899203A (zh) * | 2020-07-10 | 2020-11-06 | 贵州大学 | 基于标注图在无监督训练下的真实图像生成方法及存储介质 |
AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
CN112991353A (zh) * | 2021-03-12 | 2021-06-18 | 北京航空航天大学 | 一种跨域遥感图像的无监督语义分割方法 |
CN113095246A (zh) * | 2021-04-19 | 2021-07-09 | 首都师范大学 | 一种基于迁移学习和场景感知的跨域自适应人数统计方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10624558B2 (en) * | 2017-08-10 | 2020-04-21 | Siemens Healthcare Gmbh | Protocol independent image processing with adversarial networks |
CN112508031B (zh) * | 2020-12-22 | 2022-09-02 | 北京航空航天大学 | 一种从虚拟到现实的无监督遥感图像语义分割方法及模型 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
-
2021
- 2021-08-30 CN CN202111017498.9A patent/CN113837191B/zh active Active
- 2021-09-17 US US17/911,551 patent/US20240212162A1/en active Pending
- 2021-09-17 WO PCT/CN2021/119171 patent/WO2023029111A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200160113A1 (en) * | 2018-11-19 | 2020-05-21 | Google Llc | Training image-to-image translation neural networks |
CN110444277A (zh) * | 2019-07-19 | 2019-11-12 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
CN111199550A (zh) * | 2020-04-09 | 2020-05-26 | 腾讯科技(深圳)有限公司 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
CN111899203A (zh) * | 2020-07-10 | 2020-11-06 | 贵州大学 | 基于标注图在无监督训练下的真实图像生成方法及存储介质 |
AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
CN112991353A (zh) * | 2021-03-12 | 2021-06-18 | 北京航空航天大学 | 一种跨域遥感图像的无监督语义分割方法 |
CN113095246A (zh) * | 2021-04-19 | 2021-07-09 | 首都师范大学 | 一种基于迁移学习和场景感知的跨域自适应人数统计方法 |
Non-Patent Citations (2)
Title |
---|
CHENG CHEN 等: "Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 39, no. 7, pages 2494 - 2505, XP011796121, DOI: 10.1109/TMI.2020.2972701 * |
青晨 等: "深度卷积神经网络图像语义分割研究进展", 《中国图象图形学报》, vol. 25, no. 6, pages 1069 - 1090 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023201772A1 (zh) * | 2022-04-18 | 2023-10-26 | 浙江大学 | 基于迭代域内适应和自训练的跨域遥感图像语义分割方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2023029111A1 (zh) | 2023-03-09 |
US20240212162A1 (en) | 2024-06-27 |
CN113837191B (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN115601549B (zh) | 基于可变形卷积和自注意力模型的河湖遥感图像分割方法 | |
CN107609587B (zh) | 一种基于深度卷积生成对抗网络的多类别多视图数据生成方法 | |
CN113837191A (zh) | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 | |
CN110321813A (zh) | 基于行人分割的跨域行人重识别方法 | |
CN109829391B (zh) | 基于级联卷积网络和对抗学习的显著性目标检测方法 | |
CN113705641B (zh) | 基于富上下文网络的高光谱图像分类方法 | |
CN112348036A (zh) | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 | |
CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
CN110675421B (zh) | 基于少量标注框的深度图像协同分割方法 | |
CN110807485B (zh) | 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法 | |
WO2023201772A1 (zh) | 基于迭代域内适应和自训练的跨域遥感图像语义分割方法 | |
CN115331104A (zh) | 一种基于卷积神经网络的农作物种植信息提取方法 | |
CN114548265A (zh) | 一种作物叶片病害图像生成模型训练方法、作物叶片病害识别方法、电子设备及存储介质 | |
CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
CN115063655A (zh) | 一种融合超列的类激活映射图生成方法 | |
CN116343048A (zh) | 针对平原作物类型复杂区地块边界精准提取方法及*** | |
CN105913451B (zh) | 一种基于图模型的自然图像超像素分割方法 | |
CN114581789A (zh) | 一种高光谱图像分类方法及*** | |
CN111695436A (zh) | 一种基于目标增强的高空间分辨率遥感图像场景分类方法 | |
CN116433909A (zh) | 基于相似度加权多教师网络模型的半监督图像语义分割方法 | |
CN112508958B (zh) | 一种轻量多尺度的生物医学图像分割方法 | |
CN113409351A (zh) | 基于最优传输的无监督领域自适应遥感图像分割方法 | |
Deng et al. | A paddy field segmentation method combining attention mechanism and adaptive feature fusion | |
Yu et al. | Precise segmentation of remote sensing cage images based on SegNet and voting mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |