CN114758251A - 基于内容与风格编码的遥感影像无监督道路提取方法 - Google Patents

基于内容与风格编码的遥感影像无监督道路提取方法 Download PDF

Info

Publication number
CN114758251A
CN114758251A CN202210670455.9A CN202210670455A CN114758251A CN 114758251 A CN114758251 A CN 114758251A CN 202210670455 A CN202210670455 A CN 202210670455A CN 114758251 A CN114758251 A CN 114758251A
Authority
CN
China
Prior art keywords
style
image
content
remote sensing
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210670455.9A
Other languages
English (en)
Inventor
艾波
徐翰文
吕冠南
尚恒帅
冯文君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Oceanread Information Service Co ltd
Original Assignee
Qingdao Oceanread Information Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Oceanread Information Service Co ltd filed Critical Qingdao Oceanread Information Service Co ltd
Priority to CN202210670455.9A priority Critical patent/CN114758251A/zh
Publication of CN114758251A publication Critical patent/CN114758251A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开基于内容与风格编码的遥感影像无监督道路提取方法，属于遥感影像分类技术领域，用于遥感图像的道路提取，包括对遥感影像进行预处理并执行水平与竖直翻转、尺寸随机重采样与高斯模糊三种图像增强操作，输出增强后的高分辨率融合影像；目标风格图像采集，对公开网络地图中的道路专题地图数据进行随机选取与裁剪作为目标风格图像；构建内容编码器与风格编码器，以解耦合的方式提取影像的内容编码与风格编码；构建生成器将提取的风格编码施加到遥感影像中，实现遥感影像到道路专题地图图像的转换；构建损失函数并利用梯度下降算法优化编码器与生成器；利用二值化方法将转换后得到的道路专题地图图像进行二分类，输出道路提取结果。

Description

基于内容与风格编码的遥感影像无监督道路提取方法
技术领域
本发明涉及遥感影像分类技术领域，特别涉及基于内容与风格编码的遥感影像无监督道路提取方法。
背景技术
道路信息是基础的地理信息，在城市规划、交通管理、车辆导航和地图更新等领域具有重要的作用，也是各级地理数据中心与各级比例尺地图必须涵盖的内容。近年来，随着卫星与传感器的不断发展，遥感影像的分辨率不断提高；并且随着人工智能技术尤其是深度学习技术的发展，从高分辨率遥感影像中自动的提取道路已成为研究热点之一并开始慢慢取代手工提取。
目前，基于卷积神经网络（CNN）的道路提取模型可达到较高的精度，例如CN110751111A、CN110807376A与CN112733777A的发明创造性中提出的方法。但是这类方法以监督学习范式训练CNN模型，其训练数据的制作过程需要耗费大量的人力资源与时间成本。当标注数据匮乏时，由监督学习训练的道路提取模型会产生过拟合问题从而影响现实场景的提取精度。
为缓解道路提取模型需要大量的标记训练数据作为支撑的问题，本文将图像风格迁移领域中内容编码与风格编码的技术引入到了遥感影像中以实现无监督的道路提取。在遥感影像中，内容编码可描述为地物的结构与空间分布状态，风格编码可表描述为地物在影像中的呈现形式。无监督道路提取的核心在于输入一幅遥感影像，在维持内容编码不变的情况下将地物的呈现形式转换到专题地图的风格，从而实现无需标记训练数据的道路提取。
发明内容
本发明提出了基于内容与风格编码的遥感影像无监督道路提取方法，解决现有技术中基于卷积神经网络的道路提取模型需大量的标记训练数据作为支撑的问题。
基于内容与风格编码的遥感影像无监督道路提取方法，包括：
S1、对遥感影像进行预处理并执行水平与竖直翻转、尺寸随机重采样与高斯模糊三种图像增强操作，输出增强后的高分辨率融合影像；
S2、目标风格图像采集，对公开网络地图中的道路专题地图数据进行随机选取与裁剪作为目标风格图像，无需人工制作标记样本库；
S3、构建内容编码器与风格编码器，以解耦合的方式提取步骤S1与S2中影像的内容编码与风格编码；
S4、构建生成器将步骤S3提取的风格编码施加到遥感影像中，实现遥感影像到道路专题地图图像的转换；
S5、构建损失函数并利用梯度下降算法优化步骤S3中的编码器与步骤S4中的生成器；
S6、利用二值化方法将步骤S4中转换后得到的道路专题地图图像进行二分类，输出道路提取结果。
优选地，所述内容编码器为一种卷积神经网络，其由2个下采样卷积层与4个残差卷积块堆叠而成，所有卷积层之后都跟随一个实例正则化层，所述残差卷积块将卷积过程分为直接映射部分和残差部分，具体为
Figure 616162DEST_PATH_IMAGE001
，
Figure 330040DEST_PATH_IMAGE002
为直接映射部分，
Figure 735875DEST_PATH_IMAGE003
为残差部分，
Figure 927822DEST_PATH_IMAGE004
为残差 卷积块的输出特征。
优选地，所述风格编码器为一种卷积神经网络，其由4个下采样卷积层提取图像特征，然后通过全局平均池化模块与全连接层输出风格编码，风格编码器中实例正则化层未被使用。
优选地，所述生成器为生成对抗网络的网络架构，其主干部分由残差卷积块、卷积 层与双线性插值上采样模块组成，残差卷积块中被***了AdaIN模块以注入风格信息， AdaIN的参数由多层感知机从风格编码中动态生成，具体为
Figure 70091DEST_PATH_IMAGE005
，
Figure 954870DEST_PATH_IMAGE006
代表该残差卷积块中的卷积层生成的特征图，
Figure 51264DEST_PATH_IMAGE007
和
Figure 578061DEST_PATH_IMAGE008
为求解均值与标准差的函数，
Figure 450202DEST_PATH_IMAGE009
和
Figure 505882DEST_PATH_IMAGE010
是多层感知机生成的风格参数, 对遥感影像施加风格参数即可实现到道路专题地物的转 换。
优选地，所述损失函数遵循循环一致性与对抗学习框架，包含图像重建函数、内容编码重建函数、风格编码重建函数与对抗损失函数4种。
优选地，设遥感影像为
Figure 322529DEST_PATH_IMAGE011
，目标风格影像为
Figure 888901DEST_PATH_IMAGE012
，内容编码器为
Figure 474604DEST_PATH_IMAGE013
与
Figure 232344DEST_PATH_IMAGE014
，风格编 码器为
Figure 536286DEST_PATH_IMAGE015
与
Figure 375192DEST_PATH_IMAGE016
，生成器为
Figure 815400DEST_PATH_IMAGE017
与
Figure 212884DEST_PATH_IMAGE018
，图像重建函数有两个，第一个为：
Figure 630221DEST_PATH_IMAGE019
，图像重建函数旨在让生成器
Figure 36931DEST_PATH_IMAGE017
通过
Figure 331646DEST_PATH_IMAGE011
的内容编码 与风格编码能够重建回
Figure 932654DEST_PATH_IMAGE011
自身。第二个为：
Figure 211189DEST_PATH_IMAGE020
。
优选地，内容编码重建函数有两个，第一个为：
Figure 296957DEST_PATH_IMAGE021
，
Figure 570812DEST_PATH_IMAGE022
为遥感影像
Figure 811563DEST_PATH_IMAGE011
的内容编码，
Figure 577393DEST_PATH_IMAGE023
为目标风格图像
Figure 201273DEST_PATH_IMAGE012
的 风格编码，给定一个内容编码
Figure 1738DEST_PATH_IMAGE022
，内容编码重建函数旨在让生成器
Figure 177505DEST_PATH_IMAGE018
通过内容编码
Figure 666517DEST_PATH_IMAGE022
生成的 重建图像可由内容编码器
Figure 218721DEST_PATH_IMAGE014
编码回
Figure 76956DEST_PATH_IMAGE022
自身。第二个为：
Figure 689203DEST_PATH_IMAGE024
，其中
Figure 931091DEST_PATH_IMAGE025
为目标风格影像
Figure 818144DEST_PATH_IMAGE012
的内容编码，
Figure 156984DEST_PATH_IMAGE026
为遥感影像
Figure 674553DEST_PATH_IMAGE011
的风格编码。
优选地，风格编码重建函数有两个，第一个为：
Figure 636693DEST_PATH_IMAGE027
，给定一个风格编码
Figure 32164DEST_PATH_IMAGE023
，风格编码重建函数旨在让生成 器
Figure 661729DEST_PATH_IMAGE018
通过风格编码
Figure 225565DEST_PATH_IMAGE023
生成的重建图像可由风格编码器
Figure 940580DEST_PATH_IMAGE016
编码回
Figure 372699DEST_PATH_IMAGE023
自身。第二个为：
Figure 92655DEST_PATH_IMAGE028
。
优选地，对抗损失函数有两个，第一个为：
Figure 217606DEST_PATH_IMAGE029
，
Figure 29704DEST_PATH_IMAGE030
为叠加卷积层构成的鉴 别器，其用于判断生成的道路专题地图图像与真实的道路专题地图图像的真假，鉴别器
Figure 265513DEST_PATH_IMAGE030
与生成器
Figure 604091DEST_PATH_IMAGE018
通过对抗训练的形式实现共同优化。第二个为：
Figure 401408DEST_PATH_IMAGE031
，
Figure 825436DEST_PATH_IMAGE032
同样为叠加卷积层构成 的鉴别器。
优选地，4种损失函数通过加权融合的方式构成目标损失函数，如下：
Figure 599357DEST_PATH_IMAGE034
Figure 667807DEST_PATH_IMAGE035
、
Figure 134560DEST_PATH_IMAGE036
与
Figure 547350DEST_PATH_IMAGE037
为平衡不同损失函数重要性的超参数，
Figure 859382DEST_PATH_IMAGE038
为
Figure 172552DEST_PATH_IMAGE039
与
Figure 685573DEST_PATH_IMAGE040
的统称，
Figure 84193DEST_PATH_IMAGE041
为
Figure 966961DEST_PATH_IMAGE042
与
Figure 869058DEST_PATH_IMAGE043
的统称。
与现有技术对比，本发明的***的有益效果是：
1.与目前主流的基于监督学习的道路提取方法不同，本发明为无监督道路提取方法，无需制作标记训练数据，大大降低了人力资源的耗费。
2.本发明设计了内容编码器与风格编码器，对影像的内容与风格信息进行解耦合，具有较强的可解释性。
3.本发明中风格编码的数学形式表现为一维向量，可通过调节向量中某一维度的数值实现自定义的风格编码，并支持输出多种风格的道路专题地图图像。
附图说明
图1为本发明的技术流程图；
图2为本发明中编码器与生成器的神经网络结构图；
图3为本发明的模型训练的流程图；
图4、图5、图6为通过调整风格向量输出的多种风格的道路专题地图图像，其中图4为平衡道路与建筑的风格，图5为突出绿地的风格，图6为突出主干道路的风格；
图7、图8为本发明实施例中两个不同区域的道路提取结果的示意图。
具体实施方式
下面结合具体实施例对本发明的具体实施方式做进一步说明：
实施例基于高分2号遥感影像实现道路提取，图1为本发明提供的一种基于内容与风格编码的遥感影像无监督道路提取方法的流程图。其首先将影像的内容信息与风格信息进行解耦合编码，并由一个生成器将提取的风格编码施加到遥感影像中，实现遥感影像到道路专题地图影像的转换，最后通过二值化方法输出道路提取结果。
基于内容与风格编码的遥感影像无监督道路提取方法，包括：
S1、对高分2号多光谱影像依次进行正射校正与辐射定标，对全色影像进行正射校正，然后利用Gram-Schmidt融合方法将全色影像与多光谱影像进行融合，生成分辨率约为1米的高分辨率多光谱影像，最后对融合后的影像执行大气校正。为增强数据的多样性，对融合后的影像进行图像增强操作，增强方法包含水平与竖直翻转、尺寸随机重采样与高斯模糊，输出增强后的高分辨率融合影像，其中重采样倍率为0.5倍-2.0倍；
S2、采集目标风格图像，即道路专题地图图像。采集方法为使用爬虫程序对公开网络地图（例如百度地图与高德地图）中的道路专题地图数据进行随机选取与裁剪。此过程与监督学习不同，无需人工制作标记样本库。
S3、构建内容编码器与风格编码器，以解耦合的方式提取步骤S1与S2中影像的内容编码与风格编码；
S4、构建生成器将步骤S3提取的风格编码施加到遥感影像中，实现遥感影像到道路专题地图图像的转换；生成器的网络结构如图2所示，其主干部分由残差卷积块、卷积层与双线性插值上采样模块组成。
S5、构建损失函数并利用梯度下降算法优化步骤S3中的编码器与步骤S4中的生成器，损失函数的设计基于循环一致性与对抗学习框架，如图3所示；调节风格向量中某一维度的数值实现自定义的风格编码，并输出多种风格的道路专题地图图像，如图4、图5与图6所示。
S6、利用二值化方法将步骤S4中转换后得到的道路专题地图图像进行二分类，输出道路提取结果，如图7与图8所示。
所述内容编码器由2个下采样卷积层与4个残差卷积块堆叠而成，所有卷积层之后都跟随一个实例正则化层，所述残差卷积块将卷积过程分为直接映射部分和残差部分，具体为
Figure 677614DEST_PATH_IMAGE044
，
Figure 173317DEST_PATH_IMAGE045
为直接映射部分，
Figure 358311DEST_PATH_IMAGE046
为残差部分，
Figure 452316DEST_PATH_IMAGE047
为残差卷 积块的输出特征。
相较于普通卷积，残差卷积块更易优化，且随着卷积网络的加深其精度不会出现 退化问题。设当前遥感影像为
Figure 431774DEST_PATH_IMAGE048
，则该影像的内容编码为
Figure 804986DEST_PATH_IMAGE049
，其中
Figure 403458DEST_PATH_IMAGE050
与
Figure 14568DEST_PATH_IMAGE051
分别表示遥感影像与内容编码的通道数。
所述风格编码器由4个下采样卷积层提取图像特征，然后通过全局平均池化模块 与全连接层输出风格编码，风格编码器中实例正则化层未被使用，因为其会破坏特征中带 有风格信息的均值与标准差。设当前目标风格图像为
Figure 931970DEST_PATH_IMAGE052
，则该图像的风格编码 为
Figure 526900DEST_PATH_IMAGE053
，其中
Figure 53696DEST_PATH_IMAGE054
和
Figure 660258DEST_PATH_IMAGE055
分别表目标风格图像的通道数与风格编码的通道数。
所述生成器的网络的主干部分由残差卷积块、卷积层与双线性插值上采样模块组 成，残差卷积块中被***了AdaIN模块以注入风格信息，AdaIN的参数由多层感知机从风格 编码中动态生成，具体为
Figure 247097DEST_PATH_IMAGE056
，
Figure 565208DEST_PATH_IMAGE057
代表该残差卷积块中的卷积层生 成的特征图，
Figure 630116DEST_PATH_IMAGE007
和
Figure 481398DEST_PATH_IMAGE008
为求解均值与标准差的函数，
Figure 114504DEST_PATH_IMAGE058
和
Figure 418447DEST_PATH_IMAGE059
是多层感知机生成的风格参数, 对遥感影像施加风格参数即可实现到道路专题地物的转换。
所述损失函数遵循循环一致性与对抗学习框架，包含图像重建函数、内容编码重建函数、风格编码重建函数与对抗损失函数4种。
设遥感影像为
Figure 522931DEST_PATH_IMAGE011
，目标风格影像为
Figure 494298DEST_PATH_IMAGE012
，内容编码器为
Figure 157361DEST_PATH_IMAGE060
与
Figure 89545DEST_PATH_IMAGE061
，风格编码器为
Figure 60037DEST_PATH_IMAGE062
与
Figure 885910DEST_PATH_IMAGE063
，生成器为
Figure 719874DEST_PATH_IMAGE064
与
Figure 139354DEST_PATH_IMAGE065
，图像重建函数有两个，第一个为：
Figure 84177DEST_PATH_IMAGE066
，图像重建函数旨在让生成器
Figure 266021DEST_PATH_IMAGE064
通过
Figure 270887DEST_PATH_IMAGE011
的内容编码与风格编码能够重建回
Figure 36717DEST_PATH_IMAGE011
自身，其中
Figure 785230DEST_PATH_IMAGE067
表示数学期望。第二个为：
Figure 461062DEST_PATH_IMAGE068
。
内容编码重建函数有两个，第一个为：
Figure 138294DEST_PATH_IMAGE069
，
Figure 125841DEST_PATH_IMAGE070
为遥 感影像
Figure 678045DEST_PATH_IMAGE011
的内容编码，
Figure 333018DEST_PATH_IMAGE071
为目标风格图像
Figure 181150DEST_PATH_IMAGE012
的风格编码，给定一个内容编码
Figure 796939DEST_PATH_IMAGE070
，内容编码重 建函数旨在让生成器
Figure 887255DEST_PATH_IMAGE065
通过内容编码
Figure 396734DEST_PATH_IMAGE070
生成的重建图像可由内容编码器
Figure 179882DEST_PATH_IMAGE061
编码回
Figure 282967DEST_PATH_IMAGE070
自身， 如图3所示。第二个为：
Figure 412859DEST_PATH_IMAGE072
。
风格编码重建函数有两个，第一个为：
Figure 776845DEST_PATH_IMAGE073
，给定 一个风格编码
Figure 730894DEST_PATH_IMAGE071
，风格编码重建函数旨在让生成器
Figure 445909DEST_PATH_IMAGE065
通过风格编码
Figure 753394DEST_PATH_IMAGE071
生成的重建图像可由 风格编码器
Figure 738930DEST_PATH_IMAGE063
编码回
Figure 598301DEST_PATH_IMAGE071
自身，如图3所示。第二个为：
Figure 535033DEST_PATH_IMAGE074
。
对抗损失函数有两个，第一个为：
Figure 36422DEST_PATH_IMAGE075
，
Figure 250365DEST_PATH_IMAGE076
为叠加卷积层构成的鉴 别器，其用于判断生成的道路专题地图图像与真实的道路专题地图图像的真假，鉴别器
Figure 47682DEST_PATH_IMAGE076
与生成器
Figure 206131DEST_PATH_IMAGE065
通过对抗训练的形式实现共同优化，如图3所示。第二个为：
Figure 980052DEST_PATH_IMAGE077
。
4种损失函数通过加权融合的方式构成目标损失函数，如下：
Figure 173136DEST_PATH_IMAGE079
Figure 141354DEST_PATH_IMAGE080
、
Figure 928045DEST_PATH_IMAGE081
与
Figure 505657DEST_PATH_IMAGE082
为平衡不同损失函数重要性的超参数，
Figure 818826DEST_PATH_IMAGE083
为
Figure 456481DEST_PATH_IMAGE039
与
Figure 730468DEST_PATH_IMAGE040
的统称，
Figure 347656DEST_PATH_IMAGE084
为
Figure 515332DEST_PATH_IMAGE042
与
Figure 323888DEST_PATH_IMAGE043
的统称。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (10)

1.基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，包括：
S1、对遥感影像进行预处理并执行水平与竖直翻转、尺寸随机重采样与高斯模糊三种图像增强操作，输出增强后的高分辨率融合影像；
S2、目标风格图像采集，对公开网络地图中的道路专题地图数据进行随机选取与裁剪作为目标风格图像，无需人工制作标记样本库；
S3、构建内容编码器与风格编码器，以解耦合的方式提取步骤S1与S2中影像的内容编码与风格编码；
S4、构建生成器将步骤S3提取的风格编码施加到遥感影像中，实现遥感影像到道路专题地图图像的转换；
S5、构建损失函数并利用梯度下降算法优化步骤S3中的编码器与步骤S4中的生成器；
S6、利用二值化方法将步骤S4中转换后得到的道路专题地图图像进行二分类，输出道路提取结果。
2.如权利要求1所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，所述内容编码器为一种卷积神经网络，其由2个下采样卷积层与4个残差卷积块堆叠而成，所有卷积层之后都跟随一个实例正则化层，所述残差卷积块将卷积过程分为直接映射部分和残差部分，具体为
Figure 854153DEST_PATH_IMAGE001
，
Figure 507988DEST_PATH_IMAGE002
为直接映射部分，
Figure 982701DEST_PATH_IMAGE003
为残差部分，
Figure 430999DEST_PATH_IMAGE004
为残差卷积块的输出特征。
3.如权利要求2所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，所述风格编码器为一种卷积神经网络，其由4个下采样卷积层提取图像特征，然后通过全局平均池化模块与全连接层输出风格编码，风格编码器中实例正则化层未被使用。
4.如权利要求3所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，所述生成器为生成对抗网络的网络架构，其主干部分由残差卷积块、卷积层与双线性插值上采样模块组成，残差卷积块中被***了AdaIN模块以注入风格信息，AdaIN的参数由多层感知机从风格编码中动态生成，具体为
Figure 7474DEST_PATH_IMAGE005
，其中
Figure 950154DEST_PATH_IMAGE006
代表该残差卷积块中的卷积层生成的特征图，
Figure 30105DEST_PATH_IMAGE007
和
Figure 118147DEST_PATH_IMAGE008
为求解均值与标准差的函数，
Figure 181918DEST_PATH_IMAGE009
和
Figure 161244DEST_PATH_IMAGE010
是多层感知机生成的风格参数，对遥感影像施加风格参数即可实现到道路专题地物的转换。
5.如权利要求4所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，所述损失函数遵循循环一致性与对抗学习框架，包含图像重建函数、内容编码重建函数、风格编码重建函数与对抗损失函数4种。
6.如权利要求5所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，设遥感影像为
Figure 361281DEST_PATH_IMAGE011
，目标风格影像为
Figure 416962DEST_PATH_IMAGE012
，内容编码器为
Figure 187603DEST_PATH_IMAGE013
与
Figure 986932DEST_PATH_IMAGE014
，风格编码器为
Figure 41475DEST_PATH_IMAGE015
与
Figure 251746DEST_PATH_IMAGE016
，生成器为
Figure 24530DEST_PATH_IMAGE017
与
Figure 361970DEST_PATH_IMAGE018
，图像重建函数有两个，第一个为：
Figure 287332DEST_PATH_IMAGE019
，其旨在让生成器
Figure 419236DEST_PATH_IMAGE020
通过
Figure 679316DEST_PATH_IMAGE021
的内容编码与风格编码能够重建回
Figure 554868DEST_PATH_IMAGE021
自身，其中
Figure 98851DEST_PATH_IMAGE022
表示数学期望，第二个为：
Figure 136077DEST_PATH_IMAGE023
。
7.如权利要求6所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，内容编码重建函数有两个，第一个为：
Figure 149032DEST_PATH_IMAGE024
，
Figure 313428DEST_PATH_IMAGE025
为遥感影像
Figure 462650DEST_PATH_IMAGE021
的内容编码，
Figure 670777DEST_PATH_IMAGE026
为目标风格图像
Figure 154717DEST_PATH_IMAGE027
的风格编码，给定一个内容编码
Figure 372072DEST_PATH_IMAGE025
，内容编码重建函数旨在让生成器
Figure 375800DEST_PATH_IMAGE028
通过内容编码
Figure 567878DEST_PATH_IMAGE025
生成的重建图像可由内容编码器
Figure 289846DEST_PATH_IMAGE014
编码回
Figure 294580DEST_PATH_IMAGE025
自身，第二个为：
Figure 621657DEST_PATH_IMAGE029
，其中
Figure 702745DEST_PATH_IMAGE030
为目标风格影像
Figure 380851DEST_PATH_IMAGE027
的内容编码，
Figure 956320DEST_PATH_IMAGE031
为遥感影像
Figure 669061DEST_PATH_IMAGE021
的风格编码。
8.如权利要求7所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，风格编码重建函数有两个，第一个为：
Figure 921051DEST_PATH_IMAGE032
，给定一个风格编码
Figure 820874DEST_PATH_IMAGE026
，风格编码重建函数旨在让生成器
Figure 432990DEST_PATH_IMAGE028
通过风格编码
Figure 237DEST_PATH_IMAGE026
生成的重建图像可由风格编码器
Figure 423128DEST_PATH_IMAGE016
编码回
Figure 75826DEST_PATH_IMAGE026
自身，第二个为：
Figure 993098DEST_PATH_IMAGE033
。
9.如权利要求8所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，对抗损失函数有两个，第一个为：
Figure 680431DEST_PATH_IMAGE034
，
Figure 274224DEST_PATH_IMAGE035
为叠加卷积层构成的鉴别器，其用于判断生成的道路专题地图图像与真实的道路专题地图图像的真假，鉴别器
Figure 929065DEST_PATH_IMAGE035
与生成器
Figure 368136DEST_PATH_IMAGE028
通过对抗训练的形式实现共同优化，第二个为：
Figure 175555DEST_PATH_IMAGE036
，
Figure 425402DEST_PATH_IMAGE037
同样为叠加卷积层构成的鉴别器。
10.如权利要求9所述的基于内容与风格编码的遥感影像无监督道路提取方法，其特征在于，4种损失函数通过加权融合的方式构成目标损失函数，如下：
Figure 318272DEST_PATH_IMAGE038
Figure 561034DEST_PATH_IMAGE039
、
Figure 691801DEST_PATH_IMAGE040
与
Figure 876664DEST_PATH_IMAGE041
为平衡不同损失函数重要性的超参数，
Figure 725671DEST_PATH_IMAGE042
为
Figure 37704DEST_PATH_IMAGE043
与
Figure 570448DEST_PATH_IMAGE044
的统称，
Figure 411365DEST_PATH_IMAGE045
为
Figure 13247DEST_PATH_IMAGE046
与
Figure 847080DEST_PATH_IMAGE047
的统称。
CN202210670455.9A 2022-06-15 2022-06-15 基于内容与风格编码的遥感影像无监督道路提取方法 Pending CN114758251A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210670455.9A CN114758251A (zh) 2022-06-15 2022-06-15 基于内容与风格编码的遥感影像无监督道路提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210670455.9A CN114758251A (zh) 2022-06-15 2022-06-15 基于内容与风格编码的遥感影像无监督道路提取方法

Publications (1)

Publication Number Publication Date
CN114758251A true CN114758251A (zh) 2022-07-15

Family

ID=82336606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210670455.9A Pending CN114758251A (zh) 2022-06-15 2022-06-15 基于内容与风格编码的遥感影像无监督道路提取方法

Country Status (1)

Country Link
CN (1) CN114758251A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200151938A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN111625608A (zh) * 2020-04-20 2020-09-04 中国地质大学（武汉） 一种基于gan模型根据遥感影像生成电子地图的方法、***
CN111898507A (zh) * 2020-07-22 2020-11-06 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN113343775A (zh) * 2021-05-13 2021-09-03 武汉大学 一种用于遥感影像地表覆盖分类的深度学习泛化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200151938A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN111625608A (zh) * 2020-04-20 2020-09-04 中国地质大学（武汉） 一种基于gan模型根据遥感影像生成电子地图的方法、***
CN111898507A (zh) * 2020-07-22 2020-11-06 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN113343775A (zh) * 2021-05-13 2021-09-03 武汉大学 一种用于遥感影像地表覆盖分类的深度学习泛化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C2A2O2: "深入理解风格迁移三部曲（三）--FUNIT", 《HTTPS://BLOG.CSDN.NET/C2A2O2/ARTICLE/DETAILS/118151395》 *

Similar Documents

Publication Publication Date Title
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
Giang et al. U-Net convolutional networks for mining land cover classification based on high-resolution UAV imagery
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及***
CN113160234B (zh) 基于超分辨率和域自适应的无监督遥感图像语义分割方法
CN111738111A (zh) 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法
Cheng et al. ResLap: Generating high-resolution climate prediction through image super-resolution
CN114898212B (zh) 一种高分辨率遥感图像多地物变化信息提取方法
CN115471467A (zh) 一种高分辨率光学遥感影像建筑物变化检测方法
CN113066037B (zh) 基于图注意力机制的多光谱与全色图像融合方法及***
Azmoon et al. Image-data-driven slope stability analysis for preventing landslides using deep learning
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
Li et al. Fusing taxi trajectories and RS images to build road map via DCNN
CN113239736A (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及***
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN113191213A (zh) 一种高分辨率遥感影像新增建筑物检测方法
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN117953299A (zh) 基于多尺度的遥感影像土地利用分类方法
Yu et al. Coupling dual graph convolution network and residual network for local climate zone mapping
CN116486075A (zh) 基于HRNet的遥感影像地物提取多尺度强融合语义分割方法
CN116863347A (zh) 一种高效率和精度的遥感图像语义分割方法及应用
CN114758251A (zh) 基于内容与风格编码的遥感影像无监督道路提取方法
CN116229284A (zh) 一种基于多视角和多尺度的遥感图像时空融合方法
CN115859094A (zh) 耦合卷积和熵重要性图神经网络的同震滑坡自动识别方法
CN115713624A (zh) 一种增强遥感影像多尺度特征的自适应融合语义分割方法
CN115100091A (zh) 一种sar图像转光学图像的转换方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220715