CN114758251A - 基于内容与风格编码的遥感影像无监督道路提取方法 - Google Patents
基于内容与风格编码的遥感影像无监督道路提取方法 Download PDFInfo
- Publication number
- CN114758251A CN114758251A CN202210670455.9A CN202210670455A CN114758251A CN 114758251 A CN114758251 A CN 114758251A CN 202210670455 A CN202210670455 A CN 202210670455A CN 114758251 A CN114758251 A CN 114758251A
- Authority
- CN
- China
- Prior art keywords
- style
- image
- content
- remote sensing
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 238000012952 Resampling Methods 0.000 claims abstract description 5
- 238000010276 construction Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开基于内容与风格编码的遥感影像无监督道路提取方法,属于遥感影像分类技术领域,用于遥感图像的道路提取,包括对遥感影像进行预处理并执行水平与竖直翻转、尺寸随机重采样与高斯模糊三种图像增强操作,输出增强后的高分辨率融合影像;目标风格图像采集,对公开网络地图中的道路专题地图数据进行随机选取与裁剪作为目标风格图像;构建内容编码器与风格编码器,以解耦合的方式提取影像的内容编码与风格编码;构建生成器将提取的风格编码施加到遥感影像中,实现遥感影像到道路专题地图图像的转换;构建损失函数并利用梯度下降算法优化编码器与生成器;利用二值化方法将转换后得到的道路专题地图图像进行二分类,输出道路提取结果。
Description
技术领域
本发明涉及遥感影像分类技术领域,特别涉及基于内容与风格编码的遥感影像无监督道路提取方法。
背景技术
道路信息是基础的地理信息,在城市规划、交通管理、车辆导航和地图更新等领域具有重要的作用,也是各级地理数据中心与各级比例尺地图必须涵盖的内容。近年来,随着卫星与传感器的不断发展,遥感影像的分辨率不断提高;并且随着人工智能技术尤其是深度学习技术的发展,从高分辨率遥感影像中自动的提取道路已成为研究热点之一并开始慢慢取代手工提取。
目前,基于卷积神经网络(CNN)的道路提取模型可达到较高的精度,例如CN110751111A、CN110807376A与CN112733777A的发明创造性中提出的方法。但是这类方法以监督学习范式训练CNN模型,其训练数据的制作过程需要耗费大量的人力资源与时间成本。当标注数据匮乏时,由监督学习训练的道路提取模型会产生过拟合问题从而影响现实场景的提取精度。
为缓解道路提取模型需要大量的标记训练数据作为支撑的问题,本文将图像风格迁移领域中内容编码与风格编码的技术引入到了遥感影像中以实现无监督的道路提取。在遥感影像中,内容编码可描述为地物的结构与空间分布状态,风格编码可表描述为地物在影像中的呈现形式。无监督道路提取的核心在于输入一幅遥感影像,在维持内容编码不变的情况下将地物的呈现形式转换到专题地图的风格,从而实现无需标记训练数据的道路提取。
发明内容
本发明提出了基于内容与风格编码的遥感影像无监督道路提取方法,解决现有技术中基于卷积神经网络的道路提取模型需大量的标记训练数据作为支撑的问题。
基于内容与风格编码的遥感影像无监督道路提取方法,包括:
S1、对遥感影像进行预处理并执行水平与竖直翻转、尺寸随机重采样与高斯模糊三种图像增强操作,输出增强后的高分辨率融合影像;
S2、目标风格图像采集,对公开网络地图中的道路专题地图数据进行随机选取与裁剪作为目标风格图像,无需人工制作标记样本库;
S3、构建内容编码器与风格编码器,以解耦合的方式提取步骤S1与S2中影像的内容编码与风格编码;
S4、构建生成器将步骤S3提取的风格编码施加到遥感影像中,实现遥感影像到道路专题地图图像的转换;
S5、构建损失函数并利用梯度下降算法优化步骤S3中的编码器与步骤S4中的生成器;
S6、利用二值化方法将步骤S4中转换后得到的道路专题地图图像进行二分类,输出道路提取结果。
优选地,所述内容编码器为一种卷积神经网络,其由2个下采样卷积层与4个残差卷积块堆叠而成,所有卷积层之后都跟随一个实例正则化层,所述残差卷积块将卷积过程分为直接映射部分和残差部分,具体为
优选地,所述风格编码器为一种卷积神经网络,其由4个下采样卷积层提取图像特征,然后通过全局平均池化模块与全连接层输出风格编码,风格编码器中实例正则化层未被使用。
优选地,所述生成器为生成对抗网络的网络架构,其主干部分由残差卷积块、卷积
层与双线性插值上采样模块组成,残差卷积块中被***了AdaIN模块以注入风格信息,
AdaIN的参数由多层感知机从风格编码中动态生成,具体为,代表该残差卷积块中的卷积层生成的特征图,和为求解均值与标准差的函数,和 是多层感知机生成的风格参数, 对遥感影像施加风格参数即可实现到道路专题地物的转
换。
优选地,所述损失函数遵循循环一致性与对抗学习框架,包含图像重建函数、内容编码重建函数、风格编码重建函数与对抗损失函数4种。
优选地,内容编码重建函数有两个,第一个为:,为遥感影像的内容编码,为目标风格图像的
风格编码,给定一个内容编码,内容编码重建函数旨在让生成器通过内容编码生成的
重建图像可由内容编码器编码回自身。第二个为:,其中为目标风格影像的内容编码,为遥感影像的风格编码。
优选地,对抗损失函数有两个,第一个为:
优选地,4种损失函数通过加权融合的方式构成目标损失函数,如下:
与现有技术对比,本发明的***的有益效果是:
1.与目前主流的基于监督学习的道路提取方法不同,本发明为无监督道路提取方法,无需制作标记训练数据,大大降低了人力资源的耗费。
2.本发明设计了内容编码器与风格编码器,对影像的内容与风格信息进行解耦合,具有较强的可解释性。
3.本发明中风格编码的数学形式表现为一维向量,可通过调节向量中某一维度的数值实现自定义的风格编码,并支持输出多种风格的道路专题地图图像。
附图说明
图1为本发明的技术流程图;
图2为本发明中编码器与生成器的神经网络结构图;
图3为本发明的模型训练的流程图;
图4、图5、图6为通过调整风格向量输出的多种风格的道路专题地图图像,其中图4为平衡道路与建筑的风格,图5为突出绿地的风格,图6为突出主干道路的风格;
图7、图8为本发明实施例中两个不同区域的道路提取结果的示意图。
具体实施方式
下面结合具体实施例对本发明的具体实施方式做进一步说明:
实施例基于高分2号遥感影像实现道路提取,图1为本发明提供的一种基于内容与风格编码的遥感影像无监督道路提取方法的流程图。其首先将影像的内容信息与风格信息进行解耦合编码,并由一个生成器将提取的风格编码施加到遥感影像中,实现遥感影像到道路专题地图影像的转换,最后通过二值化方法输出道路提取结果。
基于内容与风格编码的遥感影像无监督道路提取方法,包括:
S1、对高分2号多光谱影像依次进行正射校正与辐射定标,对全色影像进行正射校正,然后利用Gram-Schmidt融合方法将全色影像与多光谱影像进行融合,生成分辨率约为1米的高分辨率多光谱影像,最后对融合后的影像执行大气校正。为增强数据的多样性,对融合后的影像进行图像增强操作,增强方法包含水平与竖直翻转、尺寸随机重采样与高斯模糊,输出增强后的高分辨率融合影像,其中重采样倍率为0.5倍-2.0倍;
S2、采集目标风格图像,即道路专题地图图像。采集方法为使用爬虫程序对公开网络地图(例如百度地图与高德地图)中的道路专题地图数据进行随机选取与裁剪。此过程与监督学习不同,无需人工制作标记样本库。
S3、构建内容编码器与风格编码器,以解耦合的方式提取步骤S1与S2中影像的内容编码与风格编码;
S4、构建生成器将步骤S3提取的风格编码施加到遥感影像中,实现遥感影像到道路专题地图图像的转换;生成器的网络结构如图2所示,其主干部分由残差卷积块、卷积层与双线性插值上采样模块组成。
S5、构建损失函数并利用梯度下降算法优化步骤S3中的编码器与步骤S4中的生成器,损失函数的设计基于循环一致性与对抗学习框架,如图3所示;调节风格向量中某一维度的数值实现自定义的风格编码,并输出多种风格的道路专题地图图像,如图4、图5与图6所示。
S6、利用二值化方法将步骤S4中转换后得到的道路专题地图图像进行二分类,输出道路提取结果,如图7与图8所示。
所述内容编码器由2个下采样卷积层与4个残差卷积块堆叠而成,所有卷积层之后都跟随一个实例正则化层,所述残差卷积块将卷积过程分为直接映射部分和残差部分,具体为
所述风格编码器由4个下采样卷积层提取图像特征,然后通过全局平均池化模块
与全连接层输出风格编码,风格编码器中实例正则化层未被使用,因为其会破坏特征中带
有风格信息的均值与标准差。设当前目标风格图像为,则该图像的风格编码
为,其中和分别表目标风格图像的通道数与风格编码的通道数。
所述生成器的网络的主干部分由残差卷积块、卷积层与双线性插值上采样模块组
成,残差卷积块中被***了AdaIN模块以注入风格信息,AdaIN的参数由多层感知机从风格
编码中动态生成,具体为,代表该残差卷积块中的卷积层生
成的特征图,和为求解均值与标准差的函数,和是多层感知机生成的风格参数,
对遥感影像施加风格参数即可实现到道路专题地物的转换。
所述损失函数遵循循环一致性与对抗学习框架,包含图像重建函数、内容编码重建函数、风格编码重建函数与对抗损失函数4种。
内容编码重建函数有两个,第一个为:,为遥
感影像的内容编码,为目标风格图像的风格编码,给定一个内容编码,内容编码重
建函数旨在让生成器通过内容编码生成的重建图像可由内容编码器编码回自身,
如图3所示。第二个为:。
对抗损失函数有两个,第一个为:
4种损失函数通过加权融合的方式构成目标损失函数,如下:
当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (10)
1.基于内容与风格编码的遥感影像无监督道路提取方法,其特征在于,包括:
S1、对遥感影像进行预处理并执行水平与竖直翻转、尺寸随机重采样与高斯模糊三种图像增强操作,输出增强后的高分辨率融合影像;
S2、目标风格图像采集,对公开网络地图中的道路专题地图数据进行随机选取与裁剪作为目标风格图像,无需人工制作标记样本库;
S3、构建内容编码器与风格编码器,以解耦合的方式提取步骤S1与S2中影像的内容编码与风格编码;
S4、构建生成器将步骤S3提取的风格编码施加到遥感影像中,实现遥感影像到道路专题地图图像的转换;
S5、构建损失函数并利用梯度下降算法优化步骤S3中的编码器与步骤S4中的生成器;
S6、利用二值化方法将步骤S4中转换后得到的道路专题地图图像进行二分类,输出道路提取结果。
3.如权利要求2所述的基于内容与风格编码的遥感影像无监督道路提取方法,其特征在于,所述风格编码器为一种卷积神经网络,其由4个下采样卷积层提取图像特征,然后通过全局平均池化模块与全连接层输出风格编码,风格编码器中实例正则化层未被使用。
5.如权利要求4所述的基于内容与风格编码的遥感影像无监督道路提取方法,其特征在于,所述损失函数遵循循环一致性与对抗学习框架,包含图像重建函数、内容编码重建函数、风格编码重建函数与对抗损失函数4种。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210670455.9A CN114758251A (zh) | 2022-06-15 | 2022-06-15 | 基于内容与风格编码的遥感影像无监督道路提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210670455.9A CN114758251A (zh) | 2022-06-15 | 2022-06-15 | 基于内容与风格编码的遥感影像无监督道路提取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114758251A true CN114758251A (zh) | 2022-07-15 |
Family
ID=82336606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210670455.9A Pending CN114758251A (zh) | 2022-06-15 | 2022-06-15 | 基于内容与风格编码的遥感影像无监督道路提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114758251A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200151938A1 (en) * | 2018-11-08 | 2020-05-14 | Adobe Inc. | Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering |
CN111625608A (zh) * | 2020-04-20 | 2020-09-04 | 中国地质大学(武汉) | 一种基于gan模型根据遥感影像生成电子地图的方法、*** |
CN111898507A (zh) * | 2020-07-22 | 2020-11-06 | 武汉大学 | 一种预测无标签遥感影像地表覆盖类别的深度学习方法 |
CN113343775A (zh) * | 2021-05-13 | 2021-09-03 | 武汉大学 | 一种用于遥感影像地表覆盖分类的深度学习泛化方法 |
-
2022
- 2022-06-15 CN CN202210670455.9A patent/CN114758251A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200151938A1 (en) * | 2018-11-08 | 2020-05-14 | Adobe Inc. | Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering |
CN111625608A (zh) * | 2020-04-20 | 2020-09-04 | 中国地质大学(武汉) | 一种基于gan模型根据遥感影像生成电子地图的方法、*** |
CN111898507A (zh) * | 2020-07-22 | 2020-11-06 | 武汉大学 | 一种预测无标签遥感影像地表覆盖类别的深度学习方法 |
CN113343775A (zh) * | 2021-05-13 | 2021-09-03 | 武汉大学 | 一种用于遥感影像地表覆盖分类的深度学习泛化方法 |
Non-Patent Citations (1)
Title |
---|
C2A2O2: "深入理解风格迁移三部曲(三)--FUNIT", 《HTTPS://BLOG.CSDN.NET/C2A2O2/ARTICLE/DETAILS/118151395》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Remote sensing image spatiotemporal fusion using a generative adversarial network | |
Giang et al. | U-Net convolutional networks for mining land cover classification based on high-resolution UAV imagery | |
CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及*** | |
CN113160234B (zh) | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 | |
CN111738111A (zh) | 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法 | |
Cheng et al. | ResLap: Generating high-resolution climate prediction through image super-resolution | |
CN114898212B (zh) | 一种高分辨率遥感图像多地物变化信息提取方法 | |
CN115471467A (zh) | 一种高分辨率光学遥感影像建筑物变化检测方法 | |
CN113066037B (zh) | 基于图注意力机制的多光谱与全色图像融合方法及*** | |
Azmoon et al. | Image-data-driven slope stability analysis for preventing landslides using deep learning | |
CN116797787B (zh) | 基于跨模态融合与图神经网络的遥感影像语义分割方法 | |
Li et al. | Fusing taxi trajectories and RS images to build road map via DCNN | |
CN113239736A (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及*** | |
CN114943902A (zh) | 基于多尺度特征感知网络的城市植被无人机遥感分类方法 | |
CN113191213A (zh) | 一种高分辨率遥感影像新增建筑物检测方法 | |
CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
CN117953299A (zh) | 基于多尺度的遥感影像土地利用分类方法 | |
Yu et al. | Coupling dual graph convolution network and residual network for local climate zone mapping | |
CN116486075A (zh) | 基于HRNet的遥感影像地物提取多尺度强融合语义分割方法 | |
CN116863347A (zh) | 一种高效率和精度的遥感图像语义分割方法及应用 | |
CN114758251A (zh) | 基于内容与风格编码的遥感影像无监督道路提取方法 | |
CN116229284A (zh) | 一种基于多视角和多尺度的遥感图像时空融合方法 | |
CN115859094A (zh) | 耦合卷积和熵重要性图神经网络的同震滑坡自动识别方法 | |
CN115713624A (zh) | 一种增强遥感影像多尺度特征的自适应融合语义分割方法 | |
CN115100091A (zh) | 一种sar图像转光学图像的转换方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220715 |