CN113436060A - 一种异源遥感图像风格迁移方法和装置 - Google Patents

一种异源遥感图像风格迁移方法和装置 Download PDF

Info

Publication number
CN113436060A
CN113436060A CN202110729885.9A CN202110729885A CN113436060A CN 113436060 A CN113436060 A CN 113436060A CN 202110729885 A CN202110729885 A CN 202110729885A CN 113436060 A CN113436060 A CN 113436060A
Authority
CN
China
Prior art keywords
image
style
content
network
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110729885.9A
Other languages
English (en)
Other versions
CN113436060B (zh
Inventor
陈高
陈淮源
张广驰
周清峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Dongguan University of Technology
Original Assignee
Guangdong University of Technology
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology, Dongguan University of Technology filed Critical Guangdong University of Technology
Priority to CN202110729885.9A priority Critical patent/CN113436060B/zh
Publication of CN113436060A publication Critical patent/CN113436060A/zh
Application granted granted Critical
Publication of CN113436060B publication Critical patent/CN113436060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种异源遥感图像风格迁移方法和装置,所述方法包括:获取两张异源遥感图像分别作为内容图像和风格图像,对图像进行预处理，并将内容图像作为初始生成图像；利用特征提取网络提取出内容图像、风格图像的内容特征和风格特征，针对初始生成图像构建神经风格迁移损失函数；根据风格图像生成真实图像；生成对抗网络根据初始生成图像和真实图像，构建对抗网络损失函数；根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数，对总损失函数进行优化，获得最终生成图像。本发明同时对特征空间和数据空间进行约束，获得的最终生成图像更加客观和逼真，迁移效果更好；仅用两幅遥感图像作为训练数据，训练时间短，迁移效率高。

Description

一种异源遥感图像风格迁移方法和装置
技术领域
本发明涉及深度学习和遥感图像技术领域，更具体地，涉及一种异源遥感图像风格迁移方法和装置。
背景技术
图像风格迁移是图像处理领域中的热门研究方向，它以一副风格图像作为引导，对目标图像进行风格转换，使目标图像具备与风格图像相似的风格形式。随着遥感领域各项技术的快速发展，遥感图像成像传感器的种类层出不穷，包括不同的光学传感器、雷达传感器和近红外传感器等。异源遥感图像是指利用不同传感器拍摄得到的遥感图像，所以它们在数据表征和统计分布特性上有着较大的差异。目前，遥感技术在图像配准、目标检测和变化检测等应用上的研究主要是针对同源遥感图像开展的，但是现实中获取不同时段同一场景下的两幅同源遥感图像是一件昂贵和困难的事情，所以开展异源遥感图像风格迁移的研究具有一定的应用价值。目前已经存在许多优秀的风格迁移方法，主要面向的是自然图像，应用在遥感类图像上的效果不尽人意，无法满足实际的需求。
Homogeneous transformation based on deep-level features inheterogeneous remote sensing images首次在异源遥感图像变化检测问题中引入了风格迁移，他们直接使用Gaty等人提出的神经风格迁移(Neural Style Transfer，NST)分别对两幅异源遥感图像进行风格迁移，先将原先的一对异源遥感图像转换为两对同源遥感图像，再利用同源变化检测算法对这两对同源遥感图像分别进行变化检测；该方法直接使用面向自然图像的风格迁移方法对遥感图像进行处理，使得迁移后的遥感图像不管是在视觉上还是统计分布特性上都无法满足真正的同源特性，这也极大地影响了后序进行变化检测的准确度和难度。
Can sar images and optical images transfer with each other，展示了使用生成对抗网络(Generative adversarial networks，GAN)进行异源遥感图像风格迁移的实验效果；生成对抗网络是一种深度学习模型，它包含生成网络G(Generator)和判别网络D(Discriminator)，通过生成网络和判别网络之间的对抗训练来达到纳什均衡，使生成网络能学习到真实样本的数据分布。文章中预先收集了上千张高分辨率雷达图像和光学遥感图像来对生成对抗网络进行训练，利用对抗网络的性能优势，得到了引人注目的迁移效果；该方法对数据集在数量和质量上的要求较高，这使得对抗网络在遥感领域的推广和应用受到一定的限制。
过对现有的应用于遥感图像的风格迁移方法进行分析和总结，可以归纳出以下问题：一是面向自然图像的图像风格迁移方法直接用于遥感图像时迁移效果差；二是现有的面向遥感图像的风格迁移方法在时间效率上有待提高；三是利用生成对抗网络进行遥感图像风格迁移需要预先收集大量的高质量图像，限制了生成对抗网络在遥感图像上的应用；四是现有的风格迁移方法仅在特征空间或者数据空间进行拟合来完成同源转换，存在一定的局限性。
2021年6月22日公开的中国专利CN113012038A提供了一种图像风格迁移处理方法、移动终端和云端服务器。该方法包括的步骤有风格特征提取、内容特征提取和风格内容融合，主要是通过第一卷积神经网络对第一图像进行风格特征提取，再利用第二卷积神经网络对第二图像的内容特征进行提取，然后进一步对这两个风格特征和内容特征进行融合，获得目标风格图像。该方法仅在特征空间进行约束，拟合来完成同源转换，存在一定的局限性，迁移得到的目标风格图像效果不逼真，迁移效果差；并且用于训练的第一图像和第二图像的数据量巨大，训练时间长，降低了迁移效率。
发明内容
本发明为克服上述现有技术对异源遥感图像进行风格迁移时，约束条件单一且迁移效率低的缺陷，提供一种异源遥感图像风格迁移方法和装置，迁移方法同时考虑了特征空间和数据空间的约束，并且仅需两幅遥感图像就能满足网络训练的需求，节省网络训练时间，提高了迁移效率。
为解决上述技术问题，本发明的技术方案如下：
本发明提供了一种异源遥感图像风格迁移方法,包括:
S1:获取两张异源遥感图像分别作为内容图像和风格图像,对内容图像和风格图像进行预处理，并将内容图像作为初始生成图像；
S2：构造特征提取网络,将预处理后的内容图像、风格图像和初始生成图像输入构造的特征提取网络中，分别提取出内容图像的内容特征和风格图像的风格特征，根据内容特征和风格特征，针对初始生成图像构建神经风格迁移损失函数；
S3：根据预处理后的风格图像生成真实图像；
S4：构造生成对抗网络，所述生成对抗网络包括判别网络和生成网络；将真实图像和初始生成图像输入判别网络中，构建对抗网络损失函数；
S5：根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数，对总损失函数进行优化，生成网络输出最终生成图像，完成异源遥感图像的风格迁移。
优选地，所述步骤S1中，对内容图像和风格图像进行预处理的具体方法为：
S1.1：对内容图像和风格图像进行图像配准操作；
S1.2：图像配准后，将内容图像和风格图像调整为相同的尺寸。
优选地，所述步骤S2中，基于现有的VGG16网络构造特征提取网络；所述特征提取网络包括依次连接的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第十卷积层、第四池化层、第十一卷积层、第十二卷积层、第十三卷积层和第五池化层。
优选地，所述步骤S2中，针对初始生成图像构建神经风格迁移损失函数的具体方法为：
S2.1：选择特征提取网络的第十三卷积层的输出作为内容图像的内容特征，根据内容特征构建初始生成图像的内容损失：
Lcontent(Igen)＝||F(Igen)-F(Icontent)||2
式中，Lcontent(Igen)表示初始生成图像的内容损失，Igen表示初始生成图像，Icontent表示内容图像，F(*)表示提取内容特征函数，||·||2表示2范数；
S2.2：选择特征提取网络的第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的输出作为风格图像的风格特征，构建初始生成图像的风格损失：
Figure BDA0003138923120000031
Gl(*)＝[F(*)][F(*)]T
式中，Lstyle(Igen)表示初始生成图像的风格损失，Gl(*)表示第l池化层输出图像的风格特征的格拉姆矩阵，(*)T表示求转置操作；ls表示第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的集合，l表示第l池化层；
S2.3：根据初始生成图像的内容损失和风格损失，针对初始生成图像构建神经风格迁移损失函数：
LNST(Igen)＝αLcontent(Igen)+βLstyle(Igen)
式中，LNST(Igen)表示神经风格迁移损失函数，α表示内容损失权重，β表示风格损失权重。
优选地，所述步骤S3中，利用图像块数据增强法根据预处理后的风格图像生成真实图像，具体为：
利用滑动窗口对预处理后的风格图像进行无重叠地遍历，在遍历的过程中，分别以1/2的概率对窗口内的图像块执行水平方向和垂直方向上的镜像翻转，遍历完整张分割图像后生成一幅真实图像Iaug；滑动窗口的大小为p*p，1＜p≤N，且N能被p整除，N表示判别网络的感受野。
优选地，所述步骤S4中，判别网络包括依次连接的第十四卷积层、第一激活层、第十五卷积层、第二激活层和第十六卷积层；判别网络中每层的卷积参数设置为：
kj＝sj
N＝Πjkj
式中，kj表示第j层的卷积核大小，sj表示第j层的卷积步长，N表示判别网络的感受野。
优选地，所述步骤S4中，对抗网络损失函数为：
Figure BDA0003138923120000041
Figure BDA0003138923120000042
LLSGAN(Igen，D)＝LLSGAN(D)+LLsGAN(Igen)
其中，χ表示初始生成图像的数据域分布，γ表示风格图像的数据域分布，
Figure BDA0003138923120000043
表示表示求取平均值操作，D(*)表示判别网络的判别输出；LLSGAN(D)表示判别网络的损失函数，LLSGAN(Igen)表示对抗网络中生成网络的损失函数，LLSGAN(Igen，D)表示对抗网络损失函数。
优选地，所述S4中，总损失函数为：
L(Igen，D)＝LLSGAN(Igen，D)+λLNST(Igen)
式中，L(Igen，D)表示总损失函数，λ表示权衡约束权重。
优选地,所述S4中,获得最终生成图像的具体方法为:
计算总损失函数的梯度，交替地进行初始生成图像Igen的更新和生成对抗网络的优化，直到总损失函数收敛或者达到设定的迭代次数，输出最终生成图像。
本发明还提供一种异源遥感图像风格迁移装置，所述装置包括：
图像获取处理模块，用于获取两张异源遥感图像分别作为内容图像和风格图像,对内容图像和风格图像进行预处理，并将内容图像作为初始生成图像；将预处理后的内容图像、风格图像和初始生成图像发送至特征提取模块，将预处理后的风格图像发送至真实图像生成模块，将初始生成图像发送至生成对抗网络模块；
特征提取模块，用于构造特征提取网络，接收预处理后的内容图像、风格图像和初始生成图像，提取出内容图像的内容特征和风格图像的风格特征，根据内容特征和风格特征，针对初始生成图像构建神经风格迁移损失函数，将神经风格迁移损失函数发送至图像风格迁移模块；
真实图像生成模块，用于接收预处理后的风格图像，生成真实图像，并将真实图像发送至生成对抗网络模块；
生成对抗网络模块，用于构造包括判别网络和生成网络的生成对抗网络，判别网络接收真实图像和初始生成图像，根据初始生成图像和真实图像，构建对抗网络损失函数，将对抗网络损失函数发送至图像风格迁移模块；
图像风格迁移模块，用于接收神经风格迁移损失函数和对抗网络损失函数，并根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数，对总损失函数进行优化，获得最终生成图像，完成异源遥感图像的风格迁移。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过构建特征提取网络，提取出内容图像的内容特征和风格图像的风格特征，根据内容特征和风格特征，构建神经风格迁移损失函数，对初始生成图像引入了特征空间上的约束；根据预处理后的风格图像生成真实图像；构建生成对抗网络，根据初始生成图像和真实图像，构建对抗网络损失函数，对初始生成图像引入了数据空间上的约束；根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数，则对初始生成图像同时进行特征空间和数据空间约束；计算总损失函数的梯度，直到总损失函数收敛或者达到设定的迭代次数，获得的最终生成图像更加客观和逼真，迁移效果更好；仅需两幅遥感图像作为内容图像和风格图像，对训练数据要求简单，训练时间短，迁移效率高，提高了本发明的普适性，更利于推广和应用。
附图说明
图1为实施例1所述的一种异源遥感图像风格迁移方法的数据流向图；
图2为实施例1所述的一种异源遥感图像风格迁移方法的流程图；
图3为实施例1所述的特征提取网络的结构图；
图4为实施例1所述的判别网络的结构图；
图5为实施例1所述的图像块数据增强法获得的图像示例图；
图6为实施例1所述的风格图像的示意图；
图7为实施例1所述的内容图像的示意图；
图8为实施例1所述的一种异源遥感图像风格迁移方法获得的最终生成图片与现有技术的生成图片的迁移结果比较示意图；
图9为实施例2所述的一种异源遥感图像风格迁移装置的结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，将两张异源遥感图像分别作为内容图像和风格图像，并复制内容图像作为初始生成图像，将预处理后的内容图像、风格图像和初始生成图像输入特征提取网络中，构建出神经风格迁移损失函数；根据预处理后的风格图像生成真实图像；将真实图像和初始生成图像输入生成对抗网络的判别网络中，根据真实图像和初始生成图像构建对抗网络损失函数；根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数，对总损失函数进行优化，对初始生成图像进行更新，生成对抗网络的生成网络输出最终生成图像，完成异源遥感图像的风格迁移。
针对以上过程，本实施例提供了一种异源遥感图像风格迁移方法,如图2所示，包括:
S1：获取两张异源遥感图像分别作为内容图像和风格图像，对内容图像和风格图像进行预处理，并将内容图像作为初始生成图像；
对内容图像和风格图像进行预处理的具体方法为：
S1.1：对内容图像和风格图像进行图像配准操作；
S1.2：图像配准后，将内容图像和风格图像调整为相同的尺寸；
S2：构造特征提取网络，将预处理后的内容图像、风格图像和初始生成图像输入构造的特征提取网络中，分别提取出内容图像的内容特征和风格图像的风格特征，根据内容特征和风格特征，针对初始生成图像构建神经风格迁移损失函数；
基于现有的VGG16网络构造特征提取网络；如图3所示，所述特征提取网络包括依次连接的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第十卷积层、第四池化层、第十一卷积层、第十二卷积层、第十三卷积层和第五池化层；
针对初始生成图像构建神经风格迁移损失函数的具体方法为：
S2.1：选择特征提取网络的第十三卷积层的输出作为内容图像的内容特征，根据内容特征构建初始生成图像的内容损失：
Lcontent(Igen)＝||F(Igen)-F(Icontent)||2
式中，Lcontent(Igen)表示初始生成图像的内容损失，Igen表示初始生成图像，Icontent表示内容图像，F(*)表示图像的内容特征，||·||2表示2范数；
特征提取网络中不同层的输出有不同的特征，所以分离地选择对应的网络层输出作为图像的内容特征和风格特征；鉴于遥感图像有着复杂的地物表征，于是选择最深层的卷积层输出作为内容特征，本实施例中，第十三卷积层作为最深层，选择第十三卷积层的输出作为内容图像的内容特征；
S2.2：选择特征提取网络的第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的输出作为风格图像的风格特征，构建初始生成图像的风格损失：
Figure BDA0003138923120000071
Gl(*)＝[F(*)][F(*)]T
式中，Lstyle(Igen)表示初始生成图像的风格损失，Gl(*)表示第l池化层输出图像的风格特征的格拉姆矩阵，(*)T表示求转置操作；ls表示第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的集合，l表示第l池化层；
通过构造格拉姆矩阵来表示风格特征，由于不同深度的特征有不同粒度的风格效果，所以选择多个不同深度的层输出作为风格特征，所以选择了第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的输出作为风格特征，以表征不同粒度的风格效果；
S2.3：根据初始生成图像的内容损失和风格损失，针对初始生成图像构建神经风格迁移损失函数：
LNST(Igen)＝αLcontent(Igen)+βLstyle(Igen)
式中，LNST(Igen)表示神经风格迁移损失函数，α表示内容损失权重，β表示风格损失权重；神经风格迁移损失函数的目的是引入了特征空间上的约束；
S3：根据预处理后的风格图像生成真实图像；
利用图像块数据增强法根据预处理后的风格图像生成真实图像，具体为：
利用滑动窗口对预处理后的风格图像进行无重叠地遍历，在遍历的过程中，分别以1/2的概率对窗口内的图像块执行水平方向和垂直方向上的镜像翻转，遍历完整张分割图像后生成一幅真实图像Iaug；滑动窗口的大小为p*p，1＜p≤N，且N能被p整除，N表示判别网络的感受野；
如图5所示，从左到右依次是风格图像、滑动窗口大小为16*16生成的真实图像、滑动窗口大小为32*32生成的真实图像、滑动窗口大小为64*64生成的真实图像；
S4：构造生成对抗网络，所述生成对抗网络包括判别网络和生成网络；将真实图像和初始生成图像输入判别网络中，构建对抗网络损失函数；
生成对抗网络包含的判别网络用于判别生成的真实图像和初始生成图像在数据分布和风格形式上的一致性；
如图4所示，构造的判别网络包括依次连接的第十四卷积层、第一激活层、第十五卷积层、第二激活层和第十六卷积层；判别网络中每层的卷积参数设置为：
kj＝sj
N＝Πjkj
式中，kj表示第j层的卷积核大小，sj表示第j层的卷积步长，N表示判别网络的感受野；
在生成对抗网络中，初始生成图像Igen作为网络得到的伪图像，真实图像为每一轮使用图像块数据增强法得到的Iaug，因此基于最小二乘构建的对抗网络损失函数为：
Figure BDA0003138923120000091
Figure BDA0003138923120000092
LLSGAN(Igen，D)＝LLSGAN(D)+LLSGAN(Igen)
其中，χ表示初始生成图像的数据域分布，γ表示风格图像的数据域分布，
Figure BDA0003138923120000093
表示表示求取平均值操作，D(*)表示判别网络的判别输出；LLSGAN(D)表示判别网络的损失函数，LLSGAN(Igen)表示对抗网络中生成网络的损失函数，LLSGAN(Igenn，D)表示对抗网络损失函数；
S5：根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数，对总损失函数进行优化，生成网络输出最终生成图像，完成异源遥感图像的风格迁移；
总损失函数为：
L(Igen，D)＝LLSGAN(Igen，D)+λLNST(Igen)
式中，L(Igen，D)表示总损失函数，λ表示权衡约束权重；
总损失函数同时对特征空间和数据空间进行约束，计算总损失函数的梯度，交替地进行初始生成图像Igen的更新和生成对抗网络的优化，直到总损失函数收敛或者达到设定的迭代次数，输出最终生成图像。
在具体实施过程中，如图6所示，该图是由Quickbrid卫星于2009年7月拍摄到的光学遥感图像，将其作为风格图像；如图7所示，该图是COSMO-SkyMed卫星于2010年1月拍摄到的雷达图像，将其作为内容图像；由于所拍摄卫星的空间分辨率不同，获取的两幅图像也具备不同的图像分辨率，需要将两张图像进行图像配准操作后调整为相同的尺寸，输入进本实施例构建的特征提取网络和生成对抗网络中，复制内容图像作为初始生成图像，对初始生成图像初始化；利用本实施例所提供的方法，构建神经风格迁移损失函数和对抗网络损失函数，再根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数，计算总损失函数的梯度，交替地进行初始生成图像的更新和生成对抗网络的优化，直到总损失函数收敛或者达到设定的迭代次数，输出最终生成图像；
如图8所示，是利用本实施例提供的方法获得的最终生成图像与现有技术生成图片的迁移结果的比较示意图，最左边是本方法获得的最终生成图像，中间是神经风格迁移(NST)获得的生成图片，最右边是迭代式图像风格迁移(IIST)获得的生成图片，对比三张图像，可以明显看出本实施例提出的方法获得的最终生成图像更加客观而真实，迁移效果更好。并且与这两种方法相比，本实施例提出的方法仅需要两张遥感图片对位数据样本，训练数据的数量和质量要求都远远低于现有技术，不仅节省了训练时间，提高了网络训练学习的效率，也在一定程度上克服了实际应用中对数据需求的局限性，间接提高了本方法的普适性，是本方法更易推广和应用。
实施例2
本实施例提供了一种异源遥感图像风格迁移装置，如图9所示，所述装置包括：
图像获取处理模块，用于获取两张异源遥感图像分别作为内容图像和风格图像,对内容图像和风格图像进行预处理，并将内容图像作为初始生成图像；将预处理后的内容图像、风格图像和初始生成图像发送至特征提取模块，将预处理后的风格图像发送至真实图像生成模块，将初始生成图像发送至生成对抗网络模块；
特征提取模块，用于构造特征提取网络，接收预处理后的内容图像、风格图像和初始生成图像，提取出内容图像的内容特征和风格图像的风格特征，根据内容特征和风格特征，针对初始生成图像构建神经风格迁移损失函数，将神经风格迁移损失函数发送至图像风格迁移模块；
真实图像生成模块，用于接收预处理后的风格图像，生成真实图像，并将真实图像发送至生成对抗网络模块；
生成对抗网络模块，用于构造包括判别网络和生成网络的生成对抗网络，判别网络接收真实图像和初始生成图像，根据初始生成图像和真实图像，构建对抗网络损失函数，将对抗网络损失函数发送至图像风格迁移模块；
图像风格迁移模块，用于接收神经风格迁移损失函数和对抗网络损失函数，并根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数，对总损失函数进行优化，获得最终生成图像，完成异源遥感图像的风格迁移。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种异源遥感图像风格迁移方法,其特征在于,包括:
S1:获取两张异源遥感图像分别作为内容图像和风格图像,对内容图像和风格图像进行预处理，并将内容图像作为初始生成图像；
S2：构造特征提取网络,将预处理后的内容图像、风格图像和初始生成图像输入构造的特征提取网络中，分别提取出内容图像的内容特征和风格图像的风格特征，根据内容特征和风格特征，针对初始生成图像构建神经风格迁移损失函数；
S3：根据预处理后的风格图像生成真实图像；
S4：构造生成对抗网络,所述生成对抗网络包括判别网络和生成网络；将真实图像和初始生成图像输入判别网络中，构建对抗网络损失函数；
S5：根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数，对总损失函数进行优化，生成网络输出最终生成图像，完成异源遥感图像的风格迁移。
2.根据权利要求1所述的异源遥感图像风格迁移方法,其特征在于,所述步骤S1中，对内容图像和风格图像进行预处理的具体方法为：
S1.1：对内容图像和风格图像进行图像配准操作；
S1.2：图像配准后，将内容图像和风格图像调整为相同的尺寸。
3.根据权利要求2所述的异源遥感图像风格迁移方法,其特征在于,所述步骤S2中，基于现有的VGG16网络构造特征提取网络；所述特征提取网络包括依次连接的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第十卷积层、第四池化层、第十一卷积层、第十二卷积层、第十三卷积层和第五池化层。
4.根据权利要求3所述的异源遥感图像风格迁移方法,其特征在于,所述步骤S2中，针对初始生成图像构建神经风格迁移损失函数的具体方法为：
S2.1：选择特征提取网络的第十三卷积层的输出作为内容图像的内容特征，根据内容特征构建初始生成图像的内容损失：
Lcontent(Igen)＝||F(Igen)-F(Icontent)||2
式中，Lcontent(Igen)表示初始生成图像的内容损失，Igen表示初始生成图像，Icontent表示内容图像，F(*)表示提取内容特征函数，‖·‖2表示2范数；
S2.2：选择特征提取网络的第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的输出作为风格图像的风格特征，构建初始生成图像的风格损失：
Figure FDA0003138923110000021
Gl(*)＝[F(*)][F(*)]T
式中，Lstyle(Igen)表示初始生成图像的风格损失，Gl(*)表示第l池化层输出图像的风格特征的格拉姆矩阵，(*)T表示求转置操作；ls表示第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的集合，l表示第l池化层；
S2.3：根据初始生成图像的内容损失和风格损失，针对初始生成图像构建神经风格迁移损失函数：
LNST(Igen)＝αLcontent(Igen)+βLstyle(Igen)
式中，LNST(Igen)表示神经风格迁移损失函数，α表示内容损失权重，β表示风格损失权重。
5.根据权利要求4所述的异源遥感图像风格迁移方法,其特征在于,所述步骤S3中，利用图像块数据增强法根据预处理后的风格图像生成真实图像，具体为：
利用滑动窗口对预处理后的风格图像进行无重叠地遍历，在遍历的过程中，分别以1/2的概率对窗口内的图像块执行水平方向和垂直方向上的镜像翻转，遍历完整张风格图像后生成一幅真实图像Iaug；滑动窗口的大小为p*p，1<p≤N，且N能被p整除，N表示判别网络的感受野。
6.根据权利要求5所述的异源遥感图像风格迁移方法,其特征在于,所述步骤S4中，判别网络包括依次连接的第十四卷积层、第一激活层、第十五卷积层、第二激活层和第十六卷积层。
7.根据权利要求6所述的异源遥感图像风格迁移方法,其特征在于,所述步骤S4中，对抗网络损失函数为：
Figure FDA0003138923110000022
Figure FDA0003138923110000023
LLSGAN(Igen,D)＝LLSGAN(D)+LLSGAN(Igen)
其中，χ表示初始生成图像的数据域分布，γ表示风格图像的数据域分布，
Figure FDA0003138923110000031
表示求取平均值操作，D(*)表示判别网络的判别输出；LLSGAN(D)表示判别网络的损失函数，LLSGAN(Igen)表示对抗网络中生成网络的损失函数，LLSGAN(Igen,D)表示对抗网络损失函数。
8.根据权利要求7所述的异源遥感图像风格迁移方法,其特征在于,所述S4中，总损失函数为：
L(Igen,D)＝LLSGAN(Igen,D)+λLNST(Igen)
式中，L(Igen,D)表示总损失函数，λ表示权衡约束权重。
9.根据权利要求8所述的异源遥感图像风格迁移方法,其特征在于,所述S4中,获得最终生成图像的具体方法为:
计算总损失函数的梯度，交替地进行初始生成图像Igen的更新和生成对抗网络的优化，直到总损失函数收敛或者达到设定的迭代次数，输出最终生成图像。
10.一种异源遥感图像风格迁移装置，其特征在于，所述装置包括：
图像获取处理模块，用于获取两张异源遥感图像分别作为内容图像和风格图像,对内容图像和风格图像进行预处理，并将内容图像作为初始生成图像；将预处理后的内容图像、风格图像和初始生成图像发送至特征提取模块，将预处理后的风格图像发送至真实图像生成模块，将初始生成图像发送至生成对抗网络模块；
特征提取模块，用于构造特征提取网络，接收预处理后的内容图像、风格图像和初始生成图像，提取出内容图像的内容特征和风格图像的风格特征，根据内容特征和风格特征，针对初始生成图像构建神经风格迁移损失函数，将神经风格迁移损失函数发送至图像风格迁移模块；
真实图像生成模块，用于接收预处理后的风格图像，生成真实图像，并将真实图像发送至生成对抗网络模块；
生成对抗网络模块，用于构造包括判别网络和生成网络的生成对抗网络，判别网络接收真实图像和初始生成图像，根据初始生成图像和真实图像，构建对抗网络损失函数，将对抗网络损失函数发送至图像风格迁移模块；
图像风格迁移模块，用于接收神经风格迁移损失函数和对抗网络损失函数，并根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数，对总损失函数进行优化，获得最终生成图像，完成异源遥感图像的风格迁移。
CN202110729885.9A 2021-06-29 2021-06-29 一种异源遥感图像风格迁移方法和装置 Active CN113436060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110729885.9A CN113436060B (zh) 2021-06-29 2021-06-29 一种异源遥感图像风格迁移方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110729885.9A CN113436060B (zh) 2021-06-29 2021-06-29 一种异源遥感图像风格迁移方法和装置

Publications (2)

Publication Number Publication Date
CN113436060A true CN113436060A (zh) 2021-09-24
CN113436060B CN113436060B (zh) 2023-03-10

Family

ID=77757826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110729885.9A Active CN113436060B (zh) 2021-06-29 2021-06-29 一种异源遥感图像风格迁移方法和装置

Country Status (1)

Country Link
CN (1) CN113436060B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022352A (zh) * 2022-01-05 2022-02-08 成都国星宇航科技有限公司 遥感图像风格迁徙模型的创建方法和装置
CN114581795A (zh) * 2022-05-06 2022-06-03 天津航天中为数据***科技有限公司 基于深度学习的杆塔绝缘子检测方法
CN115936972A (zh) * 2022-09-27 2023-04-07 阿里巴巴（中国）有限公司 图像生成方法、遥感图像风格迁移方法以及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
CN110310221A (zh) * 2019-06-14 2019-10-08 大连理工大学 一种基于生成对抗网络的多域图像风格迁移方法
CN110853110A (zh) * 2019-09-20 2020-02-28 杭州火烧云科技有限公司 一种基于生成对抗网络的图片自动调色方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
CN110310221A (zh) * 2019-06-14 2019-10-08 大连理工大学 一种基于生成对抗网络的多域图像风格迁移方法
CN110853110A (zh) * 2019-09-20 2020-02-28 杭州火烧云科技有限公司 一种基于生成对抗网络的图片自动调色方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周长家: "基于深度混合生成模型的图像风格迁移研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》, no. 02, 15 February 2021 (2021-02-15), pages 138 - 1019 *
陈淮源 等: "基于深度学习的图像风格迁移研究进展", 《计算机工程与应用》, vol. 57, no. 11, 1 June 2021 (2021-06-01), pages 37 - 43 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022352A (zh) * 2022-01-05 2022-02-08 成都国星宇航科技有限公司 遥感图像风格迁徙模型的创建方法和装置
CN114022352B (zh) * 2022-01-05 2022-04-08 成都国星宇航科技有限公司 遥感图像风格迁徙模型的创建方法和装置
CN114581795A (zh) * 2022-05-06 2022-06-03 天津航天中为数据***科技有限公司 基于深度学习的杆塔绝缘子检测方法
CN115936972A (zh) * 2022-09-27 2023-04-07 阿里巴巴（中国）有限公司 图像生成方法、遥感图像风格迁移方法以及装置
CN115936972B (zh) * 2022-09-27 2024-03-22 阿里巴巴（中国）有限公司 图像生成方法、遥感图像风格迁移方法以及装置

Also Published As

Publication number Publication date
CN113436060B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN113436060B (zh) 一种异源遥感图像风格迁移方法和装置
CN112766199B (zh) 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN107609638B (zh) 一种基于线性编码器和插值采样优化卷积神经网络的方法
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和***
CN113486827B (zh) 基于域对抗与自监督的多源遥感影像迁移学习方法
CN110245711B (zh) 基于角度旋转生成网络的sar目标识别方法
CN113674140B (zh) 一种物理对抗样本生成方法及***
CN109785371A (zh) 一种基于归一化互相关和sift的太阳图像配准方法
CN105989336B (zh) 基于带权重的解卷积深度网络学习的场景识别方法
CN109685743A (zh) 基于噪声学习神经网络模型的图像混合噪声消除方法
CN106780543A (zh) 一种基于卷积神经网络的双框架估计深度和运动方法
CN110070517B (zh) 基于退化成像机理和生成对抗机制的模糊图像合成方法
CN107463954B (zh) 一种模糊异谱图像的模板匹配识别方法
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN112686898B (zh) 一种基于自监督学习的放疗靶区自动分割方法
CN112102165B (zh) 一种基于零样本学习的光场图像角域超分辨***及方法
CN113570658A (zh) 基于深度卷积网络的单目视频深度估计方法
CN111709443B (zh) 一种基于旋转不变卷积神经网络的书法字风格分类方法
CN110751271B (zh) 一种基于深度神经网络的图像溯源特征表征方法
CN114067205A (zh) 一种轻量型的任意尺度双时相影像变化检测方法
CN117830835A (zh) 一种基于深度学习的卫星遥感图像分割方法
CN113610024A (zh) 一种多策略的深度学习遥感影像小目标检测方法
CN110348339B (zh) 一种基于实例分割的手写文档文本行的提取方法
CN114882139B (zh) 一种多层级地图的端到端智能生成方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant