CN111611968B - 一种遥感图像的处理方法以及遥感图像处理模型 - Google Patents

一种遥感图像的处理方法以及遥感图像处理模型 Download PDF

Info

Publication number
CN111611968B
CN111611968B CN202010482206.8A CN202010482206A CN111611968B CN 111611968 B CN111611968 B CN 111611968B CN 202010482206 A CN202010482206 A CN 202010482206A CN 111611968 B CN111611968 B CN 111611968B
Authority
CN
China
Prior art keywords
convolution
time
sampling
remote sensing
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010482206.8A
Other languages
English (en)
Other versions
CN111611968A (zh
Inventor
祁元
杨瑞
张金龙
王宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest Institute of Eco Environment and Resources of CAS
Original Assignee
Northwest Institute of Eco Environment and Resources of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest Institute of Eco Environment and Resources of CAS filed Critical Northwest Institute of Eco Environment and Resources of CAS
Priority to CN202010482206.8A priority Critical patent/CN111611968B/zh
Publication of CN111611968A publication Critical patent/CN111611968A/zh
Application granted granted Critical
Publication of CN111611968B publication Critical patent/CN111611968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种遥感图像的处理方法以及遥感图像处理模型。方法包括:获取包含待提取对象的原图像;对所述原图像依次进行M次下采样处理而获得特征数据,M为正整数;其中,x取1到M中的任意值,第x次下采样处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行下采样,获得输出数据。在对原图像进行上采样时,由于对输入数据进行了尺度不同的卷积,获得尺度不同的各卷积特征,故可以增加网络的宽度,使得将各卷积特征融合再进行下采样处理时,能够提取出更多的信息,以实现图像中的背景和待提取对象复杂且交错时,也能够准确的提取出待提取对象。

Description

一种遥感图像的处理方法以及遥感图像处理模型
技术领域
本申请涉及计算机技术领域,具体而言,涉及一种遥感图像的处理方法以及遥感图像处理模型。
背景技术
随着技术的不断进步,机器学习已经实现了比较广泛的应用,最为典型的是利用机器学习可以将图像中的待提取对象从图像的背景中提取出来,以实现自动抠图。
而在对图像中的待提取对象进行提取时,若图像中的背景和待提取对象区分不明显或者图像中的背景比较复杂,比如,从卫星遥感图像中提取出耕地、草地、树林等各自分布的区域,由于这些地形各自交错且形状复杂,导致故机器学习训练出的模型的鲁棒性和准确性都比较低,难以准确的各类型的地形提取出。
换言之,在图像中的背景和待提取对象复杂且交错时,机器学习难以准确的将图像中的待提取对象提取出。
发明内容
本申请实施例的目的在于提供一种遥感图像的处理方法以及遥感图像处理模型,用以实现在图像中的背景和待提取对象复杂且交错时,也能够准确的将待提取对象提取出。
第一方面,本申请提供了一种遥感图像的处理方法,所述方法包括:获取包含待提取对象的原图像;对所述原图像依次进行M次下采样处理而获得特征数据,M为正整数;其中,x取1到M中的任意值,第x次下采样处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行下采样,获得输出数据;其中,若x=1,第x次处理的输入数据为所述原图像,若M>1且x≠1,第x次处理的输入数据为第x-1次处理所得的输出数据,若x=M,第x次处理的输出数据为所述特征数据;对所述特征数据进行卷积,获得卷积后的特征数据;对所述卷积后的特征数据依次进行N次上采样处理而获得特征图像,N为正整数;利用预设的分类器处理所述特征图像,以提取出所述原图像中的所述待提取对象。
在本申请实施例中,在对原图像进行上采样时,由于对输入数据进行了尺度不同的卷积,获得尺度不同的各卷积特征,故可以增加网络的宽度,使得将各卷积特征融合再进行下采样处理时,能够提取出更多的信息,以实现图像中的背景和待提取对象复杂且交错时,也能够准确的提取出待提取对象。
结合第一方面,在第一种可能的实现方式中,对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行下采样,获得输出数据,包括:以第一尺度的卷积核对第x次处理的输入数据连续进行多次卷积,获得一个卷积特征;以及,以第二尺度的卷积核对第x次处理的输入数据连续进行多次卷积,获得另一个卷积特征卷积核对第x次处理的输入数据连续进行多次卷积,获得一个卷积特征征;将两个卷积特征融合再进行下采样,获得第x次处理的输出数据。
在本申请实施例中,在卷积核尺度不同的情况下,其直观体现即是不同的卷积核尺度能够提取不同的感受野特征,故通过设置下采样时卷积核的尺度不同则可以简单便捷的实现网络的宽度增加。
结合第一方面,在第二种可能的实现方式中,x的数量大于1且小于等于M。
在本申请实施例中,下采样融合+下采样的次数越多,待提取对象的提取也就越准确,但网络的设计难度以及训练难度也相应增加。因此,通过设置下采样融合+下采样的次数在1到M之间可调,则使得实际可以根据实际的应用需求合理设置下采样融合+下采样的次数,以便准确度和难度均满足实际需求。
结合第一方面,在第三种可能的实现方式中,y取1到N中的任意值,第y次处理包括:
对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行上采样,获得输出数据,其中,若y=1,第y次处理的输入数据为所述卷积后的特征数据与第M次下采样处理的数据的融合,若N>1且y≠1,第y次处理的输入数据为第y-1次处理所得的输出数据与对应的一次下采样处理的数据的融合,若y=N,第y次处理的输出数据为所述特征图像。
在本申请实施例中,在以不同尺度进行下采样的基础上,再以不同尺度进行上采样,其能够进一步提取出不同的感受野特征,进一步增加网络的宽度,从而进一步提高准确度。
结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中,对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行上采样,获得输出数据,包括:以第一尺度的卷积核对第y次处理的输入数据连续进行多次卷积,获得一个卷积特征;以及,以第二尺度的卷积核对第y次处理的输入数据连续进行多次卷积,获得另一个卷积特征;将两个卷积特征融合并再进行上采样,获得第y次处理的输出数据。
在本申请实施例中,在卷积核尺度不同的情况下,其直观体现即是不同的卷积核尺度能够提取不同的感受野特征,故通过设置上采样时卷积核尺度的不同则可以简单便捷的实现网络的宽度增加。
结合第一方面的第三种可能的实现方式,在第五种可能的实现方式中,y的数量大于1且小于等于N。
在本申请实施例中,上采样融合+下采样的次数越多,待提取对象的提取也就越准确,但网络的设计难度以及训练难度也相应增加。因此,通过设置上采样融合+下采样的次数在1到N之间可调,则使得实际可以根据实际的应用需求合理设置上采样融合+下采样的次数,以便准确度和难度均满足实际需求。
结合第一方面,在第六种可能的实现方式中,获取包含待提取对象的原图像,包括:获取被测区域中各子区域各自的遥感图像;将所述遥感图像按照所述各子区域的位置关系进行拼接,获得所述被测区域的整体图像;将所述整体图像做归一化处理,获得所述被测区域的归一化图像;按照滑动窗的方式将所述归一化图像分割,获得本次需要处理的所述原图像。
在本申请实施例中,通过对遥感图像进行拼接、归一化以及分割的预处理,从而得到符合网络结构的原图像,以便原图像能够正确的被处理。
第二方面,本申请提供了一种遥感图像的处理方法,所述方法包括:获取包含待提取对象的原图像;对所述原图像依次进行M次下采样处理而获得特征数据;对所述特征数据进行卷积,获得卷积后的特征数据;对所述卷积后的特征数据依次进行N次上采样提取处理而获得特征图像,N为正整数,y取1到N中的任意值,第y次处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行上采样,获得输出数据,其中,若y=1,第y次处理的输入数据为所述卷积后的特征数据与第M次下采样处理的数据的融合,若N>1且y≠1,第y次处理的输入数据为第y-1次处理所得的输出数据与对应的一次下采样处理的数据的融合,若y=N,第y次处理的输出数据为所述特征图像;利用预设的分类器处理所述特征图像,以提取出的所述原图像中的所述待提取对象。
在本申请实施例中,在进行上采样时,由于对输入数据进行了尺度不同的卷积,获得尺度不同的各卷积特征,故可以增加网络的宽度,使得将各卷积特征融合能够提取出更多的信息,以实现图像中的背景和待提取对象复杂且交错时,也能够准确的提取出待提取对象。
第三方面,本申请提供了一种遥感图像处理模型,所述模型包括:输入层,用于获取包含待提取对象的原图像;采样层,用于对所述原图像依次进行M次下采样处理而获得特征数据,M为正整数;其中,x取1到M中的任意值,第x次处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行下采样,获得输出数据;其中,若x=1,第x次处理的输入数据为所述原图像,若M>1且x≠1,第x次处理的输入数据为第x-1次处理所得的输出数据,若x=M,第x次处理的输出数据为所述特征数据;对所述特征数据进行卷积,获得卷积后的特征数据;对所述卷积后的特征数据依次进行N次上采样提取处理而获得特征图像,N为正整数;输出层,用于利用预设的分类器处理所述特征图像,以提取出的所述原图像中的所述待提取对象。
第四方面,本申请提供了一种遥感图像处理模型,所述模型包括:输入层,用于获取包含待提取对象的原图像;采样层,用于对所述原图像依次进行M次下采样处理而获得特征数据;对所述特征数据进行卷积,获得卷积后的特征数据;对所述卷积后的特征数据依次进行N次上采样提取处理而获得特征图像,N为正整数,y取1到N中的任意值,第y次处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行上采样,获得输出数据,其中,若y=1,第y次处理的输入数据为所述卷积后的特征数据与第M次下采样处理的数据的融合,若N>1且y≠1,第y次处理的输入数据为第y-1次处理所得的输出数据与对应的一次下采样处理的数据的融合,若y=N,第y次处理的输出数据为所述特征图像;输出层,用于利用预设的分类器处理所述特征图像,以提取出的所述原图像中的所述待提取对象。
第五方面,本申请实施例提供了一种电子设备,包括:通信接口、存储器、与所述通信接口和所述存储器连接的处理器;所述存储器,用于存储程序;所述处理器,用于调用并运行所述程序,以执行如第一方面或第一方面的任一种可能的实现方式所述的遥感图像的处理方法。
第六方面,本申请实施例提供了一种具有计算机可执行的非易失程序代码的计算机可读储存介质,所述程序代码使所述计算机执行第一方面或第一方面的任一种可能的实现方式所述的遥感图像的处理方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种遥感图像处理模型的结构框图;
图2为本申请实施例提供的一种遥感图像的处理方法的整体流程图;
图3为本申请实施例提供的一种遥感图像的处理方法的第一流程示例图;
图4为本申请实施例提供的一种遥感图像的处理方法的第二流程示例图;
图5为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
请参阅图1,本申请实施例提供了一种遥感图像处理模型100,该遥感图像处理模型100可以部署在电子设备比如终端或者服务器中,该遥感图像处理模型100可以包括:输入层110,与输入层110连接的采样层120,以及与该采样层120连接的输出层130。
本实施例中,输入层110用于获取包含待提取对象的原图像。
采样层120,用于对原图像依次进行M次下采样处理而获得特征数据,其中,采样层120中包含M个下采样单元121,每个下采样单元121对应执行一次下采样处理,M为正整数;以及,采样层120,还用于对特征数据进行卷积,获得卷积后的特征数据;以及,对卷积后的特征数据依次进行N次上采样提取处理而获得特征图像,其中,采样层120中包含N个上采样单元122,每个上采样单元122对应执行一次上采样处理,N为正整数;
此外,采样层120可以在M次下采样处理中采用融合+下采样,若M次下采样处理中的第x次处理采用融合+下采样,x取1到M中的任意值,第x次处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将各卷积特征融合再进行下采样处理,获得输出数据;其中,若x=1,第x次处理的输入数据为原图像,若M>1且x≠1,第x次处理的输入数据为第x-1次处理所得的输出数据,若x=M,第x次处理的输出数据为特征数据。
和/或,采样层120也可以在N次上采样处理中采用融合+下采样,N为正整数,y取1到N中的任意值,N次上采样处理中第y次处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将第二各卷积特征融合再进行上采样处理,获得输出数据,其中,若y=1,第y次处理的输入数据为卷积后的特征数据与第M次处理所得的输出数据的融合,若N>1且y≠1,第y次处理的输入数据为第y-1次处理所得的输出数据与对应的一次下采样处理所得的输出数据的融合,若y=N,第y次处理的输出数据为特征图像。
最后,输出层130则用于利用预设的分类器处理特征图像,以提取出的所述原图像中的待提取对象。
通过上述介绍可知,遥感图像处理模型100用于将原图像中的待提取对象从原图像中提取出。为实现遥感图像处理模型100在实际应用中能够准确的提出的待提取对象,需要通过电子设备先对遥感图像处理模型100进行充分的训练,然后再将训练好的遥感图像处理模型100投入实际应用。为便于充分的理解本实施例的遥感图像处理模型100,本实施例将分别从模型训练以及实际应用两个方面来进行说明。
模型训练:
在训练遥感图像处理模型100前,电子设备中需要先准备用于训练该遥感图像处理模型100的训练图像集。并且,若应用场景的不同,待提取对象的类型也不同,那么训练图像集的准备方式也有所不同。
比如,若遥感图像处理模型100应用到对人、动物、车辆等目标物进行识别,那么待提取对象则是人物、动物、车辆等。电子设备可以获取摄像头拍摄的多张初始图像,比如获取10000张初始图像,每张初始图像中均包含待提取的人物、动物、车辆等。此外,由于每张初始图像是彩色的图像,其像元的范围可以在0-255甚至是在0-65535之间,因此为使得遥感图像处理模型100在训练过程中能够快速地形成收敛,故电子设备可以对每张初始图像做归一化处理。并且,在做归一化处理的同时,电子设备还可以将每张初始图像的尺寸调整到遥感图像处理模型100处理所需的尺寸,比如将图像调整到模型所需160*160*4的尺寸,从而通过归一化以及调整处理获得多张调整后的图像。电子设备再通过噪声、反转、旋转、平移、剪切、对比度变换、模糊化等几何变换来处理多张调整后的图像中的至少部分图像,以增加训练的样本数量,防止过拟合。最后,通过几何变换增加的图像和这多张调整后的图像则共同构成了训练图像集。
又比如,若遥感图像处理模型100应用到对地貌进行识别分类,那么待提取对象则可以是树林、耕地、裸地、草地等各种地貌。电子设备可以获取地面上多个不同的被测区域中每个被测区域的各子区域各自的遥感图像,这些遥感图像可以是由卫星或者无人机拍摄。比如,每个被测区域均是由相邻且互不重叠的9个子区域构成的大小为3km*3km的区域,那么每个被测区域的遥感图像则为9张,电子设备可以获取1000个不同被测区域的遥感图像,从而可以获取9000张遥感图像。
由于遥感图像在拍摄的过程中受到各种因素的影响,使得遥感影像存在几何畸变、辐射失真等现象。因此,电子设备可以对每张遥感图像进行几何校正以及辐射校正。并且,由于地貌的识别是以被测区域为单位,故在矫正后,电子设备针对每个被测区域,将该被测区域的遥感图像按照该被测区域中各子区域的位置关系进行拼接,获得每个被测区域的整体图像,共获得多个被测区域的多张整体图像。
此外,也由于整体图像是彩色的图像,其像元的范围也可以在0-255甚至是在0-65535之间,也为实现遥感图像处理模型100在训练过程中能够快速地形成收敛,故电子设备可以对每张整体图像做归一化处理,从而获得每个被测区域的归一化图像。
再者,由于被测区域的大小为3km*3km,故每个被测区域的归一化图像的尺寸会比较大比如为4245*4245。而归一化图像的尺寸比较大则会导致归一化图像的尺寸不满足遥感图像处理模型100的处理需求。因此,电子设备可以采用滑动窗的方式将每张归一化图像分割成多张分割图像,比如,采用滑动窗的方式将每张归一化图像分割成尺寸为160*160的多张分割图像。以及,电子设备再通过噪声、反转、旋转、平移、剪切、对比度变换、模糊化等几何变换来处理所有分割图像中的至少部分图像,以增加训练的样本数量,防止过拟合。最后,通过几何变换增加的图像和所有的分割图像则共同构成了训练图像集。
需要说明的是,上述处理流程的顺序仅为本实施例的一种示例性方式,并不作为限定,实际应用时可根据实际进行情况调整。比如,可以先对整体图像进行几何变换以增加整体图像的数量,再对数量增加后的所有整体图像进行分割。
本实施例中,在获取训练图像集后,一方面,需要对训练图像集中每张训练图像进行标注,以标注出每张训练图像中待提取对象的所在区域。另一方面,则需要以一定比例比如以6:2:2的比例,将训练图像集分成训练集、测试集以及验证集,以用做不同阶段的训练。
在将待提取对象标注出以及将训练图像集分成训练集、测试集以及验证集之后,电子设备便可以利用训练集、测试集以及验证集对遥感图像处理模型100进行训练。
可以理解到,电子设备利用训练集、测试集以及验证集对遥感图像处理模型100进行训练即是电子设备利用遥感图像处理模型100处理训练图像集中每张训练图像,再根据每张训练遥感图像的处理结果和对应的标注之间差异来优化该遥感图像处理模型100。换言之,对遥感图像处理模型100的训练即是不断迭代的执行图像处理+优化。为便于理解训练的原理,本实施例以电子设备利用遥感图像处理模型100处理某一张训练图像,然后利用该张训练遥感图像的处理结果优化该遥感图像处理模型100为例进行说明。
具体的,电子设备将该训练图像输入到遥感图像处理模型100中,通过遥感图像处理模型100对该训练遥感图像的处理,遥感图像处理模型100可以确定出该训练图像中每个像素点属于待提取对象的趋向值,该趋向值可以待提取对象类型来确定,待提取对象有两类,那么趋向值可以通过0或1来表示,该趋向值越趋于1则说明该趋向值对应的像素点属于一类待提取对象的可能性越大,而该趋向值越趋于0则说明该趋向值对应的像素点属于另一类待提取对象的可能性越大;当然,在待提取对象的类型超过两类的情况下,则依次类推。训练图像中每个像素点的趋向值则作为遥感图像处理模型100的处理结果而被遥感图像处理模型100输出,这样电子设备在获得遥感图像处理模型100输出的处理结果后,电子设备便可以确定出该训练遥感图像的处理结果与该训练图像的标注之间的差异,即确定出训练图像中每个像素点的趋向值与该像素点标注的趋向值之间的Loss。最后,电子设备基于训练图像中每个像素点的Loss,利用Adam算法去调整遥感图像处理模型100中的权重参数(该权重参数在训练之前可以采用标准差为
Figure BDA0002516133540000111
的高斯分布来确定,N为按照应用场景所设定的合适大小的常数),从而实现了对遥感图像处理模型100的训练优化,其中,Adam算法不仅对内存的需求较小,其还能够在模型训练过程中随着参数的更新,根据不同的参数计算学习率,使得不用人工干预寻求合适的学习率,从而提高训练效果。
而通过不断迭代的训练优化该遥感图像处理模型100,遥感图像处理模型100确定出训练图像中每个像素点的趋向值会越来越趋近于该像素点标注的趋向值,那么,遥感图像处理模型100对待提取对象进行提取的准确度则越来越高。当利用验证集中的图像训练遥感图像处理模型100时,其提取出待提取对象的准确度超过了阈值比如超过98%时,则认为遥感图像处理模型100形成了收敛,训练过程结束。其中,当遥感图像处理模型100提取出的待提取对象的所在区域与待提取对象标注的所在区域的重合率超过上限值,比如超过98%,则可以认为准确的提取出了待提取对象。
当遥感图像处理模型100的训练结束后,遥感图像处理模型100便可以投入实际应用,以进行遥感图像的处理。
实际应用:
请参阅图2,利于前述训练完成的遥感图像处理模型100,本申请实施例提供了一种遥感图像的处理方法,该遥感图像的处理方法也可以由遥感图像处理模型100执行,该遥感图像的处理方法的流程可以包括:
步骤S100:获取包含待提取对象的原图像。
步骤S200:对原图像依次进行M次下采样处理而获得特征数据,M为正整数;其中,x取1到M中的任意值,第x次下采样处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将各卷积特征融合再进行下采样处理,获得输出数据;其中,若x=1,第x次处理的输入数据为原图像,若M>1且x≠1,第x次处理的输入数据为第x-1次处理所得的输出数据,若x=M,第x次处理的输出数据为特征数据。
步骤S300:对特征数据进行卷积,获得卷积后的特征数据。
步骤S400:对卷积后的特征数据依次进行N次上采样处理而获得特征图像,N为正整数。
步骤S500:利用预设的分类器处理特征图像,以提取出原图像中的待提取对象。
下面将结合具体事例对上述流程进行详细说明。
步骤S100:获取包含待提取对象的原图像。
可以理解到,与训练过程相似的是,电子设备直接获取到的图像无法直接用于遥感图像处理模型100的处理,因此电子设备需要对图像进行类似与训练过程中的预设处理,以获得原图像,再将原图像输入到遥感图像处理模型100中。
具体的,若电子设备获取的图像是包含人物、动物、车辆等待提取对象的初始图像,那么电子设备也对初始图像做归一化处理。并且,在做归一化处理的同时,电子设备也将初始图像的尺寸调整到遥感图像处理模型100处理所需的尺寸,从而获得适合遥感图像处理模型100处理的原图像。
若电子设备获取的图像是被测区域中各子区域各自的遥感图像,那么电子设备先将遥感图像按照各子区域的位置关系进行拼接,从而获得该被测区域的整体图像。然后,电子设备也将该整体图像做归一化处理,获得该被测区域的归一化图像。最后,电子设备再按照滑动窗的方式将归一化图像分割,获得本次需要处理的原图像。
之后,电子设备将原图像输入到遥感图像处理模型100中,对应的,遥感图像处理模型100则获取到该原图像。
可以理解到,利用电子设备来对图像做预处理以获得原图像仅为本实施例的一种示例性方式,比如,也可以在遥感图像处理模型100中配置用于预处理的模型,这样遥感图像处理模型100便可以自己对图像做预处理,并直接获得该预处理所得的原图像。
步骤S200:对原图像依次进行M次下采样处理而获得特征数据,M为正整数;其中,x取1到M中的任意值,第x次下采样处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将各卷积特征融合再进行下采样,获得输出数据;其中,若x=1,第x次处理的输入数据为原图像,若M>1且x≠1,第x次处理的输入数据为第x-1次处理所得的输出数据,若x=M,第x次处理的输出数据为特征数据。
本实施例中,根据实际应用需求的不同,在M次下采样处理中进行融合+下采样的次数也有所不同。换言之,x的数量可以大于1且小于等于M。
当x的数量等于1时,则表示在M次下采样处理中只有一次下采样处理是采用融合+下采样,而其它的下采样处理都是正常下采样处理,即线性卷积后进行下采样,而不对卷积特征进行融合。
当x的数量大于1且小于M时,则表示在M次下采样处理中只有至少一次下采样处理是采用融合+下采样;而其它的下采样处理都是正常下采样处理,即线性卷积后进行下采样,而不对卷积特征进行融合。
当x的数量等于M时,则表示在M次下采样处理中每次下采样处理是采用融合+下采样。
下面分别对如何进行正常下采样处理,以及如何进行融合+下采样予以说明。
关于正常下采样处理:
由于每次正常下采样处理的逻辑都大致相同,为便于理解,本实施例以第g次正常下采样处理为例来进行说明,g取1到M中的任意值,且g≠x,g的数量与x的数量之和等于M。
具体的,第g次正常下采样处理可以包括:遥感图像处理模型100以同一尺度的卷积核对第g次正常下采样处理的输入数据连续进行多次卷积,比如以同样尺度的卷积核连续进行两次卷积,获得一个卷积特征;然后,遥感图像处理模型100再对该卷积特征进行下采样比如对该卷积特征进行最大值池化,从而获得第g次正常下采样处理输出数据。其中,若g=1,第g次处理的输入数据为原图像,若M>1且g≠1,第g次处理的输入数据为第g-1次处理所得的输出数据,若g=M,第g次处理的输出数据为特征数据。
关于融合+下采样:
由于每次融合+下采样的逻辑都大致相同,为便于理解,本实施例以第x次融合+下采样为例来进行说明,x取1到M中的任意值,且g≠x,g的数量与x的数量之和等于M。
具体的,第x次融合+下采样可以包括:
遥感图像处理模型100以第一尺度的卷积核对第x次处理的输入数据连续进行多次卷积,比如以尺度为3*3的卷积核对第x次处理的输入数据连续进行两次卷积,从而获得一个卷积特征。此外,遥感图像处理模型100还以第二尺度的卷积核对第x次处理的输入数据连续进行多次卷积,比如以尺度为5*5的卷积核对第x次处理的输入数据连续进行两次卷积,从而获得另一个卷积特征。最后,遥感图像处理模型100再将两个卷积特征融合获得融合的特征,以及再对融合的特征进行下采样比如进行最大值池化,从而获得第x次处理的输出数据。
可以理解到,将输入数据分别以两个尺度进行卷积仅为本实施例的一种示例性方式,其并不作为本实施例的限定。比如,遥感图像处理模型100还可以将输入数据分别以3*3的卷积核、5*5的卷积核以及7*7的卷积核这三各尺度进行卷积。
下面通过一些示例进行说明。
示例1:
请参阅图3,图3示出了4次下采样处理以及4次上采样处理的遥感图像处理模型100,而在这4次下采样处理中只有第一次下采样处理采用了融合+下采样。
具体的,首先,遥感图像处理模型100先获取160*160的原图像。
然后,遥感图像处理模型100对该原图像进行融合+下采样,即通过3*3的卷积核对该原图像连续进行两次卷积,从而获得一个卷积特征,以及通过5*5的卷积核对该原图像连续进行两次卷积,从而获得另一个卷积特征;以及,遥感图像处理模型100再将这两个卷积特征融合再进行最大值池化,从而获得融合+下采样的输出数据。
然后,遥感图像处理模型100进行第一次正常下采样处理,即通过3*3的卷积核对该融合+下采样的输出数据连续进行两次卷积,从而获得第一次正常下采样处理的卷积特征;以及,遥感图像处理模型100再将第一次正常下采样处理的卷积特征进行最大值池化,从而获得第一次正常下采样处理的输出数据。
然后,遥感图像处理模型100进行第二次正常下采样处理,即通过3*3的卷积核对该第一次正常下采样处理的输出数据连续进行两次卷积,从而获得第二次正常下采样处理的卷积特征;以及,遥感图像处理模型100再将第二次正常下采样处理的卷积特征进行最大值池化,从而获得第二次正常下采样处理的输出数据。
最后,遥感图像处理模型100进行第三次正常下采样处理,即通过3*3的卷积核对该第二次正常下采样处理的输出数据连续进行两次卷积,从而获得第三次正常下采样处理的卷积特征;以及,遥感图像处理模型100再将第三次正常下采样处理的卷积特征进行最大值池化,从而获得第三次正常下采样处理的输出数据。
示例2:
请参阅图4,图4示出了4次下采样处理以及4次上采样处理的遥感图像处理模型100,而在这4次下采样处理中全部采用了融合+下采样。
具体的,首先,遥感图像处理模型100也先获取160*160的原图像。
然后,遥感图像处理模型100对该原图像进行第一次融合+下采样,即通过3*3的卷积核对该原图像连续进行两次卷积,从而获得一个卷积特征,以及通过5*5的卷积核对该原图像连续进行两次卷积,从而获得另一个卷积特征;以及,遥感图像处理模型100再将这两个卷积特征融合再进行最大值池化,从而获得第一次融合+下采样的输出数据。
然后,遥感图像处理模型100进行第二次融合+下采样,即通过3*3的卷积核对该第一次融合+下采样的输出数据连续进行两次卷积,从而获得一个卷积特征,以及通过5*5的卷积核对该第一次融合+下采样的输出数据连续进行两次卷积,从而获得另一个卷积特征;以及,遥感图像处理模型100再将这两个卷积特征融合再进行最大值池化,从而获得第二次融合+下采样的输出数据。
然后,遥感图像处理模型100进行第三次融合+下采样,即通过3*3的卷积核对该第二次融合+下采样的输出数据连续进行两次卷积,从而获得一个卷积特征,以及通过5*5的卷积核对该第二次融合+下采样的输出数据连续进行两次卷积,从而获得另一个卷积特征;以及,遥感图像处理模型100再将这两个卷积特征融合再进行最大值池化,从而获得第三次融合+下采样的输出数据。
最后,遥感图像处理模型100进行第三次融合+下采样,即通过3*3的卷积核对该第三次融合+下采样的输出数据连续进行两次卷积,从而获得一个卷积特征,以及通过5*5的卷积核对该第三次融合+下采样的输出数据连续进行两次卷积,从而获得另一个卷积特征;以及,遥感图像处理模型100再将这两个卷积特征融合再进行最大值池化,从而获得第四次融合+下采样的输出数据。
步骤S300:对特征数据进行卷积,获得卷积后的特征数据。
本实施例中,在获得特征数据后,遥感图像处理模型100可以采用正常线性卷积的方式来处理该特征数据,或者也可以采用卷积融合的方式来处理该特征数据。
针对正常线性卷积:遥感图像处理模型100可以以同样尺度的卷积核对该特征数据连续进行多次卷积获得卷积特征,然后遥感图像处理模型100再对该卷积特征进行上采样比如以插值法进行上采样,从而获得卷积后的特征数据。
下面继续对示例1进行说明。
请参阅图3,在图3所示的遥感图像处理模型100中,该遥感图像处理模型100采用了正常线性卷积。
具体的,在获得第三次正常下采样处理的输出数据后,遥感图像处理模型100可以3*3的卷积核连续对第三次正常下采样处理的输出数据进行两次卷积,从而获得卷积特征。然后,遥感图像处理模型100在对该卷积特征进行插值,从而获得卷积后的特征数据。
针对卷积融合:遥感图像处理模型100可以以第一尺度的卷积核对该特征数据连续进行多次卷积获得一个卷积特征,同时遥感图像处理模型100再以第二尺度的卷积核对该特征数据连续进行多次卷积获得另一个卷积特征。然后遥感图像处理模型100将两个卷积特征融合,获得融合后的特征。最后,遥感图像处理模型100再对融合后的特征进行上采样比如以插值法进行上采样,从而获得卷积后的特征数据。
下面继续对示例2进行说明。
请参阅图4,在图4所示的遥感图像处理模型100中,该遥感图像处理模型100采用了卷积融合。
具体的,在获得第四次融合采用的输出数据后,遥感图像处理模型100可以3*3的卷积核连续对第四次融合采用的输出数据进行两次卷积,从而获得一个卷积特征。同时,遥感图像处理模型100可以5*5的卷积核连续对第四次融合采用的输出数据进行两次卷积,从而获得另一个卷积特征。然后,遥感图像处理模型100将两个卷积特征融合后再进行插值,从而获得卷积后的特征数据。
可以理解到,将输入数据分别以两个尺度进行卷积仅为本实施例的一种示例性方式,其并不作为本实施例的限定。比如,遥感图像处理模型100还可以将输入数据分别以3*3的卷积核、5*5的卷积核以及7*7的卷积核这三各尺度进行卷积。
步骤S400:对卷积后的特征数据依次进行N次上采样处理而获得特征图像,N为正整数。
本实施例中,N次上采样处理中每次上采样处理都可以采用正常上采样处理,即线性卷积后进行上采样,而不对卷积特征进行融合。
或者,N次上采样处理中的第y次上采样处理可以采用融合+上采样,y取1到N的任意值,那么第y次处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将各卷积特征融合再进行上采样,获得输出数据。
其中,若y=1,第y次处理的输入数据为该卷积后的特征数据与第M次下采样处理的数据的融合,该第M次下采样处理的数据为第M次下采样处理中已进行了卷积但还未进行下采样的数据,且该第M次下采样处理的数据与卷积后的特征数据的尺度相同。
若N>1且y≠1,第y次处理的输入数据为第y-1次处理所得的输出数据与对应的一次下采样处理的数据的融合,该对应的一次下采样处理的数据为对应的一次下采样处理中已进行了卷积但还未进行下采样的数据,且该对应的一次下采样处理的数据与第y-1次处理所得的输出数据的尺度相同。
若y=N,第y次处理的输出数据则为特征图像。
本实施例中,根据实际应用需求的不同,在N次上采样处理中进行融合+上采样的次数也有所不同。换言之,y的数量可以大于1且小于等于N。
当y的数量等于1时,则表示在N次上采样处理中只有一次上采样处理是采用融合+下采样,而其它的上采样处理都是正常上采样处理。
当y的数量大于1且小于N时,则表示在N次上采样处理中只有至少一次上采样处理是采用融合+上采样;而其它的上采样处理都是正常上采样处理。
当y的数量等于N时,则表示在N次上采样处理中每次上采样处理是采用融合+上采样。
下面分别对如何进行正常上采样处理,以及如何进行融合+上采样予以说明。
关于正常下采样处理:
由于每次正常上采样处理的逻辑都大致相同,为便于理解,本实施例以第h次正常上采样处理为例来进行说明,h取1到N中的任意值,且h≠y,h的数量与y的数量之和等于N。
具体的,第h次正常上采样处理可以包括:遥感图像处理模型100以同一尺度的卷积核对第h次正常上采样处理的输入数据连续进行多次卷积,比如以同样尺度的卷积核连续进行两次卷积,获得一个卷积特征;然后,遥感图像处理模型100再对该卷积特征进行上采样比如对该卷积特征进行插值,从而获得第h次正常上采样处理的输出数据。
其中,若h=1,第h次正常上采样处理的输入数据为卷积后的特征数据与第M次下采样处理的数据的融合,该第M次下采样处理的数据为第M次下采样处理中已进行了卷积但还未进行下采样的数据,且该第M次下采样处理的数据与卷积后的特征数据的尺度相同。
若N>1且h≠1,第h次正常上采样处理的输入数据为第y-1次处理所得的输出数据与对应的一次下采样处理的数据的融合,该对应的一次下采样处理的数据也为该对应的一次下采样处理中已进行了卷积但还未进行下采样的数据,且第y-1次处理所得的输出数据与对应的一次下采样处理的数据的尺度也相同。
若h=N,第h次正常上采样处理的输出数据则为特征图像。
关于融合+上采样:
由于每次融合+上采样的逻辑都大致相同,为便于理解,本实施例以第y次融合+上采样为例来进行说明,y取1到N中的任意值,且y≠h,y的数量与h的数量之和等于N。
具体的,第y次融合+上采样可以包括:
遥感图像处理模型100以第一尺度的卷积核对第y次处理的输入数据连续进行多次卷积,比如以尺度为3*3的卷积核对第y次处理的输入数据连续进行两次卷积,从而获得一个卷积特征。此外,遥感图像处理模型100还以第二尺度的卷积核对第y次处理的输入数据连续进行多次卷积,比如以尺度为5*5的卷积核对第y次处理的输入数据连续进行两次卷积,从而获得另一个卷积特征。最后,遥感图像处理模型100再将两个卷积特征融合获得融合的特征,以及再对融合的特征进行上采样比如进行插值,从而获得第y次处理的输出数据。
可以理解到,将输入数据分别以两个尺度进行卷积仅为本实施例的一种示例性方式,其并不作为本实施例的限定。比如,遥感图像处理模型100还可以将输入数据分别以3*3的卷积核、5*5的卷积核以及7*7的卷积核这三各尺度进行卷积。
下面继续对示例1进行说明:
请参阅图3,在图3所示的4次上采样处理中只有第一次上采样处理采用了融合+上采样。
具体的,首先,遥感图像处理模型100先获取卷积后的特征数据,以及获取第三次正常下采样处理的数据,并将卷积后的特征数据与第三次正常下采样处理的融合,获得第一次融合+上采样的输入数据。
然后,遥感图像处理模型100对该第一次融合+上采样的输入数据进行融合+下采样,即通过3*3的卷积核对该第一次融合+上采样的输入数据连续进行两次卷积,从而获得一个卷积特征,以及通过5*5的卷积核对该第一次融合+上采样的输入数据连续进行两次卷积,从而获得另一个卷积特征;以及,遥感图像处理模型100再将这两个卷积特征融合再进行插值,从而获得第一次融合+上采样的输出数据。
然后,遥感图像处理模型100将第一次融合+上采样的输出数据与第二次正常下采样处理的数据融合,获得第一次正常上采样处理的输入数据。遥感图像处理模型100再对第一次正常上采样处理的输入数据进行正常上采样处理,即通过3*3的卷积核对该第一次正常上采样处理的输入数据连续进行两次卷积,从而获得第一次正常上采样处理的卷积特征;以及,遥感图像处理模型100再将第一次正常上采样处理的卷积特征进行插值,从而获得第一次正常上采样处理的输出数据。
然后,遥感图像处理模型100第一次正常上采样处理的输出数据与第一次正常下采样处理的数据融合,获得第二次正常上采样处理的输入数据。遥感图像处理模型100再对第二次正常上采样处理的输入数据进行第二次正常上采样处理,即通过3*3的卷积核对该第二次正常上采样处理的输入数据连续进行两次卷积,从而获得第二次正常上采样处理的卷积特征;以及,遥感图像处理模型100再将第二次正常上采样处理的卷积特征进行插值,从而获得第二次正常上采样处理的输出数据。
最后,遥感图像处理模型100第二次正常上采样处理的输出数据与第一次融合+下采样处理的数据融合,获得第三次正常上采样处理的输入数据。遥感图像处理模型100再对第三次正常上采样处理的输入数据进行第三次正常上采样处理,即通过3*3的卷积核对该第三次正常上采样处理的输入数据连续进行两次卷积,从而获得第三次正常上采样处理的卷积特征;以及,遥感图像处理模型100再将第三次正常上采样处理的卷积特征进行插值,从而获得第三次正常上采样处理的输出数据。
下面继续对示例2进行说明:
请参阅图4,在图4所示的4次上采样处理中每次上采样处理均采用了融合+上采样。
首先,遥感图像处理模型100先获取卷积后的特征数据,以及获取第四次融合+上采样的数据,并将卷积后的特征数据与第四次融合+上采样的数据融合,获得第一次融合+上采样的输入数据。
然后,遥感图像处理模型100对该第一次融合+上采样的输入数据进行融合+下采样,即通过3*3的卷积核对该第一次融合+上采样的输入数据连续进行两次卷积,从而获得一个卷积特征,以及通过5*5的卷积核对该第一次融合+上采样的输入数据连续进行两次卷积,从而获得另一个卷积特征;以及,遥感图像处理模型100再将这两个卷积特征融合再进行插值,从而获得第一次融合+上采样的输出数据。
然后,遥感图像处理模型100将第一次融合+上采样的输出数据与第三次融合+下采样的数据融合,获得第二次融合+上采样的输入数据。遥感图像处理模型100再对第二次融合+上采样的输入数据进行融合+上采样,即通过3*3的卷积核对该第二次融合+上采样的输入数据连续进行两次卷积,从而获得一个卷积特征,以及通过5*5的卷积核对该第二次融合+上采样的输入数据连续进行两次卷积,从而获得另一个卷积特征;以及,遥感图像处理模型100再将这两个卷积特征融合再进行插值,从而获得第二次融合+上采样的输出数据。
然后,遥感图像处理模型100将第二次融合+上采样的输出数据与第二次融合+下采样的数据融合,获得第三次融合+上采样的输入数据。遥感图像处理模型100再对第三次融合+上采样的输入数据进行融合+上采样,即通过3*3的卷积核对该第三次融合+上采样的输入数据连续进行两次卷积,从而获得一个卷积特征,以及通过5*5的卷积核对该第三次融合+上采样的输入数据连续进行两次卷积,从而获得另一个卷积特征;以及,遥感图像处理模型100再将这两个卷积特征融合再进行插值,从而获得第三次融合+上采样的输出数据。
最后,遥感图像处理模型100将第三次融合+上采样的输出数据与第一次融合+下采样的数据融合,获得第四次融合+上采样的输入数据。遥感图像处理模型100再对第四次融合+上采样的输入数据进行融合+上采样,即通过3*3的卷积核对该第四次融合+上采样的输入数据连续进行两次卷积,从而获得一个卷积特征,以及通过5*5的卷积核对该第四次融合+上采样的输入数据连续进行两次卷积,从而获得另一个卷积特征;以及,遥感图像处理模型100再将这两个卷积特征融合再进行插值,从而获得第四次融合+上采样的输出数据,该输出数据即为特征图像。
步骤S500:利用预设的分类器处理特征图像,以提取出原图像中的待提取对象。
本实施例中,分类器的分类数量可以根据原图像中待提取对象类型进行设定。比如,原图像中待提取对象有2种类型,那么分类器则可以是2分类器;又比如,原图像中待提取对象有5种类型,那么分类器则可以是5分类器。
因此,通过分类器处理该特征图像,便可以确定出每一类待提取对象在原图像中的所在区域。
请参阅图5,基于同一发明构思,本申请实施例中还提供一种电子设备10,该电子设备10可以包括连接到网络的通信接口11、用于执行程序指令的一个或多个处理器12、总线13、和不同形式的存储器14,例如,磁盘、ROM、或RAM,或其任意组合。示例性地,计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。
存储器14用于存储程序,处理器12用于调用并运行存储器14中的程序以执行前述的遥感图像的处理方法。
本申请一些实施例还提供了一种计算机可执行的非易失的程序代码的计算机可读储存介质,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该计算机可读存储介质上存储有程序代码,该程序代码被计算机运行时执行上述任一实施方式的遥感图像的处理方法的步骤。
本申请实施例所提供的遥感图像的处理方法的程序代码产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
综上所述,在对原图像进行上采样时,由于对输入数据进行了尺度不同的卷积,获得尺度不同的各卷积特征,故可以增加网络的宽度,使得将各卷积特征融合再进行下采样处理时,能够提取出更多的信息,以实现图像中的背景和待提取对象复杂且交错时,也能够准确的提取出待提取对象。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (9)

1.一种遥感图像的处理方法,其特征在于,所述方法包括:
获取包含待提取对象的原图像;
对所述原图像依次进行M次下采样处理而获得特征数据,M为正整数;其中,x取1到M中的任意值,第x次下采样处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行下采样,获得输出数据;其中,若x=1,第x次处理的输入数据为所述原图像,若M>1且x≠1,第x次处理的输入数据为第x-1次处理所得的输出数据,若x=M,第x次处理的输出数据为所述特征数据;
对所述特征数据进行卷积,获得卷积后的特征数据;
对所述卷积后的特征数据依次进行N次上采样处理而获得特征图像,N为正整数;
利用预设的分类器处理所述特征图像,以提取出所述原图像中的所述待提取对象;
其中,所述对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行下采样,获得输出数据,包括:以第一尺度的卷积核对第x次处理的输入数据连续进行多次卷积,获得一个卷积特征;以及,以第二尺度的卷积核对第x次处理的输入数据连续进行多次卷积,获得另一个卷积特征;将两个卷积特征融合再进行下采样,获得第x次处理的输出数据。
2.根据权利要求1所述的遥感图像的处理方法,其特征在于,x的数量大于1且小于等于M。
3.根据权利要求1所述的遥感图像的处理方法,其特征在于,y取1到N中的任意值,第y次处理包括:
对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行上采样,获得输出数据,其中,若y=1,第y次处理的输入数据为所述卷积后的特征数据与第M次下采样处理的数据的融合,若N>1且y≠1,第y次处理的输入数据为第y-1次处理所得的输出数据与对应的一次下采样处理的数据的融合,若y=N,第y次处理的输出数据为所述特征图像。
4.根据权利要求3所述的遥感图像的处理方法,其特征在于,对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行上采样,获得输出数据,包括:
以第一尺度的卷积核对第y次处理的输入数据连续进行多次卷积,获得一个卷积特征;以及,以第二尺度的卷积核对第y次处理的输入数据连续进行多次卷积,获得另一个卷积特征;
将两个卷积特征融合并再进行上采样,获得第y次处理的输出数据。
5.根据权利要求3所述的遥感图像的处理方法,其特征在于,y的数量大于1且小于等于N。
6.根据权利要求1所述的遥感图像的处理方法,其特征在于,获取包含待提取对象的原图像,包括:
获取被测区域中各子区域各自的遥感图像;
将所述遥感图像按照所述各子区域的位置关系进行拼接,获得所述被测区域的整体图像;
将所述整体图像做归一化处理,获得所述被测区域的归一化图像;
按照滑动窗的方式将所述归一化图像分割,获得本次需要处理的所述原图像。
7.一种遥感图像的处理方法,其特征在于,所述方法包括:
获取包含待提取对象的原图像;
对所述原图像依次进行M次下采样处理而获得特征数据;
对所述特征数据进行卷积,获得卷积后的特征数据;
对所述卷积后的特征数据依次进行N次上采样提取处理而获得特征图像,N为正整数,y取1到N中的任意值,第y次处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行上采样,获得输出数据,其中,若y=1,第y次处理的输入数据为所述卷积后的特征数据与第M次下采样处理的数据的融合,若N>1且y≠1,第y次处理的输入数据为第y-1次处理所得的输出数据与对应的一次下采样处理的数据的融合,若y=N,第y次处理的输出数据为所述特征图像;
利用预设的分类器处理所述特征图像,以提取出的所述原图像中的所述待提取对象。
8.一种遥感图像处理模型,其特征在于,所述模型包括:
输入层,用于获取包含待提取对象的原图像;
采样层,用于对所述原图像依次进行M次下采样处理而获得特征数据,M为正整数;其中,x取1到M中的任意值,第x次处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行下采样,获得输出数据;其中,若x=1,第x次处理的输入数据为所述原图像,若M>1且x≠1,第x次处理的输入数据为第x-1次处理所得的输出数据,若x=M,第x次处理的输出数据为所述特征数据;对所述特征数据进行卷积,获得卷积后的特征数据;对所述卷积后的特征数据依次进行N次上采样提取处理而获得特征图像,N为正整数;
输出层,用于利用预设的分类器处理所述特征图像,以提取出的所述原图像中的所述待提取对象;
其中,所述采样层用于对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行下采样,获得输出数据,包括:以第一尺度的卷积核对第x次处理的输入数据连续进行多次卷积,获得一个卷积特征;以及,以第二尺度的卷积核对第x次处理的输入数据连续进行多次卷积,获得另一个卷积特征;将两个卷积特征融合再进行下采样,获得第x次处理的输出数据。
9.一种遥感图像处理模型,其特征在于,所述模型包括:
输入层,用于获取包含待提取对象的原图像;
采样层,用于对所述原图像依次进行M次下采样处理而获得特征数据;对所述特征数据进行卷积,获得卷积后的特征数据;对所述卷积后的特征数据依次进行N次上采样提取处理而获得特征图像,N为正整数,y取1到N中的任意值,第y次处理包括:对输入数据进行尺度不同的卷积,获得尺度不同的各卷积特征,将所述各卷积特征融合再进行上采样,获得输出数据,其中,若y=1,第y次处理的输入数据为所述卷积后的特征数据与第M次下采样处理的数据的融合,若N>1且y≠1,第y次处理的输入数据为第y-1次处理所得的输出数据与对应的一次下采样处理的数据的融合,若y=N,第y次处理的输出数据为所述特征图像;
输出层,用于利用预设的分类器处理所述特征图像,以提取出的所述原图像中的所述待提取对象;
其中,采样层还用于以第一尺度的卷积核对第x次处理的输入数据连续进行多次卷积,获得一个卷积特征;以及,以第二尺度的卷积核对第x次处理的输入数据连续进行多次卷积,获得另一个卷积特征;将两个卷积特征融合再进行下采样,获得第x次处理的输出数据。
CN202010482206.8A 2020-05-29 2020-05-29 一种遥感图像的处理方法以及遥感图像处理模型 Active CN111611968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010482206.8A CN111611968B (zh) 2020-05-29 2020-05-29 一种遥感图像的处理方法以及遥感图像处理模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010482206.8A CN111611968B (zh) 2020-05-29 2020-05-29 一种遥感图像的处理方法以及遥感图像处理模型

Publications (2)

Publication Number Publication Date
CN111611968A CN111611968A (zh) 2020-09-01
CN111611968B true CN111611968B (zh) 2022-02-01

Family

ID=72201968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010482206.8A Active CN111611968B (zh) 2020-05-29 2020-05-29 一种遥感图像的处理方法以及遥感图像处理模型

Country Status (1)

Country Link
CN (1) CN111611968B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052917A (zh) * 2020-10-22 2020-12-08 上海明略人工智能(集团)有限公司 一种图像分类方法、***、电子设备及存储介质
CN112330765B (zh) * 2020-11-04 2022-11-01 中国科学院西北生态环境资源研究院 海冰数据处理方法、装置、服务器及可读存储介质
CN112686329A (zh) * 2021-01-06 2021-04-20 西安邮电大学 基于双核卷积特征提取的电子喉镜图像分类方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341517A (zh) * 2017-07-07 2017-11-10 哈尔滨工业大学 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN108089850A (zh) * 2018-01-02 2018-05-29 北京建筑大学 一种基于影像协同分割与生态地理分区规则库的地表覆盖产品增量更新方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN110119728A (zh) * 2019-05-23 2019-08-13 哈尔滨工业大学 基于多尺度融合语义分割网络的遥感图像云检测方法
CN110147773A (zh) * 2019-05-23 2019-08-20 广东工业大学 一种遥感图像识别方法
CN111046768A (zh) * 2019-12-04 2020-04-21 武汉大学 一种同时提取遥感影像道路路面和中心线的深度学习方法
CN111047551A (zh) * 2019-11-06 2020-04-21 北京科技大学 一种基于U-net改进算法的遥感影像变化检测方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410322B2 (en) * 2017-04-05 2019-09-10 Here Global B.V. Deep convolutional image up-sampling

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341517A (zh) * 2017-07-07 2017-11-10 哈尔滨工业大学 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN108089850A (zh) * 2018-01-02 2018-05-29 北京建筑大学 一种基于影像协同分割与生态地理分区规则库的地表覆盖产品增量更新方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN110119728A (zh) * 2019-05-23 2019-08-13 哈尔滨工业大学 基于多尺度融合语义分割网络的遥感图像云检测方法
CN110147773A (zh) * 2019-05-23 2019-08-20 广东工业大学 一种遥感图像识别方法
CN111047551A (zh) * 2019-11-06 2020-04-21 北京科技大学 一种基于U-net改进算法的遥感影像变化检测方法及***
CN111046768A (zh) * 2019-12-04 2020-04-21 武汉大学 一种同时提取遥感影像道路路面和中心线的深度学习方法

Also Published As

Publication number Publication date
CN111611968A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111611968B (zh) 一种遥感图像的处理方法以及遥感图像处理模型
US10152655B2 (en) Deep-learning network architecture for object detection
CN112446383B (zh) 车牌识别方法及装置、存储介质、终端
CN107767328A (zh) 基于少量样本生成的任意风格和内容的迁移方法和***
CN109993091B (zh) 一种基于背景消除的监控视频目标检测方法
CN111680690B (zh) 一种文字识别方法及装置
CN112001403B (zh) 一种图像轮廓检测方法及***
CN112036455B (zh) 一种图像识别方法、智能终端和存储介质
CN112602088B (zh) 提高弱光图像的质量的方法、***和计算机可读介质
CN111666905B (zh) 模型训练方法、行人属性识别方法和相关装置
CN112766083B (zh) 基于多尺度特征融合的遥感场景分类方法及***
CN110956080B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN109801275B (zh) 基于图像识别的马铃薯病害检测方法和***
CN113066030B (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及***
Nam et al. Modelling the scene dependent imaging in cameras with a deep neural network
CN108399617B (zh) 一种动物健康状况的检测方法和装置
CN111507288A (zh) 图像检测方法、装置、计算机设备和存储介质
CN111598117A (zh) 图像识别方法及装置
CN115424290A (zh) 人体姿态估计方法、装置、终端及计算机可读存储介质
CN113744142A (zh) 图像修复方法、电子设备及存储介质
CN115908995A (zh) 数字仪表读数的识别方法、装置、电子设备及存储介质
CN116704206B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111414823B (zh) 人体特征点的检测方法、装置、电子设备以及存储介质
CN114638761B (zh) 一种高光谱图像全色锐化方法、设备及介质
CN114972965A (zh) 一种基于深度学习的场景识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant