CN113989681B - 遥感影像变化检测方法、装置、电子设备及存储介质 - Google Patents

遥感影像变化检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113989681B
CN113989681B CN202111625707.8A CN202111625707A CN113989681B CN 113989681 B CN113989681 B CN 113989681B CN 202111625707 A CN202111625707 A CN 202111625707A CN 113989681 B CN113989681 B CN 113989681B
Authority
CN
China
Prior art keywords
image
objects
remote sensing
sensing image
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111625707.8A
Other languages
English (en)
Other versions
CN113989681A (zh
Inventor
关元秀
王宇翔
范磊
刘江浩
容俊
赵楠
屈洋旭
田静国
沈鑫
孙月青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Aerospace Hongtu Information Technology Co ltd
Aerospace Hongtu Information Technology Co Ltd
Original Assignee
Aerospace Hongtu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Hongtu Information Technology Co Ltd filed Critical Aerospace Hongtu Information Technology Co Ltd
Priority to CN202111625707.8A priority Critical patent/CN113989681B/zh
Publication of CN113989681A publication Critical patent/CN113989681A/zh
Application granted granted Critical
Publication of CN113989681B publication Critical patent/CN113989681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了遥感影像变化检测方法、装置、电子设备及存储介质，涉及遥感影像处理技术领域，具体为：获取目标区域的前期遥感影像和目标区域的后期遥感影像；对目标区域的前期遥感影像和目标区域的后期遥感影像进行预处理；将预处理后的目标区域的前期遥感影像和预处理后的目标区域的后期遥感影像合成为一个目标区域的多通道遥感影像；对目标区域的多通道遥感影像进行区域分割，得到多个影像对象；从每个影像对象中获取预设尺寸的影像对象块；通过训练完成的对象卷积神经网络对每个影像对象块进行处理，得到对应的影像对象是否发生变化的检测结果。本申请提高了遥感图像变化检测的效率和精度。

Description

遥感影像变化检测方法、装置、电子设备及存储介质
技术领域
本申请涉及遥感影像处理技术领域，尤其是涉及遥感影像变化检测方法、装置、电子设备及存储介质。
背景技术
变化检测是通过不同时间观测到的数据，对同一地物或现象的位置、范围、性质、状态等变化进行识别的过程，广泛应用于自然资源、土地利用/土地覆被、城市、农业、林业、生态环境、减灾、军事等领域，变化检测已成为遥感领域研究的难点和热点问题之一。
早期变化检测主要采用中低分辨率遥感影像，常用方法是基于像元的直接比较法和分类后比较法。随着GIS技术和机器学习技术的发展，支持向量机、决策树、人工神经网络等机器学习分类算法逐渐应用于变化检测。随着高分辨率卫星遥感技术的快速发展，为克服基于像元技术的局限性，基于对象影像分析技术应运而生，并广泛应用于变化检测领域。目前，深度学习变化检测逐渐受到业界关注。
基于对象影像分析通过区域分割技术可以获取地物比较准确的边界，但只能人工提取对象的浅层特征用于分类，对专家的依赖强，比较费区时、费力，且精度有限。深度学习的卷积神经网络可以自动从数据中学习不同层次的特征，但由于多层抽象难以获取地物的准确边界。另外，基于像素卷积神经网络需要在输入的影像上按照一定的步长滑动预测，巨大的计算冗余量和计算开销造成预测效率低下。
发明内容
有鉴于此，本申请提供遥感影像变化检测方法、装置、电子设备及存储介质，以解决现有的像素卷积神经网络进行遥感图像变化检测时存在的效率和精度低的技术问题。
一方面，本申请实施例提供了一种遥感影像变化检测方法，包括：
获取目标区域的前期遥感影像和目标区域的后期遥感影像；
对目标区域的前期遥感影像和目标区域的后期遥感影像进行预处理；将预处理后的目标区域的前期遥感影像和预处理后的目标区域的后期遥感影像合成为一个目标区域的多通道遥感影像；
对目标区域的多通道遥感影像进行区域分割，得到多个影像对象；
从每个影像对象中获取预设尺寸的影像对象块；
通过训练完成的对象卷积神经网络对每个影像对象块进行处理，得到对应的影像对象是否发生变化的检测结果。
进一步的，对目标区域的前期遥感影像和目标区域的后期遥感影像进行预处理；包括：
对目标区域的前期遥感影像和目标区域的后期遥感影像分别进行正射校正；
对校正后的目标区域的前期遥感影像和校正后的目标区域的后期遥感影像进行配准；
对配准后的目标区域的前期遥感影像和目标区域的后期遥感影像分别进行降位处理；
在降位处理后的目标区域的后期遥感影像中，选取一块涵盖多种自然地物类型的区域作为模板区域，对模板区域进行调色匀色处理；
对处理后模板区域的均值和方差进行统计，作为Wallis滤波器的均值和方差；
采用所述Wallis滤波器对降位处理后的目标区域的前期遥感影像与降位处理后的后期遥感影像进行处理，使降位处理后的目标区域的前期遥感影像与降位处理后的后期遥感影像的对应波段在灰度空间进行整体对齐。
进一步的，所述Wallis滤波器的形式如下：
Figure P_211228075245757_757753001
其中，
Figure P_211228075245809_809413001
,
Figure P_211228075245825_825198002
分别为加性系数和乘性系数；当
Figure P_211228075245872_872075003
时，Wallis滤波器为高通滤波器；当
Figure P_211228075245903_903291004
时Wallis滤波器为低通滤波器；
Figure P_211228075245934_934545005
为Wallis滤波器的均值；
Figure P_211228075245965_965761006
为Wallis滤波器的方差；
Figure P_211228075245998_998464007
为均值的目标值，
Figure P_211228075246030_030319008
为方差的目标值；c为影像反差扩展常数，它的取值范围为[0,1]，b为小于1的系数；
Figure P_211228075246062_062245009
为输入Wallis滤波器的遥感图像；
Figure P_211228075246092_092773010
为Wallis滤波器输出的遥感图像。
进一步的，对目标区域的多通道遥感影像进行区域分割，得到多个影像对象之后还包括：
在多个影像对象中，标注设定数量的变化影像对象和未变化影像对象，从标注的影像对象中选取出标注样本对象，利用标注样本对象对对象卷积神经网络进行训练。
进一步的，在多个影像对象中，标注设定数量的变化影像对象和未变化影像对象，从标注的影像对象中选取出标注样本对象，利用标注样本对象对对象卷积神经网络进行训练；包括：
在区域分割得到的多个影像对象中，随机标注预设数量的变化和未变化的影像对象，作为标注对象；
通过光谱统计对标注对象进行分组，在每个分组中抽取设定数量标注对象，作为标注样本对象；
在每个标注样本对象中确定一个或多个采样位置点，以采样位置点为中心，在标注样本对象中裁切出与对象卷积神经网络输入尺寸一致的标注样本块；
将多个标注样本块输入对象卷积神经网络，得到各个标注样本块的预测结果，根据各个标注样本块的预测结果和标注结果计算损失函数，通过损失函数更新对象卷积神经网络的参数。
进一步的，通过光谱统计对标注对象进行分组，在每个分组中抽取预设数量标注对象，作为标注样本对象；包括：
计算每个标注对象的蓝波段、绿波段、红波段和近红外波段的平均值，根据所有标注对象的平均值的最小值和最大值确定亮度区间；
基于亮度区间，根据标注对象的平均值对标注对象进行分组，得到多个分组；
从每个分组中随机抽取一定数量的标注对象，作为标注样本对象；其中，每个分组抽取的标注对象的数量，根据标注对象数目和对象卷积神经网络训练所需的样本数目确定。
进一步的，从各个影像对象中获取预设尺寸的影像对象块；包括：
计算各个影像对象的最小外接矩形；
计算最小外接矩形的两个长边的中点a和b的位置；
计算中点a和b的连线与影像对象的边界的交点c和d的位置；
计算c和d连线的中点e的位置，将中点e作为卷积中心点；
以卷积中心点为中心，裁切出与对象卷积神经网络输入尺寸一致的影像对象块。
另一方面，本申请实施例提供了一种遥感影像变化检测装置，包括：
获取单元，用于获取目标区域的前期遥感影像和目标区域的后期遥感影像；
预处理单元，用于对目标区域的前期遥感影像和目标区域的后期遥感影像进行预处理；将预处理后的目标区域的前期遥感影像和预处理后的目标区域的后期遥感影像合成为一个目标区域的多通道遥感影像；
区域分割单元，用于对目标区域的多通道遥感影像进行区域分割，得到多个影像对象；
影像对象块确定单元，用于从每个影像对象中获取预设尺寸的影像对象块；
变化检测单元，用于通过训练完成的对象卷积神经网络对每个影像对象块进行处理，得到对应的影像对象是否发生变化的检测结果。
另一方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的遥感影像变化检测方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现本申请实施例的遥感影像变化检测方法。
本申请实施例通过对象卷积神经网络检测各个影像对象块，克服了传统像素卷积神经网络计算冗余和边界模糊的弊端，提高了遥感图像变化检测的效率和精度。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的遥感影像变化检测方法的流程图；
图2为本申请实施例提供的对象卷积神经网络的构建及训练的流程图；
图3为本申请实施例提供的对象卷积中心位置的确定的示意图；
图4为本申请实施例提供的仿真实例1的对象卷积神经网络的预测结果；
图5为本申请实施例提供的仿真实例1的前期蓝波段影像叠加预测结果；
图6为本申请实施例提供的仿真实例1的后期蓝波段影像叠加预测结果；
图7为本申请实施例提供的仿真实例2的对象卷积神经网络的预测结果；
图8为本申请实施例提供的仿真实例2的前期蓝波段影像叠加预测结果；
图9为本申请实施例提供的仿真实例2的后期蓝波段影像叠加预测结果；
图10为本申请实施例提供的遥感影像变化检测装置的功能结构示意图；
图11为本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
首先对本申请实施例的设计思想进行简单介绍。
在遥感影像的变化检测中，基于对象影像分析通过区域分割技术可以获取地物比较准确的边界，但只能人工提取对象的浅层特征用于分类，对专家的依赖强，比较费区时、费力，且精度有限。深度学习的卷积神经网络可以自动从数据中学习不同层次的特征，但由于多层抽象难以获取地物的准确边界。另外，基于像素卷积神经网络需要在输入的影像上按照一定的步长滑动预测，巨大的计算冗余量和计算开销造成预测效率低下。
为解决上述技术问题，本申请将区域分割技术和卷积神经网络相结合，提供用于双时相高分辨率遥感影像变化检测的对象卷积神经网络。对象卷积神经网络在训练阶段与一般的像素卷积神经网络一样，都是输入一定尺寸的样本块进行训练，但样本标注和模型预测阶段不是以像素，而是以对象为基本单元。在训练数据中随机标注一定量的样本对象，无需对整个训练数据逐像素标注，使得样本标注过程简易、高效，且不受对象内的随机噪声干扰。网络检测逐对象进行，克服了传统卷积神经网络计算冗余和边界模糊的弊端，提高了变化检测的效率和精度。在训练数据上以对象为单元随机标注一定量的变化和未变化样本；采用分组抽样法生成与网络输入要求的影像块尺寸一致的样本块；搭建对象卷积神经网络，并用前一步生成的样本块对对象卷积神经网络进行训练，更新网络参数。
基于上述对象卷积神经网络，本申请实施例提供了一种遥感影像变化检测方法：获取工作区前后两期高分辨率影像；对前后两期影像进行预处理，并组合成一个多通道文件；对多通道文件进行整体分割，得到影像对象；通过训练完成的对象卷积神经网络对工作区影像逐对象进行卷积预测；最后以图像或矢量格式输出预测结果。该方法将区域分割技术和卷积神经网络相结合，样本标注和网络预测以对象为基本单元，消除了常规像素卷积神经网络预测过程中的计算冗余和边界模糊问题，实现了小样本下的双时相高分辨率遥感影像变化检测。网络模型时空泛化能力强，提高了变化检测的精度和效率。
在介绍了本申请实施例的设计思想之后，下面对本申请实施例提供的技术方案进行说明。
如图1所示，本申请实施例提供了一种遥感影像变化检测方法，包括如下步骤：
步骤101：获取目标区域的前期遥感影像和目标区域的后期遥感影像；
步骤102：对前期遥感影像和后期遥感影像进行预处理，将预处理后的前期遥感影像和预处理后的后期遥感影像合成一个多通道遥感影像样本；
预处理包括：正射校正、配准、降位处理和匀色处理，具体为：
对前期遥感影像和后期遥感影像分别进行正射校正；
对校正后的前期遥感影像和校正后的后期遥感影像进行配准；
对配准后的前期遥感影像和后期遥感影像分别进行降位处理；
为了提高对象卷积神经网路的训练效率，采用了归一化方法对多通道遥感影像样本进行降位处理，归一化公式如下：
Figure P_211228075246108_108388001
其中，x为遥感图像的一个像素值，
Figure P_211228075246155_155226001
和
Figure P_211228075246186_186548002
分别为遥感图像所有像素值的最小值和最大值；
Figure P_211228075246219_219223003
为归一化处理后的像素值。
为了解决大范围变化检测过程中，对象卷积神经网络的时空泛化问题，在数据预处理阶段，对降位处理后遥感影像采用了基于Wallis滤波的模板匀色技术。
在降位处理后的目标区域的后期遥感影像中，选取一块涵盖多种自然地物类型的区域作为模板区域，其中涵盖多种自然地物类型的区域是指，这块区域尽可能地包含城市、农村、水体和树林等不同自然地物类型。
对模板区域进行调色匀色处理；统计其均值和方差，作为进行Wallis滤波处理时的均值和方差；利用Wallis滤波，对前期遥感影像和后期遥感影像分别进行基于模板匀色镶嵌处理，使得前、后两期影像在灰度空间进行整体对齐，从而消除不同区域或不同时相影像之间的亮度差异；最后，将调色后的两期影像组合成一个多通道遥感影像。
Wallis滤波器的一般形式如下：
Figure P_211228075246250_250489001
其中，
Figure P_211228075246297_297351001
,
Figure P_211228075246328_328226002
分别为加性系数和乘性系数；当
Figure P_211228075246359_359567003
时，Wallis滤波器为高通滤波器；当
Figure P_211228075246392_392522004
时Wallis滤波器为低通滤波器；
Figure P_211228075246455_455503005
为Wallis滤波器的均值；
Figure P_211228075246486_486825006
为Wallis滤波器的方差；
Figure P_211228075246533_533652007
为均值的目标值，
Figure P_211228075246564_564936008
为方差的目标值；c为影像反差扩展常数，它的取值范围为[0,1]，b为小于1的系数，当b接近1时，影像的均值被强制到
Figure P_211228075246602_602030009
；
Figure P_211228075246649_649055010
为输入Wallis滤波器的遥感图像；
Figure P_211228075246680_680628011
为Wallis滤波器输出的遥感图像。
步骤103：对多通道遥感影像进行区域分割，得到多个影像对象；
为了确保每个对象所属地类的唯一性，分割尺度设置稍微小一些，原则上宁肯过分割，也不能欠分割。
在得到多个影像对象块后，本申请实施例首先构建和训练用于双时相高分辨率遥感影像变化检测的对象卷积神经网络，如图2所示，具体包括：
步骤201：构建一个用于遥感影像变化检测的对象卷积神经网络；
在该步骤中，可以根据样本数量和计算资源情况，设置输入影像块的尺寸、通道数，输出类别，对象卷积神经网络层数、卷积核大小、是否采用池化等参数，搭建符合应用场景的对象卷积神经网络。
步骤202：在区域分割得到的多个影像对象中，随机标注预设数量的变化和未变化的影像对象，作为标注对象；
其中，预设数量不超过所有影像对象的5%。本申请实施例无需对训练区内所有像素进行标注，样本标注工作简易、高效，不受局部噪声干扰。
步骤203：通过光谱统计对标注对象进行分组，在每个分组中抽取设定数量标注对象，作为标注样本对象；
由于步骤202中标注影像对象是一个随机的过程，因此需要根据光谱平均值，使用统计的方法定量均衡选择有代表性的标注对象，作为标注样本对象。
具体地，该步骤包括：
计算每个标注对象的蓝波段、绿波段、红波段和近红外波段的平均值，根据所有标注对象的平均值的最小值和最大值确定亮度区间；
其中，每个标注对象的蓝波段为其所有像素点的蓝波段的均值；每个标注对象的绿波段为其所有像素点的绿波段的均值；每个标注对象的红波段为其所有像素点的红波段的均值；每个标注对象的近红外波段为其所有像素点的近红外波段的均值。
亮度区间为:[最小值，最大值]。
基于亮度区间，根据标注对象的平均值对标注对象进行分组，得到多个分组；
例如，亮度区间为[10,100],分为9个分组，分组的区间分别为：[10,20)、[20,30)、
Figure M_211228075246727_727578001
[70,80)和[80,90]，则对于每个标注对象，根据其蓝波段、绿波段、红波段和近红外波段的平均值所在的区间，将其分到对应的分组中。
从每个分组中随机抽取一定数量的标注对象，作为标注样本对象；其中，每个分组抽取的标注对象的数量，根据标注对象数目和对象卷积神经网络训练所需的样本数目确定。
步骤204：在每个标注样本对象中确定一个或多个采样位置点，以采样位置点为中心，在标注样本对象中裁切出与对象卷积神经网络输入尺寸一致的标注样本块；
由于分割后的影像样本对象的形状很不规则，但是对象卷积神经网络要求输入的是固定尺寸的正方形图像块，因此需要从影像样本对象中裁切出与对象卷积神经网络输入的影像块尺寸一致的样本块。
首先，确定标注样本对象的最小外接矩形，确定最小外接矩形两个长边的中心点a和b的连线与代表性样本对象相交c和d两点的位置，在cd线段上等间距确定一个或多个采样位置点；然后以采样位置点为中心，在标注样本对象中裁切出与对象卷积神经网络输入尺寸一致的标注样本块。
步骤205：将多个标注样本块输入对象卷积神经网络，得到各个标注样本块的预测结果，根据各个标注样本块的预测结果和标注结果计算损失函数，通过损失函数更新对象卷积神经网络的参数。
使用初步训练好的对象卷积神经网络模型对目标区域影像对象进行预测，得到初步的预测结果。将初步的预测结果与两期影像叠加，检查预测结果正确与否，对于典型的预测错误的对象，进行人工纠正并转化为样本块进行增量学习，重新对对象卷积神经网络进行训练。
步骤104：从每个影像对象中获取预设尺寸的影像对象块；
在本申请实施例中，不是以像素而是以对象为基本单元进行变化检测。对象卷积神经网络检测的关键步骤是每个对象卷积中心位置的确定。如图3所示，首先计算每个待预测对象的最小外接矩形，找到两个长边的中点a和b，a和b的连线与对象边界有两个交点c和d，取c和d的中点e点为卷积中心位置。该方法简单易行，可以确保卷积点落在对象内，每个对象赋予唯一的类别概率。
步骤105：通过训练完成的对象卷积神经网络对每个影像对象块进行处理，得到对应的影像对象是否发生变化的检测结果；
将检测结果以图像格式（Geo Tiff）或矢量格式（shapefile）输出。
仿真实例1：
采用前后两期1.6m分辨率4波段多光谱影像进行变化检测，研究区处于城乡结合带，前期影像上大片的平房在后期影像上被拆除，处于新开工状态。变化检测的难点是研究区存在一些由于季节变化或农事活动造成的裸露耕地和空闲地，容易与新开工工地混淆。
影像预处理：对前后两期影像进行正射校正、配准，并降位为8bit。
影像分割：对前后两期组合成的8波段影像进行区域分割，得到45,908个对象。
样本标注：变化样本标注了632个对象，而未变化样本标注了994个对象。
样本生成：采用分组抽样方法，用样本生成工具生成尺寸为64*64、TIFF格式、8波段样本块，共8000个。其中，变化样本2412个、未变化样本5588个。
模型搭建：基于PyTorch搭建了一个5层的对象卷积神经网络，输入图像尺寸为64×64×8，共有4个卷积层，卷积核大小为3×3，步长为1。第一层无池化操作，后续三层采用卷积核大小2*2，步长为2的最大池化，分别得到62、60、28和12大小的特征地图，损失函数采用了交叉熵损失。
模型训练：对象卷积神经网络通过残差的反向传播对网络中的参数进行训练。训练时间与数据输入的通道数、模型层数、样本数量、学习次数等有密切关系。训练初始学习率设置为0.0001，采用Cosine衰减方式进行学习率调整，批处理大小为64，采用Adam优化加快收敛速度，学习次数300次，在单GPU机器上训练时间大约15m左右。
模型预测：对象卷积神经网络预测就是通过对输入数据进行前向传导，在各个层次上输出特征地图，最后利用全连接网络输出基于数据的条件概率分布的过程，又称热度图。本实例中，输入数据大小为3398×3042，为了比较对象卷积预测的效率和精度，以像素卷积预测为参考。模型预测采用Linux Ubuntu 20.04.1 LTS操作***，型号为GeForce RTX3090的两个GPU，对象卷积神经网络比像素卷积神经网络预测效率至少提高10倍，预测效果如图4所示。图5为前期蓝波段影像叠加预测结果；图6为后期蓝波段影像叠加预测结果。
仿真实例2：
采用前后两期1m分辨率3波段真彩色影像进行变化检测，数据大小为6680×6133。研究区处于城乡结合带，变化主要涉及耕地变为房屋和道路，也有少量的房屋被拆除。变化检测的难点是两期影像时相差异比较大，导致植被和高大地物的阴影变化很大。
影像预处理：对前后两期影像进行正射校正、融合、配准，并降位为8bit。
影像分割：对前后两期组合成的6波段影像进行区域分割，得到106,446个对象。
样本标注：变化样本标注了1655个对象，而未变化样本标注了3787个对象。
样本生成：采用分组抽样方法，用样本生成工具生成尺寸为64*64、TIFF格式、6波段样本块，共5000个。其中，变化样本1344个、未变化样本3656个。
模型搭建：基于PyTorch搭建了一个5层的对象卷积神经网络，输入图像尺寸为64×64×6，共有4个卷积层，卷积核大小为3×3，步长为1。第一层无池化操作，后续三层采用卷积核大小2*2，步长为2的最大池化，分别得到62、60、28和12大小的特征地图，损失函数采用了交叉熵损失。
模型训练：对象卷积神经网络通过残差的反向传播对网络中的参数进行训练。训练时间与数据输入的通道数、模型层数、样本数量、学习次数等有密切关系。训练初始学习率设置为0.0001，采用Cosine衰减方式进行学习率调整，批处理大小为64，采用Adam优化加快收敛速度，学习次数300次，在单GPU机器上训练时间大约15m左右。
模型预测：对象卷积神经网络预测就是通过对输入数据进行前向传导，在各个层次上输出特征地图，最后利用全连接网络输出基于数据的条件概率分布的过程，又称热度图。预测效果如图7所示。图8为前期蓝波段影像叠加预测结果；图9为后期蓝波段影像叠加预测结果。
基于上述实施例，本申请实施例提供了一种遥感影像变化检测装置，参阅图10所示，本申请实施例提供的遥感影像变化检测装置300至少包括：
获取单元301，用于获取目标区域的前期遥感影像和目标区域的后期遥感影像；
预处理单元302，用于对目标区域的前期遥感影像和目标区域的后期遥感影像进行预处理；将预处理后的目标区域的前期遥感影像和预处理后的目标区域的后期遥感影像合成为一个目标区域的多通道遥感影像；
区域分割单元303，用于对目标区域的多通道遥感影像进行区域分割，得到多个影像对象；
影像对象块确定单元304，用于从每个影像对象中获取预设尺寸的影像对象块；
变化检测单元305，用于通过训练完成的对象卷积神经网络对每个影像对象块进行处理，得到对应的影像对象是否发生变化的检测结果。
作为一种可能的实施方式，所述预处理单元302具体用于：
对目标区域的前期遥感影像和目标区域的后期遥感影像分别进行正射校正；
对校正后的目标区域的前期遥感影像和校正后的目标区域的后期遥感影像进行配准；
对配准后的目标区域的前期遥感影像和目标区域的后期遥感影像分别进行降位处理；
在降位处理后的目标区域的后期遥感影像中，选取一块涵盖多种自然地物类型的区域作为模板区域，对模板区域进行调色匀色处理；
对处理后模板区域的均值和方差进行统计，作为Wallis滤波器的均值和方差；
采用所述Wallis滤波器对降位处理后的目标区域的前期遥感影像与降位处理后的后期遥感影像进行处理，使降位处理后的目标区域的前期遥感影像与降位处理后的后期遥感影像的对应波段在灰度空间进行整体对齐。
作为一种可能的实施方式，所述Wallis滤波器的形式如下：
Figure P_211228075246790_790069001
其中，
Figure P_211228075246870_870138001
,
Figure P_211228075246901_901331002
分别为加性系数和乘性系数；当
Figure P_211228075246949_949039003
时，Wallis滤波器为高通滤波器；当
Figure P_211228075246980_980835004
时Wallis滤波器为低通滤波器；
Figure P_211228075247029_029515005
为Wallis滤波器的均值；
Figure P_211228075247092_092296006
为Wallis滤波器的方差；
Figure P_211228075247107_107919007
为均值的目标值，
Figure P_211228075247158_158803008
为方差的目标值；c为影像反差扩展常数，它的取值范围为[0,1]，b为小于1的系数；
Figure P_211228075247186_186159009
为输入Wallis滤波器的遥感图像；
Figure P_211228075247258_258780010
为Wallis滤波器输出的遥感图像。
作为一种可能的实施方式，所述装置还包括：对象卷积神经网络训练单元，用于在多个影像对象中，标注设定数量的变化影像对象和未变化影像对象，从标注的影像对象中选取出标注样本对象，利用标注样本对象对对象卷积神经网络进行训练。
作为一种可能的实施方式，对象卷积神经网络训练单元具体用于：
在区域分割得到的多个影像对象中，随机标注预设数量的变化和未变化的影像对象，作为标注对象；
通过光谱统计对标注对象进行分组，在每个分组中抽取设定数量标注对象，作为标注样本对象；
在每个标注样本对象中确定一个或多个采样位置点，以采样位置点为中心，在标注样本对象中裁切出与对象卷积神经网络输入尺寸一致的标注样本块；
将多个标注样本块输入对象卷积神经网络，得到各个标注样本块的预测结果，根据各个标注样本块的预测结果和标注结果计算损失函数，通过损失函数更新对象卷积神经网络的参数。
作为一种可能的实施方式，通过光谱统计对标注对象进行分组，在每个分组中抽取预设数量标注对象，作为标注样本对象；包括：
计算每个标注对象的蓝波段、绿波段、红波段和近红外波段的平均值，根据所有标注对象的平均值的最小值和最大值确定亮度区间；
基于亮度区间，根据标注对象的平均值对标注对象进行分组，得到多个分组；
从每个分组中随机抽取一定数量的标注对象，作为标注样本对象；其中，每个分组抽取的标注对象的数量，根据标注对象数目和对象卷积神经网络训练所需的样本数目确定。
作为一种可能的实施方式，影像对象块确定单元304具体用于：
计算各个影像对象的最小外接矩形；
计算最小外接矩形的两个长边的中点a和b的位置；
计算中点a和b的连线与影像对象的边界的交点c和d的位置；
计算c和d连线的中点e的位置，将中点e作为卷积中心点；
以卷积中心点为中心，裁切出与对象卷积神经网络输入尺寸一致的影像对象块。
需要说明的是，由于本申请实施例提供的遥感影像变化检测装置300解决技术问题的原理与本申请实施例提供的遥感影像变化检测方法相似，因此，本申请实施例提供的遥感影像变化检测装置300的实施可以参见本申请实施例提供的遥感影像变化检测方法的实施，重复之处不再赘述。
基于上述实施例，本申请实施例还提供了一种电子设备，参阅图11所示，本申请实施例提供的电子设备400至少包括：处理器401、存储器402和存储在存储器402上并可在处理器401上运行的计算机程序，处理器401执行计算机程序时实现本申请实施例提供的遥感影像变化检测方法。
本申请实施例提供的电子设备400还可以包括连接不同组件（包括处理器401和存储器402）的总线403。其中，总线403表示几类总线结构中的一种或多种，包括存储器总线、***总线、局域总线等。
存储器402可以包括易失性存储器形式的可读介质，例如随机存储器（RandomAccess Memory，RAM）4021和/或高速缓存存储器4022，还可以进一步包括只读存储器（ReadOnly Memory，ROM）4023。
存储器402还可以包括具有一组（至少一个）程序模块4025的程序工具4024，程序模块4025包括但不限于：操作子***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备400也可以与一个或多个外部设备404（例如键盘、遥控器等）通信，还可以与一个或者多个使得用户能与电子设备400交互的设备通信（例如手机、电脑等），和/或，与使得电子设备400与一个或多个其它电子设备400进行通信的任何设备（例如路由器、调制解调器等）通信。这种通信可以通过输入/输出（Input/Output，I/O）接口405进行。并且，电子设备400还可以通过网络适配器406与一个或者多个网络（例如局域网（Local AreaNetwork，LAN），广域网（Wide Area Network，WAN）和/或公共网络，例如因特网）通信。如图11所示，网络适配器406通过总线403与电子设备400的其它模块通信。应当理解，尽管图11中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列（Redundant Arrays of IndependentDisks，RAID）子***、磁带驱动器以及数据备份存储子***等。
需要说明的是，图11所示的电子设备400仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的遥感影像变化检测方法。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (6)

1.一种遥感影像变化检测方法，其特征在于，包括：
获取目标区域的前期遥感影像和目标区域的后期遥感影像；
对目标区域的前期遥感影像和目标区域的后期遥感影像进行预处理；将预处理后的目标区域的前期遥感影像和预处理后的目标区域的后期遥感影像合成为一个目标区域的多通道遥感影像；
对目标区域的多通道遥感影像进行区域分割，得到多个影像对象；
从每个影像对象中获取预设尺寸的影像对象块；
通过训练完成的对象卷积神经网络对每个影像对象块进行处理，得到对应的影像对象是否发生变化的检测结果；
对目标区域的多通道遥感影像进行区域分割，得到多个影像对象之后还包括：
在多个影像对象中，标注设定数量的变化影像对象和未变化影像对象，从标注的影像对象中选取出标注样本对象，利用标注样本对象对对象卷积神经网络进行训练；
在多个影像对象中，标注设定数量的变化影像对象和未变化影像对象，从标注的影像对象中选取出标注样本对象，利用标注样本对象对对象卷积神经网络进行训练；包括：
在区域分割得到的多个影像对象中，随机标注预设数量的变化和未变化的影像对象，作为标注对象；
通过光谱统计对标注对象进行分组，在每个分组中抽取设定数量标注对象，作为标注样本对象；
在每个标注样本对象中确定一个或多个采样位置点，以采样位置点为中心，在标注样本对象中裁切出与对象卷积神经网络输入尺寸一致的标注样本块；
将多个标注样本块输入对象卷积神经网络，得到各个标注样本块的预测结果，根据各个标注样本块的预测结果和标注结果计算损失函数，通过损失函数更新对象卷积神经网络的参数；
通过光谱统计对标注对象进行分组，在每个分组中抽取预设数量标注对象，作为标注样本对象；包括：
计算每个标注对象的蓝波段、绿波段、红波段和近红外波段的平均值，根据所有标注对象的平均值的最小值和最大值确定亮度区间；
基于亮度区间，根据标注对象的平均值对标注对象进行分组，得到多个分组；
从每个分组中随机抽取一定数量的标注对象，作为标注样本对象；其中，每个分组抽取的标注对象的数量，根据标注对象数目和对象卷积神经网络训练所需的样本数目确定；
从各个影像对象中获取预设尺寸的影像对象块；包括：
计算各个影像对象的最小外接矩形；
计算最小外接矩形的两个长边的中点a和b的位置；
计算中点a和b的连线与影像对象的边界的交点c和d的位置；
计算c和d连线的中点e的位置，将中点e作为卷积中心点；
以卷积中心点为中心，裁切出与对象卷积神经网络输入尺寸一致的影像对象块。
2.根据权利要求1所述的遥感影像变化检测方法，其特征在于，对目标区域的前期遥感影像和目标区域的后期遥感影像进行预处理；包括：
对目标区域的前期遥感影像和目标区域的后期遥感影像分别进行正射校正；
对校正后的目标区域的前期遥感影像和校正后的目标区域的后期遥感影像进行配准；
对配准后的目标区域的前期遥感影像和目标区域的后期遥感影像分别进行降位处理；
在降位处理后的目标区域的后期遥感影像中，选取一块涵盖多种自然地物类型的区域作为模板区域，对模板区域进行调色匀色处理；
对处理后模板区域的均值和方差进行统计，作为Wallis滤波器的均值和方差；
采用所述Wallis滤波器对降位处理后的目标区域的前期遥感影像与降位处理后的后期遥感影像进行处理，使降位处理后的目标区域的前期遥感影像与降位处理后的后期遥感影像的对应波段在灰度空间进行整体对齐。
3.根据权利要求2所述的遥感影像变化检测方法，其特征在于，所述Wallis滤波器的形式如下：
Figure P_220216144713806_806918001
其中，
Figure P_220216144713854_854737001
,
Figure P_220216144713870_870887002
分别为加性系数和乘性系数；当
Figure P_220216144713886_886513003
时，Wallis滤波器为高通滤波器；当
Figure P_220216144713917_917771004
时Wallis滤波器为低通滤波器；
Figure P_220216144713933_933411005
为Wallis滤波器的均值；
Figure P_220216144713949_949015006
为Wallis滤波器的方差；
Figure P_220216144713964_964631007
为均值的目标值，
Figure P_220216144713995_995888008
为方差的目标值；c为影像反差扩展常数，它的取值范围为[0,1]，b为小于1的系数；
Figure P_220216144714011_011503009
为输入Wallis滤波器的遥感图像；
Figure P_220216144714027_027150010
为Wallis滤波器输出的遥感图像。
4.一种遥感影像变化检测装置，其特征在于，包括：
获取单元，用于获取目标区域的前期遥感影像和目标区域的后期遥感影像；
预处理单元，用于对目标区域的前期遥感影像和目标区域的后期遥感影像进行预处理；将预处理后的目标区域的前期遥感影像和预处理后的目标区域的后期遥感影像合成为一个目标区域的多通道遥感影像；
区域分割单元，用于对目标区域的多通道遥感影像进行区域分割，得到多个影像对象；
影像对象块确定单元，用于从每个影像对象中获取预设尺寸的影像对象块；
变化检测单元，用于通过训练完成的对象卷积神经网络对每个影像对象块进行处理，得到对应的影像对象是否发生变化的检测结果；
对目标区域的多通道遥感影像进行区域分割，得到多个影像对象之后还包括：
在多个影像对象中，标注设定数量的变化影像对象和未变化影像对象，从标注的影像对象中选取出标注样本对象，利用标注样本对象对对象卷积神经网络进行训练；
在多个影像对象中，标注设定数量的变化影像对象和未变化影像对象，从标注的影像对象中选取出标注样本对象，利用标注样本对象对对象卷积神经网络进行训练；包括：
在区域分割得到的多个影像对象中，随机标注预设数量的变化和未变化的影像对象，作为标注对象；
通过光谱统计对标注对象进行分组，在每个分组中抽取设定数量标注对象，作为标注样本对象；
在每个标注样本对象中确定一个或多个采样位置点，以采样位置点为中心，在标注样本对象中裁切出与对象卷积神经网络输入尺寸一致的标注样本块；
将多个标注样本块输入对象卷积神经网络，得到各个标注样本块的预测结果，根据各个标注样本块的预测结果和标注结果计算损失函数，通过损失函数更新对象卷积神经网络的参数；
通过光谱统计对标注对象进行分组，在每个分组中抽取预设数量标注对象，作为标注样本对象；包括：
计算每个标注对象的蓝波段、绿波段、红波段和近红外波段的平均值，根据所有标注对象的平均值的最小值和最大值确定亮度区间；
基于亮度区间，根据标注对象的平均值对标注对象进行分组，得到多个分组；
从每个分组中随机抽取一定数量的标注对象，作为标注样本对象；其中，每个分组抽取的标注对象的数量，根据标注对象数目和对象卷积神经网络训练所需的样本数目确定；
从各个影像对象中获取预设尺寸的影像对象块；包括：
计算各个影像对象的最小外接矩形；
计算最小外接矩形的两个长边的中点a和b的位置；
计算中点a和b的连线与影像对象的边界的交点c和d的位置；
计算c和d连线的中点e的位置，将中点e作为卷积中心点；
以卷积中心点为中心，裁切出与对象卷积神经网络输入尺寸一致的影像对象块。
5.一种电子设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-3任一项所述的遥感影像变化检测方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如权利要求1-3任一项所述的遥感影像变化检测方法。
CN202111625707.8A 2021-12-29 2021-12-29 遥感影像变化检测方法、装置、电子设备及存储介质 Active CN113989681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111625707.8A CN113989681B (zh) 2021-12-29 2021-12-29 遥感影像变化检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111625707.8A CN113989681B (zh) 2021-12-29 2021-12-29 遥感影像变化检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113989681A CN113989681A (zh) 2022-01-28
CN113989681B true CN113989681B (zh) 2022-04-08

Family

ID=79734790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111625707.8A Active CN113989681B (zh) 2021-12-29 2021-12-29 遥感影像变化检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113989681B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114324973B (zh) * 2022-03-17 2022-06-07 南方海洋科学与工程广东省实验室(广州) 台风风速反演方法、装置、电子设备及存储介质
CN115861791B (zh) * 2022-11-07 2024-04-26 中电科大数据研究院有限公司 一种公益诉讼线索的生成方法、生成装置及存储介质
CN116129191B (zh) * 2023-02-23 2024-01-26 维璟(北京)科技有限公司 基于遥感ai的多目标智能识别与精细分类方法
CN116091497B (zh) * 2023-04-07 2023-06-27 航天宏图信息技术股份有限公司 遥感变化检测方法、装置、电子设备和存储介质
CN116703744B (zh) * 2023-04-18 2024-05-28 二十一世纪空间技术应用股份有限公司 一种基于卷积神经网络的遥感影像匀光匀色方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934488A (zh) * 2017-02-15 2017-07-07 中国农业大学 一种土地资源利用压力计算方法和***
CN109255781A (zh) * 2018-09-03 2019-01-22 河海大学 一种面向对象的基于crf的多时相多光谱遥感影像变化检测方法
US10325370B1 (en) * 2016-05-31 2019-06-18 University Of New Brunswick Method and system of coregistration of remote sensing images
CN112577473A (zh) * 2020-12-21 2021-03-30 陕西土豆数据科技有限公司 一种双时相的高分辨率遥感影像变化检测算法
CN112686184A (zh) * 2021-01-05 2021-04-20 浙江臻善科技股份有限公司 基于神经网络的遥感房屋变化检测方法
CN112906822A (zh) * 2021-03-25 2021-06-04 生态环境部卫星环境应用中心 一种面向生态保护红线的人类活动识别融合方法及***
CN112990085A (zh) * 2021-04-08 2021-06-18 海南长光卫星信息技术有限公司 养殖塘变化检测方法、装置及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325370B1 (en) * 2016-05-31 2019-06-18 University Of New Brunswick Method and system of coregistration of remote sensing images
CN106934488A (zh) * 2017-02-15 2017-07-07 中国农业大学 一种土地资源利用压力计算方法和***
CN109255781A (zh) * 2018-09-03 2019-01-22 河海大学 一种面向对象的基于crf的多时相多光谱遥感影像变化检测方法
CN112577473A (zh) * 2020-12-21 2021-03-30 陕西土豆数据科技有限公司 一种双时相的高分辨率遥感影像变化检测算法
CN112686184A (zh) * 2021-01-05 2021-04-20 浙江臻善科技股份有限公司 基于神经网络的遥感房屋变化检测方法
CN112906822A (zh) * 2021-03-25 2021-06-04 生态环境部卫星环境应用中心 一种面向生态保护红线的人类活动识别融合方法及***
CN112990085A (zh) * 2021-04-08 2021-06-18 海南长光卫星信息技术有限公司 养殖塘变化检测方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于Wallis滤波的瓦片影像匀色算法;任中杰 等;《江西理工大学学报》;20190630;第40卷(第3期);第95-97页 *

Also Published As

Publication number Publication date
CN113989681A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN113989681B (zh) 遥感影像变化检测方法、装置、电子设备及存储介质
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及***
CN110390267B (zh) 一种基于高分遥感影像的山地景观建筑提取方法和设备
CN108428229B (zh) 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN111598174B (zh) 基于半监督对抗学习的模型训练方法及图像变化分析方法
CN111626947B (zh) 基于生成对抗网络的地图矢量化样本增强方法及***
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
CN111539296B (zh) 一种基于遥感影像变化检测的违章建筑识别方法及***
CN113657324B (zh) 基于遥感影像地物分类的城市功能区识别方法
CN111640116B (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN114926511A (zh) 一种基于自监督学习的高分辨率遥感影像变化检测方法
CN115223054A (zh) 一种基于分区聚类与卷积的遥感影像变化检测方法
CN110992366A (zh) 一种图像语义分割方法、装置及存储介质
CN112819066A (zh) 一种Res-UNet单木树种分类技术
CN114120141A (zh) 一种可全天候遥感监测自动分析方法及其***
CN116363522A (zh) 一种基于深度学习的海岸带围填海变化遥感监测方法
CN114596503A (zh) 一种基于遥感卫星影像的道路提取方法
CN115984603A (zh) 基于gf-2与开放地图数据的城市绿地精细化分类方法与***
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及***
CN117437489A (zh) 基于决策树模型的城市绿地提取方法
CN115410074B (zh) 遥感影像云检测方法及装置
Jiao et al. A Novel Data Augmentation Method to Enhance the Training Dataset for Road Extraction from Historical Maps
Liu et al. Discovering potential illegal construction within building roofs from UAV images using semantic segmentation and object-based change detection
CN115690597A (zh) 一种基于深度背景差分的遥感影像城市地物变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221017

Address after: 100094 building 4, yard 2, Cuihu North Ring Road, Haidian District, Beijing

Patentee after: Aerospace Hongtu Information Technology Co.,Ltd.

Patentee after: Henan Aerospace Hongtu Information Technology Co.,Ltd.

Address before: 100195 Room 301, 3 / F, building 5, zone 4, Xishan Creative Park, Haidian District, Beijing

Patentee before: Aerospace Hongtu Information Technology Co.,Ltd.