CN106023154A - 基于双通道卷积神经网络的多时相sar图像变化检测方法 - Google Patents

基于双通道卷积神经网络的多时相sar图像变化检测方法 Download PDF

Info

Publication number
CN106023154A
CN106023154A CN201610301686.7A CN201610301686A CN106023154A CN 106023154 A CN106023154 A CN 106023154A CN 201610301686 A CN201610301686 A CN 201610301686A CN 106023154 A CN106023154 A CN 106023154A
Authority
CN
China
Prior art keywords
cnn
training
image block
image
sar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610301686.7A
Other languages
English (en)
Other versions
CN106023154B (zh
Inventor
李映
刘韬
徐隆浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Commercial Service Technology Co.,Ltd.
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201610301686.7A priority Critical patent/CN106023154B/zh
Publication of CN106023154A publication Critical patent/CN106023154A/zh
Application granted granted Critical
Publication of CN106023154B publication Critical patent/CN106023154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于双通道卷积神经网络的多时相SAR图像变化检测方法,深度神经网络通常包括三个模型,分别为:堆叠自编码器、深度置信网络、卷积神经网络。本发明使用卷积神经网络(Convolutional Neural Network,CNN)的训练方式,先构造两个结构相同CNN模型,随机挑选部分样本点,并人为标定这些样本点的变化检测结果,将这些样本点和标定检测结果作为训练CNN的训练数据。再使用训练好的CNN对未分类样本进行变化检测获得最终的变化检测结果。

Description

基于双通道卷积神经网络的多时相SAR图像变化检测方法
技术领域
本发明属于多时相SAR图像变化检测方法,涉及一种基于双通道卷积神经网络的多时相SAR图像变化检测方法。
背景技术
多时相SAR图像变化检测的常用技术是先将两个时相的SAR图像分别取对数再进行差分,然后将差分图以像素点为单位进行二分类;或者先对SAR图像进行分割,再以分割后的对象作为基本单位对其进行二分类。在现有技术中,提取哪些特征来进行分类,通常由人为设定,往往会导致图像本身含有的许多信息被忽略,使得检测结果不够精确。
深度神经网络通过逐层训练的方式自主提取图像特征,有效地解决了人为提取特征过程中信息遗漏的问题,其中的卷积神经网络已经丰富的应用到了图像处理中。但是,目前在多时相SAR图像变化检测方面,使用卷积神经网络算法尚未取得很好的检测结果,未能有效发挥深度神经网络在处理大数据方面的优势。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种基于双通道卷积神经网络的多时相SAR图像变化检测方法,将卷积神经网络技术运用到多时相SAR图像变化检测领域以解决现有技术中检测精确度不高等的问题。
技术方案
一种基于双通道卷积神经网络的多时相SAR图像变化检测方法,其特征在于步骤如下:
步骤1:对t1,t2两个时刻同一地点获取的两幅待检测SAR图像进行了配准、辐射校正及几何校正处理;对处理后的数据进行特征提取,提取方法是:随机提取t1,t2时刻两幅SAR图中以每个像素点为中心n×n的图像块作为原始特征,提取原始特征中1-5%作为训练样本,再随机提取总样本数量的1%作为验证样本集,其余样本作为测试样本集;
步骤2:构造两个相同拓扑结构的CNN模型,将每个CNN卷积层输出的结果组合起来,再添加逻辑回归分类器,得到一个新的CNN模型,对这个模型使用上步提取的训练数据进行训练;
所述模型的输入为两个n×n的图像块,其中第一个图像块为t1时刻SAR图像中提取的n×n图像块,第二个图像块为t2时刻图像中提取的n×n图像块;
第一个CNN的输入是从t1时刻SAR图像中提取的图像块;第二个CNN的输入是从t2时刻SAR图像中提取的图像块;
步骤3、对新的CNN模型进行训练:
对新的CNN模型中每个CNN中的卷积核参数进行调整,训练时以平方和函数作为代价函数,使用BP算法修改卷积核和偏置;
以步骤1中的验证样本集对新的CNN模型进行验证,防止训练过拟合现象的发生,每次训练均需输出验证集结果的误差;
当验证集结果的误差由逐渐变小的趋势变为逐渐变大的趋势时,代表模型的泛化能力减弱,迭代终止训练完成;迭代次数在800次以内;
步骤4:将图像的所有原始特征输入训练好的新的CNN模型中对待测样本进行分类检测,得到最终变化检测结果图。
有益效果
本发明提出的一种基于双通道卷积神经网络的多时相SAR图像变化检测方法,深度神经网络通常包括三个模型,分别为:堆叠自编码器、深度置信网络、卷积神经网络。本发明使用卷积神经网络(Convolutional Neural Network,CNN)的训练方式,先构造两个结构相同CNN模型,随机挑选部分样本点,并人为标定这些样本点的变化检测结果,将这些样本点和标定检测结果作为训练CNN的训练数据。再使用训练好的CNN对未分类样本进行变化检测获得最终的变化检测结果。
附图说明
图1是本发明提出的双通道CNN检测网络的组成结构框图
图2是本发明提出的检测方法流程图
图3是本发明提出的中两个CNN合并的方式
具体实施方式
现结合实施例、附图对本发明作进一步描述:
实施方式具体步骤如下:
步骤1、选取训练样本
设时刻t1,t2为两个不同时刻,同一波段上对同一地点获取分别在t1,t2时刻的两幅SAR图像X1,X2,且X1,X2已经经过配准和辐射校正及几何校正。
设X1,X2两幅SAR图像的尺寸为p×q,对两幅图像的每个坐标点(i,j),其中n表示分别提取两幅图像中以此坐标点为中心的一个n×n邻域作为一对相对应的图像块,例如9×9的像素,将这两个n×n的图像块(称为:图像块对)作为一个样本Tr(i,j)的原始特征,分别作为两个CNN相应的输入信号,真实变化检测结果图中坐标点(i,j)的像素值作为该样本的教师信号。
随机提取两幅图像像素的总样本数量的一小部分,例如1%-5%作为训练样本集,其中X1,X2中所取到的应该是对应的像素点。再随机提取总样本数量的另一小部分,例如1%作为验证样本集,其中X1,X2中所取到的应该是对应的像素点。其余样本作为测试样本集。
步骤2、构建双通道CNN模型的网络结构
普通的CNN是由多个卷积层和池化层(即pooling层)组成,在本模型中对CNN进行了改进,所述CNN仅仅使用了卷积层。卷积层是通过不同的卷积核对每层输入进行卷积操作,对于不同的卷积核,输入图像的响应强度会不同。在卷积结束后再经过激励函数就可得到下一层的输入。本发明中采用激励函数f(x)是限制线性单元(Rectified Linear Units,ReLu),其数学表达式为:
f(x)=max(0,x)
构造两个具有相同拓扑结构的CNN,即两个CNN层数相同,对应每层的功能相同,对应的每个卷积层具有相同尺寸、相同个数的卷积核。在本发明中,每一层的激励函数为ReLu,最后一个卷积层不使用激励函数。本实施例中,每个CNN中卷积层的个数为5,每一层卷积层的卷积核大小为3×3,每层卷积核数量为先递增后递减,最多不超过100个卷积核。
对X1,X2中的某个坐标点(i,j),其中网络的输入是步骤1中提取的两个n×n的图像块,并且第一个CNN只处理t1时刻SAR图像中提取的原始特征第二个CNN只处理由t2时刻SAR图像中提取的原始特征
在两个CNN的最后一个卷积层后添加一个全连接层,将两个CNN连接起来,并通过该全连接层将提取出的结果进行合并(合并方式如图3所示),再通过逻辑回归分类器对SAR图像进行检测。
步骤3、对网络进行训练
将训练样本集的原始特征送入CNN依据逻辑回归分类器的输出对图像进行分类,计算网络分类结果与训练样本集教师信号的误差。因为训练样本较多,所以采用分批次(batch)训练。分块时,将所有样本集的顺序随机打乱,再把每m个样本放在一起作为一个batch。计算误差时,定义代价函数c为平方和函数:其中,m表示batch的大小,一般取20-100个图像块对,ti表示第i个图像块对相应的教师信号,zi表示经网络运算后输出第i个图像块对的检测结果值。
使用误差的反向传播算法对双通道CNN模型进行训练,计算代价函数c对权值W1、卷积核W2及偏置b的偏导数,然后对权值、卷积核和偏置进行调整:其中下标old表示旧的取值,下标new表示新的取值,η为学习率。在本实施例中η=0.01。
其中最后一层逻辑回归层的误差传回全连接层,全连接层把误差分成两部分传递给两个CNN;全连接层中来自第一个CNN模型的节点将误差传回第一个CNN模型,来自第二个CNN模型的节点将误差传回第二个CNN模型。
步骤4、选取验证集进行验证
使用步骤1提取的验证集对训练结果进行验证,需要注意的是,在网络训练完成前,验证集不会改变,并且要求验证集与训练集的样本不重合。验证集的作用是为了防止训练过拟合的情况。在每一次训练完成后,可求得验证集样本的误差。
步骤5、判断终止条件
由于训练样本集的误差会随着迭代次数的增加而逐渐减小,验证样本集的误差会先减小后增大,在本发明中,选取训练终止条件为:当验证集的误差开始从由逐渐减小变成逐渐增大时,认为整个网络已经开始过拟合,此时即可停止训练;否则返回步骤3。通常迭代次数在800次以内。
步骤6、分类
训练终止后,就可以利用训练好的基于CNN的检测网络对待测样本进行检测,得到最终变化检测结果图。

Claims (1)

1.一种基于双通道卷积神经网络的多时相SAR图像变化检测方法,其特征在于步骤如下:
步骤1:对t1,t2两个时刻同一地点获取的两幅待检测SAR图像进行了配准、辐射校正及几何校正处理;对处理后的数据进行特征提取,提取方法是:随机提取t1,t2时刻两幅SAR图中以每个像素点为中心n×n的图像块作为原始特征,提取原始特征中1-5%作为训练样本,再随机提取总样本数量的1%作为验证样本集,其余样本作为测试样本集;
步骤2:构造两个相同拓扑结构的CNN模型,将每个CNN卷积层输出的结果组合起来,再添加逻辑回归分类器,得到一个新的CNN模型,对这个模型使用上步提取的训练数据进行训练;
所述模型的输入为两个n×n的图像块,其中第一个图像块为t1时刻SAR图像中提取的n×n图像块,第二个图像块为t2时刻图像中提取的n×n图像块;
第一个CNN的输入是从t1时刻SAR图像中提取的图像块;第二个CNN的输入是从t2时刻SAR图像中提取的图像块;
步骤3、对新的CNN模型进行训练:
对新的CNN模型中每个CNN中的卷积核参数进行调整,训练时以平方和函数作为代价函数,使用BP算法修改卷积核和偏置;
以步骤1中的验证样本集对新的CNN模型进行验证,防止训练过拟合现象的发生,每次训练均需输出验证集结果的误差;
当验证集结果的误差由逐渐变小的趋势变为逐渐变大的趋势时,代表模型的泛化能力减弱,迭代终止训练完成;迭代次数在800次以内;
步骤4:将图像的所有原始特征输入训练好的新的CNN模型中对待测样本进行分类检测,得到最终变化检测结果图。
CN201610301686.7A 2016-05-09 2016-05-09 基于双通道卷积神经网络的多时相sar图像变化检测方法 Active CN106023154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610301686.7A CN106023154B (zh) 2016-05-09 2016-05-09 基于双通道卷积神经网络的多时相sar图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610301686.7A CN106023154B (zh) 2016-05-09 2016-05-09 基于双通道卷积神经网络的多时相sar图像变化检测方法

Publications (2)

Publication Number Publication Date
CN106023154A true CN106023154A (zh) 2016-10-12
CN106023154B CN106023154B (zh) 2019-03-29

Family

ID=57100096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610301686.7A Active CN106023154B (zh) 2016-05-09 2016-05-09 基于双通道卷积神经网络的多时相sar图像变化检测方法

Country Status (1)

Country Link
CN (1) CN106023154B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154054A (zh) * 2017-05-22 2017-09-12 西安电子科技大学 基于深度置信网络的极化sar影像变化检测方法
CN107239795A (zh) * 2017-05-19 2017-10-10 西安电子科技大学 基于稀疏自编码器和卷积神经网络的sar图像变化检测***及方法
CN107256396A (zh) * 2017-06-12 2017-10-17 电子科技大学 基于卷积神经网络的船目标isar图像特征学习方法
CN107590782A (zh) * 2017-08-21 2018-01-16 西北工业大学 一种基于全卷积网络的高分辨率光学图像厚云去除方法
CN107944483A (zh) * 2017-11-17 2018-04-20 西安电子科技大学 基于双通道dcgan和特征融合的多光谱图像分类方法
CN108596108A (zh) * 2018-04-26 2018-09-28 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN108846829A (zh) * 2018-05-23 2018-11-20 平安科技(深圳)有限公司 病变部位识别方法及装置、计算机装置及可读存储介质
CN109086753A (zh) * 2018-10-08 2018-12-25 新疆大学 基于双通道卷积神经网络的交通标志识别方法、装置
CN109558806A (zh) * 2018-11-07 2019-04-02 北京科技大学 高分遥感图像变化的检测方法和***
CN112187266A (zh) * 2020-09-29 2021-01-05 中国电子科技集团公司第三十六研究所 一种模数转换器的非线性校正方法、装置及电子设备
CN112215834A (zh) * 2020-10-22 2021-01-12 深圳大学 基于卷积神经网络的动力电池焊接质量检测方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810699A (zh) * 2013-12-24 2014-05-21 西安电子科技大学 基于无监督深度神经网络的sar图像变化检测方法
CN103955702A (zh) * 2014-04-18 2014-07-30 西安电子科技大学 基于深度rbf网络的sar图像地物分类方法
CN104102919A (zh) * 2014-07-14 2014-10-15 同济大学 一种有效防止卷积神经网络过拟合的图像分类方法
CN104408481A (zh) * 2014-12-05 2015-03-11 西安电子科技大学 基于深度小波神经网络的极化sar图像分类方法
US20150125049A1 (en) * 2013-11-04 2015-05-07 Facebook, Inc. Systems and methods for facial representation
CN104732243A (zh) * 2015-04-09 2015-06-24 西安电子科技大学 基于cnn的sar目标识别方法
CN104850845A (zh) * 2015-05-30 2015-08-19 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN105320965A (zh) * 2015-10-23 2016-02-10 西北工业大学 基于深度卷积神经网络的空谱联合的高光谱图像分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150125049A1 (en) * 2013-11-04 2015-05-07 Facebook, Inc. Systems and methods for facial representation
CN103810699A (zh) * 2013-12-24 2014-05-21 西安电子科技大学 基于无监督深度神经网络的sar图像变化检测方法
CN103955702A (zh) * 2014-04-18 2014-07-30 西安电子科技大学 基于深度rbf网络的sar图像地物分类方法
CN104102919A (zh) * 2014-07-14 2014-10-15 同济大学 一种有效防止卷积神经网络过拟合的图像分类方法
CN104408481A (zh) * 2014-12-05 2015-03-11 西安电子科技大学 基于深度小波神经网络的极化sar图像分类方法
CN104732243A (zh) * 2015-04-09 2015-06-24 西安电子科技大学 基于cnn的sar目标识别方法
CN104850845A (zh) * 2015-05-30 2015-08-19 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN105320965A (zh) * 2015-10-23 2016-02-10 西北工业大学 基于深度卷积神经网络的空谱联合的高光谱图像分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FANGSHUN LIAO 等: "An Improved Method in Change Detection of Multitemporal Remote Sensing Image", 《ISCIDE 2013》 *
MAOGUO GONG 等: "Change Detection in Synthetic Aperture Radar Images Based on Deep Neural Networks", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
YAN CHU 等: "Change Detection of Remote Sensing Image Based on Deep Neural Networks", 《2ND INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND INDUSTRIAL ENGINEERING (AIIE2016)》 *
赵姣姣: "基于无监督方法的SAR图像变化检测", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239795A (zh) * 2017-05-19 2017-10-10 西安电子科技大学 基于稀疏自编码器和卷积神经网络的sar图像变化检测***及方法
CN107154054A (zh) * 2017-05-22 2017-09-12 西安电子科技大学 基于深度置信网络的极化sar影像变化检测方法
CN107256396A (zh) * 2017-06-12 2017-10-17 电子科技大学 基于卷积神经网络的船目标isar图像特征学习方法
CN107590782A (zh) * 2017-08-21 2018-01-16 西北工业大学 一种基于全卷积网络的高分辨率光学图像厚云去除方法
CN107590782B (zh) * 2017-08-21 2020-05-12 西北工业大学 一种基于全卷积网络的高分辨率光学图像厚云去除方法
CN107944483A (zh) * 2017-11-17 2018-04-20 西安电子科技大学 基于双通道dcgan和特征融合的多光谱图像分类方法
CN107944483B (zh) * 2017-11-17 2020-02-07 西安电子科技大学 基于双通道dcgan和特征融合的多光谱图像分类方法
CN108596108B (zh) * 2018-04-26 2021-02-23 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN108596108A (zh) * 2018-04-26 2018-09-28 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN108846829A (zh) * 2018-05-23 2018-11-20 平安科技(深圳)有限公司 病变部位识别方法及装置、计算机装置及可读存储介质
CN108846829B (zh) * 2018-05-23 2021-03-23 平安科技(深圳)有限公司 病变部位识别装置、计算机装置及可读存储介质
CN109086753A (zh) * 2018-10-08 2018-12-25 新疆大学 基于双通道卷积神经网络的交通标志识别方法、装置
CN109558806A (zh) * 2018-11-07 2019-04-02 北京科技大学 高分遥感图像变化的检测方法和***
CN109558806B (zh) * 2018-11-07 2021-09-14 北京科技大学 高分遥感图像变化的检测方法
CN112187266A (zh) * 2020-09-29 2021-01-05 中国电子科技集团公司第三十六研究所 一种模数转换器的非线性校正方法、装置及电子设备
CN112187266B (zh) * 2020-09-29 2024-03-08 中国电子科技集团公司第三十六研究所 一种模数转换器的非线性校正方法、装置及电子设备
CN112215834A (zh) * 2020-10-22 2021-01-12 深圳大学 基于卷积神经网络的动力电池焊接质量检测方法及***
CN112215834B (zh) * 2020-10-22 2022-04-01 深圳大学 基于卷积神经网络的动力电池焊接质量检测方法及***

Also Published As

Publication number Publication date
CN106023154B (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN106023154A (zh) 基于双通道卷积神经网络的多时相sar图像变化检测方法
CN105957086B (zh) 一种基于优化神经网络模型的遥感图像变化检测方法
CN110532894A (zh) 基于边界约束CenterNet的遥感目标检测方法
CN104537647B (zh) 一种目标检测方法及装置
CN107492095A (zh) 基于深度学习的医学图像肺结节检测方法
CN109919108A (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN105046277A (zh) 特征显著性在图像质量评价中的鲁棒机理研究方法
CN108388896A (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN106203625A (zh) 一种基于多重预训练的深层神经网络训练方法
CN111507884A (zh) 一种基于深层卷积神经网络的自适应图像隐写分析方法及***
CN107680158A (zh) 一种基于卷积神经网络模型的三维人脸重建方法
CN106886801A (zh) 一种图像语义分割方法及装置
CN106295714A (zh) 一种基于深度学习的多源遥感图像融合方法
CN106845529A (zh) 基于多视野卷积神经网络的影像特征识别方法
CN107316066A (zh) 基于多通路卷积神经网络的图像分类方法及***
CN105528638A (zh) 灰色关联分析法确定卷积神经网络隐层特征图个数的方法
CN105608446A (zh) 一种视频流异常事件的检测方法及装置
CN105069746A (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其***
CN109190643A (zh) 基于卷积神经网络中药识别方法及电子设备
CN108108751A (zh) 一种基于卷积多特征和深度随机森林的场景识别方法
CN108009481A (zh) 一种cnn模型的训练方法及装置、人脸识别方法及装置
CN107092883A (zh) 物体识别追踪方法
CN108447057A (zh) 基于显著性和深度卷积网络的sar图像变化检测方法
CN109858476A (zh) 标签的扩充方法和电子设备
CN109583456B (zh) 基于特征融合和稠密连接的红外面目标检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200313

Address after: 400021 2403, 24 / F, No.11, seventh branch road, Panxi, Jiangbei District, Chongqing

Patentee after: Chongqing Commercial Service Technology Co.,Ltd.

Address before: 710072 Xi'an friendship West Road, Shaanxi, No. 127

Patentee before: Northwestern Polytechnical University