CN115272683A - 一种基于深度学习的中心差分信息滤波相位解缠方法 - Google Patents

一种基于深度学习的中心差分信息滤波相位解缠方法 Download PDF

Info

Publication number
CN115272683A
CN115272683A CN202210876042.6A CN202210876042A CN115272683A CN 115272683 A CN115272683 A CN 115272683A CN 202210876042 A CN202210876042 A CN 202210876042A CN 115272683 A CN115272683 A CN 115272683A
Authority
CN
China
Prior art keywords
segmentation
unwrapping
phase
interference pattern
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210876042.6A
Other languages
English (en)
Inventor
谢先明
李家莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University of Science and Technology
Original Assignee
Guangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University of Science and Technology filed Critical Guangxi University of Science and Technology
Priority to CN202210876042.6A priority Critical patent/CN115272683A/zh
Publication of CN115272683A publication Critical patent/CN115272683A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明旨在提供一种基于深度学习的中心差分信息滤波相位解缠方法，包括以下步骤：A、构建CDIF相位解缠递推模型和深度神经网络，所述的深度神经网络为基于LANET的干涉图语义分割网络；B、将干涉图输入深度神经网络处理后，得到基于干涉图条纹分布的语义分割图像；C、对干涉图语义分割区域进行合并与优化调整，得到尺寸大小适中的分割区域，以此来构成干涉图区域分割图D、利用CDIF相位解缠递推模型解缠干涉图区域分割图中的各个分割区域；E、合并各个分割区域的解缠结果，得到整幅干涉图解缠相位。本发明能在干涉图相位解缠实验中获得更稳健的结果，并且其效率可以接受，能够有效地处理干涉图相位解缠问题。

Description

一种基于深度学习的中心差分信息滤波相位解缠方法
技术领域
本发明涉及相位展开技术领域，具体涉及一种基于深度学习的中心差分信息滤波相位解缠方法。
背景技术
从干涉图模2π映射的缠绕相位空间[-π,π)恢复出反应被测目标真实物理量的解缠相位的过程，即为相位解缠。相位解缠是许多干涉测量技术，如数码全息干涉技术及条纹投影轮廓术(DHM)、干涉合成孔径雷达(InSAR)、磁共振成像(MRI)、干涉合成孔径声纳(InSAS)、自适应光学和散斑成像等中不可或缺的步骤，干涉图相位解缠精度直接关系到上述干涉测量技术所提取的物理量估计精度。
现有技术的常用解缠方法有：BUT、QGPU、ILS、UKFPU等，这些方法进行解缠，容易出现重缠绕相位图条纹边缘中均存在大量毛刺状噪声，解缠相位误差动态范围相对较大等问题。因此，需要一种能够更为有效地处理干涉图相位解缠问题的技术方案。
发明内容
本发明旨在提供一种基于深度学习的中心差分信息滤波相位解缠方法，该方法能在干涉图相位解缠实验中获得更稳健的结果，并且其效率可以接受，能够有效地处理干涉图相位解缠问题。
本发明的技术方案如下：
所述的基于深度学习的中心差分信息滤波相位解缠方法，包括以下步骤：
A、构建CDIF相位解缠递推模型和深度神经网络，所述的深度神经网络为基于LANET的干涉图语义分割网络；所述的LANET神经网络如下述文件所记载：
L.Ding,H.Tang,L.Bruzzone,“LANet:Local attention embedding to improvethe semantic segmentation of remote sensing images,”IEEE Trans Geosci RemoteSens.59(1),426-435(2020).
B、将干涉图采用重合裁剪方式，裁剪为若干个256*256尺寸的子干涉图，并且裁剪时相邻子干涉图间留有数行或数列的重叠像元，将这些子干涉图依次输入深度神经网络，得到若干个基于干涉图条纹分布且由不同整数缠绕数K构成的子干涉图语义分割图；然后利用相邻子块重叠像元相位缠绕数相同的原则来拼接各个子干涉图语义分割图，得到整幅干涉图的语义分割图；
C、对整幅干涉图的语义分割图中语义分割区域进行合并与优化调整，得到干涉图区域分割图；
D、利用CDIF相位解缠递推模型分别对干涉图区域分割图中的各个分割区域进行解缠，得到干涉图区域分割图中的各个分割区域的解缠结果；
E、利用干涉图相邻区域解缠相位一致性准则合并各个分割区域的解缠结果，得到整幅干涉图解缠相位图。
所述的步骤B中，利用相邻子块重叠像元相位缠绕数相同的原则来拼接各个子干涉图语义分割图的过程为：
a、在前的子干涉图语义分割图与其右方或下方的相邻子干涉图语义分割图进行拼接操作，将该两幅子干涉图语义分割图的重叠像元做差得到差值，右方或者下方的子干涉图语义分割图加上或减去该差值，使得两幅子干涉图语义分割图的重叠像元的相位缠绕数一致；裁剪该右方或下方的子干涉图语义分割图中的重叠像元部分，即可得到调整后的右方或下方子干涉图语义分割图，将调整后的右方或下方子干涉图语义分割图和在前的子干涉图语义分割图合并，得到拼接子干涉图语义分割图；
b、以位于左上角的子干涉图语义分割图为起点，按先从左往右，到尽头后转到下一行，再从左往右，如此往复的顺序重复步骤a进行拼接，直至所有子干涉图语义分割图拼接为一幅图像，得到整幅干涉图的语义分割图。
所述的步骤C中，对整幅干涉图的语义分割图中语义分割区域进行合并与优化调整的过程为：
a、设置分割区域像元数阈值，分割区域像元数阈值为整幅干涉图总像元数的1/6。
b、将整幅干涉图的语义分割图的各分割区域编制序号，各个分割区域的序号由该区域整数的相位缠绕数K标记，然后按照分割区域序号K从小到大的顺序，依次判断各语义分割区域像元数是否大于分割区域像元数阈值，若是，则保持该语义分割区域不变；若否，则合并相邻语义分割区域，直至合并后的语义分割区域像元数大于分割区域像元数阈值；
c、将步骤b处理后的语义分割区域按优化调整的顺序进行排序，得到干涉图区域分割图。
所述的步骤D中，利用CDIF相位解缠递推模型进行解缠的过程为：
按照干涉图区域分割图中各分割区域序号从小到大的顺序，利用CDIF相位解缠递推模型依次解缠干涉图区域分割图中各分割区域；对各个分割区域进行解缠时，利用基于堆排序的路径跟踪策略，对该区域中的像元沿高质量像元到低质量像元的路径执行二维相位解缠；
CDIF相位解缠递推模型如下：
a、构造CDIF Sigma点
计算像元(m,n)的一步状态预测值
Figure BDA0003762564520000031
及一步状态预测误差协方差
Figure BDA0003762564520000032
Figure BDA0003762564520000033
式中，像元(a,s)为像元(m,n)8邻域像元中的已解缠像元；ψ为像元(m,n)8邻域像元中的已解缠像元的集合；SNR(a,s)为像元(a,s)的信噪比。根据L维状态变量(L＝1)，进一步生成如下2L+1个Sigma点：
Figure BDA0003762564520000034
式中，h表示中心差分半步长度，通常取
Figure BDA0003762564520000035
则相应权值计算如下：
Figure BDA0003762564520000036
b、状态预测
计算像元(m,n)的状态预测值
Figure BDA0003762564520000037
及状态预测误差协方差
Figure BDA0003762564520000038
Figure BDA0003762564520000039
式中，Q(m,n)表示相位梯度估计误差方差；
Figure BDA00037625645200000310
为利用Levenberg-Marquardt算子对
Figure BDA00037625645200000311
优化后的状态预测误差协方差，其中u表示调节参数(本文取u＝0.21)，I为单位矩阵；
c、状态空间转向信息空间，
计算像元(m,n)的预测信息矩阵
Figure BDA0003762564520000041
及预测信息状态向量
Figure BDA0003762564520000042
Figure BDA0003762564520000043
d、量测更新
计算像元(m,n)的量测预测值
Figure BDA0003762564520000044
及互协方差pxz(m,n)：
Figure BDA0003762564520000045
计算像元(m,n)的信息矩阵分布I(m,n)和信息状态分布i(m,n)：
Figure BDA0003762564520000046
式中，z(m,n)和e(m,n)分别表示像元(m,n)的观测值和残差；R(m,n)为像元(m,n)的观测噪声方差。则像元(m,n)的信息矩阵Y(m,n)及信息状态向量y(m,n)按下式计算：
Figure BDA0003762564520000047
e、信息空间转向状态空间
更新像元(m,n)的状态估计值
Figure BDA0003762564520000048
及状态估计误差协方差
Figure BDA0003762564520000049
Figure BDA00037625645200000410
所述的CDIF-based相位解缠的***方程为：
Figure BDA00037625645200000411
式中，x(m,n)和z(m,n)分别表示干涉图(m,n)像元状态变量(亦即解缠相位)及观测矢量；
Figure BDA0003762564520000051
为干涉图(m,n)像元和(a,s)像元之间的相位梯度估计值，w(m,n)|(a,s)为干涉图相位梯度估计误差；v(m,n)表示干涉图(m,n)像元观测噪声矢量，v1(m,n)和v2(m,n)分别为状态变量正交分量观测噪声和同相分量观测噪声。
所述的深度神经网络包括ResNet50模块、PAM模块、AEM模块；
所述的子干涉图输入ResNet50模块中，经ResNet50模块压缩后，分别获得压缩至1/32的高级特征图和压缩至1/4的低级特征图；
高级特征图经PAM模块处理后与高级特征图相加融合得到增强高级特征图；
低级特征图经PAM模块处理后与低级特征图相加融合得到低级特征融合图，低级特征融合图和增强高级特征图分别输入AEM模块，AEM模块的输出结果与低级特征融合图相加融合得到增强低级特征图；
增强高级特征图与增强低级特征图经叠加融合后，得到基于干涉图条纹分布且由不同整数缠绕数K构成的子干涉图语义分割图。
所述的ResNet50模块包括依次连接的卷积层、最大池化层、block1-4层，子干涉图经卷积层处理后，经最大池化层调整后，进入block1层中压缩至1/4，得到低级特征图；
所述的低级特征图分别输入block2层和PAM模块中，低级特征图经block2层压缩至其的1/2后输出至block3层，在block3层中再次压缩1/2后输出至block4层，经block4层再次压缩1/2后得到压缩至1/32的高级特征图。
所述的卷积层为7×7-16卷积层；所述的最大池化层为3×3最大池化层。
所述的PAM模块处理过程为：输入特征依次经过自适应平均池化、1×1卷积、上采样处理后，乘以sigmoid函数归一化的可训练权重，然后与输入特征相乘融合，然后与输入特征进行相加融合，获得PAM输出特征；
所述的AEM模块处理过程为：增强高级特征图经过自适应平均池化、1×1卷积、上采样处理后，乘以sigmoid函数归一化的可训练权重，然后与低级特征融合图相乘融合，然后与低级特征融合图进行相加融合，获得AEM输出特征。
所述的步骤E中，利用干涉图相邻区域解缠相位一致性准则合并各个分割区域的解缠结果过程为：
设定任两个相邻的分割区域分别为干涉图分割区域A和干涉图分割区域B；
若干涉图分割区域A像元数大于或等于其相邻分割区域B像元数，则把干涉图分割区域B合并到其相邻分割区域A，其解缠相位按如下计算：
Figure BDA0003762564520000061
式中，i和j分别为A和B区域内的像元，且i位于j的邻接域内；ΦA(i)和ΦB(j)分别为i和j像元的解缠相位；round[x]表示对x做取整运算；ΦB为B区域解缠结果，Φ'B为B区域修正后的解缠相位；A′为区域A和B合并形成的区域，ΦA′为合并区域A′的解缠相位。
若干涉图分割区域B像元数大于或等于其相邻分割区域A像元数，则把干涉图分割区域A合并到其相邻分割区域B，其解缠相位按如下计算：
Figure BDA0003762564520000062
式中，Φ'A为A区域修正后的解缠相位；B′为区域A和B合并形成的区域，ΦB′为合并区域B′的解缠相位；
将合并后的解缠结果与下一个相邻的分割区域的解缠结果，如此对所有分割区域解缠结果进行合并处理，直到合并完所有分割区域的解缠结果，即得到整幅干涉图解缠相位图。
本发明的解缠方法是将基于深度学习区域分割技术、CDIF算法、高效局部相位梯度估计算法以及基于堆排序的路径跟踪策略有机结合起来的结果，并在模拟与实测数据实验中验证了本发明算法的有效性。与一些常用算法包括枝切法、迭代最小二乘法、质量引导法以及UKFPU等方法相比，本发明方法能在干涉图相位解缠实验中获得更稳健的结果和可以接受的效率，能够有效地处理干涉图相位解缠问题。
附图说明
图1为本发明实施例1的深度神经网络的整体结构示意图；
图2为本发明实施例1的ResNet50模块的结构示意图；
图3为本发明实施例1的PAM模块的结构示意图；
图4为本发明实施例1的AEM模块的结构示意图；
图5为本发明实施例2中的不同条纹模式的模拟干涉图；
图6为本发明实施例2中用BUT算法解缠图5中d-f的结果图；
图7为本发明实施例2中用QGPU算法解缠图5中d-f的结果图；
图8为本发明实施例2中用ILS算法解缠图5中d-f的结果图；
图9为本发明实施例2中用UKFPU算法解缠图5中d-f的结果图；
图10为本发明实施例2中用实施例1算法解缠图5中d-f的结果图；
图11为本发明实施例2的局部Enta火山干涉相位图以及BUT解缠结果图；
图12为本发明实施例2的局部Enta火山干涉相位图的QGPU、ILS以及UKFPU方法解缠结果；
图13为本发明实施例2的局部Enta火山干涉相位图的本发明实施例1算法解缠结果图；
具体实施方式
下面结合附图和实施例具体说明本发明。
实施例1
本实施例提供的一种基于深度学习的中心差分信息滤波相位解缠方法，包括以下步骤：
所述的基于深度学习的中心差分信息滤波相位解缠方法，包括以下步骤：
A、构建CDIF相位解缠递推模型和深度神经网络，所述的深度神经网络为基于LANET的干涉图语义分割网络；
如图1所示，所述的深度神经网络包括ResNet50模块、PAM模块、AEM模块；
如图2所示，所述的ResNet50模块包括依次连接的7×7-16卷积层、3×3最大池化层、block1-4层；图2中，C代表网络层数通道数，本实施例中C＝16；
所述的ResNet50模块包括依次连接的卷积层、最大池化层、block1-4层，子干涉图经卷积层处理后，经最大池化层调整后，进入block1层中压缩至1/4，得到低级特征图；
所述的低级特征图分别输入block2层和PAM模块中，低级特征图经block2层压缩至其的1/2后输出至block3层，在block3层中再次压缩1/2后输出至block4层，经block4层再次压缩1/2后得到压缩至1/32的高级特征图。
高级特征图经PAM模块处理后与高级特征图相加融合得到增强高级特征图；
低级特征图经PAM模块处理后与低级特征图相加融合得到低级特征融合图，低级特征融合图和增强高级特征图分别输入AEM模块，AEM模块的输出结果与低级特征融合图相加融合得到增强低级特征图；
如图3所示，所述的PAM模块处理过程为：输入特征依次经过自适应平均池化、1×1卷积、上采样处理后，乘以sigmoid函数归一化的可训练权重，然后与输入特征相乘融合，然后与输入特征进行相加融合，获得PAM输出特征。
如图4所示，所述的AEM模块处理过程为：增强高级特征图经过自适应平均池化、1×1卷积、上采样处理后，乘以sigmoid函数归一化的可训练权重，然后与低级特征融合图相乘融合，然后与低级特征融合图进行相加融合，获得AEM输出特征；
增强高级特征图与增强低级特征图经叠加融合后，得到若干个基于干涉图条纹分布且由不同整数缠绕数K构成的子干涉图语义分割图。
B、神经网络的训练：
STEP 1，按如下两种方式生产：(I)首先创建7000个尺寸大小为2×2-5×5的随机初始矩阵，再使用双三次插值法对初始矩阵进行扩展，使其尺寸大小放大到256×256，即为真实干涉相位，然后将生成的真实干涉相位转换成含不同信噪比的噪声缠绕相位，从而产生7000组数据，其图像尺寸为256×256，真实解缠相位范围为0-60弧度；(II)由地形DEM数据转化InSAR干涉相位数据10000组，即先利用InSAR技术原理把DEM数据转换为真实干涉相位，其图像尺寸为256×256，真实干涉相位范围为0-60弧度，然后将生成的真实干涉相位转换成含不同信噪比的噪声缠绕相位。
STEP 2，干涉图真实相位Φ(m,n)与缠绕相位Ψ(m,n)存在如下关系：
Φ(m,n)＝Ψ(m,n)+2πκ(m,n) (13)
其中，κ(m,n)为干涉图(m,n)像元整数的缠绕数；
根据上述公式13，从STEP 1生成的真实干涉相位图中提取其整数的缠绕数值图，作为网络输入InSAR干涉图的标签图像，输入深度神经网络中进行训练；
利用主流深度学习框架keras2.4.3来训练上述LANET网络，计算机软硬件配置见下表1。使用自适应矩估计优化器进行网络训练，损失函数为类别交叉熵，初始学习速率为0.001，训练轮数为160，最小训练批次为8，训练时间约为32小时；
表1计算机软硬件配置
Figure BDA0003762564520000081
C、将干涉图采用重合裁剪方式，裁剪为若干个256*256尺寸的子干涉图，并且裁剪时相邻子干涉图间留有数行或数列的重叠像元，将这些子干涉图依次输入深度神经网络，得到基于干涉图条纹分布且由不同整数缠绕数K构成的子干涉图语义分割图；然后利用相邻子块重叠像元相位缠绕数相同的原则来拼接各个子干涉图语义分割图，得到整幅干涉图的语义分割图；
利用相邻子块重叠像元相位缠绕数相同的原则来拼接各个子干涉图语义分割图的过程为：
a、在前的子干涉图语义分割图与其右方或下方的相邻子干涉图语义分割图进行拼接操作，将该两幅子干涉图语义分割图的重叠像元做差得到差值，右方或者下方的子干涉图语义分割图加上或减去该差值，使得两幅子干涉图语义分割图的重叠像元的相位缠绕数一致；裁剪该右方或下方的子干涉图语义分割图中的重叠像元部分，即可得到调整后的右方或下方子干涉图语义分割图，将调整后的右方或下方子干涉图语义分割图和在前的子干涉图语义分割图合并，得到拼接子干涉图语义分割图；
b、以位于左上角的子干涉图语义分割图为起点，按先从左往右，到尽头后转到下一行，再从左往右，如此往复的顺序重复步骤a进行拼接，直至所有子干涉图语义分割图拼接为一幅图像，得到整幅干涉图的语义分割图。
D、对整幅干涉图的语义分割图中语义分割区域进行合并与优化调整，得到干涉图区域分割图；
对整幅干涉图的语义分割图中语义分割区域进行合并与优化调整的过程为：
a、设置分割区域像元数阈值，分割区域像元数阈值为整幅干涉图总像元数的1/6。
b、将整幅干涉图的语义分割图的各分割区域编制序号，各个分割区域的序号由该区域整数的相位缠绕数K标记，然后按照分割区域序号K从小到大的顺序，依次判断各语义分割区域像元数是否大于分割区域像元数阈值，若是，则保持该语义分割区域不变；若否，则合并相邻语义分割区域，直至合并后的语义分割区域像元数大于分割区域像元数阈值；
c、将步骤b处理后的语义分割区域按优化调整的顺序进行排序，得到干涉图区域分割图。
E、利用CDIF相位解缠递推模型分别对干涉图区域分割图中的各个分割区域进行解缠，得到干涉图区域分割图中的各个分割区域的解缠结果；
利用CDIF相位解缠递推模型进行解缠的过程为：
按照干涉图区域分割图中各分割区域序号从小到大的顺序，利用CDIF相位解缠递推模型依次解缠干涉图区域分割图中各分割区域；对各个分割区域进行解缠时，利用基于堆排序的路径跟踪策略，对该区域中的像元沿高质量像元到低质量像元的路径执行二维相位解缠；
CDIF相位解缠递推模型如下：
a、构造CDIF Sigma点
计算像元(m,n)的一步状态预测值
Figure BDA0003762564520000091
及一步状态预测误差协方差
Figure BDA0003762564520000092
Figure BDA0003762564520000101
式中，像元(a,s)为像元(m,n)8邻域像元中的已解缠像元；ψ为像元(m,n)8邻域像元中的已解缠像元的集合；SNR(a,s)为像元(a,s)的信噪比。根据L维状态变量(L＝1)，进一步生成如下2L+1个Sigma点：
Figure BDA0003762564520000102
式中，h表示中心差分半步长度，通常取
Figure BDA0003762564520000103
则相应权值计算如下：
Figure BDA0003762564520000104
b、状态预测
计算像元(m,n)的状态预测值
Figure BDA0003762564520000105
及状态预测误差协方差
Figure BDA0003762564520000106
Figure BDA0003762564520000107
式中，Q(m,n)表示相位梯度估计误差方差；
Figure BDA0003762564520000108
为利用Levenberg-Marquardt算子对
Figure BDA0003762564520000109
优化后的状态预测误差协方差，其中u表示调节参数(本文取u＝0.21)，I为单位矩阵；
c、状态空间转向信息空间，
计算像元(m,n)的预测信息矩阵
Figure BDA00037625645200001010
及预测信息状态向量
Figure BDA00037625645200001011
Figure BDA0003762564520000111
d、量测更新
计算像元(m,n)的量测预测值
Figure BDA0003762564520000112
及互协方差pxz(m,n)：
Figure BDA0003762564520000113
计算像元(m,n)的信息矩阵分布I(m,n)和信息状态分布i(m,n)：
Figure BDA0003762564520000114
式中，z(m,n)和e(m,n)分别表示像元(m,n)的观测值和残差；R(m,n)为像元(m,n)的观测噪声方差。则像元(m,n)的信息矩阵Y(m,n)及信息状态向量y(m,n)按下式计算：
Figure BDA0003762564520000115
e、信息空间转向状态空间
更新像元(m,n)的状态估计值
Figure BDA0003762564520000116
及状态估计误差协方差
Figure BDA0003762564520000117
Figure BDA0003762564520000118
所述的CDIF-based相位解缠的***方程为：
Figure BDA0003762564520000119
式中，x(m,n)和z(m,n)分别表示干涉图(m,n)像元状态变量(亦即解缠相位)及观测矢量；
Figure BDA00037625645200001110
为干涉图(m,n)像元和(a,s)像元之间的相位梯度估计值，w(m,n)|(a,s)为干涉图相位梯度估计误差；v(m,n)表示干涉图(m,n)像元观测噪声矢量，v1(m,n)和v2(m,n)分别为状态变量正交分量观测噪声和同相分量观测噪声。
F、利用干涉图相邻区域解缠相位一致性准则合并各个分割区域的解缠结果，得到整幅干涉图解缠相位图。
利用干涉图相邻区域解缠相位一致性准则合并各个分割区域的解缠结果过程为：
设定任两个相邻的分割区域分别为干涉图分割区域A和干涉图分割区域B；
若干涉图分割区域A像元数大于或等于其相邻分割区域B像元数，则把干涉图分割区域B合并到其相邻分割区域A，其解缠相位按如下计算：
Figure BDA0003762564520000121
式中，i和j分别为A和B区域内的像元，且i位于j的邻接域内；ΦA(i)和ΦB(j)分别为i和j像元的解缠相位；round[x]表示对x做取整运算；ΦB为B区域解缠结果，Φ'B为B区域修正后的解缠相位；A′为区域A和B合并形成的区域，ΦA′为合并区域A′的解缠相位。
若干涉图分割区域B像元数大于或等于其相邻分割区域A像元数，则把干涉图分割区域A合并到其相邻分割区域B，其解缠相位按如下计算：
Figure BDA0003762564520000122
式中，Φ'A为A区域修正后的解缠相位；B′为区域A和B合并形成的区域，ΦB′为合并区域B′的解缠相位；
将合并后的解缠结果与下一个相邻的分割区域的解缠结果，如此对所有分割区域解缠结果进行合并处理，直到合并完所有分割区域的解缠结果，即得到整幅干涉图解缠相位图。
实施例2
为了验证本发明实施例1算法的有效性，利用几种常用相位解缠算法包括枝切法(BUT)、质量引导法(QGPU)、迭代最小二乘法(ILS)以及无味卡尔曼滤波相位解缠算法(UKFPU)与本发明实施例1方法在同一MATLAB软件环境(Intel(R)Core(TM)i7-10700K [email protected])下对不同类型的模拟与实测数据进行相位解缠实验，并对实验结果对比分析。
一、模拟数据实验
图5中a-c分别为peaks、金字塔、山地场景真实干涉相位，其图像分辨率均为502×502；图5中d-f分别为图5中a-c所示真实干涉相位所对应的含噪声缠绕相位图，其信噪比依次为6.10dB、4.94dB、3.92dB；
图6为BUT算法对图5中d-f所示缠绕相位图进行相位解缠获得的结果图，行方向从上到下依次为“peaks”干涉图解缠结果,“金字塔”干涉图解缠结果,“山地场景”干涉图解缠结果；列方向从左到右分别为：解缠相位，解缠误差，解缠误差直方图。
图7为QGPU算法解缠图5中d-f的结果图。行方向从上到下依次为“peaks”干涉图解缠结果,“金字塔”干涉图解缠结果,“山地场景”干涉图解缠结果；列方向从左到右分别为：解缠相位，解缠误差，解缠误差直方图。
图8为ILS算法解缠图5中d-f的结果图。行方向从上到下依次为“peaks”干涉图解缠结果,“金字塔”干涉图解缠结果,“山地场景”干涉图解缠结果；列方向从左到右分别为：解缠相位，解缠误差，解缠误差直方图。
图9为UKFPU算法解缠图5中d-f的结果图。行方向从上到下依次为“peaks”干涉图解缠结果,“金字塔”干涉图解缠结果,“山地场景”干涉图解缠结果；列方向从左到右分别为：解缠相位，解缠误差，解缠误差直方图。
图10为实施例1算法解缠图5中d-f的结果图。行方向从上到下依次为“peaks”干涉图解缠结果,“金字塔”干涉图解缠结果,“山地场景”干涉图解缠结果；列方向从左到右分别为：语义分割图、区域分割图、解缠相位，解缠误差，解缠误差直方图。
表2各算法均方根误差
Figure BDA0003762564520000131
Figure BDA0003762564520000141
表3各算法运行时间
Figure BDA0003762564520000142
图6-图9的左、中、右列分别为BUT、QGPU、ILS、UKFPU算法解缠图5中d-f所示噪声缠绕相位图所得的解缠相位、解缠相位误差以及误差直方图；
图10为本发明实施例1算法解缠图5中d-f所示噪声缠绕相位图的结果，其中第1列至第2列分别为实施例1算法生成的干涉图语义分割图以及干涉图区域分割图，第3列至第5列分别为实施例1算法解缠相位、解缠相位误差以及误差直方图。
由图6-图10所示的各算法解缠相位误差以及误差直方图可以直观地观察到BUT、QGPU、ILS解缠相位误差动态范围相对较大；UKFPU和本发明实施例1算法解缠精度较高，其解缠相位误差集中在[-1,1]区间，即解缠相位误差动态范围远远小于前述三种算法。表2列出了各算法解缠图5中a-c所示真实干涉相位所对应的不同信噪比干涉图的均方根误差(30次实验的平均)。由表2可知随着干涉图信噪比降低，BUT、QGPU、ILS解缠相位精度下降明显；与此同时，UKFPU和本发明实施例1算法能从不同信噪比干涉图相位解缠实验中获得较为稳健的结果，其解缠相位误差随干涉图信噪比降低而增大缓慢，且本发明实施例1算法解缠相位误差明显略小于UKFPU方法。上述算法运行时间几乎完全取决于干涉图尺寸大小，表3列出了各算法解缠上述干涉相位图时的平均运行时间，可以看出本发明实施例1算法运行时间略大于BUT和ILS方法，但远小于QGPU和UKFPU方法。因此，本发明实施例1算法算法在上述干涉图相位解缠实验中获得稳健结果的同时，其解缠效率亦可接受。
二、实测数据实验
图11中a为局部Enta火山干涉相位图以及BUT解缠结果图，图11中b为干涉图相位残差点图，图11中c为BUT解缠相位，可以看出BUT方法在相位残差点较为密集区域存在明显的相位不一致以及无法解缠的孤立区域，见图11中c所示解缠相位图中黑色矩形框所在区域。
QGPU、ILS以及UKFPU方法解缠结果见图12，其中图12中a-c分别为QGPU、ILS以及UKFPU方法解缠相位，图12中d-f分别为QGPU、ILS以及UKFPU方法解缠相位重缠绕结果。
图13为本发明实施例1算法解缠结果图，其中图13中a-d分别本发明实施例1解缠算法语义分割图、本发明实施例1解缠算法区域分割图、本发明实施例1解缠算法解缠相位以及其解缠相位重缠绕结果。从图12可以看出QGPU、ILS、UKFPU解缠相位连续，但QGPU、ILS重缠绕相位图条纹边缘中均存在大量毛刺状噪声，这可能降低这两种算法的可靠性。与此同时，图13中显示本发明实施例解缠算法解缠相位连续一致，其重缠绕相位图条纹与原始干涉图条纹一致，且重缠绕相位图中几乎不存在明显相位噪声，这表明该算法在上述干涉图相位解缠实验中获得了较好的结果。
4结论
本发明实施例1算法与一些常用算法包括枝切法、迭代最小二乘法、质量引导法以及UKFPU等方法相比，本发明实施例1算法能在干涉图相位解缠实验中获得更稳健的结果和可以接受的效率，能够有效地处理干涉图相位解缠问题。

Claims (10)

1.一种基于深度学习的中心差分信息滤波相位解缠方法，其特征在于包括以下步骤：
A、构建CDIF相位解缠递推模型和深度神经网络，所述的深度神经网络为基于LANET的干涉图语义分割网络；
B、将干涉图采用重合裁剪方式，裁剪为若干个256*256尺寸的子干涉图，并且裁剪时相邻子干涉图间留有数行或数列的重叠像元，将这些子干涉图依次输入深度神经网络，得到若干个基于干涉图条纹分布且由不同整数缠绕数K构成的子干涉图语义分割图；然后利用相邻子块重叠像元相位缠绕数相同的原则来拼接各个子干涉图语义分割图，得到整幅干涉图的语义分割图；
C、对整幅干涉图的语义分割图中语义分割区域进行合并与优化调整，得到干涉图区域分割图；
D、利用CDIF相位解缠递推模型分别对干涉图区域分割图中的各个分割区域进行解缠，得到干涉图区域分割图中的各个分割区域的解缠结果；
E、利用干涉图相邻区域解缠相位一致性准则合并各个分割区域的解缠结果，得到整幅干涉图解缠相位图。
2.如权利要求1所述的基于深度学习的中心差分信息滤波相位解缠方法，其特征在于：
所述的步骤B中，利用相邻子块重叠像元相位缠绕数相同的原则来拼接各个子干涉图语义分割图的过程为：
a、在前的子干涉图语义分割图与其右方或下方的相邻子干涉图语义分割图进行拼接操作，将该两幅子干涉图语义分割图的重叠像元做差得到差值，右方或者下方的子干涉图语义分割图加上或减去该差值，使得两幅子干涉图语义分割图的重叠像元的相位缠绕数一致；裁剪该右方或下方的子干涉图语义分割图中的重叠像元部分，即可得到调整后的右方或下方子干涉图语义分割图，将调整后的右方或下方子干涉图语义分割图和在前的子干涉图语义分割图合并，得到拼接子干涉图语义分割图；
b、以位于左上角的子干涉图语义分割图为起点，按先从左往右，到尽头后转到下一行，再从左往右，如此往复的顺序重复步骤a进行拼接，直至所有子干涉图语义分割图拼接为一幅图像，得到整幅干涉图的语义分割图。
3.如权利要求2所述的基于深度学习的中心差分信息滤波相位解缠方法，其特征在于：
所述的步骤C中，对整幅干涉图的语义分割图中语义分割区域进行合并与优化调整的过程为：
a、设置分割区域像元数阈值，分割区域像元数阈值为整幅干涉图总像元数的1/6。
b、将整幅干涉图的语义分割图的各分割区域编制序号，各个分割区域的序号由该区域整数的相位缠绕数K标记，然后按照分割区域序号K从小到大的顺序，依次判断各语义分割区域像元数是否大于分割区域像元数阈值，若是，则保持该语义分割区域不变；若否，则合并相邻语义分割区域，直至合并后的语义分割区域像元数大于分割区域像元数阈值；
c、将步骤b处理后的语义分割区域按优化调整的顺序进行排序，得到干涉图区域分割图。
4.如权利要求1所述的基于深度学习的中心差分信息滤波相位解缠方法，其特征在于：
所述的步骤D中，利用CDIF相位解缠递推模型进行解缠的过程为：
按照干涉图区域分割图中各分割区域序号从小到大的顺序，利用CDIF相位解缠递推模型依次解缠干涉图区域分割图中各分割区域；对各个分割区域进行解缠时，利用基于堆排序的路径跟踪策略，对该区域中的像元沿高质量像元到低质量像元的路径执行二维相位解缠；
CDIF相位解缠递推模型如下：
a、构造CDIF Sigma点
计算像元(m,n)的一步状态预测值
Figure FDA0003762564510000021
及一步状态预测误差协方差
Figure FDA0003762564510000022
Figure FDA0003762564510000023
Figure FDA0003762564510000024
Figure FDA0003762564510000025
Figure FDA0003762564510000026
式中，像元(a,s)为像元(m,n)8邻域像元中的已解缠像元；ψ为像元(m,n)8邻域像元中的已解缠像元的集合；SNR(a,s)为像元(a,s)的信噪比。根据L维状态变量(L＝1)，进一步生成如下2L+1个Sigma点：
Figure FDA0003762564510000027
Figure FDA0003762564510000028
Figure FDA0003762564510000029
式中，h表示中心差分半步长度，通常取
Figure FDA00037625645100000210
则相应权值计算如下：
Figure FDA0003762564510000031
Figure FDA0003762564510000032
Figure FDA0003762564510000033
Figure FDA0003762564510000034
b、状态预测
计算像元(m,n)的状态预测值
Figure FDA0003762564510000035
及状态预测误差协方差
Figure FDA0003762564510000036
Figure FDA0003762564510000037
Figure FDA0003762564510000038
Figure FDA0003762564510000039
式中，Q(m,n)表示相位梯度估计误差方差；
Figure FDA00037625645100000310
为利用Levenberg-Marquardt算子对
Figure FDA00037625645100000311
优化后的状态预测误差协方差，其中u表示调节参数(本文取u＝0.21)，I为单位矩阵；
c、状态空间转向信息空间，
计算像元(m,n)的预测信息矩阵
Figure FDA00037625645100000312
及预测信息状态向量
Figure FDA00037625645100000313
Figure FDA00037625645100000314
Figure FDA00037625645100000315
d、量测更新
计算像元(m,n)的量测预测值
Figure FDA00037625645100000316
及互协方差pxz(m,n)：
Figure FDA00037625645100000317
Figure FDA00037625645100000318
Figure FDA00037625645100000319
Figure FDA00037625645100000320
Figure FDA00037625645100000321
Figure FDA00037625645100000322
计算像元(m,n)的信息矩阵分布I(m,n)和信息状态分布i(m,n)：
Figure FDA00037625645100000323
Figure FDA00037625645100000324
Figure FDA00037625645100000325
式中，z(m,n)和e(m,n)分别表示像元(m,n)的观测值和残差；R(m,n)为像元(m,n)的观测噪声方差。则像元(m,n)的信息矩阵Y(m,n)及信息状态向量y(m,n)按下式计算：
Figure FDA0003762564510000041
Figure FDA0003762564510000042
e、信息空间转向状态空间
更新像元(m,n)的状态估计值
Figure FDA0003762564510000043
及状态估计误差协方差
Figure FDA0003762564510000044
Figure FDA0003762564510000045
Figure FDA0003762564510000046
5.如权利要求4所述的基于深度学习的中心差分信息滤波相位解缠方法，其特征在于：
所述的CDIF-based相位解缠的***方程为：
Figure FDA0003762564510000047
Figure FDA0003762564510000048
式中，x(m,n)和z(m,n)分别表示干涉图(m,n)像元状态变量(亦即解缠相位)及观测矢量；
Figure FDA0003762564510000049
为干涉图(m,n)像元和(a,s)像元之间的相位梯度估计值，w(m,n)|(a,s)为干涉图相位梯度估计误差；v(m,n)表示干涉图(m,n)像元观测噪声矢量，v1(m,n)和v2(m,n)分别为状态变量正交分量观测噪声和同相分量观测噪声。
6.如权利要求1所述的基于深度学习的中心差分信息滤波相位解缠方法，其特征在于：
所述的深度神经网络包括ResNet50模块、PAM模块、AEM模块；
所述的子干涉图输入ResNet50模块中，经ResNet50模块压缩后，分别获得压缩至1/32的高级特征图和压缩至1/4的低级特征图；
高级特征图经PAM模块处理后与高级特征图相加融合得到增强高级特征图；
低级特征图经PAM模块处理后与低级特征图相加融合得到低级特征融合图，低级特征融合图和增强高级特征图分别输入AEM模块，AEM模块的输出结果与低级特征融合图相加融合得到增强低级特征图；
增强高级特征图与增强低级特征图经叠加融合后，得到基于干涉图条纹分布且由不同整数缠绕数K构成的子干涉图语义分割图。
7.如权利要求6所述的基于深度学习的中心差分信息滤波相位解缠方法，其特征在于：
所述的ResNet50模块包括依次连接的卷积层、最大池化层、block1-4层，子干涉图经卷积层处理后，经最大池化层调整后，进入block1层中压缩至1/4，得到低级特征图；所述的低级特征图分别输入block2层和PAM模块中，低级特征图经block2层压缩至其的1/2后输出至block3层，在block3层中再次压缩1/2后输出至block4层，经block4层再次压缩1/2后得到压缩至1/32的高级特征图。
8.如权利要求7所述的基于深度学习的中心差分信息滤波相位解缠方法，其特征在于：所述的卷积层为7×7-16卷积层；所述的最大池化层为3×3最大池化层。
9.如权利要求6所述的基于深度学习的中心差分信息滤波相位解缠方法，其特征在于：
所述的PAM模块处理过程为：输入特征依次经过自适应平均池化、1×1卷积、上采样处理后，乘以sigmoid函数归一化的可训练权重，然后与输入特征相乘融合，然后与输入特征进行相加融合，获得PAM输出特征；
所述的AEM模块处理过程为：增强高级特征图经过自适应平均池化、1×1卷积、上采样处理后，乘以sigmoid函数归一化的可训练权重，然后与低级特征融合图相乘融合，然后与低级特征融合图进行相加融合，获得AEM输出特征。
10.如权利要求1所述的基于深度学习的中心差分信息滤波相位解缠方法，其特征在于：
所述的步骤E中，利用干涉图相邻区域解缠相位一致性准则合并各个分割区域的解缠结果过程为：
设定任两个相邻的分割区域分别为干涉图分割区域A和干涉图分割区域B；
若干涉图分割区域A像元数大于或等于其相邻分割区域B像元数，则把干涉图分割区域B合并到其相邻分割区域A，其解缠相位按如下计算：
Figure FDA0003762564510000051
Φ'B＝ΦB+2π△AB
A′＝A∪B
ΦA′＝ΦA∪Φ'B (11)
式中，i和j分别为A和B区域内的像元，且i位于j的邻接域内；ΦA(i)和ΦB(j)分别为i和j像元的解缠相位；round[x]表示对x做取整运算；ΦB为B区域解缠结果，Φ'B为B区域修正后的解缠相位；A′为区域A和B合并形成的区域，ΦA′为合并区域A′的解缠相位。
若干涉图分割区域B像元数大于或等于其相邻分割区域A像元数，则把干涉图分割区域A合并到其相邻分割区域B，其解缠相位按如下计算：
Figure FDA0003762564510000061
Φ'A＝ΦA+2π△BA
B′＝B∪A
ΦB′＝ΦB∪ΦA′ (12)
式中，Φ'A为A区域修正后的解缠相位；B′为区域A和B合并形成的区域，ΦB′为合并区域B′的解缠相位；
将合并后的解缠结果与下一个相邻的分割区域的解缠结果，如此对所有分割区域解缠结果进行合并处理，直到合并完所有分割区域的解缠结果，即得到整幅干涉图解缠相位图。
CN202210876042.6A 2022-07-25 2022-07-25 一种基于深度学习的中心差分信息滤波相位解缠方法 Pending CN115272683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210876042.6A CN115272683A (zh) 2022-07-25 2022-07-25 一种基于深度学习的中心差分信息滤波相位解缠方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210876042.6A CN115272683A (zh) 2022-07-25 2022-07-25 一种基于深度学习的中心差分信息滤波相位解缠方法

Publications (1)

Publication Number Publication Date
CN115272683A true CN115272683A (zh) 2022-11-01

Family

ID=83769895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210876042.6A Pending CN115272683A (zh) 2022-07-25 2022-07-25 一种基于深度学习的中心差分信息滤波相位解缠方法

Country Status (1)

Country Link
CN (1) CN115272683A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116068511A (zh) * 2023-03-09 2023-05-05 成都理工大学 一种基于深度学习的InSAR大尺度***误差改正方法
CN117368916A (zh) * 2023-10-12 2024-01-09 云南大学 一种InSAR相位解缠方法、***、设备及介质
CN117724101A (zh) * 2024-02-18 2024-03-19 中国特种设备检测研究院 基于相位分块的卡尔曼滤波相位解缠方法、***及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116068511A (zh) * 2023-03-09 2023-05-05 成都理工大学 一种基于深度学习的InSAR大尺度***误差改正方法
CN117368916A (zh) * 2023-10-12 2024-01-09 云南大学 一种InSAR相位解缠方法、***、设备及介质
CN117724101A (zh) * 2024-02-18 2024-03-19 中国特种设备检测研究院 基于相位分块的卡尔曼滤波相位解缠方法、***及设备

Similar Documents

Publication Publication Date Title
CN115272683A (zh) 一种基于深度学习的中心差分信息滤波相位解缠方法
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN112016507B (zh) 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN112381172B (zh) 一种基于U-net的InSAR干涉图像相位解缠方法
CN109447897B (zh) 一种真实场景图像合成方法及***
US20170132759A1 (en) Method for upscaling an image and apparatus for upscaling an image
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN116664419A (zh) 多尺度特征融合降噪CNN网络的InSAR相位解缠方法
CN115205360A (zh) 复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法及应用
CN111079893B (zh) 用于干涉条纹图滤波的生成器网络的获取方法和装置
CN112802184B (zh) 三维点云重构方法、***、电子设备及存储介质
CN114549300A (zh) 图像字典的生成方法、图像重建方法及相关装置
CN116385653B (zh) 一种基于单目高频条纹的三维成像自监督方法及装置
CN110988876B (zh) 闭合鲁棒双基线InSAR相位解缠方法、***及可读存储介质
CN116977560A (zh) 基于结构光的三维重建方法、装置、设备及存储介质
CN115311550B (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
CN116645466A (zh) 一种三维重建方法及电子设备、存储介质
CN113298097B (zh) 基于卷积神经网络的特征点提取方法、设备及存储介质
CN114399599A (zh) 三维成像方法、装置、电子设备及计算机可读存储介质
CN115294182A (zh) 一种基于双交叉注意力机制的高精度立体匹配方法
CN110057321B (zh) 基于x-f-k变换快速实现频域解相的三维物体面形测量方法
Li et al. Improving resolution of 3D surface with convolutional neural networks
US20240153118A1 (en) Method and device for estimating a depth map associated with a digital hologram representing a scene and computer program associated
CN113506226B (zh) 运动模糊复原方法及***
KR102495861B1 (ko) 가상 객체를 처리하는 장치, 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination