CN117111000A - 一种基于双通道注意力残差网络的sar梳状谱干扰抑制方法 - Google Patents
一种基于双通道注意力残差网络的sar梳状谱干扰抑制方法 Download PDFInfo
- Publication number
- CN117111000A CN117111000A CN202310298046.5A CN202310298046A CN117111000A CN 117111000 A CN117111000 A CN 117111000A CN 202310298046 A CN202310298046 A CN 202310298046A CN 117111000 A CN117111000 A CN 117111000A
- Authority
- CN
- China
- Prior art keywords
- signal
- interference
- network
- output
- channel attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001629 suppression Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001228 spectrum Methods 0.000 title claims abstract description 53
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 50
- 230000001131 transforming effect Effects 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 23
- 230000006798 recombination Effects 0.000 claims description 14
- 238000005215 recombination Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 24
- 230000002452 interceptive effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000004088 simulation Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000002779 inactivation Effects 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/36—Means for anti-jamming, e.g. ECCM, i.e. electronic counter-counter measures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Noise Elimination (AREA)
Abstract
本发明公开了一种基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，包括：获取带有梳状谱干扰的时域回波信号；将时域回波信号变换至频域，得到带干扰频域回波信号；将带干扰频域回波信号进行实部和虚部的提取，得到带干扰实部信号和带干扰虚部信号；将带干扰实部信号和带干扰虚部信号输入预训练的双通道注意力残差网络，进行梳状谱干扰的抑制，输出频域回波信号；预训练的双通道注意力残差网络包括结构相同的两个抑制网络，每个抑制网络包括：通道注意力残差块和全局注意力块；其中，一个抑制网络用于根据输入的带干扰实部信号重构出实部信号，另一个抑制网络用于根据输入的带干扰虚部信号重构出虚部信号。
Description
技术领域
本发明属于干扰消除技术领域，具体涉及一种基于双通道注意力残差网络的SAR梳状谱干扰抑制方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)具有全天时、全天候、远作用距离与高分辨率成像等优势，在对地探测、资源勘探、战场侦察等军民领域均发挥着重要作用。但是，干扰的存在会降低SAR回波的信干噪比，影响后续的成像质量与SAR图像解译精度。研究复杂电磁环境下的SAR干扰抑制问题，对于提高SAR***的抗干扰能力与信息获取能力具有重要的研究意义。
传统SAR干扰抑制方法可以划分为参数估计和非参数估计干扰抑制方法。参数估计方法需要对干扰进行精确建模和参数估计，然后根据干扰参数估计结果重构干扰，从而实现对干扰的精准抑制，虽然该方法在理论上可以获得较优的干扰抑制性能，但是干扰建模精度的要求导致该方法效率较低且通用性较差。非参数估计方法一般将SAR回波信号转换至频域、时频域或小波域等表征域，通过分析目标回波信号和干扰的特征差异，利用陷波、自适应滤波和子空间分解来抑制干扰，这种方法简单高效，但是，面对复杂干扰容易导致目标回波信号损失，降低SAR成像质量，仅适用于具有稀疏特性的干扰。例如，当梳状谱干扰的干扰点数较多时，不再具有稀疏性，利用非参数化方法很容易导致目标回波信号丢失，造成SAR图像散焦。上述传统SAR干扰抑制方法均在成像处理前进行干扰抑制，还有学者在图像域实现干扰抑制，能够有效抑制稀疏干扰，但该类方法对于复杂的梳状谱干扰，仍然会导致目标图像信息的丢失。同时，图像域抗干扰方法的前提条件是成像过程不需要进行运动补偿，不然干扰存在的情况下会严重影响成像参数估计精度，造成成像结果严重散焦。
随着深度学习的发展，其在图像去雾、语音降噪等方面取得了成功的应用，已经有很多学者将深度学习和雷达抗干扰相结合，提出了基于深度学习的时频域SAR智能干扰抑制方法，这类方法能够通过深度非线性网络将干扰与目标回波投影至高维抽象特征空间，实现干扰与目标回波的解耦。不仅可以有效恢复目标回波信号的幅值，而且精准保留了目标回波的相位信息，保证了目标回波的重构精度。但是对于在时频域密集分布且完全淹没目标信号的梳状谱干扰，干扰与目标回波在时频谱图中的耦合严重，很难实现目标的精确重构。
也就是说，现有技术仅适用于具有稀疏特性的干扰，面对和目标回波耦合严重的梳状谱干扰，难以实现干扰和目标回波的精确解耦，容易导致目标信号的损失，降低SAR成像质量和解译精度。
发明内容
为了解决相关技术中存在的上述问题，本发明提供了一种基于双通道注意力残差网络的SAR梳状谱干扰抑制方法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供一种基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，包括：
获取带有梳状谱干扰的时域回波信号；
将所述时域回波信号变换至频域，得到带干扰频域回波信号；
将所述带干扰频域回波信号进行实部和虚部的提取，得到带干扰实部信号和带干扰虚部信号；
将所述带干扰实部信号和所述带干扰虚部信号输入预训练的双通道注意力残差网络，进行梳状谱干扰的抑制，输出频域回波信号；所述预训练的双通道注意力残差网络包括结构相同的两个抑制网络，每个抑制网络包括：通道注意力残差块和全局注意力块；其中，一个抑制网络用于根据输入的所述带干扰实部信号重构出实部信号，另一个抑制网络用于根据输入的所述带干扰虚部信号重构出虚部信号。
本发明具有如下有益技术效果：
本发明利用基于双通道注意力残差网络的SAR梳状谱干扰抑制网络，解决了现有技术在梳状谱干扰抑制时目标信号损失严重的问题；并且，本发明通过该网络将耦合严重的干扰与目标回波信号投影至高维可分离特征空间，并引入通道注意力与全局注意力提升特征提取与表征精度，实现了干扰与目标回波的智能解耦，极大地减少了目标回波信号的损失，从而提高了SAR成像质量和解译精度。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1(a)为本发明实施例提供的示例性的无干扰和有干扰信号在时域的对比示意图；
图1(b)为本发明实施例提供的示例性的无干扰和有干扰信号在时频域的对比示意图；
图1(c)为本发明实施例提供的示例性的无干扰和有干扰信号在频域的对比示意图；
图2为本发明实施例提供的基于双通道注意力残差网络的SAR梳状谱干扰抑制方法的一个流程图；
图3为本发明实施例提供的示例性的每个通道注意力残差块的结构示意图；
图4为本发明实施例提供的示例性的每个通道注意力块的结构示意图；
图5为本发明实施例提供的示例性的频内自注意力网络的结构示意图；
图6为本发明实施例提供的示例性的频内自注意力网络的特征处理原理图；
图7为本发明实施例提供的示例性的双通道注意力残差网络对输入的信号的处理原理图；
图8(a)为本发明实施例提供的示例性的不进行干扰抑制的仿真数据成像结果；
图8(b)为本发明实施例提供的示例性的使用频域陷波方法得到的仿真数据成像结果；
图8(c)为本发明实施例提供的示例性的利用U-Net方法得到的仿真数据成像结果；
图8(d)为本发明实施例提供的示例性的利用本发明提出的DPARNet方法得到的仿真数据成像结果；
图9(a)为本发明实施例提供的示例性的原始录取数据；
图9(b)为本发明实施例提供的示例性的原始数据经过频域陷波得到的成像结果；
图9(c)为本发明实施例提供的示例性的原始数据经过U-Net网络的成像结果；
图9(d)为本发明实施例提供的示例性的原始数据经过本发明提出的DPARNet的成像结果。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
梳状谱调制干扰(Comb Spectrum Modulation Jamming，CSMJ)是一系列窄带干扰信号在特定带宽内的叠加。梳状谱调制干扰的时域表达式为：其中，Ak(t)，fk和/>分别代表振幅、载频以及第k次窄带干扰信号的相位。
图1(a)、1(b)、1(c)为实测梳状谱干扰分别在时域、时频域和频域特征对比结果。图1(a)为无干扰和有干扰信号在时域的对比，图1(b)为无干扰和有干扰信号在时频域的对比，图1(c)为无干扰和有干扰在频域的对比。可以看到干扰和目标回波信号在时域与时频域耦合严重，很难利用传统方法将干扰和目标回波信号分离。而干扰谱线在频域上分布为等间隔瞬时峰值脉冲，且最大幅度远高于目标回波，由此可知，这种干扰和目标信号的显著差异性使得二者具有可分性，可以为进一步的干扰抑制提供基础。
图2是本发明实施例提供的基于双通道注意力残差网络的SAR梳状谱干扰抑制方法的一个流程图，如图2所示，所述方法包括以下步骤：
S101、获取带有梳状谱干扰的时域回波信号。
这里，获取的带有梳状谱干扰的时域回波信号可以是一个，也可以是多个。
S102、将时域回波信号变换至频域，得到带干扰频域回波信号。
这里，可以采用傅里叶变换进行时域至频域的变换。
S103、将带干扰频域回波信号进行实部和虚部的提取，得到带干扰实部信号和带干扰虚部信号。
S104、将带干扰实部信号和带干扰虚部信号输入预训练的双通道注意力残差网络，进行梳状谱干扰的抑制，输出频域回波信号；预训练的双通道注意力残差网络包括结构相同的两个抑制网络，每个抑制网络包括：通道注意力残差块和全局注意力块；其中，一个抑制网络用于根据输入的带干扰实部信号重构出实部信号，另一个抑制网络用于根据输入的带干扰虚部信号重构出虚部信号。
在一些实施例中，每个抑制网络可以包括：五个结构相同的通道注意力残差块和一个全局注意力块；五个通道注意力残差块依次串接，并且，第一个通道注意力残差块与第五个通道注意力残差块的通道数相同，第二个通道注意力残差块与第四个通道注意力残差块的通道数相同，第三个通道注意力残差块的通道数最大；全局注意力块包括：依次串接的两个结构相同的自注意力网络。
具体的，全局注意力块可以包括：频段内自注意力网络与频段间自注意力网络；频段内自注意力网络与频段间自注意力网络依次串接、且结构相同。
示例性的，每个抑制网络依次包括的五个通道注意力残差块的通道数量依次为32、64、128、64、32；如此，通过通道数量的先增加后减少，有利于回波信号和干扰信号的细化分离。
在一些实施例中，每个通道注意力残差块依次包括：两个第一卷积块、第二卷积块、通道注意力块、特征结合块。
示例性的，图3为每个通道注意力残差块的结构示意图，如图3所示，第一卷积块是由一维卷积层、一层批规范化层和LeakyReLU激活函数组成的卷积块；第二卷积块是由一维卷积层和一层批规范化层构成的卷积块。特征结合块由逐元素相加运算层和ReLU激活函数构成，并且，特征结合块的输入为通道注意力块的输出与第一个第一卷积块的输入。第一卷积块和第二卷积块的卷积层的卷积核个数与所在的通道注意力残差块的输出通道的数目一致，卷积核大小均为3，步长为1，填充为1。假设通道注意力残差块的输入为F∈RB×C×L，则输出为F1∈RB×C×L，其中，B为输入特征的数量(即为输入到双通道注意力残差网络的带干扰实部信号或带干扰虚部信号的数量)，C和L分别表示每个输入特征(即每个序列)的通道数和长度，则通道注意力残差块可以表示为：F1＝CA(Wc(F))+F；其中，Wc表示卷积块的权重，CA表示通道注意力块的权重。
示例性的，图4为通道注意力块的结构示意图，如图4所示，通道注意力块包括平均池化层、一维卷积层、Sigmoid激活函数和点乘运算层；并且，点乘运算层的输入是经过Sigmoid激活函数处理后的特征和平均池化层的输入。通道注意力块在引入的额外学***均池化聚合特征，然后利用卷积核大小为k的一维卷积层提取k个通道之间的依赖关系，实现自适应地选择重要通道特征的效果。假设输入通道注意力块的特征为F(in)∈RB×C×L，输出为F(out)∈RB×C×L，则通道注意力块的输出为：式中σ(·)为Sigmoid激活函数，GAP(·)表示自适应平均池化，WC∈RC×k为一维卷积层权重。k是一个自适应调节的重要参数，并根据通道注意力残差块的通道数量C在变化，其中，大尺寸k值便于捕捉长距离依赖，小尺寸k值便于捕捉短距离依赖。k值受到通道数C的调控，其计算表达式可以为：/>C表示通道数量，b和γ为预设值(例如，b和γ值可以分别设置为1和2)。通道注意力块中的卷积层的卷积的步长可以为1，填充可以为(k-1)/2取整。
在一些实施例中，每个抑制网络还包括特征切片层，并且，特征切片层串接在5个通道注意力残差块之后，并且，串接在全局注意力块之前。特征切片层用于将输入沿其长度维度L分段(分片)后，将分段后得到的子输出拼接至第一预设维度，得到更新后的输入。假设输入为F∈RB×C×L，沿着维度L进行分段后拼接到新维度N和P上，即表达式为：F∈RB×C×L→F′∈RB×C×P×N；式中N为频段数量，P为频段长度。这里，考虑到后续自注意力计算复杂度和计算的序列长度平方成正比，可以将N近似设置为如此，能够将计算复杂度从O(L2)降为最大程度降低了注意力计算的成本。
在一些实施例中，每个自注意力网络(频内自注意力网络或频间自注意力网络)依次包括：维度重组层、位置编码层、全局注意力层和相加运算层。
示例性的，图5和6分别为频内自注意力网络的结构示意图和特征处理原理图。如图5和6所示，当频内自注意力网络的输入为F'∈RB×C×P×N时，首先，通过维度重组层将F'∈RB ×C×P×N的第一维度B和第四维度N进行合并，得到重组的输入F”∈R(B×N)×C×P。重组的输入即为B个频段序列(B为大于或等于1的整数)，每个频段序列包括多个频点。通过位置编码层对于每个频段序列中的每个频点的位置信息进行位置编码，得到每个频点的位置编码向量。通过位置编码给每个频点注入它在频段序列中的位置信息，以此增强注意力模型的输入。对于一段长度为P的频段序列，它的位置编码向量长度为C。让t表示频点在序列中的位置，表示频点t的编码向量在i处的值，编码规则定义如下：/>其中/>q用于表示奇、偶，i为0,1,2...,C-1。在得到重组的输入的位置编码向量后，相加运算层将位置编码向量与重组的输入进行相加运算，得到叠加特征，以继续采用全局注意力层进行后续的自注意力计算。
全局注意力层包括两个层规范化层、两个随机失活层、自注意力计算层和前馈网络层。首先，叠加特征经过第一个层规范化层对相同批次特征数据进行归一化，得到归一化后的特征，接着，将归一化后的特征输入自注意力计算层进行多个独立的注意力掩码的计算(注意力头数可以为8)。具体的，每个注意力头的查询向量、键向量和值向量由输入线性映射产生，可以分别表示为：其中，其中dk表示查询向量、键向量和值向量的维数，h为注意力头个数，j＝1,2,...,h。每个注意力头对查询向量和键向量进行矩阵乘法运算，得到注意力掩码，再与值向量计算点乘，得到混合注意力的特征输出，它的计算公式可以表示为：/>如此，得到多头注意力特征输出。之后，将多头注意力特征输出输入到第一个随机失活层，将第一个随机失活层的输出与叠加特征进行相加运算，将相加运算得到的特征再输入第二个层规范化层，将第二个层规范化层的输出再输入前馈网络层。前馈网络层的结构按照顺序依次为：线性连接层、ReLU激活层、随机失活层和线性连接层，其中，第一个线性连接层将输入的特征的维度扩大4倍，第二个线性连接层将维度还原为输入的维度。在得到前馈网络层的输出后，将前馈网络层的输出再输入到第二个随机失活层，将第二个随机失活层的输出与前馈网络层的输入进行逐元素相加运算，将逐元素相加运算得到的特征与重组的输入F”∈R(B ×N)×C×P进行相加运算，将维度还原成RB×C×P×N，得到该自注意力网络的最终输出结果F”'。
这里，与频内自注意力网络不同的是，频间自注意力网络进行维度重组时，是将第一维度B和第三维度P进行合并，例如，得到计算自注意力的序列输入K∈R(B×P)×C×N，其他处理原理均相同，均为首先利用位置编码e给频段加入位置信息，然后利用层规范化对同一批次样本进行归一化，接着计算多头注意力掩码与输入特征图相乘得到注意力输出，最后，经过前馈网络层的输出与位置编码前的输入跳跃链接得到最终的输出结果。示例性的，频段内自注意力和频段间自注意力计算过程均可以表示为：
K'＝K+e；
K”＝MultiHeadAttention(LayerNorm(K'))+K'；
K”'＝FeedForward(LayerNorm(K”)+K”)；
Y＝K+K”'；
其中，Y为自注意力网络的输出结果，e为位置编码。
在一些实施例中，上述S104可以通过以下步骤实现：
S1041、将带干扰实部信号输入第一个抑制网络，同时将带干扰虚部信号输入第二个抑制网络。
S1042、每个抑制网络通过五个依次串接、且结构相同的通道注意力残差块对输入的信号进行处理，得到第一输出。
具体的，输入的信号进入第1个通道注意力残差块后，依次经过两个第一卷积块的卷积、批规范化和第一激活处理后，再经过第二卷积块的卷积与批规范化处理，得到第二卷积块的输出；第二卷积块的输出经过通道注意力块的平均池化、卷积和第二激活处理后，得到中间输出，中间输出与第二卷积块的输出经过通道注意力块的点乘运算后，得到通道注意力块的输出；第1个通道注意力残差块的输入与通道注意力块的输出经过特征结合块的相加与第三激活处理后，得到第1个通道注意力残差块的输出；第m个通道注意力残差块的输出经过第m+1个通道注意力残差块的处理后，得到第m+1个通道注意力残差块的输出，直至得到第5个通道注意力残差块的输出，将第5个通道注意力残差块的输出作为上述第一输出；m为1至4中的整数。
S1043、将第一输出输入沿长度维度分段后，将分段后得到的子输出拼接至第一预设维度，得到更新后的第一输出。
例如，当第一输出为F∈RB×C×L时，更新后的第一输出为F'∈RB×C×P×N，其中，第一输出包括B个频段序列，B为输入预训练的双通道注意力残差网络的带干扰实部信号或带干扰虚部信号的数量；C为每个频段序列的通道数，L为每个频段序列的长度维度，N为频段数量，P为频段长度；N与P为第一预设维度。即，每个频段序列的三个维度为C、P、N。
S1044、将更新后的第一输出输入全局注意力块，得到第二输出，将第二输出作为抑制网络输出的信号；其中，第一个抑制网络输出实部预测信号，第二个抑制网络输出虚部预测信号。
这里，全局注意力块包括：结构相同的频段内自注意力网络与频段间自注意力网络，更新后的第一输出输入全局注意力块后，经过频段内自注意力网络的处理后，得到频段内自注意力网络的输出；频段内自注意力网络的输出经过频段间自注意力网络的处理后，得到第二输出。
具体的，更新后的第一输出输入频段内自注意力网络后，通过维度重组层将更新后的第一输出的第二预设维度(例如，第一维度B和第四维度N)进行合并，得到重组特征；重组特征是包括多个频点的频段序列；位置编码层根据每个频点在频段序列中的位置信息，对每个频点进行位置编码，得到编码特征；相加运算层将重组特征与编码特征进行相加运算，得到叠加特征；叠加特征经过全局注意力层的处理后，得到线性输出；相加运算层将重组特征与线性输出进行相加后，得到频段内自注意力网络的输出。频段间自注意力网络采用相同处理原理，对频段内自注意力网络的输出处理后，得到频段间自注意力网络的输出，即抑制网络的输出，并且，与频段内自注意力网络不同的是，频间自注意力网络进行维度重组时，是将第一维度B和第三维度P进行合并。
S1045、将实部预测信号与虚部预测信号进行特征融合，得到频域回波信号。
示例性的，图7为双通道注意力残差网络对输入的信号的处理原理图。如图7所示，对频域的带干扰频域回波信号分别取实部和虚部后，将带干扰实部信号和带干扰虚部信号分别同时输入该网络的两个通道(两个抑制网络)中，例如，以带干扰实部信号为例来说明，带干扰实部信号依次经过5个通道注意力残差块的处理后，再经过特征切片层的处理，之后，进入到频段内自注意力网络进行处理，接着，频段内自注意力网络的输出再进入到频段间自注意力网络中进行处理后，输出预测的实部信号。同理，对于另一个输入带干扰虚部信号的通道而言，输出预测的虚部信号。最后，将预测的实部信号与预测的虚部信号进行特征融合后，得到预测出的频域回波信号，从而消除了梳状谱干扰。
在一些实施例中，在S104之前，所述方法包括：
S001、获取多个训练样本；每个训练样本为一个带干扰频域回波样本信号；带干扰频域回波样本信号对应一个不带干扰的频域回波样本信号。
具体的，可以仿真产生梳状谱干扰时域信号，并与实测目标回波信号叠加后通过傅里叶变换得到干扰频谱，并进行归一化处理，以此作为干扰抑制的基准数据集。
S002、每次选取多个训练样本，并确定选取的每个训练样本的虚部和实部，得到每个训练样本的虚部样本信号和实部样本信号。
S003、将本次选取的每个训练样本的虚部样本信号和实部样本信号，输入上次训练的双通道注意力残差网络，得到本次选取的每个训练样本对应的预测实部信号和预测虚部信号。
S004、根据本次选取的每个训练样本对应的预测实部信号和预测虚部信号，以及本次选取的多个训练样本对应的不带干扰的频域回波样本信号的实部信号和虚部信号，确定本次的损失值。
具体的，当本次选取B个训练样本时，对于每个训练样本，计算该训练样本对应的预测实部信号与该训练样本对应的不带干扰的频域回波样本信号的实部信号之间的第一损失，以及计算该训练样本对应的预测虚部信号与该训练样本对应的不带干扰的频域回波样本信号的虚部信号之间的第二损失；将第一损失与第二损失之和，作为该训练样本对应的损失，得到B个训练样本对应的B个损失；将B个损失的和作为本次的损失值。
S005、根据本次的损失值，调整上次训练的双通道注意力残差网络的网络参数，得到本次训练的双通道注意力残差网络，如此迭代循环，直至达到预设条件时停止训练，得到预训练的双通道注意力残差网络。
示例性的，每个训练样本对应的损失的计算公式如下：
Lz＝(f(xz1)-yz1)2+(f(xz2)-yz2)2；
其中，z为1,2,...,B，f(xz1)为第z个训练样本对应的预测实部信号，yz1为第z个训练样本对应的不带干扰的频域回波样本信号的实部信号，f(xz2)为第z个训练样本对应的预测虚部信号，yz2为第z个训练样本对应的不带干扰的频域回波样本信号的虚部信号。
本发明对于输入网络的一维频域信号首先进行实部、虚部提取操作，利用结构完全相同的两个抑制网络分别恢复实部和虚部，既能有效分离目标回波信号和干扰信号的特征，达到抑制效果，又能保留目标回波的相位信息在抑制过程中不丢失；其中，采用通道注意力残差块进行特征处理，可以利用通道间信息交互丰富语义信息，增强模型的特征提取能力；之后，利用全局注意力块进行特征的继续处理可以进一步利用全局信息对输入特征图进行校正，恢复上一阶段损失掉的信息，以此增强模型的表征和学习能力。
本发明利用基于双通道注意力残差网络的SAR梳状谱干扰抑制框架，解决了现有技术在梳状谱干扰抑制时目标信号损失严重的问题；并且，本发明通过深度非线性网络将耦合严重的干扰与目标回波信号投影至高维可分离特征空间，并引入通道注意力与全局注意力提升特征提取与表征精度，实现了干扰与目标回波的智能解耦，干扰抑制效果显著优于现有的干扰抑制方法。
以下通过实验验证，对本发明实施例达到的效果进行进一步说明。
一、数据集
为了评估本发明提出的干扰抑制方法的性能，首先利用MATLAB软件平台对梳状谱干扰进行仿真，干扰频点数量设置在100-300之间，回波点数为16384的梳状谱干扰，然后与实测SAR回波信号叠加生成仿真干扰回波，通过傅里叶变换得到干扰频谱，共产生10000个样本。
仿真测试集使用与训练集不同的实测SAR回波信号与仿真梳状谱干扰叠加，经过傅里叶变换与归一化生成测试集数据。干扰频点数量设置为600左右，共生成1410个样本，每个样本尺寸为1×16384。而实测测试集则来源于实测SAR干扰数据。
二、实现细节
(1)实验条件
本发明的仿真实验的硬件平台为：CPU为AMD Ryzen 9 5900HX Radeon Graphics，十六核，主频为3.30GHz，内存大小为32GB；显存大小为16GB。
本发明的仿真实验训练样本集与测试集样本集的目标回波信号来源于Sentinel-1卫星录取的TopSAR模式下不同时间不同场景下的实测无干扰回波数据；实测测试样本集则为Sentinel-1卫星录取的TopSAR模式下的实测干扰回波数据。
(2)本发明在Pytorch上实现，使用AdamW优化器和StepLR学习率更新策略训练200个轮次，学习率设置为0.001，更新步长和更新率分别为50和0.1，批次大小为8。将数据构建为由目标回波信号和含干扰的回波信号的训练对，每轮训练完成后，利用验证集对训练进行监控和参数调优，并保存在验证集上均方损失最小的最优模型，最后在测试集上利用SAR成像质量评估模型的干扰抑制效果和目标回波重构精度。
(3)评估指标
为了验证所提方法的有效性，对不同WBI抑制方法的干扰抑制效果进行定量和定性分析。对于定性评估，我们可以直观比较恢复的目标回波信号SAR成像结果。此外，我们利用三个图像质量评估指标(Image Quality Assessment，IQA)对SAR成像结果进行定量评估。三个IQA包括乘性噪声比(Multiplicative Noise Ratio，MNR)、峰值信噪比(PeakSignal-to-Noise Ratio，PSNR)、和结构相似性(Structural Similarity，SSIM)。
1)乘性噪声比(Multiplicative Noise Ratio，MNR)
乘性噪声比定义为图像弱散射区域和强散射区域平均图像强度之比，弱散射区域是指基本上没有回波的区域，例如，非常平滑的区域比如平静的河流，强散射区域例如城市。MNR表达式定义为：
其中，M和N分别表示弱散射区域和强散射区域的像素数，In和Im分别表示弱散射区域和强散射区域的像素值。MNR值越小，恢复图像的对比度越好。
2)峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)
峰值信噪比定义为图像中最大灰度值的平方和恢复图像与真实图像之间的均方误差之比。PSNR越大，代表图像失真越少，恢复的图像质量越高。它的表达式定义为：
3)结构相似性(Structural Similarity，SSIM)
结构相似性是一种衡量两幅图像相似度的指标，通过探测结构信息是否改变来感知图像失真的近似信息。它的表达式定义为：
其中，μx、μy、/>和σxy分别表示恢复图像和目标图像的均值、方差和协方差，c1和c2是两个很小的常数，避免分母为零。SSIM的值越大说明图像失真越小，两幅图像越相似。
三、实验结果
为了凸显所提方法的性能，比较本发明提出的方法(DPARNet)和频域陷波方法(Frequency domain-notched filtering，Fnotch)、U-Net网络的干扰抑制效果，从定性和定量两个角度进行评估。成像结果比较如图8(a)～8(d)所示，干扰抑制效能评估结果如表1所示。
表1
图8(a)展示不进行干扰抑制的仿真数据成像结果，由于密集梳状谱干扰的影响，白色阴影完全覆盖场景信息。图8(b)展示使用频域陷波方法得到的结果，信号的丢失导致图像质量严重退化。图8(c)和图8(d)分别是利用U-Net和所提DPARNet得到的图像，这两种方法具有相似的性能，得到的图像质量都很好，例如城市、河流和农田都能有效辨别，但是U-Net网络抑制后的结果还有白色伪影残留，从白色矩形框对比可以看到本发明提出的DPARNet得到的SAR成像结果表现出更好的对比度和更清晰的边缘。表1定量展示了本发明提出的DPARNet和传统频域陷波、U-Net频域抗干扰效果对比结果，可以看到DPARNet的MNR、PSNR、SSIM指标均优于对比算法，而且相比传统频域陷波方法，各项指标均显著提升，MNR提高了7.37dB，PSNR提高了18.41dB，SSIM提高了0.52dB。
本部分利用实测数据验证本发明提出的DPARNet的迁移性，该数据来自Sentinel-1卫星在一些地区录取的TopSAR模式下的干扰回波数据。图9(a)展示了原始录取数据，图中的场景可见的场景信息很少，大部分区域被亮线覆盖导致大量有用信息的丢失。图9(b)为原始数据经过频域陷波得到的成像，由于信号失真严重导致图像散焦，几乎没有信息能从SAR图像中解译出来。图9(c)为原始数据经过U-Net网络的成像结果，大部分干扰被抑制，但是还有明显的残留干扰带来的伪影存在。图9(d)为本发明提出的DPARNet的成像结果，与其他算法的结果相比，有效地从干扰中恢复出目标回波信号，生成的SAR成像结果具有更高的信噪比和对比度。进一步对结果进行定量分析，结果如表2所示。
表2
由表2可以看到本发明提出的DPARNet的MNR、PSNR、SSIM指标相较于其它对比算法，各项指标提升显著，MNR比频域陷波和U-Net网络分别提高了5.5dB和4.14dB，PSNR比频域陷波和U-Net网络提高了4.02dB和2.39dB，SSIM提高了0.05和0.07。结果表明所提方法能推广到实测干扰数据，具有较好的干扰抑制效果与迁移性能。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，其特征在于，包括：
获取带有梳状谱干扰的时域回波信号；
将所述时域回波信号变换至频域，得到带干扰频域回波信号；
将所述带干扰频域回波信号进行实部和虚部的提取，得到带干扰实部信号和带干扰虚部信号；
将所述带干扰实部信号和所述带干扰虚部信号输入预训练的双通道注意力残差网络，进行梳状谱干扰的抑制，输出频域回波信号；所述预训练的双通道注意力残差网络包括结构相同的两个抑制网络，每个抑制网络包括：通道注意力残差块和全局注意力块；其中，一个抑制网络用于根据输入的所述带干扰实部信号重构出实部信号，另一个抑制网络用于根据输入的所述带干扰虚部信号重构出虚部信号。
2.根据权利要求1所述的基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，其特征在于，每个抑制网络包括：五个结构相同的通道注意力残差块和一个所述全局注意力块；五个通道注意力残差块依次串接，并且，第一个通道注意力残差块与第五个通道注意力残差块的通道数相同，第二个通道注意力残差块与第四个通道注意力残差块的通道数相同，第三个通道注意力残差块的通道数最大；所述全局注意力块包括：依次串接的两个结构相同的自注意力网络。
3.根据权利要求1所述的基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，其特征在于，所述将所述带干扰实部信号和所述带干扰虚部信号输入预训练的双通道注意力残差网络，进行梳状谱干扰的抑制，输出频域回波信号，包括：
将所述带干扰实部信号输入第一个抑制网络，同时将所述带干扰虚部信号输入第二个抑制网络；
每个抑制网络通过五个依次串接、且结构相同的通道注意力残差块对输入的信号进行处理，得到第一输出；
将第一输出输入沿长度维度分段后，将分段后得到的子输出拼接至第一预设维度，得到更新后的第一输出；
将所述更新后的第一输出输入所述全局注意力块，得到第二输出，将所述第二输出作为所述抑制网络输出的信号；其中，所述第一个抑制网络输出实部预测信号，所述第二个抑制网络输出虚部预测信号；
将所述实部预测信号与所述虚部预测信号进行特征融合，得到所述频域回波信号。
4.根据权利要求3所述的基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，其特征在于，每个注意力残差块依次包括：两个第一卷积块、第二卷积块、通道注意力块、特征结合块；所述每个抑制网络通过五个依次串接、且结构相同的通道注意力残差块对输入的信号进行处理，得到第一输出，包括：
输入的信号进入第1个通道注意力残差块后，依次经过两个第一卷积块的卷积、批规范化和第一激活处理后，再经过第二卷积块的卷积与批规范化处理，得到第二卷积块的输出；
所述第二卷积块的输出经过通道注意力块的平均池化、卷积和第二激活处理后，得到中间输出，所述中间输出与所述第二卷积块的输出经过通道注意力块的点乘运算后，得到所述通道注意力块的输出；
所述第1个通道注意力残差块的输入与所述通道注意力块的输出经过特征结合块的相加与第三激活处理后，得到所述第1个通道注意力残差块的输出；
第m个通道注意力残差块的输出经过第m+1个通道注意力残差块的处理后，得到第m+1个通道注意力残差块的输出，直至得到第5个通道注意力残差块的输出，将第5个通道注意力残差块的输出作为所述第一输出；m为1至4中的整数。
5.根据权利要求3所述的基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，其特征在于，所述第一输出为F∈RB×C×L；所述更新后的第一输出为F'∈RB×C×P×N，其中，所述第一输出包括B个频段序列，B为输入所述预训练的双通道注意力残差网络的所述带干扰实部信号或所述带干扰虚部信号的数量；C为每个频段序列的通道数，L为每个频段序列的长度维度，N为频段数量，P为频段长度；N与P为所述第一预设维度。
6.根据权利要求3所述的基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，其特征在于，所述全局注意力块包括：频段内自注意力网络与频段间自注意力网络；所述频段内自注意力网络与所述频段间自注意力网络依次串接、且结构相同；所述将所述更新后的第一输出输入所述全局注意力块，得到第二输出，包括：
所述更新后的第一输出输入所述全局注意力块后，经过所述频段内自注意力网络的处理后，得到所述频段内自注意力网络的输出；
所述频段内自注意力网络的输出经过所述频段间自注意力网络的处理后，得到所述第二输出。
7.根据权利要求6所述的基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，其特征在于，每个自注意力网络依次包括：维度重组层、位置编码层、全局注意力层和相加运算层；所述更新后的第一输出输入所述全局注意力块后，经过所述频段内自注意力网络的处理后，得到所述频段内自注意力网络的输出，包括：
所述更新后的第一输出输入所述频段内自注意力网络后，通过维度重组层将所述更新后的第一输出的第二预设维度进行合并，得到重组特征；所述重组特征是包括多个频点的频段序列；
位置编码层根据每个频点在所述频段序列中的位置信息，对每个频点进行位置编码，得到编码特征；
相加运算层将所述重组特征与所述编码特征进行相加运算，得到叠加特征；
所述叠加特征经过全局注意力层的处理后，得到线性输出；
相加运算层将所述重组特征与所述线性输出进行相加后，得到所述频段内自注意力网络的输出。
8.根据权利要求1所述的基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，其特征在于，在所述将所述带干扰实部信号和所述带干扰虚部信号输入预训练的双通道注意力残差网络，进行梳状谱干扰的抑制，输出频域回波信号之前，所述方法包括：
获取多个训练样本；每个训练样本为一个带干扰频域回波样本信号；所述带干扰频域回波样本信号对应一个不带干扰的频域回波样本信号；
每次选取多个训练样本，并确定选取的每个训练样本的虚部和实部，得到每个训练样本的虚部样本信号和实部样本信号；
将本次选取的每个训练样本的虚部样本信号和实部样本信号，输入上次训练的双通道注意力残差网络，得到本次选取的每个训练样本对应的预测实部信号和预测虚部信号；
根据本次选取的每个训练样本对应的预测实部信号和预测虚部信号，以及本次选取的多个训练样本对应的不带干扰的频域回波样本信号的实部信号和虚部信号，确定本次的损失值；
根据本次的损失值，调整所述上次训练的双通道注意力残差网络的网络参数，得到本次训练的双通道注意力残差网络，如此迭代循环，直至达到预设条件时停止训练，得到所述预训练的双通道注意力残差网络。
9.根据权利要求8所述的基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，其特征在于，所述根据本次选取的每个训练样本对应的预测实部信号和预测虚部信号，以及本次选取的多个训练样本对应的不带干扰的频域回波样本信号的实部信号和虚部信号，确定本次的损失值，包括：
当本次选取B个训练样本时，对于每个训练样本，计算该训练样本对应的预测实部信号与该训练样本对应的不带干扰的频域回波样本信号的实部信号之间的第一损失，以及计算该训练样本对应的预测虚部信号与该训练样本对应的不带干扰的频域回波样本信号的虚部信号之间的第二损失；B为大于1的整数；
将所述第一损失与所述第二损失之和，作为该训练样本对应的损失，得到B个训练样本对应的B个损失；
将所述B个损失的和，作为本次的损失值。
10.根据权利要求9所述的基于双通道注意力残差网络的SAR梳状谱干扰抑制方法，其特征在于，每个训练样本对应的损失的计算公式如下：
Lz＝(f(xz1)-yz1)2+(f(xz2)-yz2)2；
其中，z为1,2,...,B，f(xz1)为第z个训练样本对应的预测实部信号，yz1为第z个训练样本对应的不带干扰的频域回波样本信号的实部信号，f(xz2)为第z个训练样本对应的预测虚部信号，yz2为第z个训练样本对应的不带干扰的频域回波样本信号的虚部信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310298046.5A CN117111000A (zh) | 2023-03-24 | 2023-03-24 | 一种基于双通道注意力残差网络的sar梳状谱干扰抑制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310298046.5A CN117111000A (zh) | 2023-03-24 | 2023-03-24 | 一种基于双通道注意力残差网络的sar梳状谱干扰抑制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117111000A true CN117111000A (zh) | 2023-11-24 |
Family
ID=88804467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310298046.5A Pending CN117111000A (zh) | 2023-03-24 | 2023-03-24 | 一种基于双通道注意力残差网络的sar梳状谱干扰抑制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117111000A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117708657A (zh) * | 2024-02-05 | 2024-03-15 | 华东交通大学 | 一种回波信号谐振峰范围检测优化方法及*** |
| CN117853371A (zh) * | 2024-03-06 | 2024-04-09 | 华东交通大学 | 多分支频域增强的真实图像去雾方法、***及终端 |
-
2023
- 2023-03-24 CN CN202310298046.5A patent/CN117111000A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117708657A (zh) * | 2024-02-05 | 2024-03-15 | 华东交通大学 | 一种回波信号谐振峰范围检测优化方法及*** |
| CN117853371A (zh) * | 2024-03-06 | 2024-04-09 | 华东交通大学 | 多分支频域增强的真实图像去雾方法、***及终端 |
| CN117853371B (zh) * | 2024-03-06 | 2024-05-31 | 华东交通大学 | 多分支频域增强的真实图像去雾方法、***及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117111000A (zh) | 一种基于双通道注意力残差网络的sar梳状谱干扰抑制方法 | |
| Bianco et al. | Travel time tomography with adaptive dictionaries | |
| US11880903B2 (en) | Bayesian image denoising method based on distribution constraint of noisy images | |
| CN105913393A (zh) | 一种自适应小波阈值图像去噪算法及装置 | |
| Deora et al. | Structure preserving compressive sensing MRI reconstruction using generative adversarial networks | |
| CN112269168A (zh) | 基于贝叶斯理论与低秩分解的sar宽带干扰抑制方法 | |
| CN112885368B (zh) | 基于改进胶囊网络的多频带谱减法振动信号去噪方法 | |
| CN114418886B (zh) | 一种基于深度卷积自编码器的鲁棒性去噪方法 | |
| Thakur et al. | Agsdnet: Attention and gradient-based sar denoising network | |
| Portilla et al. | Image denoising via adjustment of wavelet coefficient magnitude correlation | |
| CN113204051B (zh) | 一种基于变分模态分解的低秩张量地震数据去噪方法 | |
| CN116699526A (zh) | 一种基于稀疏与低秩模型的车载毫米波雷达干扰抑制方法 | |
| Ashraf et al. | Underwater ambient-noise removing GAN based on magnitude and phase spectra | |
| CN113053400A (zh) | 音频信号降噪模型的训练方法、音频信号降噪方法及设备 | |
| Perera et al. | Sar despeckling using overcomplete convolutional networks | |
| CN117574062A (zh) | 基于vmd-dnn模型的小回线瞬变电磁信号去噪方法 | |
| Yağan et al. | A spectral graph wiener filter in graph fourier domain for improved image denoising | |
| Krishnan et al. | A novel underwater image enhancement technique using ResNet | |
| Genser et al. | Spectral constrained frequency selective extrapolation for rapid image error concealment | |
| Satapathy et al. | Bio-medical image denoising using wavelet transform | |
| CN115526792A (zh) | 一种基于点扩散函数先验的编码成像重建方法 | |
| OUAHABI et al. | Directional multiresolution analysis of high-resolution time-frequency images for denoising non-stationary signals | |
| Chirtu et al. | Seismic Signal Denoising using U-Net in the Time-Frequency Domain | |
| Oral et al. | Plug-and-play reconstruction with 3D deep prior for complex-valued near-field MIMO imaging | |
| Leftwich | Denoising and Deconvolving Sperm Whale Data in the Northern Gulf of Mexico using Fourier and Wavelet Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |