CN116310693A - 基于边缘特征融合和高阶空间交互的伪装目标检测方法 - Google Patents

基于边缘特征融合和高阶空间交互的伪装目标检测方法 Download PDF

Info

Publication number
CN116310693A
CN116310693A CN202310356445.2A CN202310356445A CN116310693A CN 116310693 A CN116310693 A CN 116310693A CN 202310356445 A CN202310356445 A CN 202310356445A CN 116310693 A CN116310693 A CN 116310693A
Authority
CN
China
Prior art keywords
edge
module
convolution
feature map
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310356445.2A
Other languages
English (en)
Inventor
牛玉贞
张家榜
杨立芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202310356445.2A priority Critical patent/CN116310693A/zh
Publication of CN116310693A publication Critical patent/CN116310693A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于边缘特征融合和高阶空间交互的伪装目标检测方法。包括：进行数据预处理，包括数据配对、数据增强处理，得到训练数据集；设计基于边缘特征融合和高阶空间交互的伪装目标检测网络，该网络由边缘感知模块、边缘增强模块、边缘特征融合模块、高阶空间交互模块、上下文聚合模块组成；设计损失函数，指导步骤B所设计网络的参数优化；使用步骤A得到的训练数据集训练步骤B中的基于边缘特征融合和高阶空间交互的伪装目标检测网络，收敛到纳什平衡，得到训练好的基于边缘特征融合和高阶空间交互的伪装目标检测模型；将待测图像输入训练好的基于边缘特征融合和高阶空间交互的伪装目标检测模型，输出伪装目标的掩码图像。

Description

基于边缘特征融合和高阶空间交互的伪装目标检测方法
技术领域
本发明涉及图像和视频处理以及计算机视觉技术领域，特别是一种基于边缘特征融合和高阶空间交互的伪装目标检测方法。
背景技术
随着科技水平的发展，数字图像处理已经广泛应用到了人类社会生活的各个方面，不仅如此，它还能应用在科学研究等诸多方面。伪装目标检测则是一项新兴的数字图像处理任务，其目的是精确且高效地检测出嵌入周围环境中的伪装目标，将一张图像分割为伪装目标和背景，从而发现其中的伪装目标。在自然界中广泛存在伪装现象，自然界中的生物利用自身结构和生理特征来融入周围环境，从而躲避捕食者。伪装目标检测能够有助于发现大自然中的伪装生物，帮助科学家更好的研究自然生物。伪装目标检测的可应用的领域十分广阔，除了其学术价值外，伪装物体检测还有助于推动诸如军事上伪装隐蔽目标的搜索探测、医学领域上病情的判断以及农业遥感中蝗虫的入侵等等。
早期的伪装目标检测方法根据手工制作的颜色、纹理、几何梯度、频域、运动等低级特征来区分伪装目标和背景。然而大部分伪装目标与背景颜色极其相似，基于颜色的方法只能解决物体与背景有颜色差异的情况。基于纹理特征的方法在颜色非常接近背景时检测效果较好，却在伪装目标的纹理与背景相似时性能较差。基于运动的检测方法依赖于运动信息，其根据运动形成的背景颜色和纹理之间的变化差异，定位出伪装目标。但该类方法受干扰因素影响较大，会因光照变化或背景移动而出现误检漏检等问题。基于手工设计特征的伪装目标检测方法虽然能取得一定的效果，但是在在复杂场景中往往失效。
近年来，随着深度学习在计算机视觉各领域的深入应用，出现了许多基于卷积神经网络的伪装目标检测模型，这些模型以强大的特征提取能力和自主学习能力对伪装目标信息进行建模，能够提升伪装目标检测的精度，同时还能增强伪装目标检测模型的泛化性，效果较传统的伪装检测方法有明显提升。主流的方法是将图像输入到主干网络，从主干网络中提取图像特征，然后根据这些特征预测伪装目标的掩码，从而发现其中的伪装目标。这些方法充分利用卷积神经网络的语义信息和扩大感受野检测伪装目标。然而由于伪装目标在颜色和纹理上与背景有着很高的相似性，因此基于卷积神经网络的伪装目标检测模型难以学到伪装目标的特征来区分前景和背景。因此还有一些方法在原来的基础上引入了额外的线索，例如边缘信息，从而帮助基于卷积神经网络的伪装目标检测模更好地区分出伪装目标和背景。因此，利用好这些额外的信息，能够有效提高伪装目标检测的准确性。本发明设计了一种基于边缘特征融合和高阶空间交互的伪装目标检测方法，该方法首先通过主干网络提取图像特征，然后设计边缘感知模块，生成边缘掩码和边缘特征，之后设计边缘增强模块、边缘特征融合模块，构建高阶空间交互模块、上下文聚合模块，最后使用所设计的网络生成伪装目标掩码。
发明内容
有鉴于此，本发明的目的在于提供一种基于边缘特征融合和高阶空间交互的伪装目标检测方法，通过将边缘特征进行融合，并进行高阶空间交互，有利于显著提高伪装目标检测的性能。
为实现上述目的，本发明采用如下技术方案：一种基于边缘特征融合和高阶空间交互的伪装目标检测方法，包括如下步骤：
步骤A、进行数据预处理，包括数据配对、数据增强处理，得到训练数据集；
步骤B、设计基于边缘特征融合和高阶空间交互的伪装目标检测网络，该伪装目标检测网络由边缘感知模块、边缘增强模块、边缘特征融合模块、高阶空间交互模块、上下文聚合模块组成；
步骤C、设计损失函数，指导步骤B所设计网络的参数优化；
步骤D、使用步骤A得到的训练数据集训练步骤B中的基于边缘特征融合和高阶空间交互的伪装目标检测网络，收敛到纳什平衡，得到训练好的基于边缘特征融合和高阶空间交互的伪装目标检测模型；
步骤E、将待测图像输入训练好的基于边缘特征融合和高阶空间交互的伪装目标检测模型，输出伪装目标的掩码图像。
在一较佳的实施例中，所述步骤A具体实现步骤如下：
步骤A1、将每张原图像与其对应的标签图像和边缘标签图像三者组成图像三元组；
步骤A2、将每组图像三元组进行随机左右翻转、随机裁剪、随机旋转；对原图像进行颜色增强，通过设置随机值作为参数调整原图像的亮度、对比度、饱和度和清晰度；对原图像对应的标签图像添加随机黑点或白点作为随机噪声；
步骤A3、将数据集中的每张图像缩放为尺寸为H×W的大小相同的图像。
在一较佳的实施例中，所述步骤B具体实现步骤如下：
步骤B1、构建图像特征提取网络，使用所构建的网络提取图像特征；
步骤B2、设计边缘感知模块，使用所设计的模块生成边缘掩码和边缘特征；
步骤B3、设计边缘增强模块和边缘特征融合模块，使用边缘增强模块增强具有伪装目标边缘结构语义的特征表示，用边缘特征融合模块生成融合边缘信息的特征；
步骤B4、构建高阶空间交互模块和上下文聚合模块，使用高阶空间交互模块抑制对背景的关注，促进对前景的关注，用上下文聚合模块来挖掘上下文语义以增强对象检测；
步骤B5、设计基于边缘特征融合和高阶空间交互的伪装目标检测网络，包括边缘感知模块、边缘特征融合模块、边缘增强模块、高阶空间交互模块、上下文聚合模块，使用所设计的网络生成最终的伪装目标掩码。
在一较佳的实施例中，所述步骤B1具体实现步骤如下：
步骤B1、以Res2Net-50作为主干网络，对输入大小为H×W×3的原图像I进行特征提取，具体地，分别记原图像I经过第一阶段、第二阶段、第三阶段和第四阶段输出的特征图为F1、F2、F3和F4，其中特征图F1大小为
Figure BDA0004163444400000041
Figure BDA0004163444400000042
特征图F2大小为/>
Figure BDA0004163444400000043
特征图F3大小为/>
Figure BDA0004163444400000044
特征图F4大小为/>
Figure BDA0004163444400000045
C＝256。
在一较佳的实施例中，所述步骤B2具体实现步骤如下：
步骤B21、设计边缘感知模块，该边缘感知模块的输入为步骤B1中提取的第一阶段特征图F1和第四阶段特征图F4，该边缘感知模块输出为边缘特征图Fe和边缘掩码Me；
步骤B22、设计边缘感知模块中的特征融合块；该边缘感知模块的输入为步骤B1中提取的特征图F1和F4，输入特征图F1依次经过1×1卷积、BN层、ReLU激活函数减少通道数得到特征图
Figure BDA0004163444400000051
输入特征图F4依次经过1×1卷积、BN层、ReLU激活函数减少通道数得到特征图/>
Figure BDA0004163444400000052
使用双线性插值将特征图F'4的宽度和高度调整到和F″1一样的宽度和高度，得到特征图/>
Figure BDA0004163444400000053
将F'1和F″4″沿通道维度拼接后经过通道注意力模块得到边缘特征图/>
Figure BDA0004163444400000054
具体公式表示如下：
F1＝ReLU(BN(Conv1(F1)))
F4＝ReLU(BN(Conv1(F4)))
”'
F4＝Up(F4)
Fe＝SE(Concat(F1,F4))
其中Conv1(·)是卷积核大小为1×1的卷积层，BN(·)是批归一化操作，ReLU(·)是ReLU激活函数，Up(·)是双线性插值上采样，Concat(·,·)是沿通道维度拼接操作，SE(·)是通道注意力模块；
步骤B23、设计边缘感知模块中的卷积块；输入为步骤B22得到的边缘特征图Fe，依次经过3×3卷积、BN层、ReLU激活函数、3×3卷积、BN层、ReLU激活函数、1×1卷积最终生成边缘掩码
Figure BDA0004163444400000055
具体公式表示如下：
Me＝Conv1(ReLU(BN(Conv3(ReLU(BN(Conv3(Fe))))))))
其中Conv3(·)是卷积核大小为3×3的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数，Conv1(·)是卷积核大小为1×1卷积。
在一较佳的实施例中，所述步骤B3具体实现步骤如下：
步骤B31、设计边缘增强模块，首先设计边缘增强模块中的边缘引导操作；输入为步骤B2得到的边缘掩码Me和步骤B1得到的特征图
Figure BDA0004163444400000061
Figure BDA0004163444400000062
将输入的边缘掩码Me进行双线性插值下采样到与特征图Fi相同的宽度和高度，得到掩码/>
Figure BDA0004163444400000063
将掩码M'e与特征图Fi相乘，再与Fi相加，然后依次经过3×3卷积、BN层、ReLU激活函数，得到边缘引导的特征图/>
Figure BDA0004163444400000064
具体公式表示如下：
M'e＝Down(Me)
Figure BDA0004163444400000065
其中Down(·)是双线性插值下采样操作，
Figure BDA0004163444400000066
是矩阵乘法运算，/>
Figure BDA0004163444400000067
是矩阵加法运算，Conv3(·)是卷积核大小为3×3的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数；
步骤B32、构建边缘增强模块中的CBAM注意力子模块，该边缘增强模块由串行的通道注意力SE和空间注意力SA组成，输入特征图为步骤B32得到的特征图Fguide，得到边缘增强特征
Figure BDA0004163444400000068
具体公式表示如下：
Fee＝SA(SE(Fguide))
其中，SE(·)是通道注意力模块，SA(·)是空间注意力模块；
步骤B33、设计边缘特征融合模块，输入为步骤B1中提取的第一阶段特征图
Figure BDA0004163444400000069
步骤B2得到的边缘特征图/>
Figure BDA00041634444000000610
和边缘掩码/>
Figure BDA00041634444000000611
将边缘掩码Me与特征图F4相乘，再与F4相加，得到特征图/>
Figure BDA00041634444000000612
将边缘特征图Fe依次经过3×3卷积、BN层、ReLU激活函数，得到缩减通道后的特征图/>
Figure BDA0004163444400000071
将FM与F'e沿通道维度拼接再依次经过3×3卷积、Swish激活函数、3×3卷积、Swish激活函数、SE模块、3×3卷积，最后再加上特征图F'e，得到第一次融合边缘信息的特征图/>
Figure BDA0004163444400000072
将特征图F'e经过SE模块再与/>
Figure BDA0004163444400000073
沿通道维度拼接，然后经过一个3×3卷积，得到第二次融合边缘信息的特征图/>
Figure BDA0004163444400000074
Figure BDA0004163444400000075
最后再将特征图/>
Figure BDA0004163444400000076
与特征图F1相加得到最终融合边缘信息的特征图/>
Figure BDA0004163444400000077
具体公式表示如下：
Figure BDA0004163444400000078
F'e＝ReLU(BN(Conv3(Fe)))
Figure BDA0004163444400000079
Figure BDA00041634444000000710
Figure BDA00041634444000000711
其中
Figure BDA00041634444000000712
是矩阵乘法运算，/>
Figure BDA00041634444000000713
是矩阵加法运算，Conv3(·)是是卷积核大小为3×3的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数，Swish(·)是Swish激活函数，SE(·)是通道注意力模块，Concat(·,·)是沿通道维度拼接操作。
在一较佳的实施例中，所述步骤B4具体实现步骤如下：
步骤B41、首先构建高阶空间交互模块中的门控卷积模块，记该模块输入的特征图为
Figure BDA00041634444000000714
将输入特征图Fα进行层归一化(记为LN1)，得到归一化特征图
Figure BDA00041634444000000715
接着将/>
Figure BDA00041634444000000716
经过一个1×1卷积将其通道扩大到原来的两倍，得到特征图/>
Figure BDA0004163444400000081
将/>
Figure BDA0004163444400000082
沿通道拆分为两个特征图/>
Figure BDA0004163444400000083
将q输入到深度可分离卷积后得到特征图/>
Figure BDA0004163444400000084
再将其拆分为n(n为阶数)个特征图/>
Figure BDA0004163444400000085
其中/>
Figure BDA0004163444400000086
将特征图p0与特征图q0相乘后经过一个1×1卷积将其通道扩大到原来的两倍，得到第一次空间交互特征图/>
Figure BDA0004163444400000087
将特征图p1与特征图q1相乘后经过一个1×1卷积将其通道扩大到原来的两倍，得到第二次空间交互特征图/>
Figure BDA0004163444400000088
然后依次迭代到特征图pn-1与特征图qn-1相乘后经过一个输入通道数与输出通道数相同、卷积核大小为1×1的卷积层，得到n次空间交互特征图/>
Figure BDA0004163444400000089
最后将输入特征图Fα与pn相加得到中间输出特征图/>
Figure BDA00041634444000000810
具体公式表示如下：
Figure BDA00041634444000000811
Figure BDA00041634444000000812
Figure BDA00041634444000000813
Q＝DWConv(q)
Figure BDA00041634444000000814
Figure BDA00041634444000000815
Figure BDA00041634444000000816
其中，Split(·)是沿通道维度拆分，DWConv(·)是深度可分离卷积，Conv1(·)是卷积核大小为1×1的卷积层，
Figure BDA00041634444000000817
是矩阵乘法运算，/>
Figure BDA00041634444000000818
是矩阵加法运算；
步骤B42、构建高阶空间交互模块中的前馈模块，输入为步骤B41得到的特征图Fmid，对Fmid进行层归一化，记为LN2，之后输入两层全连接层中，记为MLP，两层全连接层的输出再与特征图Fmid相加后得到高阶空间交互特征
Figure BDA0004163444400000091
具体公式表示如下：
Figure BDA0004163444400000092
其中
Figure BDA0004163444400000093
是矩阵加法运算；
步骤B43、构建高阶空间交互模块中的通道缩减模块，输入为步骤B42得到的Fhsi，将Fhsi依次经过1×1卷积、BN层、ReLU激活函数，得到通道缩减后的高阶空间交互特征图
Figure BDA0004163444400000094
具体公式表示如下：
F’hsi＝ReLU(BN(Conv1(Fhsi)))
其中Conv1(·)是卷积核大小为1×1的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数；
步骤B44、首先构建上下文聚合模块中的卷积块，记该上下文聚合模块输入为两个不同尺度的特征图
Figure BDA0004163444400000095
和/>
Figure BDA0004163444400000096
先将特征图Fhigh进行双线性插值上采样，将其宽度和高度调整到与Flow同样的宽度和高度，再与Flow沿通道维度拼接，然后依次经过1×1卷积、BN层、ReLU激活函数得到特征图/>
Figure BDA0004163444400000097
再将Fcat沿通道维度平均分为四个特征图/>
Figure BDA0004163444400000098
和/>
Figure BDA0004163444400000099
将/>
Figure BDA00041634444000000920
和/>
Figure BDA00041634444000000921
相加后依次经过3×3卷积、BN层、ReLU激活函数得到特征图/>
Figure BDA00041634444000000910
将/>
Figure BDA00041634444000000911
和/>
Figure BDA00041634444000000912
三者相加后依次经过膨胀率为2的3×3卷积、BN层、ReLU激活函数得到特征图/>
Figure BDA00041634444000000913
Figure BDA00041634444000000914
将/>
Figure BDA00041634444000000915
和/>
Figure BDA00041634444000000916
三者相加后依次经过膨胀率为3的3×3卷积、BN层、ReLU激活函数得到特征图/>
Figure BDA00041634444000000917
将/>
Figure BDA00041634444000000918
和/>
Figure BDA00041634444000000919
相加后依次经过膨胀率为4的3×3卷积、BN层、ReLU激活函数得到特征图
Figure BDA0004163444400000101
然后将/>
Figure BDA0004163444400000102
和/>
Figure BDA0004163444400000103
沿通道维度拼接后依次经过1×1卷积、BN层、ReLU激活函数得到特征图/>
Figure BDA0004163444400000104
最后将Fcat和F'cat相加后依次经过3×3卷积、BN层、ReLU激活函数得到上下文特征图/>
Figure BDA0004163444400000105
具体公式表示如下：
Fcat＝ReLU(BN(Conv1(Concat(Flow,Up(Fhigh)))))
Figure BDA00041634444000001013
Figure BDA0004163444400000106
Figure BDA0004163444400000107
Figure BDA0004163444400000108
Figure BDA0004163444400000109
Figure BDA00041634444000001010
Figure BDA00041634444000001011
其中Up(·)是双线性插值上采样操作，Concat(·,·)和Concat(·,·,·,·)是沿通道维度拼接操作，
Figure BDA00041634444000001012
是矩阵加法运算，Conv3(·)是卷积核大小为3×3的卷积层，Conv3d＝i(·)是膨胀率为i的3×3卷积，Conv1(·)是卷积核大小为1×1的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数，Split(·)是沿通道维度均等拆分操作。
在一较佳的实施例中，所述步骤B5具体实现步骤如下：
步骤B5、设计基于边缘特征融合和高阶空间交互的伪装目标检测网络，包括边缘感知模块、边缘特征融合模块、边缘增强模块、高阶空间交互模块、上下文聚合模块；输入原图像，经过步骤B1的主干网络得到四个不同尺度的特征图
Figure BDA0004163444400000111
和/>
Figure BDA0004163444400000112
Figure BDA0004163444400000113
将F1和F4输入到步骤B2中的边缘感知模块，得到边缘特征图/>
Figure BDA0004163444400000114
Figure BDA0004163444400000115
和边缘掩码/>
Figure BDA0004163444400000116
然后构建三个步骤B3中的边缘增强模块，分别记为EEM1、EEM2和EEM3，其中EEM1的输入为步骤B1中提取的第四阶段特征图F4和步骤B2得到的边缘掩码Me，输出为边缘增强特征
Figure BDA0004163444400000117
EEM2的输入为步骤B1中提取的第三阶段特征图F3和步骤B2得到的边缘掩码Me，输出为边缘增强特征/>
Figure BDA0004163444400000118
EEM3的输入为步骤B1中提取的第二阶段特征图F2和步骤B2得到的边缘掩码Me，输出为边缘增强特征/>
Figure BDA0004163444400000119
接着构建一个步骤B3中的边缘特征融合模块，输入为步骤B1中提取的第一阶段特征图F1、步骤B2得到的边缘特征图Fe和边缘掩码Me，输出为融合边缘信息的特征图/>
Figure BDA00041634444000001110
然后，构建四个步骤B4中的高阶空间交互模块，分别记为HSIM1、HSIM2、HSIM3和HSIM4，它们的输入分别是步骤B3得到的特征图/>
Figure BDA00041634444000001111
Figure BDA00041634444000001112
和/>
Figure BDA00041634444000001113
输出分别为/>
Figure BDA00041634444000001114
Figure BDA00041634444000001115
和/>
Figure BDA00041634444000001116
紧接着构建三个步骤B4中的上下文聚合模块中，分别记为CAM1、CAM2和CAM3，其中CAM1的输入为特征图/>
Figure BDA00041634444000001117
和/>
Figure BDA00041634444000001118
输出为上下文特征图/>
Figure BDA00041634444000001119
Figure BDA00041634444000001120
CAM2的输入为CAM1的输出
Figure BDA00041634444000001121
和特征图/>
Figure BDA00041634444000001122
输出为上下文特征图/>
Figure BDA00041634444000001123
CAM3的输入为CAM2的输出/>
Figure BDA00041634444000001124
和特征图/>
Figure BDA00041634444000001125
输出为上下文特征图/>
Figure BDA00041634444000001126
对于边缘掩码Me，将其进行双线性插值上采样放大4倍，得到最终边缘掩码Medge；对于上下文特征图/>
Figure BDA00041634444000001127
经过1×1卷积将其压缩为1通道后将进行双线性插值上采样放大16倍，得到第一阶段伪装目标掩码/>
Figure BDA0004163444400000121
对于上下文特征图/>
Figure BDA0004163444400000122
经过1×1卷积将其压缩为1通道后将其进行双线性插值上采样放大8倍，得到第二阶段伪装目标掩码/>
Figure BDA0004163444400000123
对于上下文特征图/>
Figure BDA0004163444400000124
经过1×1卷积将其压缩为1通道后将其进行双线性插值上采样放大4倍，得到最终伪装目标掩码/>
Figure BDA0004163444400000125
具体公式表示如下：
Medge＝Upscale＝4(Me)
Figure BDA0004163444400000126
Figure BDA0004163444400000127
Figure BDA0004163444400000128
其中，Upscale＝4(·)是倍数为4的双线性插值上采样，Upscale＝8(·)是倍数为8的双线性插值上采样，Upscale＝16(·)是倍数为16的双线性插值上采样，Conv1(·)是卷积核大小为1×1、输出通道数为1的卷积层。
在一较佳的实施例中，所述步骤C具体实现步骤如下：
步骤C、设计损失函数作为约束来优化基于边缘特征融合和高阶空间交互的伪装目标检测网络，具体的公式如下：
Figure BDA0004163444400000129
其中，Gcamo表示原图像I对应的标签图像，Gedge表示原图像I对应的边缘标签图像，
Figure BDA00041634444000001210
表示为总的损失函数，/>
Figure BDA00041634444000001211
表示加权二元交叉熵损失，/>
Figure BDA00041634444000001212
表示为加权交并比损失，
Figure BDA00041634444000001213
表示Dice系数损失，λ表示为该损失的权重。
在一较佳的实施例中，所述步骤D具体实现步骤如下：
步骤D1、将步骤A得到的训练数据集随机划分为若干个批次，每个批次包含N对图像；
步骤D2、输入原图像I，经过步骤B中的基于边缘特征融合和高阶空间交互的伪装目标检测网络后得到边缘掩码Medge、伪装目标掩码
Figure BDA0004163444400000131
Figure BDA0004163444400000132
和/>
Figure BDA0004163444400000133
使用步骤C中的公式计算损失/>
Figure BDA0004163444400000134
步骤D3、根据损失使用反向传播方法计算网络中参数的梯度，并利用Adam优化方法更新网络参数；
步骤D4、以批次为单位重复执行步骤D1至步骤D3，直至网络的目标损失函数数值收敛至纳什平衡，保存网络参数，得到基于边缘特征融合和高阶空间交互的伪装目标检测模型；对于测试的伪装目标图像，以模型预测的三个伪装目标掩码中分辨率最大的
Figure BDA0004163444400000135
作为最终的伪装目标掩码。
与现有技术相比，本发明具有以下有益效果：本发明在利用好边缘信息的基础上，将边缘信息更好的与主干特征融合，同时对特征进行高阶空间交互，能更好得学习图像中伪装目标和背景之间的关系。本发明提出了一种基于边缘特征融合和高阶空间交互的伪装目标检测方法，分别通过边缘感知模块生成边缘特征和边缘掩码，在边缘增强模块和边缘特征融合模块中融合边缘信息，在高阶空间交互模块中对融合特征进行高阶空间交互，最后在上下文聚合模块中聚合不同层次的特征，最终能够输出高质量的伪装目标掩码。
附图说明
图1是本发明优选实施例中方法的实现流程图。
图2是本发明优选实施例中基于边缘特征融合和高阶空间交互的伪装目标检测网络的结构图。
图3是本发明优选实施例中边缘感知模块的结构图。
图4是本发明优选实施例中边缘增强模块的结构图。
图5是本发明优选实施例中边缘特征融合模块的结构图。
图6是本发明优选实施例中高阶空间交互模块的结构图。
图7是本发明优选实施例中上下文聚合模块的结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提供一种基于边缘特征融合和高阶空间交互的伪装目标检测方法，如图1-7所示，包括以下步骤：
步骤A、进行数据预处理，包括数据配对、数据增强处理，得到训练数据集；
步骤B、设计基于边缘特征融合和高阶空间交互的伪装目标检测网络，该网络由边缘感知模块、边缘增强模块、边缘特征融合模块、高阶空间交互模块、上下文聚合模块组成；
步骤C、设计损失函数，指导步骤B所设计网络的参数优化；
步骤D、使用步骤A得到的训练数据集训练步骤B中的基于边缘特征融合和高阶空间交互的伪装目标检测网络，收敛到纳什平衡，得到训练好的基于边缘特征融合和高阶空间交互的伪装目标检测模型；
步骤E、将待测图像输入训练好的基于边缘特征融合和高阶空间交互的伪装目标检测模型，输出伪装目标的掩码图像。
进一步地，所述步骤A包括以下步骤：
步骤A1、将每张原图像与其对应的标签图像和边缘标签图像三者组成图像三元组。
步骤A2、将每组图像三元组进行随机左右翻转、随机裁剪、随机旋转；对原图像进行颜色增强，通过设置随机值作为参数调整原图像的亮度、对比度、饱和度和清晰度；对原图像对应的标签图像添加随机黑点或白点作为随机噪声。
步骤A3、将数据集中的每张图像缩放为尺寸为H×W的大小相同的图像。
进一步地，所述步骤B包括以下步骤：
步骤B1、构建图像特征提取网络，使用所构建的网络提取图像特征。
步骤B2、设计边缘感知模块，使用所设计的模块生成边缘掩码和边缘特征。
步骤B3、设计边缘增强模块和边缘特征融合模块，使用边缘增强模块增强具有伪装目标边缘结构语义的特征表示，用边缘特征融合模块生成融合边缘信息的特征。
步骤B4、构建高阶空间交互模块和上下文聚合模块，使用高阶空间交互模块抑制对背景的关注，促进对前景的关注，用上下文聚合模块来挖掘上下文语义以增强对象检测。
步骤B5、设计基于边缘特征融合和高阶空间交互的伪装目标检测网络，包括边缘感知模块、边缘特征融合模块、边缘增强模块、高阶空间交互模块、上下文聚合模块，使用所设计的网络生成最终的伪装目标掩码。
进一步地，步骤B1包括以下步骤：
步骤B1、以Res2Net-50作为主干网络，对输入大小为H×W×3的原图像I进行特征提取，具体地，分别记原图像I经过第一阶段、第二阶段、第三阶段和第四阶段输出的特征图为F1、F2、F3和F4，其中特征图F1大小为
Figure BDA0004163444400000161
特征图F2大小为/>
Figure BDA0004163444400000162
特征图F3大小为/>
Figure BDA0004163444400000163
特征图F4大小为/>
Figure BDA0004163444400000164
进一步地，如图3所示，步骤B2包括以下步骤：
步骤B21、设计边缘感知模块，该模块的输入为步骤B1中提取的第一阶段特征图F1和第四阶段特征图F4，该模块输出为边缘特征图Fe和边缘掩码Me。
步骤B22、设计边缘感知模块中的特征融合块。该模块的输入为步骤B1中提取的特征图F1和F4，输入特征图F1依次经过1×1卷积、BN层、ReLU激活函数减少通道数得到特征图
Figure BDA0004163444400000165
输入特征图F4依次经过1×1卷积、BN层、ReLU激活函数减少通道数得到特征图/>
Figure BDA0004163444400000166
使用双线性插值将特征图F'4的宽度和高度调整到和F'1一样的宽度和高度，得到特征图/>
Figure BDA0004163444400000171
将F’1和F”’4沿通道维度拼接后经过通道注意力模块得到边缘特征图/>
Figure BDA0004163444400000172
具体公式表示如下：
F’1＝ReLU(BN(Conv1(F1)))
F’4＝ReLU(BN(Conv1(F4)))
F”4＝Up(F’4)
Fe＝SE(Concat(F’1,F”4))
其中Conv1(·)是卷积核大小为1×1的卷积层，BN(·)是批归一化操作，ReLU(·)是ReLU激活函数，Up(·)是双线性插值上采样，Concat(·,·)是沿通道维度拼接操作，SE(·)是通道注意力模块。
步骤B23、设计边缘感知模块中的卷积块。输入为步骤B22得到的边缘特征图Fe，依次经过3×3卷积、BN层、ReLU激活函数、3×3卷积、BN层、ReLU激活函数、1×1卷积最终生成边缘掩码
Figure BDA0004163444400000173
具体公式表示如下：
Me＝Conv1(ReLU(BN(Conv3(ReLU(BN(Conv3(Fe))))))))
其中Conv3(·)是卷积核大小为3×3的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数，Conv1(·)是卷积核大小为1×1卷积。
进一步地，如图4和图5所示，步骤B3包括以下步骤：
步骤B31、设计边缘增强模块，首先设计边缘增强模块中的边缘引导操作。输入为步骤B2得到的边缘掩码Me和步骤B1得到的特征图
Figure BDA0004163444400000174
将输入的边缘掩码Me进行双线性插值下采样到与特征图Fi相同的宽度和高度，得到掩码/>
Figure BDA0004163444400000175
将掩码M'e与特征图Fi相乘，再与Fi相加，然后依次经过3×3卷积、BN层、ReLU激活函数，得到边缘引导的特征图/>
Figure BDA0004163444400000176
Figure BDA0004163444400000181
具体公式表示如下：
M'e＝Down(Me)
Figure BDA0004163444400000182
其中Down(·)是双线性插值下采样操作，
Figure BDA0004163444400000183
是矩阵乘法运算，/>
Figure BDA0004163444400000184
是矩阵加法运算，Conv3(·)是卷积核大小为3×3的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数。
步骤B32、构建边缘增强模块中的CBAM注意力子模块，该模块由串行的通道注意力SE和空间注意力SA组成，输入特征图为步骤B32得到的特征图Fguide，得到边缘增强特征
Figure BDA0004163444400000185
具体公式表示如下：
Fee＝SA(SE(Fguide))
其中，SE(·)是通道注意力模块，SA(·)是空间注意力模块。
步骤B33、设计边缘特征融合模块，输入为步骤B1中提取的第一阶段特征图
Figure BDA0004163444400000186
步骤B2得到的边缘特征图/>
Figure BDA0004163444400000187
和边缘掩码/>
Figure BDA0004163444400000188
将边缘掩码Me与特征图F4相乘，再与F4相加，得到特征图/>
Figure BDA0004163444400000189
将边缘特征图Fe依次经过3×3卷积、BN层、ReLU激活函数，得到缩减通道后的特征图/>
Figure BDA00041634444000001810
将FM与F'e沿通道维度拼接再依次经过3×3卷积、Swish激活函数、3×3卷积、Swish激活函数、SE模块、3×3卷积，最后再加上特征图F'e，得到第一次融合边缘信息的特征图/>
Figure BDA00041634444000001811
Figure BDA00041634444000001812
将特征图F'e经过SE模块再与/>
Figure BDA00041634444000001813
沿通道维度拼接，然后经过一个3×3卷积，得到第二次融合边缘信息的特征图/>
Figure BDA00041634444000001814
最后再将特征图/>
Figure BDA00041634444000001815
与特征图F1相加得到最终融合边缘信息的特征图/>
Figure BDA00041634444000001816
Figure BDA00041634444000001817
具体公式表示如下：
Figure BDA0004163444400000191
F'e＝ReLU(BN(Conv3(Fe)))
Figure BDA0004163444400000192
Figure BDA0004163444400000193
Figure BDA0004163444400000194
其中
Figure BDA0004163444400000195
是矩阵乘法运算，/>
Figure BDA0004163444400000196
是矩阵加法运算，Conv3(·)是是卷积核大小为3×3的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数，Swish(·)是Swish激活函数，SE(·)是通道注意力模块，Concat(·,·)是沿通道维度拼接操作。
进一步地，如图6和图7所示，步骤B4包括以下步骤：
步骤B41、首先构建高阶空间交互模块中的门控卷积模块，记该模块输入的特征图为
Figure BDA0004163444400000197
将输入特征图Fα进行层归一化(记为LN1)，得到归一化特征图
Figure BDA0004163444400000198
接着将/>
Figure BDA0004163444400000199
经过一个1×1卷积将其通道扩大到原来的两倍，得到特征图
Figure BDA00041634444000001910
将/>
Figure BDA00041634444000001911
沿通道拆分为两个特征图/>
Figure BDA00041634444000001912
将q输入到深度可分离卷积后得到特征图/>
Figure BDA00041634444000001913
再将其拆分为n(n为阶数)个特征图/>
Figure BDA00041634444000001914
其中/>
Figure BDA00041634444000001915
将特征图p0与特征图q0相乘后经过一个1×1卷积将其通道扩大到原来的两倍，得到第一次空间交互特征图/>
Figure BDA00041634444000001916
将特征图p1与特征图q1相乘后经过一个1×1卷积将其通道扩大到原来的两倍，得到第二次空间交互特征图/>
Figure BDA0004163444400000201
然后依次迭代到特征图pn-1与特征图qn-1相乘后经过一个输入通道数与输出通道数相同、卷积核大小为1×1的卷积层，得到n次空间交互特征图/>
Figure BDA0004163444400000202
最后将输入特征图Fα与pn相加得到中间输出特征图/>
Figure BDA0004163444400000203
具体公式表示如下：
Figure BDA0004163444400000204
Figure BDA0004163444400000205
Figure BDA0004163444400000206
Q＝DWConv(q)
Figure BDA0004163444400000207
/>
Figure BDA0004163444400000208
Figure BDA0004163444400000209
其中，Split(·)是沿通道维度拆分，DWConv(·)是深度可分离卷积，Conv1(·)是卷积核大小为1×1的卷积层，
Figure BDA00041634444000002010
是矩阵乘法运算，/>
Figure BDA00041634444000002011
是矩阵加法运算。
步骤B42、构建高阶空间交互模块中的前馈模块，输入为步骤B41得到的特征图Fmid，对Fmid进行层归一化(记为LN2)，之后输入两层全连接层中(记为MLP)，两层全连接层的输出再与特征图Fmid相加后得到高阶空间交互特征
Figure BDA00041634444000002012
具体公式表示如下：
Figure BDA00041634444000002013
其中
Figure BDA00041634444000002014
是矩阵加法运算。
步骤B43、构建高阶空间交互模块中的通道缩减模块，输入为步骤B42得到的Fhsi，将Fhsi依次经过1×1卷积、BN层、ReLU激活函数，得到通道缩减后的高阶空间交互特征图
Figure BDA0004163444400000211
具体公式表示如下：
F’hsi＝ReLU(BN(Conv1(Fhsi)))
其中Conv1(·)是卷积核大小为1×1的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数。
步骤B44、首先构建上下文聚合模块中的卷积块，记该模块输入为两个不同尺度的特征图
Figure BDA0004163444400000212
和/>
Figure BDA0004163444400000213
先将特征图Fhigh进行双线性插值上采样，将其宽度和高度调整到与Flow同样的宽度和高度，再与Flow沿通道维度拼接，然后依次经过1×1卷积、BN层、ReLU激活函数得到特征图/>
Figure BDA0004163444400000214
再将Fcat沿通道维度平均分为四个特征图/>
Figure BDA0004163444400000215
和/>
Figure BDA0004163444400000216
Figure BDA0004163444400000217
将/>
Figure BDA0004163444400000218
和/>
Figure BDA0004163444400000219
相加后依次经过3×3卷积、BN层、ReLU激活函数得到特征图/>
Figure BDA00041634444000002110
将/>
Figure BDA00041634444000002111
和/>
Figure BDA00041634444000002112
三者相加后依次经过膨胀率为2的3×3卷积、BN层、ReLU激活函数得到特征图/>
Figure BDA00041634444000002113
Figure BDA00041634444000002114
将/>
Figure BDA00041634444000002115
和/>
Figure BDA00041634444000002116
三者相加后依次经过膨胀率为3的3×3卷积、BN层、ReLU激活函数得到特征图/>
Figure BDA00041634444000002117
将/>
Figure BDA00041634444000002118
和/>
Figure BDA00041634444000002119
相加后依次经过膨胀率为4的3×3卷积、BN层、ReLU激活函数得到特征图
Figure BDA00041634444000002120
然后将/>
Figure BDA00041634444000002121
和/>
Figure BDA00041634444000002122
沿通道维度拼接后依次经过1×1卷积、BN层、ReLU激活函数得到特征图/>
Figure BDA00041634444000002123
最后将Fcat和F'cat相加后依次经过3×3卷积、BN层、ReLU激活函数得到上下文特征图/>
Figure BDA00041634444000002213
具体公式表示如下：
Fcat＝ReLU(BN(Conv1(Concat(Flow,Up(Fhigh)))))
Figure BDA0004163444400000221
Figure BDA0004163444400000222
Figure BDA0004163444400000223
Figure BDA0004163444400000224
Figure BDA0004163444400000225
Figure BDA0004163444400000226
Figure BDA0004163444400000227
其中Up(·)是双线性插值上采样操作，Concat(·,·)和Concat(·,·,·,·)是沿通道维度拼接操作，
Figure BDA0004163444400000228
是矩阵加法运算，Conv3(·)是卷积核大小为3×3的卷积层，Conv3d＝i(·)是膨胀率为i的3×3卷积，Conv1(·)是卷积核大小为1×1的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数，Split(·)是沿通道维度均等拆分操作。
进一步地，如图2所示，步骤B5包括以下步骤：
步骤B5、设计基于边缘特征融合和高阶空间交互的伪装目标检测网络，包括边缘感知模块、边缘特征融合模块、边缘增强模块、高阶空间交互模块、上下文聚合模块。输入原图像，经过步骤B1的主干网络得到四个不同尺度的特征图
Figure BDA0004163444400000229
和/>
Figure BDA00041634444000002210
将F1和F4输入到步骤B2中的边缘感知模块，得到边缘特征图/>
Figure BDA00041634444000002211
和边缘掩码/>
Figure BDA00041634444000002212
然后构建三个步骤B3中的边缘增强模块，分别记为EEM1、EEM2和EEM3，其中EEM1的输入为步骤B1中提取的第四阶段特征图F4和步骤B2得到的边缘掩码Me，输出为边缘增强特征/>
Figure BDA0004163444400000231
Figure BDA0004163444400000232
EEM2的输入为步骤B1中提取的第三阶段特征图F3和步骤B2得到的边缘掩码Me，输出为边缘增强特征/>
Figure BDA0004163444400000233
EEM3的输入为步骤B1中提取的第二阶段特征图F2和步骤B2得到的边缘掩码Me，输出为边缘增强特征/>
Figure BDA0004163444400000234
接着构建一个步骤B3中的边缘特征融合模块，输入为步骤B1中提取的第一阶段特征图F1、步骤B2得到的边缘特征图Fe和边缘掩码Me，输出为融合边缘信息的特征图/>
Figure BDA0004163444400000235
然后，构建四个步骤B4中的高阶空间交互模块，分别记为HSIM1、HSIM2、HSIM3和HSIM4，它们的输入分别是步骤B3得到的特征图
Figure BDA0004163444400000236
Figure BDA0004163444400000237
和/>
Figure BDA0004163444400000238
输出分别为
Figure BDA0004163444400000239
Figure BDA00041634444000002310
和/>
Figure BDA00041634444000002311
紧接着构建三个步骤B4中的上下文聚合模块中，分别记为CAM1、CAM2和CAM3，其中CAM1的输入为特征图/>
Figure BDA00041634444000002312
和/>
Figure BDA00041634444000002313
输出为上下文特征图/>
Figure BDA00041634444000002314
CAM2的输入为CAM1的输出/>
Figure BDA00041634444000002315
和特征图/>
Figure BDA00041634444000002316
输出为上下文特征图/>
Figure BDA00041634444000002317
CAM3的输入为CAM2的输出/>
Figure BDA00041634444000002318
和特征图/>
Figure BDA00041634444000002319
输出为上下文特征图/>
Figure BDA00041634444000002320
对于边缘掩码Me，将其进行双线性插值上采样放大4倍，得到最终边缘掩码Medge。对于上下文特征图/>
Figure BDA00041634444000002321
经过1×1卷积将其压缩为1通道后将进行双线性插值上采样放大16倍，得到第一阶段伪装目标掩码/>
Figure BDA00041634444000002322
对于上下文特征图/>
Figure BDA00041634444000002323
经过1×1卷积将其压缩为1通道后将其进行双线性插值上采样放大8倍，得到第二阶段伪装目标掩码/>
Figure BDA00041634444000002324
对于上下文特征图/>
Figure BDA00041634444000002325
经过1×1卷积将其压缩为1通道后将其进行双线性插值上采样放大4倍，得到最终伪装目标掩码/>
Figure BDA00041634444000002326
具体公式表示如下：
Medge＝Upscale＝4(Me)
Figure BDA0004163444400000241
Figure BDA0004163444400000242
Figure BDA0004163444400000243
其中，Upscale＝4(·)是倍数为4的双线性插值上采样，Upscale＝8(·)是倍数为8的双线性插值上采样，Upscale＝16(·)是倍数为16的双线性插值上采样，Conv1(·)是卷积核大小为1×1、输出通道数为1的卷积层。
进一步地，步骤C包括以下步骤：
步骤C、设计损失函数作为约束来优化基于边缘特征融合和高阶空间交互的伪装目标检测网络，具体的公式如下：
Figure BDA0004163444400000244
其中，Gcamo表示原图像I对应的标签图像，Gedge表示原图像I对应的边缘标签图像，
Figure BDA0004163444400000245
表示为总的损失函数，/>
Figure BDA0004163444400000246
表示加权二元交叉熵损失，/>
Figure BDA0004163444400000247
表示为加权交并比损失，/>
Figure BDA0004163444400000248
表示Dice系数损失，λ表示为该损失的权重。/>
进一步地，所述步骤D实现如下：
步骤D1、将步骤A得到的训练数据集随机划分为若干个批次，每个批次包含N对图像。
步骤D2、输入原图像I，经过步骤B中的基于边缘特征融合和高阶空间交互的伪装目标检测网络后得到边缘掩码Medge、伪装目标掩码
Figure BDA0004163444400000249
Figure BDA0004163444400000251
和/>
Figure BDA0004163444400000252
使用步骤C中的公式计算损失/>
Figure BDA0004163444400000253
步骤D3、根据损失使用反向传播方法计算网络中参数的梯度，并利用Adam优化方法更新网络参数。
步骤D4、以批次为单位重复执行步骤D1至步骤D3，直至网络的目标损失函数数值收敛至纳什平衡，保存网络参数，得到基于边缘特征融合和高阶空间交互的伪装目标检测模型。对于测试的伪装目标图像，以模型预测的三个伪装目标掩码中分辨率最大的
Figure BDA0004163444400000254
作为最终的伪装目标掩码。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (10)

1.基于边缘特征融合和高阶空间交互的伪装目标检测方法，其特征在于，包括如下步骤：
步骤A、进行数据预处理，包括数据配对、数据增强处理，得到训练数据集；
步骤B、设计基于边缘特征融合和高阶空间交互的伪装目标检测网络，该伪装目标检测网络由边缘感知模块、边缘增强模块、边缘特征融合模块、高阶空间交互模块、上下文聚合模块组成；
步骤C、设计损失函数，指导步骤B所设计网络的参数优化；
步骤D、使用步骤A得到的训练数据集训练步骤B中的基于边缘特征融合和高阶空间交互的伪装目标检测网络，收敛到纳什平衡，得到训练好的基于边缘特征融合和高阶空间交互的伪装目标检测模型；
步骤E、将待测图像输入训练好的基于边缘特征融合和高阶空间交互的伪装目标检测模型，输出伪装目标的掩码图像。
2.根据权利要求1所述的基于边缘特征融合和高阶空间交互的伪装目标检测方法，其特征在于，所述步骤A具体实现步骤如下：
步骤A1、将每张原图像与其对应的标签图像和边缘标签图像三者组成图像三元组；
步骤A2、将每组图像三元组进行随机左右翻转、随机裁剪、随机旋转；对原图像进行颜色增强，通过设置随机值作为参数调整原图像的亮度、对比度、饱和度和清晰度；对原图像对应的标签图像添加随机黑点或白点作为随机噪声；
步骤A3、将数据集中的每张图像缩放为尺寸为H×W的大小相同的图像。
3.根据权利要求1所述的基于边缘特征融合和高阶空间交互的伪装目标检测方法，其特征在于，所述步骤B具体实现步骤如下：
步骤B1、构建图像特征提取网络，使用所构建的网络提取图像特征；
步骤B2、设计边缘感知模块，使用所设计的模块生成边缘掩码和边缘特征；
步骤B3、设计边缘增强模块和边缘特征融合模块，使用边缘增强模块增强具有伪装目标边缘结构语义的特征表示，用边缘特征融合模块生成融合边缘信息的特征；
步骤B4、构建高阶空间交互模块和上下文聚合模块，使用高阶空间交互模块抑制对背景的关注，促进对前景的关注，用上下文聚合模块来挖掘上下文语义以增强对象检测；
步骤B5、设计基于边缘特征融合和高阶空间交互的伪装目标检测网络，包括边缘感知模块、边缘特征融合模块、边缘增强模块、高阶空间交互模块、上下文聚合模块，使用所设计的网络生成最终的伪装目标掩码。
4.根据权利要求3所述的基于边缘特征融合和高阶空间交互的伪装目标检测方法，其特征在于，所述步骤B1具体实现步骤如下：
步骤B1、以Res2Net-50作为主干网络，对输入大小为H×W×3的原图像I进行特征提取，具体地，分别记原图像I经过第一阶段、第二阶段、第三阶段和第四阶段输出的特征图为F1、F2、F3和F4，其中特征图F1大小为
Figure FDA0004163444390000021
Figure FDA0004163444390000022
特征图F2大小为/>
Figure FDA0004163444390000023
特征图F3大小为
Figure FDA0004163444390000024
特征图F4大小为/>
Figure FDA0004163444390000025
C＝256。
5.根据权利要求3所述的基于边缘特征融合和高阶空间交互的伪装目标检测方法，其特征在于，所述步骤B2具体实现步骤如下：
步骤B21、设计边缘感知模块，该边缘感知模块的输入为步骤B1中提取的第一阶段特征图F1和第四阶段特征图F4，该边缘感知模块输出为边缘特征图Fe和边缘掩码Me；
步骤B22、设计边缘感知模块中的特征融合块；该边缘感知模块的输入为步骤B1中提取的特征图F1和F4，输入特征图F1依次经过1×1卷积、BN层、ReLU激活函数减少通道数得到特征图
Figure FDA0004163444390000031
输入特征图F4依次经过1×1卷积、BN层、ReLU激活函数减少通道数得到特征图/>
Figure FDA0004163444390000032
使用双线性插值将特征图F'4的宽度和高度调整到和F'1一样的宽度和高度，得到特征图/>
Figure FDA0004163444390000033
将F'1和F″4沿通道维度拼接后经过通道注意力模块得到边缘特征图/>
Figure FDA0004163444390000034
具体公式表示如下：
F′1＝ReLU(BN(Conv1(F1)))
F′4＝ReLU(BN(Conv1(F4)))
F″4＝Up(F′4)
Fe＝SE(Concat(F′1,F″4))
其中Conv1(·)是卷积核大小为1×1的卷积层，BN(·)是批归一化操作，ReLU(·)是ReLU激活函数，Up(·)是双线性插值上采样，Concat(·,·)是沿通道维度拼接操作，SE(·)是通道注意力模块；
步骤B23、设计边缘感知模块中的卷积块；输入为步骤B22得到的边缘特征图Fe，依次经过3×3卷积、BN层、ReLU激活函数、3×3卷积、BN层、ReLU激活函数、1×1卷积最终生成边缘掩码
Figure FDA0004163444390000035
具体公式表示如下：
Me＝Conv1(ReLU(BN(Conv3(ReLU(BN(Conv3(Fe))))))))
其中Conv3(·)是卷积核大小为3×3的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数，Conv1(·)是卷积核大小为1×1卷积。
6.根据权利要求3所述的基于边缘特征融合和高阶空间交互的伪装目标检测方法，其特征在于，所述步骤B3具体实现步骤如下：
步骤B31、设计边缘增强模块，首先设计边缘增强模块中的边缘引导操作；输入为步骤B2得到的边缘掩码Me和步骤B1得到的特征图
Figure FDA0004163444390000041
Figure FDA0004163444390000042
将输入的边缘掩码Me进行双线性插值下采样到与特征图Fi相同的宽度和高度，得到掩码/>
Figure FDA0004163444390000043
将掩码M'e与特征图Fi相乘，再与Fi相加，然后依次经过3×3卷积、BN层、ReLU激活函数，得到边缘引导的特征图/>
Figure FDA0004163444390000044
具体公式表示如下：
M'e＝Down(Me)
Figure FDA0004163444390000045
其中Down(·)是双线性插值下采样操作，
Figure FDA0004163444390000046
是矩阵乘法运算，/>
Figure FDA0004163444390000047
是矩阵加法运算，Conv3(·)是卷积核大小为3×3的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数；
步骤B32、构建边缘增强模块中的CBAM注意力子模块，该边缘增强模块由串行的通道注意力SE和空间注意力SA组成，输入特征图为步骤B32得到的特征图Fguide，得到边缘增强特征
Figure FDA0004163444390000048
具体公式表示如下：
Fee＝SA(SE(Fguide))
其中，SE(·)是通道注意力模块，SA(·)是空间注意力模块；
步骤B33、设计边缘特征融合模块，输入为步骤B1中提取的第一阶段特征图
Figure FDA0004163444390000051
步骤B2得到的边缘特征图/>
Figure FDA0004163444390000052
和边缘掩码/>
Figure FDA0004163444390000053
将边缘掩码Me与特征图F4相乘，再与F4相加，得到特征图/>
Figure FDA0004163444390000054
将边缘特征图Fe依次经过3×3卷积、BN层、ReLU激活函数，得到缩减通道后的特征图/>
Figure FDA0004163444390000055
将FM与F'e沿通道维度拼接再依次经过3×3卷积、Swish激活函数、3×3卷积、Swish激活函数、SE模块、3×3卷积，最后再加上特征图F'e，得到第一次融合边缘信息的特征图/>
Figure FDA0004163444390000056
将特征图F'e经过SE模块再与/>
Figure FDA0004163444390000057
沿通道维度拼接，然后经过一个3×3卷积，得到第二次融合边缘信息的特征图/>
Figure FDA0004163444390000058
Figure FDA0004163444390000059
最后再将特征图/>
Figure FDA00041634443900000510
与特征图F1相加得到最终融合边缘信息的特征图/>
Figure FDA00041634443900000511
具体公式表示如下：
Figure FDA00041634443900000512
F'e＝ReLI(BN(Conv3(Fe)))
Figure FDA00041634443900000513
Figure FDA00041634443900000514
Figure FDA00041634443900000515
其中
Figure FDA00041634443900000516
是矩阵乘法运算，/>
Figure FDA00041634443900000517
是矩阵加法运算，Conv3(·)是是卷积核大小为3×3的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数，Swish(·)是Swish激活函数，SE(·)是通道注意力模块，Concat(·,·)是沿通道维度拼接操作。
7.根据权利要求3所述的基于边缘特征融合和高阶空间交互的伪装目标检测方法，其特征在于，所述步骤B4具体实现步骤如下：
步骤B41、首先构建高阶空间交互模块中的门控卷积模块，记该模块输入的特征图为
Figure FDA0004163444390000061
将输入特征图Fα进行层归一化(记为LN1)，得到归一化特征图
Figure FDA0004163444390000062
接着将/>
Figure FDA0004163444390000063
经过一个1×1卷积将其通道扩大到原来的两倍，得到特征图
Figure FDA0004163444390000064
将/>
Figure FDA0004163444390000065
沿通道拆分为两个特征图/>
Figure FDA0004163444390000066
将q输入到深度可分离卷积后得到特征图/>
Figure FDA0004163444390000067
再将其拆分为n(n为阶数)个特征图/>
Figure FDA0004163444390000068
其中/>
Figure FDA0004163444390000069
将特征图p0与特征图q0相乘后经过一个1×1卷积将其通道扩大到原来的两倍，得到第一次空间交互特征图/>
Figure FDA00041634443900000610
将特征图p1与特征图q1相乘后经过一个1×1卷积将其通道扩大到原来的两倍，得到第二次空间交互特征图/>
Figure FDA00041634443900000611
然后依次迭代到特征图pn-1与特征图qn-1相乘后经过一个输入通道数与输出通道数相同、卷积核大小为1×1的卷积层，得到n次空间交互特征图/>
Figure FDA00041634443900000612
最后将输入特征图Fα与pn相加得到中间输出特征图/>
Figure FDA00041634443900000613
具体公式表示如下：
Figure FDA00041634443900000614
Figure FDA00041634443900000615
Figure FDA00041634443900000616
Q＝DWConv(q)
Figure FDA00041634443900000617
Figure FDA00041634443900000618
Figure FDA0004163444390000071
其中，Split(·)是沿通道维度拆分，DWConv(·)是深度可分离卷积，Conv1(·)是卷积核大小为1×1的卷积层，
Figure FDA0004163444390000072
是矩阵乘法运算，/>
Figure FDA0004163444390000073
是矩阵加法运算；
步骤B42、构建高阶空间交互模块中的前馈模块，输入为步骤B41得到的特征图Fmid，对Fmid进行层归一化，记为LN2，之后输入两层全连接层中，记为MLP，两层全连接层的输出再与特征图Fmid相加后得到高阶空间交互特征
Figure FDA0004163444390000074
具体公式表示如下：
Figure FDA0004163444390000075
其中
Figure FDA0004163444390000076
是矩阵加法运算；
步骤B43、构建高阶空间交互模块中的通道缩减模块，输入为步骤B42得到的Fh si，将Fh si依次经过1×1卷积、BN层、ReLU激活函数，得到通道缩减后的高阶空间交互特征图
Figure FDA0004163444390000077
具体公式表示如下：
F′h si＝ReLU(BN(Conv1(Fh si)))
其中Conv1(·)是卷积核大小为1×1的卷积层，BN(·)是批归一化操作，ReLU(·)是激活函数；
步骤B44、首先构建上下文聚合模块中的卷积块，记该上下文聚合模块输入为两个不同尺度的特征图
Figure FDA0004163444390000078
和/>
Figure FDA0004163444390000079
先将特征图Fh igh进行双线性插值上采样，将其宽度和高度调整到与Flow同样的宽度和高度，再与Flow沿通道维度拼接，然后依次经过1×1卷积、BN层、ReLU激活函数得到特征图/>
Figure FDA00041634443900000710
再将Fcat沿通道维度平均分为四个特征图/>
Figure FDA00041634443900000711
和/>
Figure FDA0004163444390000081
将/>
Figure FDA0004163444390000082
和/>
Figure FDA0004163444390000083
相加后依次经过3×3卷积、BN层、ReLU激活函数得到特征图/>
Figure FDA0004163444390000084
将/>
Figure FDA0004163444390000085
和/>
Figure FDA0004163444390000086
三者相加后依次经过膨胀率为2的3×3卷积、BN层、ReLU激活函数得到特征图/>
Figure FDA0004163444390000087
Figure FDA0004163444390000088
将/>
Figure FDA0004163444390000089
和/>
Figure FDA00041634443900000810
三者相加后依次经过膨胀率为3的3×3卷积、BN层、ReLU激活函数得到特征图/>
Figure FDA00041634443900000811
将/>
Figure FDA00041634443900000812
和/>
Figure FDA00041634443900000813
相加后依次经过膨胀率为4的3×3卷积、BN层、ReLU激活函数得到特征图
Figure FDA00041634443900000814
然后将/>
Figure FDA00041634443900000815
和/>
Figure FDA00041634443900000816
沿通道维度拼接后依次经过1×1卷积、BN层、ReLU激活函数得到特征图/>
Figure FDA00041634443900000817
最后将Fcat和F'cat相加后依次经过3×3卷积、BN层、ReLU激活函数得到上下文特征图/>
Figure FDA00041634443900000818
具体公式表示如下：
Fcat＝ReLU(BN(Conv1(Concat(Flow,Up(Fhigh)))))
Figure FDA00041634443900000819
Figure FDA00041634443900000820
Figure FDA00041634443900000821
Figure FDA00041634443900000822
Figure FDA00041634443900000823
Figure FDA00041634443900000824
Figure FDA00041634443900000825
其中Up(·)是双线性插值上采样操作，Concat(·,·)和Concat(·,·,·,·)是沿通道维度拼接操作，
Figure FDA00041634443900000826
是矩阵加法运算，Conv3(·)是卷积核大小为3×3的卷积层，Conv3d＝i(·)是膨胀率为i的3×3卷积，Conv1(·)是卷积核大小为1×1的卷积层，EN(·)是批归一化操作，ReLU(·)是激活函数，Split(·)是沿通道维度均等拆分操作。
8.根据权利要求3所述的基于边缘特征融合和高阶空间交互的伪装目标检测方法，其特征在于，所述步骤B5具体实现步骤如下：
步骤B5、设计基于边缘特征融合和高阶空间交互的伪装目标检测网络，包括边缘感知模块、边缘特征融合模块、边缘增强模块、高阶空间交互模块、上下文聚合模块；输入原图像，经过步骤B1的主干网络得到四个不同尺度的特征图
Figure FDA0004163444390000091
和/>
Figure FDA0004163444390000092
Figure FDA0004163444390000093
将F1和F4输入到步骤B2中的边缘感知模块，得到边缘特征图/>
Figure FDA0004163444390000094
Figure FDA0004163444390000095
和边缘掩码/>
Figure FDA0004163444390000096
然后构建三个步骤B3中的边缘增强模块，分别记为EEM1、EEM2和EEM3，其中EEM1的输入为步骤B1中提取的第四阶段特征图F4和步骤B2得到的边缘掩码Me，输出为边缘增强特征
Figure FDA0004163444390000097
EEM2的输入为步骤B1中提取的第三阶段特征图F3和步骤B2得到的边缘掩码Me，输出为边缘增强特征/>
Figure FDA0004163444390000098
EEM3的输入为步骤B1中提取的第二阶段特征图F2和步骤B2得到的边缘掩码Me，输出为边缘增强特征/>
Figure FDA0004163444390000099
接着构建一个步骤B3中的边缘特征融合模块，输入为步骤B1中提取的第一阶段特征图F1、步骤B2得到的边缘特征图Fe和边缘掩码Me，输出为融合边缘信息的特征图/>
Figure FDA00041634443900000910
然后，构建四个步骤B4中的高阶空间交互模块，分别记为HSIM1、HSIM2、HSIM3和HSIM4，它们的输入分别是步骤B3得到的特征图/>
Figure FDA00041634443900000911
Figure FDA00041634443900000912
和/>
Figure FDA00041634443900000913
输出分别为/>
Figure FDA00041634443900000914
Figure FDA00041634443900000915
和/>
Figure FDA00041634443900000916
紧接着构建三个步骤B4中的上下文聚合模块中，分别记为CAM1、CAM2和CAM3，其中CAM1的输入为特征图/>
Figure FDA0004163444390000101
和/>
Figure FDA0004163444390000102
输出为上下文特征图/>
Figure FDA0004163444390000103
Figure FDA0004163444390000104
CAM2的输入为CAM1的输出/>
Figure FDA0004163444390000105
和特征图/>
Figure FDA0004163444390000106
输出为上下文特征图/>
Figure FDA0004163444390000107
CAM3的输入为CAM2的输出/>
Figure FDA0004163444390000108
和特征图/>
Figure FDA0004163444390000109
输出为上下文特征图/>
Figure FDA00041634443900001010
对于边缘掩码Me，将其进行双线性插值上采样放大4倍，得到最终边缘掩码Medge；对于上下文特征图/>
Figure FDA00041634443900001011
经过1×1卷积将其压缩为1通道后将进行双线性插值上采样放大16倍，得到第一阶段伪装目标掩码/>
Figure FDA00041634443900001012
对于上下文特征图/>
Figure FDA00041634443900001013
经过1×1卷积将其压缩为1通道后将其进行双线性插值上采样放大8倍，得到第二阶段伪装目标掩码/>
Figure FDA00041634443900001014
对于上下文特征图/>
Figure FDA00041634443900001015
经过1×1卷积将其压缩为1通道后将其进行双线性插值上采样放大4倍，得到最终伪装目标掩码/>
Figure FDA00041634443900001016
具体公式表示如下：
Medge＝Upscale＝4(Me)
Figure FDA00041634443900001017
Figure FDA00041634443900001018
Figure FDA00041634443900001019
其中，Upscale＝4(·)是倍数为4的双线性插值上采样，Upscale＝8(·)是倍数为8的双线性插值上采样，Upscale＝16(·)是倍数为16的双线性插值上采样，Conv1(·)是卷积核大小为1×1、输出通道数为1的卷积层。
9.根据权利要求1所述的基于边缘特征融合和高阶空间交互的伪装目标检测方法，其特征在于，所述步骤C具体实现步骤如下：
步骤C、设计损失函数作为约束来优化基于边缘特征融合和高阶空间交互的伪装目标检测网络，具体的公式如下：
Figure FDA0004163444390000111
其中，Gcamo表示原图像I对应的标签图像，Gedge表示原图像I对应的边缘标签图像，
Figure FDA0004163444390000112
表示为总的损失函数，/>
Figure FDA0004163444390000113
表示加权二元交叉熵损失，/>
Figure FDA0004163444390000114
表示为加权交并比损失，/>
Figure FDA0004163444390000115
表示Dice系数损失，λ表示为该损失的权重。
10.根据权利要求1所述的基于边缘特征融合和高阶空间交互的伪装目标检测方法，其特征在于，所述步骤D具体实现步骤如下：
步骤D1、将步骤A得到的训练数据集随机划分为若干个批次，每个批次包含N对图像；
步骤D2、输入原图像I，经过步骤B中的基于边缘特征融合和高阶空间交互的伪装目标检测网络后得到边缘掩码Medge、伪装目标掩码
Figure FDA0004163444390000116
Figure FDA0004163444390000117
和/>
Figure FDA0004163444390000118
使用步骤C中的公式计算损失/>
Figure FDA0004163444390000119
步骤D3、根据损失使用反向传播方法计算网络中参数的梯度，并利用Adam优化方法更新网络参数；
步骤D4、以批次为单位重复执行步骤D1至步骤D3，直至网络的目标损失函数数值收敛至纳什平衡，保存网络参数，得到基于边缘特征融合和高阶空间交互的伪装目标检测模型；对于测试的伪装目标图像，以模型预测的三个伪装目标掩码中分辨率最大的
Figure FDA00041634443900001110
作为最终的伪装目标掩码。
CN202310356445.2A 2023-04-06 2023-04-06 基于边缘特征融合和高阶空间交互的伪装目标检测方法 Pending CN116310693A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310356445.2A CN116310693A (zh) 2023-04-06 2023-04-06 基于边缘特征融合和高阶空间交互的伪装目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310356445.2A CN116310693A (zh) 2023-04-06 2023-04-06 基于边缘特征融合和高阶空间交互的伪装目标检测方法

Publications (1)

Publication Number Publication Date
CN116310693A true CN116310693A (zh) 2023-06-23

Family

ID=86824077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310356445.2A Pending CN116310693A (zh) 2023-04-06 2023-04-06 基于边缘特征融合和高阶空间交互的伪装目标检测方法

Country Status (1)

Country Link
CN (1) CN116310693A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563313A (zh) * 2023-07-11 2023-08-08 安徽大学 基于门控融合注意力的遥感影像大豆种植区域分割方法
CN117095180A (zh) * 2023-09-01 2023-11-21 武汉互创联合科技有限公司 基于分期识别的胚胎发育阶段预测与质量评估方法
CN117593517A (zh) * 2024-01-19 2024-02-23 南京信息工程大学 基于互补感知跨视图融合网络的伪装目标检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563313A (zh) * 2023-07-11 2023-08-08 安徽大学 基于门控融合注意力的遥感影像大豆种植区域分割方法
CN116563313B (zh) * 2023-07-11 2023-09-19 安徽大学 基于门控融合注意力的遥感影像大豆种植区域分割方法
CN117095180A (zh) * 2023-09-01 2023-11-21 武汉互创联合科技有限公司 基于分期识别的胚胎发育阶段预测与质量评估方法
CN117095180B (zh) * 2023-09-01 2024-04-19 武汉互创联合科技有限公司 基于分期识别的胚胎发育阶段预测与质量评估方法
CN117593517A (zh) * 2024-01-19 2024-02-23 南京信息工程大学 基于互补感知跨视图融合网络的伪装目标检测方法
CN117593517B (zh) * 2024-01-19 2024-04-16 南京信息工程大学 基于互补感知跨视图融合网络的伪装目标检测方法

Similar Documents

Publication Publication Date Title
Alshdaifat et al. Improved deep learning framework for fish segmentation in underwater videos
CN116310693A (zh) 基于边缘特征融合和高阶空间交互的伪装目标检测方法
CN112614077B (zh) 一种基于生成对抗网络的非监督低照度图像增强方法
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN109886121A (zh) 一种遮挡鲁棒的人脸关键点定位方法
CN113158862B (zh) 一种基于多任务的轻量级实时人脸检测方法
CN113221639A (zh) 一种基于多任务学习的代表性au区域提取的微表情识别方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
Su et al. Multi‐scale cross‐path concatenation residual network for Poisson denoising
CN113052755A (zh) 一种基于深度学习的高分辨率图像智能化抠图方法
Li et al. Findnet: Can you find me? boundary-and-texture enhancement network for camouflaged object detection
Zheng et al. Differential-evolution-based generative adversarial networks for edge detection
Qu et al. Visual cross-image fusion using deep neural networks for image edge detection
Xu et al. AutoSegNet: An automated neural network for image segmentation
Zhang et al. Multiresolution attention extractor for small object detection
CN116402851A (zh) 一种复杂背景下的红外弱小目标跟踪方法
CN112801092B (zh) 一种自然场景图像中字符元素检测方法
Zhu et al. A novel simple visual tracking algorithm based on hashing and deep learning
CN113781465A (zh) 基于Grad-CAM的医学图像分割模型可视化方法
CN109284765A (zh) 基于负值特征的卷积神经网络的自然图像分类方法
Yan et al. Joint image-to-image translation with denoising using enhanced generative adversarial networks
CN107729992B (zh) 一种基于反向传播的深度学习方法
CN116665300A (zh) 基于时空自适应特征融合图卷积网络的骨架动作识别方法
CN115861810A (zh) 一种基于多头注意力和自监督学习的遥感图像变化检测方法及***
Wei et al. Comic style transfer based on generative confrontation network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination