CN114926734B - 基于特征聚合和注意融合的固体废弃物检测装置及方法 - Google Patents
基于特征聚合和注意融合的固体废弃物检测装置及方法 Download PDFInfo
- Publication number
- CN114926734B CN114926734B CN202210526368.6A CN202210526368A CN114926734B CN 114926734 B CN114926734 B CN 114926734B CN 202210526368 A CN202210526368 A CN 202210526368A CN 114926734 B CN114926734 B CN 114926734B
- Authority
- CN
- China
- Prior art keywords
- feature
- module
- output
- feature map
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 59
- 238000004220 aggregation Methods 0.000 title claims abstract description 40
- 230000002776 aggregation Effects 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 239000002910 solid waste Substances 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000010586 diagram Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000006116 polymerization reaction Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims 1
- 230000003044 adaptive effect Effects 0.000 description 4
- 239000010813 municipal solid waste Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于特征聚合和注意融合的固体废弃物检测装置及方法。该装置包括特征提取单元、特征融合单元和目标检测单元;所述特征提取单元采用深层聚合网络作为主干网络,用于从输入的遥感图像中提取图像特征信息以输出五种不同下采样倍数的特征图,按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5;所述特征融合单元,用于对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图,按照尺寸从大到小的顺序依次记作P3、P4和P5;所述目标检测单元,用于从所述的三种不同大小的特征图中检测固体废弃物。
Description
技术领域
本发明涉及遥感目标检测技术领域,尤其涉及一种基于特征聚合和注意融合的固体废弃物检测装置及方法。
背景技术
近几年来,随着先进的光学遥感图像传感器的发展,使得获得高分辨率的遥感图像成为可能。在高质量的遥感图像中,常常可以看见地面上的固体废弃物,而固体废弃物对人体健康和生态环境会造成一定的威胁,因此需要检测出固体废弃物的位置并做出相应的处理,如此才有利于构建良好的生态环境。
然而由于垃圾目标的特殊性,使得垃圾目标的检测工作通常面临以下几点挑战:(1)垃圾目标常被复杂背景因素所干扰,现有网络的特征提取能力不足,难以区分出被检物体和复杂背景的纹理规则和特征信息。(2)由于航空图像通常在很高的地方拍摄,导致垃圾目标的尺度在同一张遥感图像中变化范围很大。(3)大多固体废弃物呈不规则形状,且目标特征破碎,不利于网络编码多尺度地理空间信息。
发明内容
为了能够解决上述的至少一部分问题,本发明提供一种基于特征聚合和注意融合的固体废弃物检测装置及方法。
一方面,本发明提供一种基于特征聚合和注意融合的固体废弃物检测装置,1.基于特征聚合和注意融合的固体废弃物检测装置,包括:特征提取单元、特征融合单元和目标检测单元;
所述特征提取单元采用深层聚合网络作为主干网络,用于从输入的遥感图像中提取图像特征信息以输出五种不同下采样倍数的特征图,按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5;
所述特征融合单元,用于对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图,按照尺寸从大到小的顺序依次记作P3、P4和P5;
所述目标检测单元,用于从所述的三种不同大小的特征图中检测固体废弃物。
进一步地,所述特征融合单元包括特征图输入子单元、空间注意融合子单元和特征图输出子单元;
所述特征图输入子单元,用于对所述特征图C3、C4和C5进行卷积、采样和拼接处理后输出三个新的不同大小的特征图,按照尺寸从大到小的顺序依次记作C3’、C4’和C5’;
所述空间注意融合子单元,包括三个CAM模块和三个AFM模块,每个所述CAM模块均同时连接至三个所述AFM模块;其中,三个特征图C3’、C4’和C5’分别作为三个所述CAM模块的输入,每个所述AFM模块各自分别对三个所述CAM模块的输出进行特征融合后输出,将三个所述AFM模块输出的特征图按照尺寸从大到小的顺序依次记作P3’、P4’和P5’;
所述特征图输出子单元,用于对特征图P3’、P4’和P5’进行跨阶段局部连接和拼接后输出所述特征图P3、P4和P5。
进一步地,所述特征图输入子单元包括第一CBS模块、第二CBS模块、第一Concat模块、第二Concat模块和第一CSP模块;其中,所述特征图C5经所述第一CBS模块处理后输出特征图C5’;所述特征图C5’经上采样后和所述特征图C4采用所述第一Concat模块进行拼接,所述第一Concat模块的输出依次经过所述第一CSP模块和所述第二CBS模块后输出特征图C4’;所述特征图C4’和所述特征图C3采用所述第二Concat模块进行拼接后输出特征图C3’。
进一步地,所述特征图输出子单元包括第一CSP模块、第二CSP模块、第三CSP模块、第四Concat模块和第五Concat模块;其中,所述特征图P3’经所述第一CSP模块后输出特征图P3;所述特征图P3和所述特征图P4’采用所述第四Concat模块进行拼接后再经所述第二CSP模块后输出特征图P4;所述特征图P4和所述特征图P5’采用所述第五Concat模块进行拼接后再经所述第三CSP模块后输出特征图P5。
进一步地,每个所述CAM模块中,针对拆分之前的中间特征图,根据缩放比计算所述中间特征图,设置所述缩放比为32。
另一方面,本发明提供一种基于特征聚合和注意融合的固体废弃物检测方法,采用上述的基于特征聚合和注意融合的固体废弃物检测装置,所述方法包括:
将待检测遥感图像输入至所述特征提取单元提取图像特征信息以输出五种不同下采样倍数的特征图,按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5;
利用所述特征融合单元对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图,按照尺寸从大到小的顺序依次记作P3、P4和P5;
利用所述目标检测单元从所述的三种不同大小的特征图中检测固体废弃物。
进一步地,所述待检测遥感图像的分辨率为640×640。
进一步地,所述特征图C1、C2、C3、C4和C5对应的下采样倍数分别为2、4、8、16和32倍。
本发明的有益效果:
(1)为了提高网络对废弃物的特征提取能力,以及增强模型在复杂环境下的检测鲁棒性,本发明使用深层聚合主干网络来替换原有YOLOv5s的主干网络,从而区分出被检物体和复杂背景的纹理规则和特征信息。
(2)本发明通过构建一个多尺度空间注意融合网络,可以捕捉不规则形状废弃物的散射特征和多尺度地理空间信息,从而提高模型的特征定位和特征融合能力。
(3)通过构建固体废弃物航空检测数据集来验证本发明的有效性(可以参见图7至图9所示的实验效果图),实验结果表明本发明对更高效地检测垃圾的精确位置具有重大的实际意义。
附图说明
图1为本发明实施例提供的基于特征聚合和注意融合的固体废弃物检测装置的结构示意图;
图2为本发明实施例提供的深层聚合网络的结构示意图之一;
图3为本发明实施例提供的深层聚合网络的结构示意图之二;
图4为本发明实施例提供的特征融合单元的结构示意图;
图5为本发明实施例提供的CAM模块的结构示意图;
图6为本发明实施例提供的AFM模块的结构示意图;
图7为本发明实施例提供的实验效果图之一;
图8为本发明实施例提供的实验效果图之二;
图9为本发明实施例提供的实验效果图之三。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明使用深度学习替代传统方法,提供一种基于特征聚合和注意融合的高效固体废弃物检测装置及方法,用于检测建筑垃圾、砾石等固体废弃物。
实施例1
如图1所示,本发明实施例提供一种基于特征聚合和注意融合的固体废弃物检测装置,包括:特征提取单元(图1中的DLA Backbone)、特征融合单元(图1中的SAFNet)和目标检测单元;
所述特征提取单元采用深层聚合(DLA)网络作为主干网络用于从输入的遥感图像中提取图像特征信息以输出五种不同下采样倍数的特征图,按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5;所述特征融合单元用于对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图,按照尺寸从大到小的顺序依次记作P3、P4和P5;所述目标检测单元用于从所述的三种不同大小的特征图中检测固体废弃物。
具体地,本发明实施例所采用的DLA网络的网络架构如图2和图3所示。由图2可知,DLA根据特征分辨率划分为多个阶段,各个阶段从浅层向深层不断地进行迭代融合,将浅层特征传播至更深,以获得更多层次的丰富特征组合。其中,阶段1(Stage1)是由一个带有批量归一化和激活函数的,卷积核大小为6×6的卷积层形成。对于其他阶段(Stage2至Stage5),由IDA和HDA的组合构成,以用于进一步的迭代深度聚合和传播特征信息;IDA是指迭代深度聚合,Iterative Deep Aggregation;HDA是指分层深度聚合,Hierarchical DeepAggregation。
在图2中,以Stage3的输出与Stage4的输出进行迭代深度聚合为例。将Stage4的输出进行上采样后,(上采样后,其特征图大小则与Stage3的输出特征图大小一致),再利用聚合节点将Stage3的输出与Stage4的输出进行聚合,具体来说,将Stage3与Stage4进行Concat后,再进行卷积运算。在图3中,以在Stage2进一步生成Stage3的过程中,使用到的迭代深度聚合为例。Stage2的输出一部分作为Stage3的输入,一部分与Stage3的输出进行聚合。
在图3中,以深度为3为例,通过分层深度聚合后的输出等于聚合节点聚合和后的结果。具体来说,Stage2的输出,即分为两个分支,一部分作为Stage3的输入,一部分与Stage3的输出进行聚合。对于作为Stage3的输入这一部分,先将Stage2的输出进行下采样得到x1,再经过卷积操作得到x2。将x1与x2进行聚合得到N(x1,x2),得到的结果一部分作为最后聚合的输入,一部分作为x3的输入。x3经过卷积操作得到x4。最后经过分层深度聚合后的输出等于聚合节点聚合(Stage2的输出)、(x1与x2聚合得到的结果)、(x3)和(x4)后的结果。
在本发明实施例中,为了更高效地增强检测层融合语义和空间信息的能力,作为一种可实施方式,如图4所示,所述特征融合单元是一种多尺度空间注意融合网络(Multi-scale Spatial Attention Fusion Network,SAFNet),从而提高整体网络的检测性能。所述SAFNet包括特征图输入子单元、空间注意融合子单元(图4中的SAFM模块)和特征图输出子单元;
所述特征图输入子单元,用于对所述特征图C3、C4和C5进行卷积、采样和拼接处理后输出三个新的不同大小的特征图,按照尺寸从大到小的顺序依次记作C3’、C4’和C5’;
具体地,所述特征图输入子单元包括第一CBS模块、第二CBS模块、第一Concat模块、第二Concat模块和第一CSP模块;其中,所述特征图C5经所述第一CBS模块处理后输出特征图C5’;所述特征图C5’经上采样后和所述特征图C4采用所述第一Concat模块进行拼接,所述第一Concat模块的输出依次经过所述第一CSP模块和所述第二CBS模块后输出特征图C4’;所述特征图C4’和所述特征图C3采用所述第二Concat模块进行拼接后输出特征图C3’。
所述空间注意融合子单元,包括三个CAM模块和三个AFM模块,每个所述CAM模块均同时连接至三个所述AFM模块;其中,三个特征图C3’、C4’和C5’分别作为三个所述CAM模块的输入,每个所述AFM模块各自分别对三个所述CAM模块的输出进行特征融合后输出,将三个所述AFM模块输出的特征图按照尺寸从大到小的顺序依次记作P3’、P4’和P5’;
具体地,CAM模块是指Coordinate注意力模块,Coordinate Attention Module;该CAM模块可以使网络更加关注目标的通道特征和位置信息。AFM模块是指自适应融合模块,Adaptive Fusion Module;该AFM模块可以自适应地学习各尺度特征图中包含的空间权重,使网络自适应地融合学习到的特征信息,从而提高特征的尺度不变性。
遥感图像中的目标通常由于拍摄高度过高,而导致目标尺寸相对较小和密集,对目标坐标预测的细小偏差可能会影响检测性能,本发明实施例通过采用CAM模块可以解决上述问题。
如图5所示为CAM模块的结构示意图,其对特征图的处理过程如下:给定输入特征图其中C,H和W代表特征图的通道数,高度和宽度。然后使用两个尺寸分别为H×1和1×W的平均池化核,沿着水平坐标和垂直坐标对每个通道进行编码,该过程采用公式(1)至公式(3)来描述:
Fx=FGAP(1,W)(F) (2)
Fy=FGAP(H,1)(F) (3)
其中,FGAP表示全局平均池化,这两种变换沿着两个空间方向聚合,一个空间方向负责捕捉长期依赖关系,获得全局感受野,另一个方向负责保留精确的位置信息,从而生成一对方向感知特征图,分别为和
然后,将这对特征图连接起来进行卷积变换操作,该过程采用公式(4)和(5)来表示:
Conv(x)=∑iwixi+b (4)
f=δ(BN(Conv([Fx,Fy]))) (5)
其中,Conv表示卷积操作,wi和b表示卷积中的权值,δ表示非线性激活函数,BN表示批量归一化处理,[·,·]表示连接操作,最后得到的表示中间特征图,r表示缩放比,本发明实施例中设置为32以减少f的通道数。
接着,将f拆分成两个独立的张量和接着利用另外两个1×1卷积将F′x和F′y变换和输入F具有相同通道数的张量,从而得到:
F″x=σ(conv1×1(F′x)) (6)
F″y=σ(conv1×1(F′y)) (7)
其中,F″x和F″y分别用作注意力权重,σ表示sigmoid归一化函数,conv1×1表示用来降低参数量的1×1卷积,最终输出Y为经过该CAM模块后的结果。
从上述特征图处理过程中,可以看出CAM模块具有捕捉位置信息和通道关系的能力,以获得精准的定位信息,其中包含的编码过程可以帮助网络更好地定位和提取感兴趣目标的位置信息,从而提高模型的整体检测性能。
如图6所示为AFM模块的结构示意图,其对特征图的处理过程如下:包括以下两个步骤:(1)特征缩放;(2)自适应融合。
(1)特征缩放
将l层分辨率的特征表示为xl,其中l∈{1,2,3}。对于l层,将在其他n(n≠l)层的特征图xn大小调整为与xl相同的形状。由于各层特征图的分辨率大小不同,因此对每个尺度执行上采样(up-sampling)或下采样(down-sampling)以保证尺寸一致。
对于上采样,本发明实施例采用1×1卷积层将特征层的通道数压缩到n层,然后用插值法提高分辨率。
对于1/2比例的下采样,本发明实施例采用3×3,步长为2的卷积层同时修改通道数和分辨率。
对于1/4比例的下采样,本发明实施例在3×3卷积之前添加一个步长为2的最大池化层。
(2)自适应融合
设表示在位置(i,j)上,从n层调整到l层的特征向量,则l层的输出为:
其中,表示通道之间输出特征图yl的第(i,j)个向量。和表示三个不同层对l层的空间权重,其中并且权重标量和分别从x1→l,x2→l和x3→l中使用1×1卷积计算,可以通过反向传播来学习。
所述特征图输出子单元,用于对特征图P3’、P4’和P5’进行跨阶段局部连接和拼接后输出所述特征图P3、P4和P5。
具体地,所述特征图输出子单元包括第一CSP模块、第二CSP模块、第三CSP模块、第四Concat模块和第五Concat模块;其中,所述特征图P3’经所述第一CSP模块后输出特征图P3;所述特征图P3和所述特征图P4’采用所述第四Concat模块进行拼接后再经所述第二CSP模块后输出特征图P4;所述特征图P4和所述特征图P5’采用所述第五Concat模块进行拼接后再经所述第三CSP模块后输出特征图P5。
实施例2
在上述实施例的基础上,本发明实施例还提供一种基于特征聚合和注意融合的固体废弃物检测方法,所述方法包括:
将待检测遥感图像输入至所述特征提取单元提取图像特征信息以输出五种不同下采样倍数的特征图,按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5;
具体地,所述待检测遥感图像的分辨率为640×640。所述特征图C1、C2、C3、C4和C5对应的下采样倍数分别为2、4、8、16和32倍。即,特征图和
利用所述特征融合单元对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图,按照尺寸从大到小的顺序依次记作P3、P4和P5;
利用所述目标检测单元从所述的三种不同大小的特征图中检测固体废弃物。
本发明方法将输入图像的分辨率调整为640×640,然后通过深层聚合主干网络(DLA)提取出输入图像的特征信息,输出下采样分别为2、4、8、16、32倍的特征图,对应特征图C1,C2,C3,C4和C5,接着从主干网络的输出中选择特征图C3,C4和C5送入SAFNet中进行特征融合,该网络可以在空间上过滤冲突信息,以学习到丰富的多尺度空间特征信息,最后输出不同大小的特征图P3,P4和P5用来预测不同大小的目标。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.基于特征聚合和注意融合的固体废弃物检测装置,其特征在于,包括:特征提取单元、特征融合单元和目标检测单元;
所述特征提取单元采用深层聚合网络作为主干网络,用于从输入的遥感图像中提取图像特征信息以输出五种不同下采样倍数的特征图,按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5;
所述特征融合单元,用于对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图,按照尺寸从大到小的顺序依次记作P3、P4和P5;
所述特征融合单元包括特征图输入子单元、空间注意融合子单元和特征图输出子单元;
所述特征图输入子单元,用于对所述特征图C3、C4和C5进行卷积、采样和拼接处理后输出三个新的不同大小的特征图,按照尺寸从大到小的顺序依次记作C3’、C4’和C5’;
所述空间注意融合子单元,包括三个CAM模块和三个AFM模块,每个所述CAM模块均同时连接至三个所述AFM模块;其中,三个特征图C3’、C4’和C5’分别作为三个所述CAM模块的输入,每个所述AFM模块各自分别对三个所述CAM模块的输出进行特征融合后输出,将三个所述AFM模块输出的特征图按照尺寸从大到小的顺序依次记作P3’、P4’和P5’;
所述特征图输出子单元,用于对特征图P3’、P4’和P5’进行跨阶段局部连接和拼接后输出所述特征图P3、P4和P5;
所述目标检测单元,用于从所述的三种不同大小的特征图中检测固体废弃物。
2.根据权利要求1所述的基于特征聚合和注意融合的固体废弃物检测装置,其特征在于,所述特征图输入子单元包括第一CBS模块、第二CBS模块、第一Concat模块、第二Concat模块和第一CSP模块;其中,所述特征图C5经所述第一CBS模块处理后输出特征图C5’;所述特征图C5’经上采样后和所述特征图C4采用所述第一Concat模块进行拼接,所述第一Concat模块的输出依次经过所述第一CSP模块和所述第二CBS模块后输出特征图C4’;所述特征图C4’和所述特征图C3采用所述第二Concat模块进行拼接后输出特征图C3’。
3.根据权利要求1所述的基于特征聚合和注意融合的固体废弃物检测装置,其特征在于,所述特征图输出子单元包括第一CSP模块、第二CSP模块、第三CSP模块、第四Concat模块和第五Concat模块;其中,所述特征图P3’经所述第一CSP模块后输出特征图P3;所述特征图P3和所述特征图P4’采用所述第四Concat模块进行拼接后再经所述第二CSP模块后输出特征图P4;所述特征图P4和所述特征图P5’采用所述第五Concat模块进行拼接后再经所述第三CSP模块后输出特征图P5。
4.根据权利要求1所述的基于特征聚合和注意融合的固体废弃物检测装置,其特征在于,每个所述CAM模块中,针对拆分之前的中间特征图,根据缩放比计算所述中间特征图,设置所述缩放比为32。
5.基于特征聚合和注意融合的固体废弃物检测方法,其特征在于,采用如权利要求1-4任一所述的装置,所述方法包括:
将待检测遥感图像输入至所述特征提取单元提取图像特征信息以输出五种不同下采样倍数的特征图,按照下采样倍数从小到大的顺序依次记作C1、C2、C3、C4和C5;
利用所述特征融合单元对下采样倍数较大的三种特征图进行特征注意融合以输出三种不同大小的特征图,按照尺寸从大到小的顺序依次记作P3、P4和P5;
利用所述目标检测单元从所述的三种不同大小的特征图中检测固体废弃物。
6.根据权利要求5所述的基于特征聚合和注意融合的固体废弃物检测方法,其特征在于,所述待检测遥感图像的分辨率为640×640。
7.根据权利要求5所述的基于特征聚合和注意融合的固体废弃物检测方法,其特征在于,所述特征图C1、C2、C3、C4和C5对应的下采样倍数分别为2、4、8、16和32倍。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210526368.6A CN114926734B (zh) | 2022-05-16 | 2022-05-16 | 基于特征聚合和注意融合的固体废弃物检测装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210526368.6A CN114926734B (zh) | 2022-05-16 | 2022-05-16 | 基于特征聚合和注意融合的固体废弃物检测装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114926734A CN114926734A (zh) | 2022-08-19 |
CN114926734B true CN114926734B (zh) | 2024-06-28 |
Family
ID=82808072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210526368.6A Active CN114926734B (zh) | 2022-05-16 | 2022-05-16 | 基于特征聚合和注意融合的固体废弃物检测装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114926734B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115984661B (zh) * | 2023-03-20 | 2023-08-29 | 北京龙智数科科技服务有限公司 | 目标检测中的多尺度特征图融合方法、装置、设备及介质 |
CN116052008B (zh) * | 2023-04-03 | 2023-06-02 | 华南理工大学 | 一种建筑废弃物分拣与处理*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329800A (zh) * | 2020-12-03 | 2021-02-05 | 河南大学 | 一种基于全局信息引导残差注意力的显著性目标检测方法 |
CN113567984A (zh) * | 2021-07-30 | 2021-10-29 | 长沙理工大学 | 一种sar图像中人造小目标的检测方法及*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110070511B (zh) * | 2019-04-30 | 2022-01-28 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
US11361470B2 (en) * | 2019-05-09 | 2022-06-14 | Sri International | Semantically-aware image-based visual localization |
-
2022
- 2022-05-16 CN CN202210526368.6A patent/CN114926734B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329800A (zh) * | 2020-12-03 | 2021-02-05 | 河南大学 | 一种基于全局信息引导残差注意力的显著性目标检测方法 |
CN113567984A (zh) * | 2021-07-30 | 2021-10-29 | 长沙理工大学 | 一种sar图像中人造小目标的检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN114926734A (zh) | 2022-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112750140B (zh) | 基于信息挖掘的伪装目标图像分割方法 | |
CN110969124B (zh) | 基于轻量级多分支网络的二维人体姿态估计方法及*** | |
CN114926734B (zh) | 基于特征聚合和注意融合的固体废弃物检测装置及方法 | |
CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
CN110929736A (zh) | 多特征级联rgb-d显著性目标检测方法 | |
CN113807361B (zh) | 神经网络、目标检测方法、神经网络训练方法及相关产品 | |
CN110929735B (zh) | 一种基于多尺度特征注意机制的快速显著性检测方法 | |
CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
CN113076957A (zh) | 一种基于跨模态特征融合的rgb-d图像显著性目标检测方法 | |
CN113468996A (zh) | 一种基于边缘细化的伪装物体检测方法 | |
CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及*** | |
CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
CN112800932B (zh) | 海上背景下显著船舶目标的检测方法及电子设备 | |
CN116778346B (zh) | 一种基于改进自注意力机制的管线识别方法及*** | |
CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
CN116342675B (zh) | 一种实时单目深度估计方法、***、电子设备及存储介质 | |
CN116310828A (zh) | 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置 | |
CN116258756A (zh) | 一种自监督单目深度估计方法及*** | |
CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
CN114842012B (zh) | 基于位置意识u型网络的医学图像小目标检测方法及装置 | |
CN112990215B (zh) | 图像去噪方法、装置、设备及存储介质 | |
CN115063573B (zh) | 一种基于注意力机制的多尺度目标检测方法 | |
CN117557775B (zh) | 基于红外和可见光融合的变电站电力设备检测方法及*** | |
CN116486203B (zh) | 一种基于孪生网络和在线模板更新的单目标跟踪方法 | |
CN117315275A (zh) | 场景感知方法、场景感知***、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |