CN114758206B - 一种钢网架结构异常检测方法及装置 - Google Patents

一种钢网架结构异常检测方法及装置 Download PDF

Info

Publication number
CN114758206B
CN114758206B CN202210662669.1A CN202210662669A CN114758206B CN 114758206 B CN114758206 B CN 114758206B CN 202210662669 A CN202210662669 A CN 202210662669A CN 114758206 B CN114758206 B CN 114758206B
Authority
CN
China
Prior art keywords
attention
channel
spatial
feature map
remodeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210662669.1A
Other languages
English (en)
Other versions
CN114758206A (zh
Inventor
李明鹏
高鉴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jiaying Intelligent Technology Co ltd
Original Assignee
Wuhan Jiaying Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jiaying Intelligent Technology Co ltd filed Critical Wuhan Jiaying Intelligent Technology Co ltd
Priority to CN202210662669.1A priority Critical patent/CN114758206B/zh
Publication of CN114758206A publication Critical patent/CN114758206A/zh
Application granted granted Critical
Publication of CN114758206B publication Critical patent/CN114758206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种钢网架结构异常检测方法及装置，其方法包括：获取训练完备的目标钢网架结构异常检测模型，所述目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；获取待检测钢网架结构图像；基于所述多尺度融合模块对所述待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对所述多个特征图进行融合，获得多尺度融合特征图；基于所述引导注意力模块以及所述多个特征图、所述多尺度融合特征图确定钢网架结构异常检测结果。本发明通过引导注意力模块提高对复杂不规则网架结构的特征提取和学习能力，可提高钢网架结构异常检测结果的准确性。

Description

一种钢网架结构异常检测方法及装置
技术领域
本发明涉及钢网架结构检测技术领域，具体涉及一种钢网架结构异常检测方法及装置。
背景技术
随着社会经济的迅猛腾飞, 游泳馆、体育场、航站楼、工业厂房、科展厅、宴会厅等大中型公共建筑受到了世界各国的高度重视。钢网架结构以其重量轻、空间刚度大、抗震性能好、用材经济、施工方便、造型美观等优点而应用广泛。然而,在大跨建筑发展同时，钢网架规模越来越大，网架结构形式也变得越发复杂，使得网架的施工难度增大。同时为了追求快速低成本的施工，钢网架结构在施工过程中发生质量安全问题的概率随之增大。此外，钢网架结构建成后长期受外环境腐蚀，构件有效截面减小，进而导致杆件的应力愈大，降低钢架强度和刚度而过早地进入材料的屈服极限，使结构产生更大的变形和内力重分布，影响其安全使用甚至造成突然倒塌。钢网架结构的耐久性及安全性问题日益突出。及时对钢网架结构进行异常检测鉴定非常必要，对安全事故防护具有重要的意义。
传统的方法多基于人工现场对钢网架结构情况进行目视检查，这种方式属于劳动密集型任务。由于钢网架结构跨度大且高度高，普通的目视检查难以完全涉及整个结构细节，势必会带来极其繁重的人工劳动。且由于个体差异，人工检查也不可避免的引入主观判断误差。更严重的是，高空攀爬作业会带来潜在的安全事故。这使得有必要开发一种兼顾安全性、便捷性、准确性的钢网架结构智能异常检测方法。因此，现有技术中提出了通过深度学习神经网络对钢网架结构异常进行智能检测，但由于钢网架结构复杂，往往呈不规则形，现有技术中的深度学习神经网络对钢网架结构异常检测的准确率较低。
发明内容
有鉴于此，有必要提供一种钢网架结构异常检测方法和装置，用以解决现有技术中存在的钢网架结构异常检测准确率较低的技术问题。
一方面，本发明提供了一种钢网架结构异常检测方法，包括：
获取训练完备的目标钢网架结构异常检测模型，所述目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；
获取待检测钢网架结构图像；
基于所述多尺度融合模块对所述待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对所述多个特征图进行融合，获得多尺度融合特征图；
基于所述引导注意力模块以及所述多个特征图、所述多尺度融合特征图确定钢网架结构异常检测结果。
在一些可能的实现方式中，所述引导注意力模块包括第一张量拼接子模块、空间注意力子模块、通道注意力子模块、第一张量加和子模块、第一编码解码器、第一点积运算子模块、第二点积运算子模块、第二张量拼接子模块、第二张量加和子模块、第二编码解码器以及第三点积运算子模块；
所述第一张量拼接子模块用于对所述多个特征图和所述多尺度融合特征图进行拼接，获得第一拼接特征图；
所述空间注意力子模块用于提取所述第一拼接特征图中的空间特征，获得第一空间注意力特征图；
所述通道注意力子模块用于提取所述第一拼接特征图中的通道特征，获得第一通道注意力特征图；
所述第一张量加和子模块用于对所述第一空间注意力特征图和所述第一通道注意力特征图进行张量加和，获得第一注意力特征图；
所述第一编码解码器用于对所述多个特征图和所述多尺度融合特征图进行编码和解码，获得第一编码特征和第一解码结果；
所述第一点积运算子模块用于对所述第一注意力特征图和所述第一解码结果进行点积运算，获得第一点积结果；
所述第二点积运算子模块用于对所述第一点积结果和所述多个特征图进行点积运算，获得第二点积结果；
所述第二张量拼接子模块用于对所述第二点积结果和所述多尺度融合特征图进行拼接，获得第二拼接特征图；
所述空间注意力子模块还用于提取所述第二拼接特征图中的空间特征，获得第二空间注意力特征图；
所述通道注意力子模块还用于提取所述第二拼接特征图中的通道特征，获得第二通道注意力特征图；
所述第二张量加和子模块用于对所述第二空间注意力特征图和所述第二通道注意力特征图进行张量加和，获得第二注意力特征图；
所述第二编码解码器用于对所述多个特征图和所述多尺度融合特征图进行编码和解码，获得第二编码特征和第二解码结果；
所述第三点积运算子模块用于对所述第二注意力特征图和所述第二解码结果进行点积运算，获得钢网架结构异常检测结果。
在一些可能的实现方式中，所述引导注意力模块的注意力损失函数为：
Figure 111498DEST_PATH_IMAGE001
Figure 744604DEST_PATH_IMAGE002
Figure 455072DEST_PATH_IMAGE003
Figure 261353DEST_PATH_IMAGE004
Figure 108087DEST_PATH_IMAGE005
式中，
Figure 426942DEST_PATH_IMAGE006
为注意力损失函数；
Figure 359125DEST_PATH_IMAGE007
为总引导损失；
Figure 172361DEST_PATH_IMAGE008
为总重构约束损失；N为所述多个特征图的总个数；
Figure 873600DEST_PATH_IMAGE009
为第n个特征图中的引导损失；
Figure 88988DEST_PATH_IMAGE010
为第n个特征图的重构约束损失；
Figure 570785DEST_PATH_IMAGE011
为第一编码特征；
Figure 922132DEST_PATH_IMAGE012
为第二编码特征；
Figure 743457DEST_PATH_IMAGE013
为第一拼接特征图；
Figure 623689DEST_PATH_IMAGE014
为第一解码结果；
Figure 779733DEST_PATH_IMAGE015
为第二拼接特征图；
Figure 731508DEST_PATH_IMAGE016
为第二解码结果；
Figure 407340DEST_PATH_IMAGE017
为第一权重；
Figure 989631DEST_PATH_IMAGE018
为第二权重；|| ||2为二范数。
在一些可能的实现方式中，所述空间注意力子模块包括第一空间注意力卷积层、第二空间注意力卷积层、第三空间注意力卷积层、第一空间注意力重塑层、第二空间注意力重塑层、第三空间注意力重塑层、第一空间注意力点积运算层、空间注意力归一化运算层、第二空间注意力点积运算层、第四空间注意力重塑层以及空间注意力张量拼接层；
所述第一空间注意力卷积层、第二空间注意力卷积层、第三空间注意力卷积层用于分别对所述第一拼接特征图进行空间特征提取，对应获得第一空间子特征图、第二空间子特征图和第三空间子特征图；
所述第一空间注意力重塑层、第二空间注意力重塑层、第三空间注意力重塑层用于分别对所述第一空间子特征图、第二空间子特征图和第三空间子特征图进行空间维度重塑，对应获得第一空间重塑图、第二空间重塑图和第三空间重塑图；
所述第一空间注意力点积运算层用于对所述第一空间重塑图和所述第二空间重塑图进行点积运算，获得所述第一空间重塑图和所述第二空间重塑图中各像素位置的空间相关性；
所述空间注意力归一化运算层用于对所述空间相关性进行归一化运算，获得空间注意力权重；
所述第二空间注意力点积运算层用于基于所述空间注意力权重和所述第三空间重塑图获得第二空间点积图；
所述第四空间注意力重塑层用于对所述第二空间点积图进行空间维度重塑，获得第四空间重塑图；
所述空间注意力张量拼接层用于对所述第四空间重塑图和所述第一拼接特征图进行张量拼接，获得所述第一空间注意力特征图。
在一些可能的实现方式中，所述通道注意力子模块包括第一通道注意力卷积层、第二通道注意力卷积层、第三通道注意力卷积层、第一通道注意力重塑层、第二通道注意力重塑层、第三通道注意力重塑层、第一通道注意力点积运算层、通道注意力归一化运算层、第二通道注意力点积运算层、第四通道注意力重塑层以及通道注意力张量拼接层；
所述第一通道注意力卷积层、第二通道注意力卷积层、第三通道注意力卷积层用于分别对所述第一拼接特征图进行通道特征提取，对应获得第一通道子特征图、第二通道子特征图和第三通道子特征图；
所述第一通道注意力重塑层、第二通道注意力重塑层、第三通道注意力重塑层用于分别对所述第一通道子特征图、第二通道子特征图和第三通道子特征图进行通道维度重塑，对应获得第一通道重塑图、第二通道重塑图和第三通道重塑图；
所述第一通道注意力点积运算层用于对所述第一通道重塑图和所述第二通道重塑图进行点积运算，获得所述第一通道重塑图和所述第二通道重塑图中各通道的通道相关性；
所述通道注意力归一化运算层用于对所述通道相关性进行归一化运算，获得通道注意力权重；
所述第二通道注意力点积运算层用于基于所述通道注意力权重和所述第三通道重塑图进行点积运算，获得第二通道点积图；
所述第四通道注意力重塑层用于对所述第二通道点积图进行通道维度重塑，获得第四通道重塑图；
所述通道注意力张量拼接层用于对所述第四通道重塑图和所述第一拼接特征图进行张量拼接，获得所述第一通道注意力特征图。
在一些可能的实现方式中，所述获取训练完备的目标钢网结构异常检测模型，包括：
构建初始钢网架结构异常检测模型；
构建钢网架结构样本集；
根据所述钢网架结构样本集以及预设的总损失函数训练所述初始钢网架结构异常检测模型，得到训练完备的目标钢网架结构异常检测模型。
在一些可能的实现方式中，所述总损失函数为：
Figure 383703DEST_PATH_IMAGE019
Figure 60541DEST_PATH_IMAGE020
Figure 856459DEST_PATH_IMAGE021
式中，
Figure 406389DEST_PATH_IMAGE022
为总损失函数；
Figure 225440DEST_PATH_IMAGE023
为第三权重；
Figure 971548DEST_PATH_IMAGE024
为改进焦点损失函数；
Figure 418710DEST_PATH_IMAGE025
为像素点的真实类别；
Figure 342804DEST_PATH_IMAGE026
为像素点为第c类的置信度；
Figure 711468DEST_PATH_IMAGE027
为第c类像素点在钢网架结构样本集中的出现频率；
Figure 480841DEST_PATH_IMAGE028
为负类门控系数；
Figure 237969DEST_PATH_IMAGE029
为初始权值；
Figure 332964DEST_PATH_IMAGE030
为加权系数；
Figure 923345DEST_PATH_IMAGE031
为聚焦系数。
在一些可能的实现方式中，所述构建钢网架结构样本集，包括：
获取钢网架结构图像，并对所述钢网架结构图像进行切片处理和标注，获得初始钢网架结构图像样本集；
对所述初始钢网架结构图像样本集进行第一类增广处理，获得所述钢网架结构样本集；
和/或，
对所述初始钢网架结构图像样本集进行第二类增广处理，获得所述钢网架结构样本集。
在一些可能的实现方式中，所述对所述初始钢网架结构图像样本集进行第二类增广处理，获得所述钢网架结构样本集，包括：
从所述初始钢网架结构图像样本集中随机选取第一初始钢网架结构图像以及第二初始钢网架结构图像；
分别确定所述第一初始钢网架结构图像和所述第二初始钢网架结构图像的第一标签图像和第二标签图像；
将所述第一初始钢网架结构图像和所述第一标签图像进行随机缩放，获得第一缩放钢网架结构图像和第一随机标签图像；
随机确定目标类别，并根据所述目标类别和所述第一随机标签图像获得二值化掩膜文件；
根据所述二值化掩膜文件将所述第一缩放钢网架结构图像、第二初始钢网架结构图像、所述第一随机标签图像和所述第二标签图像进行混合，获得增广钢网架结构图像和增广标签图像；
根据所述初始钢网架结构图像样本集、所述增广钢网架结构图像和所述增广标签图像获得所述钢网架结构样本集。
另一方面，本发明还提供了一种钢网架结构异常检测装置，包括：
目标检测模型获取单元，用于获取训练完备的目标钢网架结构异常检测模型，所述目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；
待检测图像获取单元，用于获取待检测钢网架结构图像；
多尺度特征融合单元，用于基于所述多尺度融合模块对所述待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对所述多个特征图进行融合，获得多尺度融合特征图；
异常检测单元，用于基于所述引导注意力模块以及所述多个特征图、所述多尺度融合特征图确定钢网架结构异常检测结果。
采用上述实施例的有益效果是：本发明提供的钢网架结构异常检测方法，通过设置目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块，通过引导注意力模块提高对复杂不规则网架结构的特征提取和学习能力，从而可提高钢网架结构异常检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的钢网架结构异常检测方法的一个实施例流程示意图；
图2为本发明提供的多尺度融合模块的一个实施例结构示意图；
图3为本发明提供的引导注意力模块的一个实施例结构示意图；
图4为本发明提供的空间注意力子模块的一个实施例结构示意图；
图5为本发明提供的通道注意力子模块的一个实施例结构示意图；
图6为本发明图1中S101的一个实施例流程示意图；
图7为本发明图6中S602的一个实施例流程示意图；
图8为本发明图7中S703的一个实施例流程示意图；
图9为本发明提供的钢网架结构异常检测装置的一个实施例结构示意图；
图10为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
在本发明实施例的描述中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如：A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器***和/或微控制器***中实现这些功能实体。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明实施例提供了一种钢网架结构异常检测方法及装置，以下分别进行说明。
图1为本发明提供的钢网架结构异常检测方法的一个实施例流程示意图，如图1所示，钢网架结构异常检测方法包括：
S101、获取训练完备的目标钢网架结构异常检测模型，目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；
S102、获取待检测钢网架结构图像；
S103、基于多尺度融合模块对待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对多个特征图进行融合，获得多尺度融合特征图；
S104、基于引导注意力模块以及多个特征图、多尺度融合特征图确定钢网架结构异常检测结果。
与现有技术相比，本发明实施例提供的钢网架结构异常检测方法，通过设置目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块，通过引导注意力模块提高对复杂不规则网架结构的特征提取和学习能力，从而可提高钢网架结构异常检测结果的准确性。
在本发明的具体实施例中，多尺度融合模块为ResNet50出去连接层后剩下的网络结构，具体地：如图2所示，多尺度融合模块包括依次连接的4个残差单元、与4个残差单元一一对应的4个上采样层、多尺度张量拼接层和多尺度卷积层，每一残差单元均用于进行一个尺度的特征提取，提取到4个尺度的特征，并经过上采样层后获得四个特征图，分别为F1’、F2’、F3’和F4’。F1’、F2’、F3’和F4’经过多尺度张量拼接层和多尺度卷积层后生成多尺度融合特征图FMS。
在本发明的一些实施例中，如图3所示，引导注意力模块包括第一张量拼接子模块、空间注意力子模块、通道注意力子模块、第一张量加和子模块、第一编码解码器、第一点积运算子模块、第二点积运算子模块、第二张量拼接子模块、第二张量加和子模块、第二编码解码器以及第三点积运算子模块；
第一张量拼接子模块用于对多个特征图和多尺度融合特征图进行拼接，获得第一拼接特征图；
空间注意力子模块用于提取第一拼接特征图中的空间特征，获得第一空间注意力特征图；
通道注意力子模块用于提取第一拼接特征图中的通道特征，获得第一通道注意力特征图；
第一张量加和子模块用于对第一空间注意力特征图和第一通道注意力特征图进行张量加和，获得第一注意力特征图；
第一编码解码器用于对多个特征图和多尺度融合特征图进行编码和解码，获得第一编码特征和第一解码结果；
第一点积运算子模块用于对第一注意力特征图和第一解码结果进行点积运算，获得第一点积结果；
第二点积运算子模块用于对第一点积结果和多个特征图进行点积运算，获得第二点积结果；
第二张量拼接子模块用于对第二点积结果和多尺度融合特征图进行拼接，获得第二拼接特征图；
空间注意力子模块还用于提取第二拼接特征图中的空间特征，获得第二空间注意力特征图；
通道注意力子模块还用于提取第二拼接特征图中的通道特征，获得第二通道注意力特征图；
第二张量加和子模块用于对第二空间注意力特征图和第二通道注意力特征图进行张量加和，获得第二注意力特征图；
第二编码解码器用于对多个特征图和多尺度融合特征图进行编码和解码，获得第二编码特征和第二解码结果；
第三点积运算子模块用于对第二注意力特征图和第二解码结果进行点积运算，获得钢网架结构异常检测结果。
需要说明的是：本发明实施例中的第一编码解码器和第二编码解码器的结构为UNet网络结构，在此不做具体赘述。
在本发明的具体实施例中，引导注意力模块的注意力损失函数为：
Figure 558726DEST_PATH_IMAGE001
Figure 183742DEST_PATH_IMAGE002
Figure 433327DEST_PATH_IMAGE003
Figure 511005DEST_PATH_IMAGE004
Figure 887759DEST_PATH_IMAGE005
式中，
Figure 367282DEST_PATH_IMAGE006
为注意力损失函数；
Figure 600817DEST_PATH_IMAGE007
为总引导损失；
Figure 415058DEST_PATH_IMAGE008
为总重构约束损失；N为所述多个特征图的总个数；
Figure 329925DEST_PATH_IMAGE009
为第n个特征图中的引导损失；
Figure 929533DEST_PATH_IMAGE010
为第n个特征图的重构约束损失；
Figure 537232DEST_PATH_IMAGE011
为第一编码特征；
Figure 120660DEST_PATH_IMAGE012
为第二编码特征；
Figure 354064DEST_PATH_IMAGE013
为第一拼接特征图；
Figure 808180DEST_PATH_IMAGE014
为第一解码结果；
Figure 321200DEST_PATH_IMAGE015
为第二拼接特征图；
Figure 595187DEST_PATH_IMAGE016
为第二解码结果；
Figure 914173DEST_PATH_IMAGE017
为第一权重；
Figure 474992DEST_PATH_IMAGE018
为第二权重；|| ||2为二范数。
本发明实施例通过设置引导注意力模块的注意力损失函数约束空间注意力和通道注意力的结果在经过不同编码器和解码器前后是尽量一致，从而可进一步提高对钢网架结构异常进行检测的准确性。
在本发明的一些实施例中，如图4所示，空间注意力子模块包括第一空间注意力卷积层、第二空间注意力卷积层、第三空间注意力卷积层、第一空间注意力重塑层、第二空间注意力重塑层、第三空间注意力重塑层、第一空间注意力点积运算层、空间注意力归一化运算（softmax）层、第二空间注意力点积运算层、第四空间注意力重塑层以及空间注意力张量拼接层；
第一空间注意力卷积层、第二空间注意力卷积层、第三空间注意力卷积层用于分别对第一拼接特征图进行空间特征提取，对应获得第一空间子特征图、第二空间子特征图和第三空间子特征图；
第一空间注意力重塑层、第二空间注意力重塑层、第三空间注意力重塑层用于分别对第一空间子特征图、第二空间子特征图和第三空间子特征图进行空间维度重塑，对应获得第一空间重塑图、第二空间重塑图和第三空间重塑图；
第一空间注意力点积运算层用于对第一空间重塑图和第二空间重塑图进行点积运算，获得第一空间重塑图和第二空间重塑图中各像素位置的空间相关性；
空间注意力归一化运算层用于对空间相关性进行归一化运算，获得空间注意力权重；
第二空间注意力点积运算层用于基于空间注意力权重和第三空间重塑图获得第二空间点积图；
第四空间注意力重塑层用于对第二空间点积图进行空间维度重塑，获得第四空间重塑图；
空间注意力张量拼接层用于对第四空间重塑图和第一拼接特征图进行张量拼接，获得第一空间注意力特征图。
在本发明的具体实施例中，第一空间重塑图和第二空间重塑图中各像素位置的空间相关性为：
Figure 424493DEST_PATH_IMAGE032
式中，
Figure 185776DEST_PATH_IMAGE033
为第一空间重塑图和第二空间重塑图中各像素位置的空间相关性；
Figure 246136DEST_PATH_IMAGE034
为第一空间重塑图中的第i个像素位置；
Figure 471581DEST_PATH_IMAGE035
为第二空间重塑图中第j个像素位置；W，H分别为第一空间重塑图和第二空间重塑图的宽和高。
第一空间注意力特征图
Figure 841251DEST_PATH_IMAGE036
为：
Figure 89830DEST_PATH_IMAGE037
式中，
Figure 688301DEST_PATH_IMAGE038
为空间注意力权重；
Figure 971515DEST_PATH_IMAGE039
为第三空间重塑图；
Figure 512087DEST_PATH_IMAGE040
为第一空间重塑图和第二空间重塑图的空间相关性矩阵；
Figure 44699DEST_PATH_IMAGE041
为第一拼接特征图。
应当理解的是：空间注意力模块还用于根据第二拼接特征图获得第二空间注意力特征图，其过程与上述根据第一拼接特征图获得第一空间注意力特征图的过程一样，在此不做具体赘述。
在本发明的一些实施例中，如图5所示，通道注意力子模块包括第一通道注意力卷积层、第二通道注意力卷积层、第三通道注意力卷积层、第一通道注意力重塑层、第二通道注意力重塑层、第三通道注意力重塑层、第一通道注意力点积运算层、通道注意力归一化运算（softmax）层、第二通道注意力点积运算层、第四通道注意力重塑层以及通道注意力张量拼接层；
第一通道注意力卷积层、第二通道注意力卷积层、第三通道注意力卷积层用于分别对第一拼接特征图进行通道特征提取，对应获得第一通道子特征图、第二通道子特征图和第三通道子特征图；
第一通道注意力重塑层、第二通道注意力重塑层、第三通道注意力重塑层用于分别对第一通道子特征图、第二通道子特征图和第三通道子特征图进行通道维度重塑，对应获得第一通道重塑图、第二通道重塑图和第三通道重塑图；
第一通道注意力点积运算层用于对第一通道重塑图和第二通道重塑图进行点积运算，获得第一通道重塑图和第二通道重塑图中各通道的通道相关性；
通道注意力归一化运算层用于对通道相关性进行归一化运算，获得通道注意力权重；
第二通道注意力点积运算层用于基于通道注意力权重和第三通道重塑图进行点积运算，获得第二通道点积图；
第四通道注意力重塑层用于对第二通道点积图进行通道维度重塑，获得第四通道重塑图；
通道注意力张量拼接层用于对第四通道重塑图和第一拼接特征图进行张量拼接，获得第一通道注意力特征图。
在本发明的具体实施例中，第一空间重塑图和第二空间重塑图中各像素位置的通道相关性为：
Figure 712441DEST_PATH_IMAGE042
式中，
Figure 584582DEST_PATH_IMAGE043
为第一通道重塑图和第二通道重塑图中各通道的通道相关性；
Figure 46787DEST_PATH_IMAGE044
为第一通道重塑图中的第i个通道；
Figure 519226DEST_PATH_IMAGE045
为第二通道重塑图中第j个通道；c为第一通道重塑图和第二通道重塑图中的通道总数。
第一通道注意力特征图
Figure 787396DEST_PATH_IMAGE046
为：
Figure 779623DEST_PATH_IMAGE047
式中，
Figure 147150DEST_PATH_IMAGE048
为通道注意力权重；
Figure 857617DEST_PATH_IMAGE049
为第三通道重塑图；
Figure 119359DEST_PATH_IMAGE050
为第一通道重塑图和第二通道重塑图的通道相关性矩阵；
Figure 762830DEST_PATH_IMAGE051
为第一拼接特征图。
应当理解的是：通道注意力模块还用于根据第二拼接特征图获得第二通道注意力特征图，其过程与上述根据第一拼接特征图获得第一通道注意力特征图的过程一样，在此不做具体赘述。
在本发明的一些实施例中，如图6所示，步骤S101包括：
S601、构建初始钢网架结构异常检测模型；
S602、构建钢网架结构样本集；
S603、根据钢网架结构样本集以及预设的总损失函数训练初始钢网架结构异常检测模型，得到训练完备的目标钢网架结构异常检测模型。
由于在实际场景中，相对于背景和正常钢网架结构，出现异常钢网架结构的情况比较少见，即：钢网架结构异常数据在钢网架结构样本集中表现为不平衡的类别，为了提高对不平衡样本的检测准确性，在本发明的一些实施例中，总损失函数为：
Figure 35679DEST_PATH_IMAGE019
Figure 967863DEST_PATH_IMAGE020
Figure 577836DEST_PATH_IMAGE021
式中，
Figure 528344DEST_PATH_IMAGE022
为总损失函数；
Figure 768832DEST_PATH_IMAGE023
为第三权重；
Figure 922733DEST_PATH_IMAGE024
为改进焦点损失函数；
Figure 274080DEST_PATH_IMAGE025
为像素点的真实类别；
Figure 344673DEST_PATH_IMAGE026
为像素点为第c类的置信度；
Figure 552800DEST_PATH_IMAGE027
为第c类像素点在钢网架结构样本集中的出现频率；
Figure 459576DEST_PATH_IMAGE028
为负类门控系数；
Figure 349035DEST_PATH_IMAGE029
为初始权值；
Figure 24867DEST_PATH_IMAGE030
为加权系数；
Figure 856426DEST_PATH_IMAGE031
为聚焦系数。
初始权值
Figure 47236DEST_PATH_IMAGE029
的大小由加权系数
Figure 740385DEST_PATH_IMAGE030
控制，
Figure 270724DEST_PATH_IMAGE030
越大，出现频率较小的类的初始权值相对越大。权重的动态修正量的大小由聚焦系数控制，越大，模型通过调整权值缓解类别不平衡现象的作用越强。这样让样本量较少的类别训练损失和样本量较大的样本训练损失达到平衡状态，从而解决训练集类别不均衡带来的问题。从而可提高对钢网架结构异常检测的检测准确度。
进一步地，为了提高初始钢网架结构异常检测模型的训练速度，最快找到最优解，得到训练完备的目标钢网架结构异常检测模型，在本发明的一些实施例中，训练过程中的学习率动态调整策略为Poly策略，具体地，Poly策略为：
Figure 758337DEST_PATH_IMAGE052
式中，
Figure 716121DEST_PATH_IMAGE053
为新的学习率；
Figure 9699DEST_PATH_IMAGE054
为基准学习率；
Figure 660123DEST_PATH_IMAGE055
为当前迭代次数；
Figure 584217DEST_PATH_IMAGE056
为最大迭代次数；
Figure 421723DEST_PATH_IMAGE057
为控制曲线形状的形状因子。
本发明实施例通过设置训练过程中的学习率动态调整策略为Poly策略，可提高初始钢网架结构异常检测模型的训练速度。
在本发明的一些实施例中，如图7所示，步骤S602包括：
S701、获取钢网架结构图像，并对钢网架结构图像进行切片处理和标注，获得初始钢网架结构图像样本集；
S702、对初始钢网架结构图像样本集进行第一类增广处理，获得钢网架结构样本集；
和/或，
S703、对初始钢网架结构图像样本集进行第二类增广处理，获得钢网架结构样本集。
本发明实施例通过对初始钢网架结构图像样本集进行第一类增广处理和/或第二类增广处理，可提高形成的钢网架结构样本集的图像数量，从而可提高形成的目标钢网架结构异常检测模型的泛化能力。
在本发明的具体实施例中，步骤S701中切片处理具体为：将钢网架结构图像进行切片，每张切片尺寸大小为512*512*3。步骤S701中的标注具体为：将各个切片中的物体类型进行数字化表达，如将背景类、正常钢网架类、异常钢网架为分别表示为0，1，2。
在本发明的具体实施例中，步骤S702中的第一类增广处理为：对初始钢网架结构图像样本集中的各个切片进行翻转、旋转、缩放、裁剪、颜色为调整等处理。
在本发明的一些实施例中，如图8所示，步骤S703包括：
S801、从初始钢网架结构图像样本集中随机选取第一初始钢网架结构图像
Figure 705943DEST_PATH_IMAGE058
以及第二初始钢网架结构图像
Figure 273190DEST_PATH_IMAGE059
；
S802、分别确定第一初始钢网架结构图像IA和第二初始钢网架结构图像IB的第一标签图像
Figure 368185DEST_PATH_IMAGE060
和第二标签图像
Figure 958566DEST_PATH_IMAGE061
；
S803、将第一初始钢网架结构图像
Figure 531630DEST_PATH_IMAGE058
和第一标签图像
Figure 405914DEST_PATH_IMAGE062
进行随机缩放，获得第一缩放钢网架结构图像
Figure 468548DEST_PATH_IMAGE063
和第一随机标签图像
Figure 546226DEST_PATH_IMAGE064
;
S804、随机确定目标类别c，并根据目标类别c和第一随机标签图像
Figure 922980DEST_PATH_IMAGE064
获得二值化掩膜文件
Figure 402503DEST_PATH_IMAGE065
；
S805、根据二值化掩膜文件
Figure 822989DEST_PATH_IMAGE066
将第一缩放钢网架结构图像
Figure 387963DEST_PATH_IMAGE067
、第二初始钢网架结构图像
Figure 568408DEST_PATH_IMAGE059
、第一随机标签图像
Figure 699175DEST_PATH_IMAGE064
和第二标签图像
Figure 306874DEST_PATH_IMAGE068
进行混合，获得增广钢网架结构图像X和增广标签图像Y；
S806、根据初始钢网架结构图像样本集、增广钢网架结构图像X和增广标签图像Y获得钢网架结构样本集。
具体地，二值化掩膜文件
Figure 345762DEST_PATH_IMAGE066
为：
Figure 329898DEST_PATH_IMAGE069
增广钢网架结构图像X和增广标签图像Y分别为：
Figure 518434DEST_PATH_IMAGE070
式中，
Figure 93772DEST_PATH_IMAGE071
为哈达玛（Hadamard）乘积运算。
本发明通过上述类别缩放混合的方法获得增广钢网架结构图像和增广标签图像，可进一步提高钢网架结构样本集的样本数量，确保目标钢网架结构异常检测模型的可靠性。
为了更好实施本发明实施例中的钢网架结构异常检测方法，在钢网架结构异常检测方法基础之上，对应的，本发明实施例还提供了一种钢网架结构异常检测装置，如图9所示，钢网架结构异常检测装置900包括：
目标检测模型获取单元901，用于获取训练完备的目标钢网架结构异常检测模型，目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；
待检测图像获取单元902，用于获取待检测钢网架结构图像；
多尺度特征融合单元903，用于基于多尺度融合模块对待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对多个特征图进行融合，获得多尺度融合特征图；
异常检测单元904，用于基于引导注意力模块以及多个特征图、多尺度融合特征图确定钢网架结构异常检测结果。
上述实施例提供的钢网架结构异常检测装置900可实现上述钢网架结构异常检测方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述钢网架结构异常检测方法实施例中的相应内容，此处不再赘述。
如图10所示，本发明还相应提供了一种电子设备1000。该电子设备1000包括处理器1001、存储器1002及显示器1003。图10仅示出了电子设备1000的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
处理器1001在一些实施例中可以是一中央处理器（Central Processing Unit，CPU），微处理器或其他数据处理芯片，用于运行存储器1002中存储的程序代码或处理数据，例如本发明中的钢网架结构异常检测方法。
在一些实施例中，处理器1001可以是单个服务器或服务器组。服务器组可为集中式或分布式的。在一些实施例中，处理器1001可为本地的或远程的。在一些实施例中，处理器1001可实施于云平台。在一实施例中，云平台可包括私有云、公共云、混合云、社区云、分布式云、内部间、多重云等，或以上的任意组合。
存储器1002在一些实施例中可以是电子设备1000的内部存储单元，例如电子设备1000的硬盘或内存。存储器1002在另一些实施例中也可以是电子设备1000的外部存储设备，例如电子设备1000上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。
进一步地，存储器1002还可既包括电子设备1000的内部储存单元也包括外部存储设备。存储器1002用于存储安装电子设备1000的应用软件及各类数据。
显示器1003在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器1003用于显示在电子设备1000的信息以及用于显示可视化的用户界面。电子设备1000的部件1001-1003通过***总线相互通信。
在一实施例中，当处理器1001执行存储器1002中的钢网架结构异常检测程序时，可实现以下步骤：
获取训练完备的目标钢网架结构异常检测模型，目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；
获取待检测钢网架结构图像；
基于多尺度融合模块对待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对多个特征图进行融合，获得多尺度融合特征图；
基于引导注意力模块以及多个特征图、多尺度融合特征图确定钢网架结构异常检测结果。
应当理解的是：处理器1001在执行存储器1002中的钢网架结构异常检测程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面相应方法实施例的描述。
进一步地，本发明实施例对提及的电子设备1000的类型不做具体限定，电子设备1000可以为手机、平板电脑、个人数字助理(personal digital assistant，PDA)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载IOS、android、microsoft或者其他操作***的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本发明其他一些实施例中，电子设备1000也可以不是便携式电子设备，而是具有触敏表面(例如触控面板)的台式计算机。
相应地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述各方法实施例提供的钢网架结构异常检测方法中的步骤或功能。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件（如处理器，控制器等）来完成，计算机程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的钢网架结构异常检测方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种钢网架结构异常检测方法，其特征在于，包括：
获取训练完备的目标钢网架结构异常检测模型，所述目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；
获取待检测钢网架结构图像；
基于所述多尺度融合模块对所述待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对所述多个特征图进行融合，获得多尺度融合特征图；
基于所述引导注意力模块以及所述多个特征图、所述多尺度融合特征图确定钢网架结构异常检测结果；
所述引导注意力模块包括第一张量拼接子模块、空间注意力子模块、通道注意力子模块、第一张量加和子模块、第一编码解码器、第一点积运算子模块、第二点积运算子模块、第二张量拼接子模块、第二张量加和子模块、第二编码解码器以及第三点积运算子模块；
所述第一张量拼接子模块用于对所述多个特征图和所述多尺度融合特征图进行拼接，获得第一拼接特征图；
所述空间注意力子模块用于提取所述第一拼接特征图中的空间特征，获得第一空间注意力特征图；
所述通道注意力子模块用于提取所述第一拼接特征图中的通道特征，获得第一通道注意力特征图；
所述第一张量加和子模块用于对所述第一空间注意力特征图和所述第一通道注意力特征图进行张量加和，获得第一注意力特征图；
所述第一编码解码器用于对所述多个特征图和所述多尺度融合特征图进行编码和解码，获得第一编码特征和第一解码结果；
所述第一点积运算子模块用于对所述第一注意力特征图和所述第一解码结果进行点积运算，获得第一点积结果；
所述第二点积运算子模块用于对所述第一点积结果和所述多个特征图进行点积运算，获得第二点积结果；
所述第二张量拼接子模块用于对所述第二点积结果和所述多尺度融合特征图进行拼接，获得第二拼接特征图；
所述空间注意力子模块还用于提取所述第二拼接特征图中的空间特征，获得第二空间注意力特征图；
所述通道注意力子模块还用于提取所述第二拼接特征图中的通道特征，获得第二通道注意力特征图；
所述第二张量加和子模块用于对所述第二空间注意力特征图和所述第二通道注意力特征图进行张量加和，获得第二注意力特征图；
所述第二编码解码器用于对所述多个特征图和所述多尺度融合特征图进行编码和解码，获得第二编码特征和第二解码结果；
所述第三点积运算子模块用于对所述第二注意力特征图和所述第二解码结果进行点积运算，获得钢网架结构异常检测结果；
所述引导注意力模块的注意力损失函数为：
Figure 78743DEST_PATH_IMAGE001
Figure 889835DEST_PATH_IMAGE002
Figure 52963DEST_PATH_IMAGE003
Figure 173366DEST_PATH_IMAGE004
Figure 687524DEST_PATH_IMAGE005
式中，
Figure 535263DEST_PATH_IMAGE006
为注意力损失函数；
Figure 552898DEST_PATH_IMAGE007
为总引导损失；
Figure 109781DEST_PATH_IMAGE008
为总重构约束损失；N为所述多个特征图的总个数；
Figure 62300DEST_PATH_IMAGE009
为第n个特征图中的引导损失；
Figure 730042DEST_PATH_IMAGE010
为第n个特征图的重构约束损失；
Figure 336604DEST_PATH_IMAGE011
为第一编码特征；
Figure 313656DEST_PATH_IMAGE012
为第二编码特征；
Figure 802406DEST_PATH_IMAGE013
为第一拼接特征图；
Figure 742680DEST_PATH_IMAGE014
为第一解码结果；
Figure 486DEST_PATH_IMAGE015
为第二拼接特征图；
Figure 899172DEST_PATH_IMAGE016
为第二解码结果；
Figure 94792DEST_PATH_IMAGE017
为第一权重；
Figure 104337DEST_PATH_IMAGE018
为第二权重；|| ||2为二范数；
所述获取训练完备的目标钢网结构异常检测模型，包括：
构建初始钢网架结构异常检测模型；
构建钢网架结构样本集；
根据所述钢网架结构样本集以及预设的总损失函数训练所述初始钢网架结构异常检测模型，得到训练完备的目标钢网架结构异常检测模型；
所述总损失函数为：
Figure 216649DEST_PATH_IMAGE019
Figure 20657DEST_PATH_IMAGE020
Figure 467688DEST_PATH_IMAGE021
式中，
Figure 15344DEST_PATH_IMAGE022
为总损失函数；
Figure 982163DEST_PATH_IMAGE023
为第三权重；
Figure 433436DEST_PATH_IMAGE024
为改进焦点损失函数；
Figure 118496DEST_PATH_IMAGE025
为像素点的真实类别；
Figure 469842DEST_PATH_IMAGE026
为像素点为第c类的置信度；
Figure 291168DEST_PATH_IMAGE027
为第c类像素点在钢网架结构样本集中的出现频率；
Figure 951825DEST_PATH_IMAGE028
为负类门控系数；
Figure 858601DEST_PATH_IMAGE029
为初始权值；
Figure 748060DEST_PATH_IMAGE030
为加权系数；
Figure 689471DEST_PATH_IMAGE031
为聚焦系数。
2.根据权利要求1所述的钢网架结构异常检测方法，其特征在于，所述空间注意力子模块包括第一空间注意力卷积层、第二空间注意力卷积层、第三空间注意力卷积层、第一空间注意力重塑层、第二空间注意力重塑层、第三空间注意力重塑层、第一空间注意力点积运算层、空间注意力归一化运算层、第二空间注意力点积运算层、第四空间注意力重塑层以及空间注意力张量拼接层；
所述第一空间注意力卷积层、第二空间注意力卷积层、第三空间注意力卷积层用于分别对所述第一拼接特征图进行空间特征提取，对应获得第一空间子特征图、第二空间子特征图和第三空间子特征图；
所述第一空间注意力重塑层、第二空间注意力重塑层、第三空间注意力重塑层用于分别对所述第一空间子特征图、第二空间子特征图和第三空间子特征图进行空间维度重塑，对应获得第一空间重塑图、第二空间重塑图和第三空间重塑图；
所述第一空间注意力点积运算层用于对所述第一空间重塑图和所述第二空间重塑图进行点积运算，获得所述第一空间重塑图和所述第二空间重塑图中各像素位置的空间相关性；
所述空间注意力归一化运算层用于对所述空间相关性进行归一化运算，获得空间注意力权重；
所述第二空间注意力点积运算层用于基于所述空间注意力权重和所述第三空间重塑图获得第二空间点积图；
所述第四空间注意力重塑层用于对所述第二空间点积图进行空间维度重塑，获得第四空间重塑图；
所述空间注意力张量拼接层用于对所述第四空间重塑图和所述第一拼接特征图进行张量拼接，获得所述第一空间注意力特征图。
3.根据权利要求1所述的钢网架结构异常检测方法，其特征在于，所述通道注意力子模块包括第一通道注意力卷积层、第二通道注意力卷积层、第三通道注意力卷积层、第一通道注意力重塑层、第二通道注意力重塑层、第三通道注意力重塑层、第一通道注意力点积运算层、通道注意力归一化运算层、第二通道注意力点积运算层、第四通道注意力重塑层以及通道注意力张量拼接层；
所述第一通道注意力卷积层、第二通道注意力卷积层、第三通道注意力卷积层用于分别对所述第一拼接特征图进行通道特征提取，对应获得第一通道子特征图、第二通道子特征图和第三通道子特征图；
所述第一通道注意力重塑层、第二通道注意力重塑层、第三通道注意力重塑层用于分别对所述第一通道子特征图、第二通道子特征图和第三通道子特征图进行通道维度重塑，对应获得第一通道重塑图、第二通道重塑图和第三通道重塑图；
所述第一通道注意力点积运算层用于对所述第一通道重塑图和所述第二通道重塑图进行点积运算，获得所述第一通道重塑图和所述第二通道重塑图中各通道的通道相关性；
所述通道注意力归一化运算层用于对所述通道相关性进行归一化运算，获得通道注意力权重；
所述第二通道注意力点积运算层用于基于所述通道注意力权重和所述第三通道重塑图进行点积运算，获得第二通道点积图；
所述第四通道注意力重塑层用于对所述第二通道点积图进行通道维度重塑，获得第四通道重塑图；
所述通道注意力张量拼接层用于对所述第四通道重塑图和所述第一拼接特征图进行张量拼接，获得所述第一通道注意力特征图。
4.根据权利要求1所述的钢网架结构异常检测方法，其特征在于，所述构建钢网架结构样本集，包括：
获取钢网架结构图像，并对所述钢网架结构图像进行切片处理和标注，获得初始钢网架结构图像样本集；
对所述初始钢网架结构图像样本集进行第一类增广处理，获得所述钢网架结构样本集；
和/或，
对所述初始钢网架结构图像样本集进行第二类增广处理，获得所述钢网架结构样本集。
5.根据权利要求4所述的钢网架结构异常检测方法，其特征在于，所述对所述初始钢网架结构图像样本集进行第二类增广处理，获得所述钢网架结构样本集，包括：
从所述初始钢网架结构图像样本集中随机选取第一初始钢网架结构图像以及第二初始钢网架结构图像；
分别确定所述第一初始钢网架结构图像和所述第二初始钢网架结构图像的第一标签图像和第二标签图像；
将所述第一初始钢网架结构图像和所述第一标签图像进行随机缩放，获得第一缩放钢网架结构图像和第一随机标签图像；
随机确定目标类别，并根据所述目标类别和所述第一随机标签图像获得二值化掩膜文件；
根据所述二值化掩膜文件将所述第一缩放钢网架结构图像、第二初始钢网架结构图像、所述第一随机标签图像和所述第二标签图像进行混合，获得增广钢网架结构图像和增广标签图像；
根据所述初始钢网架结构图像样本集、所述增广钢网架结构图像和所述增广标签图像获得所述钢网架结构样本集。
6.一种钢网架结构异常检测装置，其特征在于，包括：
目标检测模型获取单元，用于获取训练完备的目标钢网架结构异常检测模型，所述目标钢网架结构异常检测模型包括多尺度融合模块和引导注意力模块；
待检测图像获取单元，用于获取待检测钢网架结构图像；
多尺度特征融合单元，用于基于所述多尺度融合模块对所述待检测钢网架结构图像进行多尺度特征提取，获得多个特征图，并对所述多个特征图进行融合，获得多尺度融合特征图；
异常检测单元，用于基于所述引导注意力模块以及所述多个特征图、所述多尺度融合特征图确定钢网架结构异常检测结果；
所述引导注意力模块包括第一张量拼接子模块、空间注意力子模块、通道注意力子模块、第一张量加和子模块、第一编码解码器、第一点积运算子模块、第二点积运算子模块、第二张量拼接子模块、第二张量加和子模块、第二编码解码器以及第三点积运算子模块；
所述第一张量拼接子模块用于对所述多个特征图和所述多尺度融合特征图进行拼接，获得第一拼接特征图；
所述空间注意力子模块用于提取所述第一拼接特征图中的空间特征，获得第一空间注意力特征图；
所述通道注意力子模块用于提取所述第一拼接特征图中的通道特征，获得第一通道注意力特征图；
所述第一张量加和子模块用于对所述第一空间注意力特征图和所述第一通道注意力特征图进行张量加和，获得第一注意力特征图；
所述第一编码解码器用于对所述多个特征图和所述多尺度融合特征图进行编码和解码，获得第一编码特征和第一解码结果；
所述第一点积运算子模块用于对所述第一注意力特征图和所述第一解码结果进行点积运算，获得第一点积结果；
所述第二点积运算子模块用于对所述第一点积结果和所述多个特征图进行点积运算，获得第二点积结果；
所述第二张量拼接子模块用于对所述第二点积结果和所述多尺度融合特征图进行拼接，获得第二拼接特征图；
所述空间注意力子模块还用于提取所述第二拼接特征图中的空间特征，获得第二空间注意力特征图；
所述通道注意力子模块还用于提取所述第二拼接特征图中的通道特征，获得第二通道注意力特征图；
所述第二张量加和子模块用于对所述第二空间注意力特征图和所述第二通道注意力特征图进行张量加和，获得第二注意力特征图；
所述第二编码解码器用于对所述多个特征图和所述多尺度融合特征图进行编码和解码，获得第二编码特征和第二解码结果；
所述第三点积运算子模块用于对所述第二注意力特征图和所述第二解码结果进行点积运算，获得钢网架结构异常检测结果；
所述引导注意力模块的注意力损失函数为：
Figure 756915DEST_PATH_IMAGE001
Figure 150988DEST_PATH_IMAGE002
Figure 844137DEST_PATH_IMAGE003
Figure 640055DEST_PATH_IMAGE004
Figure 642515DEST_PATH_IMAGE005
式中，
Figure 523883DEST_PATH_IMAGE006
为注意力损失函数；
Figure 755144DEST_PATH_IMAGE007
为总引导损失；
Figure 405569DEST_PATH_IMAGE008
为总重构约束损失；N为所述多个特征图的总个数；
Figure 595241DEST_PATH_IMAGE009
为第n个特征图中的引导损失；
Figure 711709DEST_PATH_IMAGE010
为第n个特征图的重构约束损失；
Figure 746661DEST_PATH_IMAGE011
为第一编码特征；
Figure 251591DEST_PATH_IMAGE012
为第二编码特征；
Figure 346586DEST_PATH_IMAGE013
为第一拼接特征图；
Figure 451814DEST_PATH_IMAGE014
为第一解码结果；
Figure 24878DEST_PATH_IMAGE015
为第二拼接特征图；
Figure 649895DEST_PATH_IMAGE016
为第二解码结果；
Figure 181370DEST_PATH_IMAGE017
为第一权重；
Figure 9780DEST_PATH_IMAGE018
为第二权重；|| ||2为二范数；
所述获取训练完备的目标钢网结构异常检测模型，包括：
构建初始钢网架结构异常检测模型；
构建钢网架结构样本集；
根据所述钢网架结构样本集以及预设的总损失函数训练所述初始钢网架结构异常检测模型，得到训练完备的目标钢网架结构异常检测模型；
所述总损失函数为：
Figure 652114DEST_PATH_IMAGE019
Figure 131637DEST_PATH_IMAGE020
Figure 302855DEST_PATH_IMAGE021
式中，
Figure 117096DEST_PATH_IMAGE022
为总损失函数；
Figure 766383DEST_PATH_IMAGE023
为第三权重；
Figure 365992DEST_PATH_IMAGE024
为改进焦点损失函数；
Figure 239270DEST_PATH_IMAGE025
为像素点的真实类别；
Figure 779623DEST_PATH_IMAGE026
为像素点为第c类的置信度；
Figure 763759DEST_PATH_IMAGE027
为第c类像素点在钢网架结构样本集中的出现频率；
Figure 952295DEST_PATH_IMAGE028
为负类门控系数；
Figure 980163DEST_PATH_IMAGE029
为初始权值；
Figure 519728DEST_PATH_IMAGE030
为加权系数；
Figure 41977DEST_PATH_IMAGE031
为聚焦系数。
CN202210662669.1A 2022-06-13 2022-06-13 一种钢网架结构异常检测方法及装置 Active CN114758206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210662669.1A CN114758206B (zh) 2022-06-13 2022-06-13 一种钢网架结构异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210662669.1A CN114758206B (zh) 2022-06-13 2022-06-13 一种钢网架结构异常检测方法及装置

Publications (2)

Publication Number Publication Date
CN114758206A CN114758206A (zh) 2022-07-15
CN114758206B true CN114758206B (zh) 2022-10-28

Family

ID=82336676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210662669.1A Active CN114758206B (zh) 2022-06-13 2022-06-13 一种钢网架结构异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN114758206B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861306B (zh) * 2023-02-20 2023-05-05 武汉纺织大学 一种基于自监督拼图模块的工业品异常检测方法
CN117409327A (zh) * 2023-12-13 2024-01-16 中国地质调查局武汉地质调查中心(中南地质科技创新中心) 一种露天矿山的动态量化遥感监测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***
CN110209713A (zh) * 2019-06-26 2019-09-06 国家电网有限公司 异常网架结构识别方法及装置
CN112784685A (zh) * 2020-12-28 2021-05-11 山东师范大学 基于多尺度引导注意力机制网络的人群计数方法及***
CN113435269A (zh) * 2021-06-10 2021-09-24 华东师范大学 一种基于YOLOv3改进的水面漂浮物检测与识别方法及***
CN114332007A (zh) * 2021-12-28 2022-04-12 福州大学 一种基于Transformer的工业缺陷检测和识别方法
WO2022090483A1 (en) * 2020-11-02 2022-05-05 Tomtom Global Content B.V. Neural network models for semantic image segmentation
CN114529839A (zh) * 2022-02-09 2022-05-24 国网河南省电力公司电力科学研究院 一种面向无人机巡检的输电线金具异常检测方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***
CN110209713A (zh) * 2019-06-26 2019-09-06 国家电网有限公司 异常网架结构识别方法及装置
WO2022090483A1 (en) * 2020-11-02 2022-05-05 Tomtom Global Content B.V. Neural network models for semantic image segmentation
CN112784685A (zh) * 2020-12-28 2021-05-11 山东师范大学 基于多尺度引导注意力机制网络的人群计数方法及***
CN113435269A (zh) * 2021-06-10 2021-09-24 华东师范大学 一种基于YOLOv3改进的水面漂浮物检测与识别方法及***
CN114332007A (zh) * 2021-12-28 2022-04-12 福州大学 一种基于Transformer的工业缺陷检测和识别方法
CN114529839A (zh) * 2022-02-09 2022-05-24 国网河南省电力公司电力科学研究院 一种面向无人机巡检的输电线金具异常检测方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multi-Scale Self-Guided Attention for Medical Image Segmentation;Ashish Sinha 等;《IEEE Journal of Biomedical and Health Informatics》;20200414;第121-130页 *
结合注意力机制的乳腺双模态超声分类网络;赵绪 等;《中国图象图形学报》;20220331;全文 *
结合深度学习去噪和超分辨的SAR检测识别;王俊等;《空天防御》;20200915(第03期);全文 *

Also Published As

Publication number Publication date
CN114758206A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN114758206B (zh) 一种钢网架结构异常检测方法及装置
Zhang et al. LAANet: lightweight attention-guided asymmetric network for real-time semantic segmentation
CN110009637B (zh) 一种基于树形结构的遥感图像分割网络
CN107481309B (zh) 三维反射渲染方法及装置
CN112132032A (zh) 交通标志牌检测方法、装置、电子设备及存储介质
Zhu et al. HMFCA-Net: Hierarchical multi-frequency based Channel attention net for mobile phone surface defect detection
CN112070040A (zh) 一种用于视频字幕的文本行检测方法
CN113901909A (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
CN116597260A (zh) 图像处理方法、电子设备、存储介质及计算机程序产品
Hu et al. Automating building damage reconnaissance to optimize drone mission planning for disaster response
WO2022174517A1 (zh) 一种人群计数方法、装置、计算机设备及存储介质
Shi et al. RAOD: refined oriented detector with augmented feature in remote sensing images object detection
Dey et al. BiLSTM− BiGRU: A Fusion Deep Neural Network For Predicting Air Pollutant Concentration
CN110490165B (zh) 一种基于卷积神经网络的动态手势跟踪方法
Gao et al. TSVT: Token Sparsification Vision Transformer for robust RGB-D salient object detection
WO2023006011A1 (zh) 壁纸生成方法、装置及电子设备
CN112132037B (zh) 基于人工智能的人行道检测方法、装置、设备及介质
CN115937993A (zh) 活体检测模型训练方法、活体检测方法、装置和电子设备
CN115578358A (zh) 一种基于RecTransformer的表面缺陷检测模型的构建方法
Wang et al. Pyramid self-attention mechanism-based change detection in hyperspectral imagery
Bi et al. Refined regression detector for multiclass-oriented target in optical remote sensing images
Wang et al. CAW: A Remote‐Sensing Scene Classification Network Aided by Local Window Attention
CN112749707A (zh) 利用神经网络进行目标分割的方法、设备和介质
Lee et al. Damage detection and safety diagnosis for immovable cultural assets using deep learning framework
Feng et al. Real-time object detection method based on YOLOv5 and efficient mobile network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Mingpeng

Inventor after: Gao Jian

Inventor before: Li Mingpeng

Inventor before: Gao Jian

Inventor before: Hu Xudong

GR01 Patent grant
GR01 Patent grant