具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本领域技术人员知道,本发明的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
鉴于现有技术采用工作人员肉眼判读的方式分析电塔缺陷,易发生严重的检测误判或漏判情况,难以准确发现电塔存在的安全隐患,极大地增加了检修和标注大量数据的成本,本发明实施例提供一种基于小样本的电塔缺陷监测方法,以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。以下结合附图对本发明进行详细说明。
图1是本发明第一实施例中基于小样本的电塔缺陷监测方法的流程图。如图1所示,基于小样本的电塔缺陷监测方法包括:
S101:获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框。
S102:基于当前小样本训练集,得到每个当前实际缺陷框的当前特征向量。
其中,S102包括:将当前小样本训练集输入最优训练框架中,得到每个当前实际缺陷框的当前特征向量。最优训练框架包括:最优深度残差网络和最优特征金字塔网络。
图2是本发明实施例中S102的流程图,如图2所示,S102包括:
S201:将当前小样本训练集输入最优深度残差网络中,得到多个不同尺度的当前训练特征图;其中,每个当前电塔训练图像均对应多个不同尺度的当前训练特征图。
具体实施时,最优深度残差网络对当前小样本训练集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的当前训练特征图。
S202:将多个不同尺度的当前训练特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前训练特征图。
S203:在每个不同尺度的经过语义加强的当前训练特征图上提取对应的当前实际缺陷框的特征,得到每个当前实际缺陷框的当前特征向量。
其中,可以采用RoIAlign算法在每个不同尺度的经过语义加强的当前训练特征图上提取对应的当前实际缺陷框的特征。
S103:根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值。
S104:基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量。
一实施例中,S104包括:将每个类别的当前特征向量的平均值输入最优图卷积网络中,得到每个类别的当前结构特征向量。
最优图卷积网络的节点特征为每个类别的当前特征向量的平均值。各个节点特征之差的绝对值经过两层全连接层后的输出为两两节点之间连接边的连接边特征;连接边特征表征节点间的相似度。以节点特征和边特征作为输入,经过三层图卷积网络可以得到每个类别的当前结构特征向量。
S105:串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数。
S106:串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值。
其中,分类子网络的最优参数映射网络和位置回归子网络的最优参数映射网络均包含两层全连接网络,第一层全连接网络后接有一层线性整流函数(ReLU,RectifiedLinear Unit)进行非线性变换。
S107:将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数。
S108:根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络。
S109:根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量。
一实施例中,S109包括:将当前电塔图像输入最优测试框架中,得到多个经过全连接的当前候选缺陷框的特征向量。其中,最优测试框架包括:最优深度残差网络、最优特征金字塔网络、最优区域候选网络和最优全连接层;最优全连接层有两层。
图3是本发明实施例中S109的流程图,如图3所示,S109包括:
S301:将当前电塔图像输入最优深度残差网络中,得到多个不同尺度的当前特征图;其中,每个当前电塔测试图像均对应多个不同尺度的当前特征图。
具体实施时,最优深度残差网络对当前电塔图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的当前特征图。
S302:将多个不同尺度的当前特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前特征图。
S303:利用最优区域候选网络在每个不同尺度的经过语义加强的当前特征图上生成当前候选缺陷框。
S304:在每个不同尺度的经过语义加强的当前特征图上提取对应的当前候选缺陷框的特征,得到每个当前候选缺陷框的特征向量。
其中,可以采用RoIAlign算法在每个不同尺度的经过语义加强的当前特征图上提取对应的当前候选缺陷框的特征
S305:输入每个当前候选缺陷框的特征向量至最优全连接层中,得到经过全连接的当前候选缺陷框的特征向量;经过全连接的当前候选缺陷框的特征向量的数量为多个。
S110:输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型。
一实施例中,根据每个当前候选缺陷框的位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型包括:
确定每个当前候选缺陷框的位于每个类别的概率中的最大值;将每个最大值对应的类别作为每个当前候选缺陷框的电塔缺陷类型。
例如,其中一个当前候选缺陷框为类别A缺陷的概率为70%,为类别B缺陷的概率为20%,为类别C缺陷的概率为10%,则该当前候选缺陷框的电塔缺陷类型为类别A。
S111:输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
图1所示的基于小样本的电塔缺陷监测方法的执行主体可以为计算机。本发明中各个网络的迭代训练过程在caffe框架下实现,训练和测试过程均采用多个NVIDIA TITANXP GPU进行并行处理,并用Python语言编制了整个台标检测技术的工作程序。
由图1所示的流程可知,本发明实施例的基于小样本的电塔缺陷监测方法先根据小样本训练集得到每个当前实际缺陷框的当前特征向量,再根据当前特征向量进一步确定当前分类子网络和当前最优位置回归子网络,最后根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
图4是本发明第二实施例中基于小样本的电塔缺陷监测方法的流程图。如图4所示,执行S101之前还包括:
S401:获取历史小样本训练集和小样本测试集;历史小样本训练集包括多个不同类别的历史电塔图像训练集合,每个类别的历史电塔图像训练集合均包括多个历史电塔训练图像;每个历史电塔训练图像均对应一个或多个训练实际缺陷框;小样本测试集包括多个不同类别的电塔图像测试集合,每个类别的电塔图像测试集合均包括多个电塔测试图像;每个历史电塔测试图像均对应一个或多个测试实际缺陷框。
其中,历史电塔图像训练集合的类别与电塔图像测试集合的类别相同;历史电塔训练图像与电塔测试图像不同。
执行如下迭代处理:
S402:将历史小样本训练集输入初始训练框架中,得到每个训练实际缺陷框的历史特征向量。
其中,初始训练框架包括:初始深度残差网络和初始特征金字塔网络。
图5是本发明实施例中S402的流程图,如图5所示,S402包括:
S501:将历史小样本训练集输入初始深度残差网络中,得到多个不同尺度的历史训练特征图;其中,每个历史电塔训练图像均对应多个不同尺度的历史训练特征图。
具体实施时,初始深度残差网络对历史小样本训练集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的历史训练特征图。
S502:将多个不同尺度的历史训练特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的历史训练特征图。
S503:在每个不同尺度的经过语义加强的历史训练特征图上提取对应的训练实际缺陷框的特征,得到每个训练实际缺陷框的历史特征向量。
其中,可以采用RoIAlign算法在每个不同尺度的经过语义加强的历史训练特征图上提取对应的训练实际缺陷框的特征。
S403:根据每个训练实际缺陷框的历史特征向量计算每个类别的历史特征向量的平均值;将每个类别的历史特征向量的平均值输入初始图卷积网络中,得到每个类别的历史结构特征向量;串联每个类别的历史结构特征向量和每个类别的历史特征向量的平均值,并将串联结果输入分类子网络的初始参数映射网络中,得到历史分类子网络的参数;串联每个类别的历史特征向量的平均值,并将串联结果输入位置回归子网络的初始参数映射网络中,得到历史参数偏移值;将历史参数偏移值与位置回归子网络的初始参数相加,得到历史位置回归子网络的参数;根据历史分类子网络的参数构建历史分类子网络,根据历史位置回归子网络的参数构建历史位置回归子网络。
S404:将小样本测试集输入初始测试框架中,得到多个经过全连接的测试候选缺陷框的特征向量。
其中,初始测试框架包括:初始深度残差网络、初始特征金字塔网络、初始区域候选网络和初始全连接层。其中,初始全连接层有两层。
图6是本发明实施例中S404的流程图。如图6所示,S404包括:
S601:将小样本测试集输入初始深度残差网络中,得到多个不同尺度的测试特征图;其中,每个电塔测试图像均对应多个不同尺度的测试特征图。
具体实施时,初始深度残差网络对小样本测试集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的测试特征图。
S602:将多个不同尺度的测试特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的测试特征图。
S603:利用初始区域候选网络在每个不同尺度的经过语义加强的测试特征图上生成测试候选缺陷框。
S604:在每个不同尺度的经过语义加强的测试特征图上提取对应的测试候选缺陷框的特征,得到每个测试候选缺陷框的特征向量。
其中,可以采用RoIAlign算法在每个不同尺度的经过语义加强的测试特征图上提取对应的测试候选缺陷框的特征。
S605:输入每个测试候选缺陷框的特征向量至初始全连接层中,得到每个经过全连接的测试候选缺陷框的特征向量;经过全连接的测试候选缺陷框的特征向量的数量为多个。
S405:输入每个经过全连接的测试候选缺陷框的特征向量至历史分类子网络中,得到每个测试候选缺陷框位于每个类别的概率;输入每个测试候选缺陷框的特征向量至历史位置回归子网络中,得到每个测试候选缺陷框的位置坐标。
S406:根据每个测试候选缺陷框对应的测试实际缺陷框的类别与每个测试候选缺陷框位于每个类别的概率,计算每个测试候选缺陷框的分类损失;根据每个测试候选缺陷框对应的测试实际缺陷框的位置坐标与每个测试候选缺陷框的位置坐标,计算每个测试候选缺陷框的回归损失;根据每个测试候选缺陷框的分类损失和每个测试候选缺陷框的回归损失,计算小样本测试集的损失值。
S407:根据小样本测试集的损失值更新初始训练框架、初始测试框架、初始图卷积网络、分类子网络的初始参数映射网络、位置回归子网络的初始参数映射网络和位置回归子网络的初始参数,令迭代次数加一。
其中,可以采用公开的MS COCO目标检测数据集上预训练的模型作为初始深度残差网络、初始特征金字塔网络、初始区域候选网络、初始全连接层和初始位置回归子网络;随机初始化得到初始图卷积网络、分类子网络的初始参数映射网络和位置回归子网络的初始参数映射网络。
具体实施时,可以通过反向传播算法,根据小样本测试集的损失值梯度更新初始训练框架、初始测试框架、初始图卷积网络、分类子网络的初始参数映射网络、位置回归子网络的初始参数映射网络和位置回归子网络的初始参数。
S408:判断迭代次数是否小于预设迭代次数。
其中,当迭代次数小于预设迭代次数时,返回S202。
S409:当迭代次数等于预设迭代次数时,判断损失值是否收敛;当损失值收敛时,将最后一次迭代更新得到的初始训练框架作为最优训练框架、将最后一次迭代更新得到的初始测试框架作为最优测试框架、将最后一次迭代更新得到的初始图卷积网络作为最优图卷积网络、将最后一次迭代更新得到的分类子网络的初始参数映射网络作为分类子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数映射网络作为位置回归子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数作为最优位置回归子网络的参数;否则将迭代次数归零,并重新执行迭代处理至预设迭代次数。
一实施例中,判断损失值是否收敛包括:
将每次迭代对应的损失值按迭代次数从小到大进行排序,并将排序后的损失值分为多组,每组均有相同个数的损失值;计算每组损失值的平均值,并从多组损失值的平均值中选取最大值与最小值;计算最大值与最小值的差,并将差与预设阈值进行比较;当差小于或等于预设阈值时,损失值收敛。
例如,预设迭代次数为2000,则共有2000个损失值。将排序后的损失值分为20组,每组有100个损失值。计算每组中100个损失值的平均值,共有20个损失值的平均值。从20个损失值的平均值中选取最大值与最小值;计算最大值与最小值的差,并将差与预设阈值进行比较。当差小于或等于预设阈值时,损失值收敛,当差大于预设阈值时,损失值不收敛,重新迭代2000次。
本发明实施例的具体流程如下:
1、将剪裁成特定大小并重新规范命名的电塔高分辨率拍摄源图作为历史电塔训练图像、电塔测试图像、当前电塔训练图像和当前电塔图像。
2、采用公开的MS COCO目标检测数据集上预训练的模型作为初始深度残差网络、初始特征金字塔网络、初始区域候选网络、初始全连接层和初始位置回归子网络;随机初始化得到初始图卷积网络、分类子网络的初始参数映射网络和位置回归子网络的初始参数映射网络。
3、获取历史小样本训练集和小样本测试集;历史小样本训练集包括多个不同类别的历史电塔图像训练集合,每个类别的历史电塔图像训练集合均包括多个历史电塔训练图像;每个历史电塔训练图像均对应一个或多个训练实际缺陷框;小样本测试集包括多个不同类别的电塔图像测试集合,每个类别的电塔图像测试集合均包括多个电塔测试图像;每个历史电塔测试图像均对应一个或多个测试实际缺陷框。历史电塔图像训练集合的类别与电塔图像测试集合的类别相同;历史电塔训练图像与电塔测试图像不同。
执行如下迭代处理:
4、将历史小样本训练集输入初始深度残差网络中,初始深度残差网络对历史小样本训练集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的历史训练特征图;每个历史电塔训练图像均对应多个不同尺度的历史训练特征图。
5、将多个不同尺度的历史训练特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的历史训练特征图。
6、采用RoIAlign算法在每个不同尺度的经过语义加强的历史训练特征图上提取对应的训练实际缺陷框的特征,得到每个训练实际缺陷框的历史特征向量。
7、根据每个训练实际缺陷框的历史特征向量计算每个类别的历史特征向量的平均值;将每个类别的历史特征向量的平均值输入初始图卷积网络中,得到每个类别的历史结构特征向量;串联每个类别的历史结构特征向量和每个类别的历史特征向量的平均值,并将串联结果输入分类子网络的初始参数映射网络中,得到历史分类子网络的参数;串联每个类别的历史特征向量的平均值,并将串联结果输入位置回归子网络的初始参数映射网络中,得到历史参数偏移值;将历史参数偏移值与位置回归子网络的初始参数相加,得到历史位置回归子网络的参数;根据历史分类子网络的参数构建历史分类子网络,根据历史位置回归子网络的参数构建历史位置回归子网络。
8、将小样本测试集输入初始深度残差网络中,初始深度残差网络对小样本测试集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的测试特征图。每个电塔测试图像均对应多个不同尺度的测试特征图。
9、将多个不同尺度的测试特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的测试特征图。
10、利用初始区域候选网络在每个不同尺度的经过语义加强的测试特征图上生成测试候选缺陷框。
11、采用RoIAlign算法在每个不同尺度的经过语义加强的测试特征图上提取对应的测试候选缺陷框的特征,得到每个测试候选缺陷框的特征向量。
12、输入每个测试候选缺陷框的特征向量至初始全连接层中,得到每个经过全连接的测试候选缺陷框的特征向量;经过全连接的测试候选缺陷框的特征向量的数量为多个。
13、输入每个经过全连接的测试候选缺陷框的特征向量至历史分类子网络中,得到每个测试候选缺陷框位于每个类别的概率;输入每个测试候选缺陷框的特征向量至历史位置回归子网络中,得到每个测试候选缺陷框的位置坐标。
14、根据每个测试候选缺陷框对应的测试实际缺陷框的类别与每个测试候选缺陷框位于每个类别的概率,计算每个测试候选缺陷框的分类损失;根据每个测试候选缺陷框对应的测试实际缺陷框的位置坐标与每个测试候选缺陷框的位置坐标,计算每个测试候选缺陷框的回归损失;根据每个测试候选缺陷框的分类损失和每个测试候选缺陷框的回归损失,计算小样本测试集的损失值。
15、根据小样本测试集的损失值更新初始训练框架、初始测试框架、初始图卷积网络、分类子网络的初始参数映射网络、位置回归子网络的初始参数映射网络和位置回归子网络的初始参数,令迭代次数加一。
16、判断迭代次数是否小于预设迭代次数。当迭代次数小于预设迭代次数时,返回步骤4。当迭代次数等于预设迭代次数时,判断损失值是否收敛。
17、当损失值收敛时,将最后一次迭代更新得到的初始训练框架作为最优训练框架、将最后一次迭代更新得到的初始测试框架作为最优测试框架、将最后一次迭代更新得到的初始图卷积网络作为最优图卷积网络、将最后一次迭代更新得到的分类子网络的初始参数映射网络作为分类子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数映射网络作为位置回归子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数作为最优位置回归子网络的参数;否则将迭代次数归零,并重新执行迭代处理至预设迭代次数。
18、获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框。
19、将当前小样本训练集输入最优深度残差网络中,最优深度残差网络对当前小样本训练集的图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的当前训练特征图;每个当前电塔训练图像均对应多个不同尺度的当前训练特征图。
20、将多个不同尺度的当前训练特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前训练特征图。
21、采用RoIAlign算法在每个不同尺度的经过语义加强的当前训练特征图上提取对应的当前实际缺陷框的特征,得到每个当前实际缺陷框的当前特征向量。
22、根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值。将每个类别的当前特征向量的平均值输入最优图卷积网络中,得到每个类别的当前结构特征向量。
23、串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数。
24、串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数。
25、根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络。
26、将当前电塔图像输入最优深度残差网络中,最优深度残差网络对当前电塔图像进行多次卷积处理,选取不同大小的卷积层输出作为多个不同尺度的当前特征图;每个当前电塔测试图像均对应多个不同尺度的当前特征图。
27、将多个不同尺度的当前特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前特征图。
28、利用最优区域候选网络在每个不同尺度的经过语义加强的当前特征图上生成当前候选缺陷框。
29、采用RoIAlign算法在每个不同尺度的经过语义加强的当前特征图上提取对应的当前候选缺陷框的特征,得到每个当前候选缺陷框的特征向量。
30、输入每个当前候选缺陷框的特征向量至最优全连接层中,得到经过全连接的当前候选缺陷框的特征向量;经过全连接的当前候选缺陷框的特征向量的数量为多个。
31、输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率。
32、确定每个当前候选缺陷框的位于每个类别的概率中的最大值;将每个最大值对应的类别作为每个当前候选缺陷框的电塔缺陷类型。
33、输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
综上,本发明实施例的基于小样本的电塔缺陷监测方法先根据小样本训练集得到每个当前实际缺陷框的当前特征向量,再根据当前特征向量进一步确定当前分类子网络和当前最优位置回归子网络,最后根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
基于同一发明构思,本发明实施例还提供了一种基于小样本的电塔缺陷监测***,由于该***解决问题的原理与基于小样本的电塔缺陷监测方法相似,因此该***的实施可以参见方法的实施,重复之处不再赘述。
图7是本发明实施例中基于小样本的电塔缺陷监测***的结构框图。如图7所示,基于小样本的电塔缺陷监测***包括:
第一获取单元,用于获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框;
当前特征向量单元,用于基于当前小样本训练集,得到每个当前实际缺陷框的当前特征向量;
第一计算单元,用于根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值;
当前结构特征向量单元,用于基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量;
第一最优参数映射网络单元,用于串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数;
第二最优参数映射网络单元,用于串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;
第二计算单元,用于将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数;
子网络构建单元,用于根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络;
候选缺陷框特征向量单元,用于根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量;
电塔缺陷类型单元,用于输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型;
电塔缺陷位置坐标单元,用于输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
在其中一种实施例中,当前特征向量单元具体用于:将当前小样本训练集输入最优训练框架中,得到每个当前实际缺陷框的当前特征向量;
当前结构特征向量单元具体用于:将每个类别的当前特征向量的平均值输入最优图卷积网络中,得到每个类别的当前结构特征向量;
候选缺陷框特征向量单元具体用于:将当前电塔图像输入最优测试框架中,得到多个经过全连接的当前候选缺陷框的特征向量。
在其中一种实施例中,还包括:
第二获取单元,用于获取历史小样本训练集和小样本测试集;历史小样本训练集包括多个不同类别的历史电塔图像训练集合,每个类别的历史电塔图像训练集合均包括多个历史电塔训练图像;每个历史电塔训练图像均对应一个或多个训练实际缺陷框;小样本测试集包括多个不同类别的电塔图像测试集合,每个类别的电塔图像测试集合均包括多个电塔测试图像;每个历史电塔测试图像均对应一个或多个测试实际缺陷框;
迭代单元,用于执行如下迭代处理:
将历史小样本训练集输入初始训练框架中,得到每个训练实际缺陷框的历史特征向量;
根据每个训练实际缺陷框的历史特征向量计算每个类别的历史特征向量的平均值;
将每个类别的历史特征向量的平均值输入初始图卷积网络中,得到每个类别的历史结构特征向量;
串联每个类别的历史结构特征向量和每个类别的历史特征向量的平均值,并将串联结果输入分类子网络的初始参数映射网络中,得到历史分类子网络的参数;
串联每个类别的历史特征向量的平均值,并将串联结果输入位置回归子网络的初始参数映射网络中,得到历史参数偏移值;将历史参数偏移值与位置回归子网络的初始参数相加,得到历史位置回归子网络的参数;
根据历史分类子网络的参数构建历史分类子网络,根据历史位置回归子网络的参数构建历史位置回归子网络;
将小样本测试集输入初始测试框架中,得到多个经过全连接的测试候选缺陷框的特征向量;
输入每个经过全连接的测试候选缺陷框的特征向量至历史分类子网络中,得到每个测试候选缺陷框位于每个类别的概率;输入每个测试候选缺陷框的特征向量至历史位置回归子网络中,得到每个测试候选缺陷框的位置坐标;
根据每个测试候选缺陷框对应的测试实际缺陷框的类别与每个测试候选缺陷框位于每个类别的概率,计算每个测试候选缺陷框的分类损失;根据每个测试候选缺陷框对应的测试实际缺陷框的位置坐标与每个测试候选缺陷框的位置坐标,计算每个测试候选缺陷框的回归损失;
根据每个测试候选缺陷框的分类损失和每个测试候选缺陷框的回归损失,计算小样本测试集的损失值;
根据小样本测试集的损失值更新初始训练框架、初始测试框架、初始图卷积网络、分类子网络的初始参数映射网络、位置回归子网络的初始参数映射网络和位置回归子网络的初始参数,令迭代次数加一;
执行迭代处理至预设迭代次数后,判断损失值是否收敛;当损失值收敛时,将最后一次迭代更新得到的初始训练框架作为最优训练框架、将最后一次迭代更新得到的初始测试框架作为最优测试框架、将最后一次迭代更新得到的初始图卷积网络作为最优图卷积网络、将最后一次迭代更新得到的分类子网络的初始参数映射网络作为分类子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数映射网络作为位置回归子网络的最优参数映射网络、将最后一次迭代更新得到的位置回归子网络的初始参数作为最优位置回归子网络的参数;否则将迭代次数归零,并重新执行迭代处理至预设迭代次数。
在其中一种实施例中,最优训练框架包括:最优深度残差网络和最优特征金字塔网络;
最优训练框架单元具体用于:
将当前小样本训练集输入最优深度残差网络中,得到多个不同尺度的当前训练特征图;其中,每个当前电塔训练图像均对应多个不同尺度的当前训练特征图;
将多个不同尺度的当前训练特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前训练特征图;
在每个不同尺度的经过语义加强的当前训练特征图上提取对应的当前实际缺陷框的特征,得到每个当前实际缺陷框的当前特征向量。
在其中一种实施例中,最优测试框架包括:最优深度残差网络、最优特征金字塔网络、最优区域候选网络和最优全连接层;
最优测试框架单元具体用于:
将当前电塔图像输入最优深度残差网络中,得到多个不同尺度的当前特征图;其中,每个当前电塔测试图像均对应多个不同尺度的当前特征图;
将多个不同尺度的当前特征图输入最优特征金字塔网络中,得到多个不同尺度的经过语义加强的当前特征图;
利用最优区域候选网络在每个不同尺度的经过语义加强的当前特征图上生成当前候选缺陷框;
在每个不同尺度的经过语义加强的当前特征图上提取对应的当前候选缺陷框的特征,得到每个当前候选缺陷框的特征向量;
输入每个当前候选缺陷框的特征向量至最优全连接层中,得到经过全连接的当前候选缺陷框的特征向量;经过全连接的当前候选缺陷框的特征向量的数量为多个。
在其中一种实施例中,电塔缺陷类型单元具体用于:
确定每个当前候选缺陷框的位于每个类别的概率中的最大值;
将每个最大值对应的类别作为每个当前候选缺陷框的电塔缺陷类型。
在其中一种实施例中,初始训练框架包括:初始深度残差网络和初始特征金字塔网络;
迭代单元具体用于:
将历史小样本训练集输入初始深度残差网络中,得到多个不同尺度的历史训练特征图;其中,每个历史电塔训练图像均对应多个不同尺度的历史训练特征图;
将多个不同尺度的历史训练特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的历史训练特征图;
在每个不同尺度的经过语义加强的历史训练特征图上提取对应的训练实际缺陷框的特征,得到每个训练实际缺陷框的历史特征向量。
在其中一种实施例中,初始测试框架包括:
初始深度残差网络、初始特征金字塔网络、初始区域候选网络和初始全连接层;
迭代单元具体用于:
将小样本测试集输入初始深度残差网络中,得到多个不同尺度的测试特征图;其中,每个电塔测试图像均对应多个不同尺度的测试特征图;
将多个不同尺度的测试特征图输入初始特征金字塔网络中,得到多个不同尺度的经过语义加强的测试特征图;
利用初始区域候选网络在每个不同尺度的经过语义加强的测试特征图上生成测试候选缺陷框;
在每个不同尺度的经过语义加强的测试特征图上提取对应的测试候选缺陷框的特征,得到每个测试候选缺陷框的特征向量;
输入每个测试候选缺陷框的特征向量至初始全连接层中,得到每个经过全连接的测试候选缺陷框的特征向量;经过全连接的测试候选缺陷框的特征向量的数量为多个。
在其中一种实施例中,迭代单元具体用于:
将每次迭代对应的损失值按迭代次数从小到大进行排序,并将排序后的损失值分为多组,每组均有相同个数的损失值;
计算每组损失值的平均值,并从多组损失值的平均值中选取最大值与最小值;
计算最大值与最小值的差,并将差与预设阈值进行比较;
当差小于或等于预设阈值时,损失值收敛。
综上,本发明实施例的基于小样本的电塔缺陷监测***先根据小样本训练集得到每个当前实际缺陷框的当前特征向量,再根据当前特征向量进一步确定当前分类子网络和当前最优位置回归子网络,最后根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时可以实现基于小样本的电塔缺陷监测方法的全部或部分内容,例如,处理器执行计算机程序时可以实现如下内容:
获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框;
基于当前小样本训练集,得到每个当前实际缺陷框的当前特征向量;
根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值;
基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量;
串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数;
串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;
将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数;
根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络;
根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量;
输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型;
输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
综上,本发明实施例的计算机设备先根据小样本训练集得到每个当前实际缺陷框的当前特征向量,再根据当前特征向量进一步确定当前分类子网络和当前最优位置回归子网络,最后根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时可以实现基于小样本的电塔缺陷监测方法的全部或部分内容,例如,处理器执行计算机程序时可以实现如下内容:
获取当前小样本训练集;当前小样本训练集包括多个不同类别的当前电塔图像训练集合,每个类别的当前电塔图像训练集合均包括多个当前电塔训练图像;每个当前电塔训练图像均对应一个或多个当前实际缺陷框;
基于当前小样本训练集,得到每个当前实际缺陷框的当前特征向量;
根据每个当前实际缺陷框的当前特征向量计算每个类别的当前特征向量的平均值;
基于每个类别的当前特征向量的平均值,得到每个类别的当前结构特征向量;
串联每个类别的当前结构特征向量和每个类别的当前特征向量的平均值,并将串联结果输入分类子网络的最优参数映射网络中,得到当前分类子网络的参数;
串联每个类别的当前特征向量的平均值,并将串联结果输入位置回归子网络的最优参数映射网络中,得到当前参数偏移值;
将当前参数偏移值与最优位置回归子网络的参数相加,得到当前最优位置回归子网络的参数;
根据当前分类子网络的参数构建当前分类子网络,根据当前最优位置回归子网络的参数构建当前最优位置回归子网络;
根据当前电塔图像,得到多个经过全连接的当前候选缺陷框的特征向量;
输入每个经过全连接的当前候选缺陷框的特征向量至当前分类子网络中,得到每个当前候选缺陷框位于每个类别的概率;根据每个当前候选缺陷框位于每个类别的概率获得每个当前候选缺陷框的电塔缺陷类型;
输入每个当前候选缺陷框的特征向量至当前最优位置回归子网络中,得到每个当前候选缺陷框的电塔缺陷位置坐标。
综上,本发明实施例的计算机可读存储介质先根据小样本训练集得到每个当前实际缺陷框的当前特征向量,再根据当前特征向量进一步确定当前分类子网络和当前最优位置回归子网络,最后根据当前电塔图像和当前分类子网络获得每个当前候选缺陷框的电塔缺陷类型,根据当前电塔图像和当前最优位置回归子网络得到每个当前候选缺陷框的电塔缺陷位置坐标,可以准确定位电塔缺陷所在位置以及缺陷类型,实现对电塔缺陷的及时检测,在有效排除电塔安全隐患的同时节省了检修和标注大量数据的成本。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。