CN111046861B - 识别红外影像的方法、构建识别模型的方法及应用 - Google Patents

Abstract

本发明公开了一种识别红外影像是否存在样本设备的方法、一种构建电力设备识别模型的方法、一种应用电力设备识别模型的方法，属于电力设备红外影像识别领域。本发明主要根据物体在红外成像时的易变性，将样本设备的特征分为不易变的特征、易变的特征，以不易变的特征对被试红外影像进行匹配，以识别被试红外影像中是否对应有样本设备，或者，对不易变的特征、易变的特征匹配权重形成电力设备识别模型，从而识别第七红外影像中是否对应有电力设备。通过局部特征与整体特征相结合或概率适配的方式，本发明识别红外影像中是否存在对应的电力设备的准确率更高。

Description

识别红外影像的方法、构建识别模型的方法及应用

技术领域

本发明涉及电力设备红外影像识别技术领域，具体涉及一种识别红外影像是否存在样本设备的方法、一种构建电力设备识别模型的方法、一种应用电力设备识别模型的方法。

背景技术

基于技术路线的不同，图像识别的算法模型可分为两大类：一类是基于目标模板匹配的方法，例如，基于灰度相关匹配算法、归一化积相关、FFT相关算法、基于Hausdorff距离的匹配算法；另一类是基于目标特征提取的识别方法，包括经典模式识别算法、知识基算法以及人工神经网络技术。

刊文于《科技创新导报》2015年第21期的，由孟庆华撰写的《红外光谱成像目标识别技术综述》概述了目标识别技术研究现状，并说明了红外影像目标识别的难点在于：“异物同谱”造成了目标轮廓边界的模糊；“同谱异物”造成了目标内部形成虚假的异物轮廓。

目前，进行电力设备状态识别的方式是人工手持设备，比如手持热像仪拍摄设备，以获取设备的红外图像。该种方法存在以下不足之处：第一，手持式热像仪只能生成红外图像，由于红外图像的分辨率较低，辨识设备及设备热故障难度大；第二，手持式热像仪拍摄的红外图像需要导出才能使用，生成的红外图像需要人工分类存储，以将设备与该设备相关的红外图像及拍摄日期进行对应。在机器识别红外图像目标类型时，还存在以下困难：第一，电力设备工作时会产生热量，使红外图像的变化范围更大；第二，手持式热像仪的多次拍摄角度并不能保持一致，而不同拍摄角度、不同光环境下收集的红外图像数据并不一致，这对红外图像的目标识别造成了新的困难。

公开于2018年9月21日的中国专利文献CN108564025A记载了一种基于可变形卷积神经网络的红外图像物体识别方法，包括以下步骤：收集数据库样本并设定训练集与测试集；搭建卷积神经网络架构；在卷积层采用可变形卷积核进行采样，通过加入一个额外的卷积层来学习offset偏移量，共享输入特征图，然后把输入特征图和训练得到的offset偏移量共同作为可变形卷积层的输入层，此时可变形卷积层采样点发生偏移，再进行卷积；在池化层采用可变形兴趣区域进行池化操作，其中ROI被分为n×n个bin，被输入到一个额外的全连接层学习offset，然后通过一个可变形兴趣区域池化层使每个bin发生偏移；在卷积神经网络的最后一层加上softmax分类器并设置目标函数；设置学习率参数，采用后向传播算法，使用训练集训练卷积神经网络模型一次，使用的得到的训练后的模型去识别测试集数据，统计整体识别率；重复步骤S6，直到目标函数值完全收敛，识别率不再提高为止，此时网络参数训练完毕，得到可变形卷积神经网络模板，即红外图像物体识别***；应用该***进行红外图像识别。该技术方案从增加offset偏移量的卷积层的方式解决红外图像目标识别的“异物同谱”、“同谱异物”的难点，提高了红外影像的目标识别正确率低的技术问题。

发明内容

有鉴于此，本发明的目的之一是提供一种识别红外影像是否存在样本设备的方法、一种构建电力设备识别模型的方法、一种应用电力设备识别模型的方法，以解决红外影像的目标识别准确率低的技术问题。

为达到上述目的，本发明采用以下技术方案：

一种识别红外影像是否存在样本设备的方法，包括以下步骤：

步骤a,根据物体在红外成像时的易变性，将样本设备的特征分为第一类特征、第二类特征和第三类特征，其中，红外成像时不易变的孤立特征属于第一类特征，红外成像时易变的孤立特征属于第二类特征，所述样本设备的每一项第二类特征的可能变形形成对应的第二类特征集合，红外成像时不易变的所有特征属于第三类特征；

步骤b,分别将样本设备的每一项第一类特征与被试红外影像进行匹配，若被试红外影像中存在样本设备的所有第一类特征，则继续下一步，否则执行步骤f；

步骤c,将样本设备的第三类特征与被试红外影像的对应区域进行匹配，若被试红外影像中存在样本设备的第三类特征，则继续下一步，否则执行步骤f；

步骤e,输出被试红外影像对应的物体中存在样本设备，并跳过步骤f；

步骤f,输出被试红外影像对应的物体中不存在样本设备。

优选的，在所述步骤c和步骤e之间还存在步骤d，步骤d，分别将第二类特征集合中的每一个元素与被试红外影像进行匹配，若被试红外影像中的每项第二类特征均从属于对应的第二类特征集合，则继续下一步，否则执行步骤f。

一种构建电力设备识别模型的方法，包括以下步骤：获取训练图像；获取包含有同一电力设备的多幅第二红外影像，该电力设备具有至少一个第一部件和至少一个第二部件，所述第一部件具有不变红外特征，所述第二部件具有可变红外特征；建立物体局部特征识别模型；获取从所述第二红外影像中分割提取对应于所述第一部件的第三红外影像，提取所述第三红外影像中的对应于所述第一部件的模型特征，以获取能够分类该第一部件的第一分类器；从所述第二红外影像中分割提取对应于所述第二部件的第四红外影像，提取所述第四红外影像中的对应于所述第二部件的模型特征，以获取能够分类该第二部件的第二分类器；建立物体局部特征的识别权重；从所述第二红外影像中分割提取对应于所述电力设备的第五红外影像，提取所述第五红外影像中的对应于所述第一部件和第二部件的分类特征，以获取所述电力设备的与所述第一部件和第二部件相关的第三分类器；所述电力设备识别模型包括第一分类器、第二分类器和第三分类器。

优选的，提取所述第三红外影像中的对应于所述第一部件的模型特征的方法选择卷积神经网络模型。

优选的，提取所述第四红外影像中的对应于所述第二部件的模型特征的方法选择支持向量机模型。

优选的，提取所述第五红外影像中的分别对应于所述第一部件的影像权重和第二部件的影像权重的方法选择支持向量机模型。

优选的，获取包含有同一电力设备的多幅第二红外影像的方法包括：获取同一电力设备的多幅第一红外影像，采用高斯混合模型处理所述第一红外影像，以确定所述第一红外影像的背景像素；更新所述第一红外影像的背景像素为设定背景像素后获得所述第二红外影像。

一种应用电力设备识别模型的方法，包括以下步骤：

获取第七红外影像，将所述第七红外影像输入前述的构建电力设备识别模型的方法构建的模型内，采用第一分类器识别所述第七红外影像中的对应于第一部件的影像，当所述第七红外影像包括第一部件的影像时，采用第二分类器识别所述第七红外影像中的第二部件，采用第三分类器识别所述第七红外影像中的电力设备，当所述第二分类器能够识别到第二部件，且所述第三分类器能够识别到所述电力设备时，则所述第七红外影像存在对应的电力设备。

优选的，获取第六红外影像，采用高斯混合模型处理所述第六红外影像，以确定所述第六红外影像的背景像素；更新所述第六红外影像的背景像素为设定背景像素后获得所述第七红外影像。

在图像识别技术领域，本领域技术人员认为单一一种方法的识别效率已经满足要求。但是，对于红外影像目标识别领域，其并不能够满足要求。虽然整体与局部的对应方法属于哲学方法论，但在红外影像目标识别领域，并未见本领域应用此方法。

本发明的有益效果是：

本发明通过对物体在红外成像时的易变性，将样本设备的特征划分为三类特征，通过匹配第一类特征、第三类特征基本上可以确定被试红外影像对应的物体中是否存在样本设备。具体的，步骤b属于第一类特征的局部匹配，步骤c属于第三类特征（也就是同一视图中所有第一类特征）的整体匹配。通过局部特征与整体特征相结合或概率适配的方式，本发明识别红外影像中是否存在对应的电力设备的准确率更高。

本发明通过匹配第二类特征的可能变化，可以实现准确地识别红外影像中是否存在样本设备。具体的，步骤d属于第二类特征的局部匹配。

本发明通过获取训练图像并对训练图像的不易变特征、易变特征进行分类，通过建立物体局部特征识别模型识别不易变特征形成第一分类器，识别易变特征形成第二分类器，并建立物体局部特征的识别权重确定电力设备中不易变特征和易变特征的识别权重，获得第三分类器，这三个分类器形成电力设备识别模型。通过局部与整体的结合，识别对应的电力设备。

卷积神经网络模型识别固定图案效率高，支持向量机模型分类效率高，其结合能够提高电力设备识别模型的识别效率，降低对硬件的要求。

高斯混合模型处理图像可以降低环境光对红外影像识别的影像，有助于提高识别效率。

具体实施方式

下面将结合本发明实施例，对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：一种识别红外影像是否存在样本设备的方法，包括以下步骤：

步骤a,根据物体在红外成像时的易变性，将样本设备的特征分为第一类特征、第二类特征和第三类特征，其中，红外成像时不易变的孤立特征属于第一类特征，红外成像时易变的孤立特征属于第二类特征，所述样本设备的每一项第二类特征的可能变形形成对应的第二类特征集合，红外成像时不易变的所有特征属于第三类特征；

步骤b,分别将样本设备的每一项第一类特征与被试红外影像进行匹配，若被试红外影像中存在样本设备的所有第一类特征，则继续下一步，否则执行步骤f；

步骤c,将样本设备的第三类特征与被试红外影像的对应区域进行匹配，若被试红外影像中存在样本设备的第三类特征，则继续下一步，否则执行步骤f；

步骤d，分别将第二类特征集合中的每一个元素与被试红外影像进行匹配，若被试红外影像中的每项第二类特征均从属于对应的第二类特征集合，则继续下一步，否则执行步骤f；

步骤e,输出被试红外影像对应的物体中存在样本设备，并结束；

步骤f,输出被试红外影像对应的物体中不存在样本设备，并结束。

实施例2：一种构建电力设备识别模型的方法，包括以下步骤：

获取训练图像；获取包含有同一电力设备的多幅第二红外影像，该电力设备具有至少一个第一部件和至少一个第二部件，所述第一部件具有不变红外特征，所述第二部件具有可变红外特征。为解决场景中光线变化、阴影、噪声等问题，优选的，获取同一电力设备的多幅第一红外影像，采用高斯混合模型处理所述第一红外影像，以确定所述第一红外影像的背景像素；更新所述第一红外影像的背景像素为设定背景像素后获得所述第二红外影像；具体的，首先，对于场景中的每一个像素点建立一个背景模型，此背景模型包含K个状态，每个状态为针对该像素的一个统计描述，每个背景模型包含一个直方图描述和一个权重值，此背景模型可以表示为

其中，ω _i为第i个状态的权重，m _i为第i个状态的一个直方图描述，i为≤K的自然数。在这里，背景模型的直方图描述是指：以该像素点为中心，取长宽皆为L的一个正方形邻域，计算此邻域内的CS-LBP统计直方图（L值可以根据实验结果进行调整，然后取实验结果最佳的值）。

建立物体局部特征识别模型；获取从所述第二红外影像中分割提取对应于所述第一部件的第三红外影像，提取所述第三红外影像中的对应于所述第一部件的模型特征，以获取能够分类该第一部件的第一分类器；提取所述第三红外影像中的对应于所述第一部件的模型特征的具体方法可以选择卷积神经网络模型等。从所述第二红外影像中分割提取对应于所述第二部件的第四红外影像，提取所述第四红外影像中的对应于所述第二部件的模型特征，以获取能够分类该第二部件的第二分类器；提取所述第四红外影像中的对应于所述第二部件的模型特征的具体方法可以选择支持向量机模型等。

建立物体局部特征的识别权重；从所述第二红外影像中分割提取对应于所述电力设备的第五红外影像，提取所述第五红外影像中的对应于所述第一部件和第二部件的分类特征，以获取所述电力设备的与所述第一部件和第二部件相关的第三分类器；提取所述第五红外影像中的分别对应于所述第一部件的影像权重和第二部件的影像权重的具体方法可以选择支持向量机模型等；

电力设备识别模型包括第一分类器、第二分类器和第三分类器。

实施例3：一种应用电力设备识别模型的方法，包括以下步骤：

获取第七红外影像，将所述第七红外影像输入实施例2中的构建的电力设备识别模型内，采用第一分类器识别所述第七红外影像中的对应于第一部件的影像，当所述第七红外影像包括第一部件的影像时，采用第二分类器识别所述第七红外影像中的第二部件，采用第三分类器识别所述第七红外影像中的电力设备，当所述第二分类器能够识别到第二部件，且所述第三分类器能够识别到所述电力设备时，则所述第七红外影像存在对应的电力设备。

其中，第七红外影像可以这样获得：获取第六红外影像，采用高斯混合模型处理所述第六红外影像，以确定所述第六红外影像的背景像素；更新所述第六红外影像的背景像素为设定背景像素后获得所述第七红外影像。

实施例4：一种构建基于深度学习的红外图谱处理模型的方法，包括以下步骤：

步骤a,收集和整理不同设备以及不同部位的红外图像；

步骤b,人工或自动分割红外图像中设备的不同部位；

步骤c,建立用于分类学习设备的正设备样本库和负设备样本库，建立用于分类学习部位的正部位样本库和负部位样本库；

步骤d,训练基于深度神经网络，比如CNN或RNN，提取图像不同层次的语义特征；为了提升分类效果，还可以将设备或部位的低层特征作为特征和语义特征融合作为分类器的输入特征，低层特征可以是形状特征；

步骤e,将未标注样本作为测试样本输入最后一层神经网络进行分类，可实现对不同设备/部位的检测。

具体的：首先，计算红外图像积分直方图，将作为背景模型的基本特征，以便有效解决场景中光线变化、阴影、噪声等问题，然后基于高斯混合模型的思想对可能变化的场景进行背景建模，详细描述如下：

对于场景中的每一个像素点建立一个背景模型，此模型包含K个状态（model），每个状态为针对该像素的一个统计描述，每个状态包含一个直方图描述和一个权重值，此模型可以表示为

其中ω _i为第i个状态的权重，m _i为第i个状态的一个直方图描述。在这里，模型的直方图描述是指：以该像素点为中心，取长宽皆为L的一个正方形邻域，计算此邻域内的CSLBP统计直方图（L值可以根据实验结果进行调整，然后取实验结果最佳的值）。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种识别红外影像是否存在样本设备的方法，其特征在于，包括以下步骤：

步骤a,根据物体在红外成像时的易变性，将样本设备的特征分为第一类特征、第二类特征和第三类特征，其中，红外成像时不易变的孤立特征属于第一类特征，红外成像时易变的孤立特征属于第二类特征，所述样本设备的每一项第二类特征的变形形成对应的第二类特征集合，红外成像时不易变的所有特征属于第三类特征；

步骤b,分别将样本设备的每一项第一类特征与被试红外影像进行匹配，若被试红外影像中存在样本设备的所有第一类特征，则继续下一步，否则执行步骤f；

步骤c,将样本设备的第三类特征与被试红外影像的对应区域进行匹配，若被试红外影像中存在样本设备的第三类特征，则继续下一步，否则执行步骤f；

步骤e,输出被试红外影像对应的物体中存在样本设备，并跳过步骤f；

步骤f,输出被试红外影像对应的物体中不存在样本设备；

在所述步骤c和步骤e之间还存在步骤d，分别将第二类特征集合中的每一个元素与被试红外影像进行匹配，若被试红外影像中的每项第二类特征均从属于对应的第二类特征集合，则继续下一步，否则执行步骤f。

2.一种构建电力设备识别模型的方法，其特征在于，包括以下步骤：

获取训练图像；获取包含有同一电力设备的多幅第二红外影像，该电力设备具有至少一个第一部件和至少一个第二部件，所述第一部件具有不变红外特征，所述第二部件具有可变红外特征；

建立物体局部特征识别模型；获取从所述第二红外影像中分割提取对应于所述第一部件的第三红外影像，提取所述第三红外影像中的对应于所述第一部件的模型特征，以获取能够分类该第一部件的第一分类器；从所述第二红外影像中分割提取对应于所述第二部件的第四红外影像，提取所述第四红外影像中的对应于所述第二部件的模型特征，以获取能够分类该第二部件的第二分类器；

建立物体局部特征的识别权重；从所述第二红外影像中分割提取对应于所述电力设备的第五红外影像，提取所述第五红外影像中的对应于所述第一部件和第二部件的分类特征，以获取所述电力设备的与所述第一部件和第二部件相关的第三分类器；

所述电力设备识别模型包括第一分类器、第二分类器和第三分类器。

3.如权利要求2所述的构建电力设备识别模型的方法，其特征在于，提取所述第三红外影像中的对应于所述第一部件的模型特征的方法选择卷积神经网络模型。

4.如权利要求2所述的构建电力设备识别模型的方法，其特征在于，提取所述第四红外影像中的对应于所述第二部件的模型特征的方法选择支持向量机模型。

5.如权利要求2所述的构建电力设备识别模型的方法，其特征在于，提取所述第五红外影像中的分别对应于所述第一部件的影像权重和第二部件的影像权重的方法选择支持向量机模型。

6.如权利要求2所述的构建电力设备识别模型的方法，其特征在于，获取包含有同一电力设备的多幅第二红外影像的方法包括：获取同一电力设备的多幅第一红外影像，采用高斯混合模型处理所述第一红外影像，以确定所述第一红外影像的背景像素；更新所述第一红外影像的背景像素为设定背景像素后获得所述第二红外影像。

7.一种应用电力设备识别模型的方法，其特征在于，包括以下步骤：

获取第七红外影像，将所述第七红外影像输入如权利要求2-6中任一项所述的构建电力设备识别模型的方法构建的模型内，采用第一分类器识别所述第七红外影像中的对应于第一部件的影像，当所述第七红外影像包括第一部件的影像时，采用第二分类器识别所述第七红外影像中的第二部件，采用第三分类器识别所述第七红外影像中的电力设备，当所述第二分类器能够识别到第二部件，且所述第三分类器能够识别到所述电力设备时，则所述第七红外影像存在对应的电力设备。

8.如权利要求7所述的应用电力设备识别模型的方法，其特征在于，获取第六红外影像，采用高斯混合模型处理所述第六红外影像，以确定所述第六红外影像的背景像素；更新所述第六红外影像的背景像素为设定背景像素后获得所述第七红外影像。