CN111461010A - 一种基于模板跟踪的电力设备识别效率优化方法 - Google Patents

一种基于模板跟踪的电力设备识别效率优化方法 Download PDF

Info

Publication number
CN111461010A
CN111461010A CN202010248283.7A CN202010248283A CN111461010A CN 111461010 A CN111461010 A CN 111461010A CN 202010248283 A CN202010248283 A CN 202010248283A CN 111461010 A CN111461010 A CN 111461010A
Authority
CN
China
Prior art keywords
template
power equipment
target
frame
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010248283.7A
Other languages
English (en)
Other versions
CN111461010B (zh
Inventor
杨凤生
曾惜
王林波
王元峰
王冕
杨金铎
王恩伟
王宏远
刘畅
熊萱
龙思璇
马庭桦
兰雯婷
陈子敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Power Grid Co Ltd
Original Assignee
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Power Grid Co Ltd filed Critical Guizhou Power Grid Co Ltd
Priority to CN202010248283.7A priority Critical patent/CN111461010B/zh
Publication of CN111461010A publication Critical patent/CN111461010A/zh
Application granted granted Critical
Publication of CN111461010B publication Critical patent/CN111461010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于模板跟踪的电力设备识别效率优化方法，包括以下步骤：搭建深度分类网络，并对其进行训练；使用深度分类网络模型进行视频关键帧检测识别；提取关键帧目标识别区域作为目标模板，提取模板特征；非关键帧目标区域两倍范围内进行模板匹配，计算匹配率；判断匹配率与阈值的关系，匹配率极值大于等于阈值，则更新模板区域坐标，重新提取模板特征，匹配率小于阈值，则跳转深度神经网络模型进行识别；判断是否结束电力设备识别，如果结束则退出；本发明使用上述方法跟踪速度快，有效降低深度学习分类器识别的无效区域，提高识别帧率及误检率。

Description

一种基于模板跟踪的电力设备识别效率优化方法
技术领域
本发明涉及电力设备识别领域，尤其是一种基于模板跟踪的电力设备识别效率优化方法。
背景技术
目前，基于深度学习算法的一系列目标检测算法大致可以分为两大流派：1.两步走(two-stage)算法：先产生候选区域然后再进行CNN分类(RCNN系列)，2.一步走(one-stage)算法：直接对输入图像应用算法并输出类别和相应的定位(YOLO系列)；YOLO兼具效率及识别率，是目前工业界目标识别首选框架。图像识别处理技术在日常生活中以及工业生产中都起到很重要的作用，在电力行业对电力设备的监测也离不开图像处理技术，而现有的技术电力设备识别检测速度慢，效率低。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例，在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述和/或现有技术中所存在的问题，提出了本发明。
因此，本发明所要解决的技术问题是现有技术电力设备识别检测速度慢的问题。
为解决上述技术问题，本发明提供如下技术方案：一种基于模板跟踪的电力设备识别效率优化方法，包括以下步骤，
S1：搭建深度分类网络，并对其进行训练；
S2：使用深度分类网络模型进行视频关键帧检测识别；
S3：提取关键帧目标识别区域作为目标模板，提取模板特征；
S4：非关键帧目标区域两倍范围内进行模板匹配，计算匹配率；
S5：判断匹配率与阈值的关系，匹配率极值大于等于阈值，则更新模板区域坐标，重新提取模板特征，匹配率小于阈值，则跳转深度神经网络模型进行识别；
S6：判断是否结束电力设备识别，如果结束则退出。
作为本发明所述基于模板跟踪的电力设备识别效率优化方法的一种优选方案，其中：所述S1中包括：使用公开的图像识别数据集ImageNet作为预训练集，在正常环境下，采集不同电力设备的样本分别建立训练样本集、测试样本集和和验证样本集，对样本集中的电力设备进行标注，数据增强，并将增强后的电力设备区域图像作为正样本，其他区域作为负样本，首先使用预训练集训练预训练模型，然后使用训练样本基于预训练模型做迁移学习。
作为本发明所述基于模板跟踪的电力设备识别效率优化方法的一种优选方案，其中：所述S1中利用测试样本集对模型进行正确识别率检测，若模型的正确识别低于实际场景的识别率门限要求，则继续进行模型优化训练，直至达到要求识别率，最终获得电力设备识别的深度学习模型。
作为本发明所述基于模板跟踪的电力设备识别效率优化方法的一种优选方案，其中：所述S2包括以下步骤：摄像头抓取视频帧序列，设置间隔8帧为一个关键帧I，针对关键帧I，将关键帧I图像传入深度学习分类模型，模型输出电力设备目标矩形区域的坐标，目标类别及目标类别权重。
作为本发明所述基于模板跟踪的电力设备识别效率优化方法的一种优选方案，其中：所述S3包括提取所述S2中关键帧I获取的目标区域图像作为模板，提取模板的梯度特征。
作为本发明所述基于模板跟踪的电力设备识别效率优化方法的一种优选方案，其中：所述S4包括视频帧序列每8帧为关键帧I，而其余为非关键帧B，非关键帧B以上一帧的目标模板坐标位置及模板特征为基础，匹配当前帧的目标位置，即在新的视频帧中，将上一帧的目标模板目标区域扩大为原来的1.5倍，提取该区域的梯度特征，然后使用上一帧的目标模板提取梯度特征进行模板匹配。计算匹配率极值。
作为本发明所述基于模板跟踪的电力设备识别效率优化方法的一种优选方案，其中：所述S5包括S501：如果匹配率极值大于等于阈值，则匹配成功，将目标区域坐标更新为匹配率最高的区域坐标，重新提取模板的梯度特征。
作为本发明所述基于模板跟踪的电力设备识别效率优化方法的一种优选方案，其中：所述S5包括S502：如果匹配率小于阈值，则模板匹配失败，将当前帧作为关键帧I，导入深度神经网络模型进行识别，将目标区域坐标更新为识别结果中的目标区域坐标，重新提取模板的梯度特征。
作为本发明所述基于模板跟踪的电力设备识别效率优化方法的一种优选方案，其中：所述S6包括判断当前帧是否为最后一帧，若是，结束目标跟踪，否则，将更新后的模板特征作为下一帧的模板特征，返回S4。
本发明的有益效果：采用的优化方法通过模型识别已经标注的测试集，通过评估检测框与标注框的面积重合率来测试正确率，对电力设备识别速度有了提升，减少了不必要的工作量，有效降低深度学习分类器识别的无效区域，提高识别帧率及误检率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明提供的一种实施例所述的基于模板跟踪的电力设备识别效率优化方法流程图；
图2为本发明提供的一种实施例所述的基于模板跟踪的电力设备识别效率优化方法中模板跟踪示意图；
图3为本发明提供的一种实施例所述的基于模板跟踪的电力设备识别效率优化方法中电力设备识别示意图；
图4为本发明提供的一种实施例所述的基于模板跟踪的电力设备识别效率优化方法中电力设备识别示意图；
图5为本发明提供的一种实施例所述的基于模板跟踪的电力设备识别效率优化方法中常见模板匹配示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
再其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例
参照图1～5，本实施例提供了一种基于模板跟踪的电力设备识别效率优化方法，包括以下步骤：
S1：搭建深度分类网络，并对其进行训练；
S2：使用深度分类网络模型进行视频关键帧检测识别；
S3：提取关键帧目标识别区域作为目标模板，提取模板特征；
S4：非关键帧目标区域两倍范围内进行模板匹配，计算匹配率；
S5：判断匹配率与阈值的关系，匹配率极值大于等于阈值，则更新模板区域坐标，重新提取模板特征，匹配率小于阈值，则跳转深度神经网络模型进行识别；
S6：判断是否结束电力设备识别，如果结束则退出。
本实施例中，使用深度学习目标识别模型yolo3，使用ImageNet作为预训练集，深度学习框架采用darknet,训练模型一个指令就可以了，YOLO通过darknet-53骨架网络，借鉴了残差网络residual network的做法，在一些层之间设置了快捷链路(shortcutconnections)，更进一步采用了3个不同尺度的特征图来进行对象检测，在检测效率上将图像分割为若干个单元格，并在不同尺度上设置先验框。由于采用纯卷积神经网络，故特征图具有位置不变性，先验框的特征可以直接由最终的特征图来计算。在获取特征图之后做回归训练从而得到高效的分类模型。检测目标并非规则的正方形或长方形。YOLO为每种下采样尺度设定3种先验框，下采样了三次，总共聚类出9种尺寸的先验框。可以采用K-means聚类得到先验框的尺寸，在COCO数据集这9个先验框是：(10x13)，(16x30)，(33x23)，(30x61)，(62x45)，(59x119)，(116x90)，(156x198)，(373x326)。
分配上，在最小的13*13特征图上(有最大的感受野)应用较大的先验框(116x90)，(156x198)，(373x326)，适合检测较大的对象。中等的26*26特征图上(中等感受野)应用中等的先验框(30x61)，(62x45)，(59x119)，适合检测中等大小的对象。较大的52*52特征图上(较小的感受野)应用较小的先验框(10x13)，(16x30)，(33x23)，适合检测较小的对象。
yolo将输入图像分为S*S个单元格，之后的输出是以单元格为单位进行的：
1)如果一个object的中心落在某个单元格上，那么这个单元格负责预测这个物体。
2)每个单元格需要预测B个bbox值(x,y,w,h,c)，同时为每个bbox值预测一个置信度(confidence scores)，也就是每个单元格需要预测B×(4+1)个值。
3)每个单元格需要预测C(分类个数)个条件概率值.所以，最后网络的输出维度为：
S*S*(B*5+C)
这里虽然每个单元格负责预测一种物体，但是每个单元格可以预测多个bbox值。
每个Bbox的含义如下：
1、x,y是bbox的中心相对于单元格的offset，表示的是中心相对于单元格的offset，计算公式如下：
Figure BDA0002434560490000051
2、w,h是bbox相对于整个图片的比例，预测的bbox的宽高为，(w,h)表示的是bbox的是相对于整张图片的占比，计算公式如下:
Figure BDA0002434560490000052
3、confidence置信度，这个置信度是由两部分组成，一是格子内是否有目标，二是bbox的准确度。定义置信度为:
Figure BDA0002434560490000053
如果格子内有物体，则PT(object)＝1，此时置信度等于IoU。如果格子内没有物体，则PT(object)＝0，此时置信度为0。
4、C类的条件概率，条件概率定义为PT(classi|object)，表示该单元格存在物体且属于第i类的概率。每个单元格预测最终输出的概率定义为：
Figure BDA0002434560490000061
模板匹配是在一幅图像中寻找一个特定目标的方法之一，这种方法的原理非常简单，遍历图像中的每一个可能的位置，比较各处与模板是否“相似”，当相似度足够高时，就认为找到了我们的目标。
如图5所示，常见的匹配算法如下：
1、平方差匹配法CV_TM_SQDIFF
2、归一化平方差匹配法CV_TM_SQDIFF_NORMED
3、相关匹配法CV_TM_CCORR
4、归一化相关匹配法CV_TM_CCORR_NORMED
5、相关系数匹配法CV_TM_CCOEFF
6、归一化相关系数匹配法CV_TM_CCOEFF_NORMED
具体的，S1中包括：使用公开的图像识别数据集ImageNet作为预训练集，在正常环境下，采集不同电力设备的样本分别建立训练样本集、测试样本集和和验证样本集，对样本集中的电力设备进行标注，数据增强，并将增强后的电力设备区域图像作为正样本，其他区域作为负样本，首先使用预训练集训练预训练模型，然后使用训练样本基于预训练模型做迁移学习。
所述S1中利用测试样本集对模型进行正确识别率检测，若模型的正确识别低于实际场景的识别率门限要求，则继续进行模型优化训练，直至达到要求识别率，最终获得电力设备识别的深度学习模型；识别率检测是通过模型识别已经标注的测试集，通过评估检测框与标注框的面积重合率来测试正确率。
进一步的，所述S2包括以下步骤：摄像头抓取视频帧序列，设置间隔8帧为一个关键帧I，针对关键帧I，将关键帧I图像传入深度学习分类模型，模型输出电力设备目标矩形区域的坐标，目标类别及目标类别权重；具体的，第一帧设置为I帧，I帧为送入深度模型的图像，深度学习模型可以得到目标准确的坐标位置，将得到的坐标位置作为模板，后续图像使用模板匹配来定位目标，更新目标的坐标。
进一步的，所述S3包括提取所述S2中关键帧I获取的目标区域图像作为模板，提取模板的梯度特征；梯度特征属于边缘特征，采用sobel算子提取Sobel算子参考连接，以灰度图像为例，它的理论基础是这样的，如果出现一个边缘，那么图像的灰度就会有一定的变化，为了方便假设由黑渐变为白代表一个边界，那么对其灰度分析，在边缘的灰度函数就是一个一次函数y＝kx，对其求一阶导数就是其斜率k，就是说边缘的一阶导数是一个常数，而由于非边缘的一阶导数为零，这样通过求一阶导数就能初步判断图像的边缘了，通常是X方向和Y方向的导数，也就是梯度。理论上计算机就是通过这种方式来获得图像的边缘。但是，具体应用到图像中会发现这个导数是求不了的，因为没一个准确的函数让你去求导，而且计算机在求解析解要比求数值解麻烦得多，所以就想到了一种替代的方式来求导数，就是用一个3×3的窗口来对图像进行近似求导。拿对X方向求导为例，某一点的导数为第三行的元素之和减去第一行元素之和，这样就求得了某一点的近似导数。其实也很好理解为什么它就近似代表导数，导数就代表一个变化率，从第一行变为第三行，灰度值相减，当然就是一个变化率了，这就是所谓的Prewitt算子。这样近似X方向导数就求出来了，Y方向导数与X方向导数求法相似，只不过是用第三列元素之和减去第一列元素之和；X方向和Y方向导数有了，那么梯度也就出来了，这样就可以找出一幅图中的边缘了。
进一步的，参照图3～4，所述S4包括视频帧序列每8帧为关键帧I，而其余为非关键帧B，非关键帧B以上一帧的目标模板坐标位置及模板特征为基础，匹配当前帧的目标位置，即在新的视频帧中，将上一帧的目标模板目标区域扩大为原来的1.5倍，提取该区域的梯度特征，然后使用上一帧的目标模板提取梯度特征进行模板匹配。计算匹配率极值。S5包括S501：如果匹配率极值大于等于阈值，则匹配成功，将目标区域坐标更新为匹配率最高的区域坐标，重新提取模板的梯度特征；S5包括S502：如果匹配率小于阈值，则模板匹配失败，将当前帧作为关键帧I，导入深度神经网络模型进行识别，将目标区域坐标更新为识别结果中的目标区域坐标，重新提取模板的梯度特征；具体的，提取模板边缘点和图像边缘点后，使用Hausdorff距离度量相似度匹配率，Hausdorff距离是描述两组点集之间相似程度的一种量度，它是两个点集之间距离的一种定义形式，优选的，阈值为经验值0.7。
进一步的，所述S6包括判断当前帧是否为最后一帧，若是，结束目标跟踪，否则，将更新后的模板特征作为下一帧的模板特征，返回S4；实时视频电力设备识别，结束视频时就是最后一帧。
重要的是，应注意，在多个不同示例性实施方案中示出的本申请的构造和布置仅是例示性的。尽管在此公开内容中仅详细描述了几个实施方案，但参阅此公开内容的人员应容易理解，在实质上不偏离该申请中所描述的主题的新颖教导和优点的前提下，许多改型是可能的(例如，各种元件的尺寸、尺度、结构、形状和比例、以及参数值(例如，温度、压力等)、安装布置、材料的使用、颜色、定向的变化等)。例如，示出为整体成形的元件可以由多个部分或元件构成，元件的位置可被倒置或以其它方式改变，并且分立元件的性质或数目或位置可被更改或改变。因此，所有这样的改型旨在被包含在本发明的范围内。可以根据替代的实施方案改变或重新排序任何过程或方法步骤的次序或顺序。在权利要求中，任何“装置加功能”的条款都旨在覆盖在本文中所描述的执行所述功能的结构，且不仅是结构等同而且还是等同结构。在不背离本发明的范围的前提下，可以在示例性实施方案的设计、运行状况和布置中做出其他替换、改型、改变和省略。因此，本发明不限制于特定的实施方案，而是扩展至仍落在所附的权利要求书的范围内的多种改型。
此外，为了提供示例性实施方案的简练描述，可以不描述实际实施方案的所有特征(即，与当前考虑的执行本发明的最佳模式不相关的那些特征，或于实现本发明不相关的那些特征)。
应理解的是，在任何实际实施方式的开发过程中，如在任何工程或设计项目中，可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的，但对于那些得益于此公开内容的普通技术人员来说，不需要过多实验，所述开发努力将是一个设计、制造和生产的常规工作。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于模板跟踪的电力设备识别效率优化方法，其特征在于：包括以下步骤：
S1：搭建深度分类网络，并对其进行训练；
S2：使用深度分类网络模型进行视频关键帧检测识别；
S3：提取关键帧目标识别区域作为目标模板，提取模板特征；
S4：非关键帧目标区域两倍范围内进行模板匹配，计算匹配率；
S5：判断匹配率与阈值的关系，匹配率极值大于等于阈值，则更新模板区域坐标，重新提取模板特征，匹配率小于阈值，则跳转深度神经网络模型进行识别；
S6：判断是否结束电力设备识别，如果结束则退出。
2.根据权利要求1所述的基于模板跟踪的电力设备识别效率优化方法，其特征在于：所述S1中包括：使用公开的图像识别数据集ImageNet作为预训练集，在正常环境下，采集不同电力设备的样本分别建立训练样本集、测试样本集和和验证样本集，对样本集中的电力设备进行标注，数据增强，并将增强后的电力设备区域图像作为正样本，其他区域作为负样本，首先使用预训练集训练预训练模型，然后使用训练样本基于预训练模型做迁移学习。
3.根据权利要求2所述的基于模板跟踪的电力设备识别效率优化方法，其特征在于：所述S1中利用测试样本集对模型进行正确识别率检测，若模型的正确识别低于实际场景的识别率门限要求，则继续进行模型优化训练，直至达到要求识别率，最终获得电力设备识别的深度学习模型。
4.根据权利要求3所述的基于模板跟踪的电力设备识别效率优化方法，其特征在于：所述S2包括以下步骤：摄像头抓取视频帧序列，设置间隔8帧为一个关键帧I，针对关键帧I，将关键帧I图像传入深度学习分类模型，模型输出电力设备目标矩形区域的坐标，目标类别及目标类别权重。
5.根据权利要求4所述的基于模板跟踪的电力设备识别效率优化方法，其特征在于：所述S3包括提取所述S2中关键帧I获取的目标区域图像作为模板，提取模板的梯度特征。
6.根据权利要求5所述的基于模板跟踪的电力设备识别效率优化方法，其特征在于：所述S4包括视频帧序列每8帧为关键帧I，而其余为非关键帧B，非关键帧B以上一帧的目标模板坐标位置及模板特征为基础，匹配当前帧的目标位置，即在新的视频帧中，将上一帧的目标模板目标区域扩大为原来的1.5倍，提取该区域的梯度特征，然后使用上一帧的目标模板提取梯度特征进行模板匹配。计算匹配率极值。
7.根据权利要求1～6所述的基于模板跟踪的电力设备识别效率优化方法，其特征在于：所述S5包括S501：如果匹配率极值大于等于阈值，则匹配成功，将目标区域坐标更新为匹配率最高的区域坐标，重新提取模板的梯度特征。
8.根据权利要求7所述的基于模板跟踪的电力设备识别效率优化方法，其特征在于：所述S5包括S502：如果匹配率小于阈值，则模板匹配失败，将当前帧作为关键帧I，导入深度神经网络模型进行识别，将目标区域坐标更新为识别结果中的目标区域坐标，重新提取模板的梯度特征。
9.根据权利要求8所述的基于模板跟踪的电力设备识别效率优化方法，其特征在于：所述S6包括判断当前帧是否为最后一帧，若是，结束目标跟踪，否则，将更新后的模板特征作为下一帧的模板特征，返回S4。
CN202010248283.7A 2020-04-01 2020-04-01 一种基于模板跟踪的电力设备识别效率优化方法 Active CN111461010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010248283.7A CN111461010B (zh) 2020-04-01 2020-04-01 一种基于模板跟踪的电力设备识别效率优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010248283.7A CN111461010B (zh) 2020-04-01 2020-04-01 一种基于模板跟踪的电力设备识别效率优化方法

Publications (2)

Publication Number Publication Date
CN111461010A true CN111461010A (zh) 2020-07-28
CN111461010B CN111461010B (zh) 2022-08-12

Family

ID=71680998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010248283.7A Active CN111461010B (zh) 2020-04-01 2020-04-01 一种基于模板跟踪的电力设备识别效率优化方法

Country Status (1)

Country Link
CN (1) CN111461010B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763424A (zh) * 2021-08-13 2021-12-07 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于嵌入式平台的实时智能目标检测方法及***
CN114579635A (zh) * 2022-03-04 2022-06-03 北京三月雨文化传播有限责任公司 基于云计算的大数据信息分析处理***
WO2023138444A1 (zh) * 2022-01-22 2023-07-27 北京眼神智能科技有限公司 行人动作连续检测识别方法、装置、存储介质及计算机设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071230A1 (en) * 2012-09-10 2014-03-13 Hisense Co. Ltd. 3d video conversion system and method, key frame selection method and apparatus thereof
CN105744232A (zh) * 2016-03-25 2016-07-06 南京第五十五所技术开发有限公司 一种基于行为分析技术的输电线路视频防外破的方法
US20170032492A1 (en) * 2015-07-28 2017-02-02 Google Inc. System for parametric generation of custom scalable animated characters on the web
CN107609497A (zh) * 2017-08-31 2018-01-19 武汉世纪金桥安全技术有限公司 基于视觉跟踪技术的实时视频人脸识别方法及***
WO2018058595A1 (zh) * 2016-09-30 2018-04-05 富士通株式会社 目标检测方法、装置以及计算机***
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system
CN110033473A (zh) * 2019-04-15 2019-07-19 西安电子科技大学 基于模板匹配和深度分类网络的运动目标跟踪方法
CN110399808A (zh) * 2019-07-05 2019-11-01 桂林安维科技有限公司 一种基于多目标跟踪的人体行为识别方法及***
US20190392212A1 (en) * 2018-06-25 2019-12-26 Microsoft Technology Licensing, Llc Object-based localization
CN110637323A (zh) * 2017-07-18 2019-12-31 索尼公司 通过使用基于部分的关键帧和先验模型进行鲁棒网格跟踪和融合

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071230A1 (en) * 2012-09-10 2014-03-13 Hisense Co. Ltd. 3d video conversion system and method, key frame selection method and apparatus thereof
US20170032492A1 (en) * 2015-07-28 2017-02-02 Google Inc. System for parametric generation of custom scalable animated characters on the web
CN105744232A (zh) * 2016-03-25 2016-07-06 南京第五十五所技术开发有限公司 一种基于行为分析技术的输电线路视频防外破的方法
WO2018058595A1 (zh) * 2016-09-30 2018-04-05 富士通株式会社 目标检测方法、装置以及计算机***
CN110637323A (zh) * 2017-07-18 2019-12-31 索尼公司 通过使用基于部分的关键帧和先验模型进行鲁棒网格跟踪和融合
CN107609497A (zh) * 2017-08-31 2018-01-19 武汉世纪金桥安全技术有限公司 基于视觉跟踪技术的实时视频人脸识别方法及***
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system
US20190392212A1 (en) * 2018-06-25 2019-12-26 Microsoft Technology Licensing, Llc Object-based localization
CN110033473A (zh) * 2019-04-15 2019-07-19 西安电子科技大学 基于模板匹配和深度分类网络的运动目标跟踪方法
CN110399808A (zh) * 2019-07-05 2019-11-01 桂林安维科技有限公司 一种基于多目标跟踪的人体行为识别方法及***

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
NIVEDITHA BHANDARY等: "Robust Classification of City Roadway Objects for Traffic Related Applications", 《IEEE SMARTWORLD CONFERENCE》 *
YANGDONG LIU等: "An Adaptive Point Tracking Method Based on Depth Map for 2D-3D Video Conversion", 《INTERNATIONAL SYMPOSIUM ON OPTOELECTRONIC TECHNOLOGY AND APPLICATION 2014: IMAGE PROCESSING AND PATTERN RECOGNITION》 *
何云龙: "基于双目立体视觉的手势识别技术", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
姜华强等: "基于关键帧的多级分类手语识别研究", 《计算机应用研究》 *
张礼波 等: "基于目标跟踪的变电站隔离开关状态图像识别方法", 《机械与电子》 *
李珣: "基于Darknet框架下YOLOv2算法的车辆多目标检测方法", 《交通运输工程学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763424A (zh) * 2021-08-13 2021-12-07 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于嵌入式平台的实时智能目标检测方法及***
CN113763424B (zh) * 2021-08-13 2024-03-29 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于嵌入式平台的实时智能目标检测方法及***
WO2023138444A1 (zh) * 2022-01-22 2023-07-27 北京眼神智能科技有限公司 行人动作连续检测识别方法、装置、存储介质及计算机设备
CN114579635A (zh) * 2022-03-04 2022-06-03 北京三月雨文化传播有限责任公司 基于云计算的大数据信息分析处理***

Also Published As

Publication number Publication date
CN111461010B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN108171184B (zh) 基于Siamese网络的用于行人重识别的方法
CN111461010B (zh) 一种基于模板跟踪的电力设备识别效率优化方法
CN111126482B (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
CN107133569B (zh) 基于泛化多标记学习的监控视频多粒度标注方法
WO2021238455A1 (zh) 数据处理方法、设备及计算机可读存储介质
CN112508090B (zh) 一种外包装缺陷检测方法
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN113435546B (zh) 基于区分置信度水平的可迁移图像识别方法及***
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN113222982A (zh) 基于改进的yolo网络的晶圆表面缺陷检测方法及***
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111652846B (zh) 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法
CN105654054A (zh) 基于半监督近邻传播学习和多视觉词典模型的智能视频分析方法
CN113221956A (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN116630301A (zh) 基于超分辨率和YOLOv8的带钢表面小目标缺陷检测方法及***
CN112308040A (zh) 一种基于高清图像的河流排污口检测方法及***
CN114219753A (zh) 一种基于深度学习的电力设备表面缺陷检测方法及终端
CN108520539B (zh) 一种基于稀疏学习可变模型的图像目标检测方法
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN111832497B (zh) 一种基于几何特征的文本检测后处理方法
CN116843677A (zh) 钣金件的外观质量检测***及其方法
CN116665390A (zh) 基于边缘计算及优化YOLOv5的火灾检测***
CN111652048A (zh) 一种基于深度学习的1：n人脸比对方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant