CN110309843B - 一种电力设备图像中多类部件的自动识别方法 - Google Patents
一种电力设备图像中多类部件的自动识别方法 Download PDFInfo
- Publication number
- CN110309843B CN110309843B CN201910106759.0A CN201910106759A CN110309843B CN 110309843 B CN110309843 B CN 110309843B CN 201910106759 A CN201910106759 A CN 201910106759A CN 110309843 B CN110309843 B CN 110309843B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- recognized
- component
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明为一种电力设备图像中多类部件的自动识别方法,采用已标注部件类别和位置的训练图像集对SSD模型和SVM模型进行训练。然后,对每一幅待识别的电力设备图像进行预处理,将图像数值化,再采用SSD模型,初步预测出电力设备图像中可能包含待识别部件的若干个框。最后,采用SVM模型,对SSD模型的初步识别结果进行修正,再根据每个框的概率修正值,筛选出包含待识别部件的框,并重复上述过程直至识别出图像中所有待识别部件。本发明的方法结合了单镜头检测器模型对图像特征的深层次提取优势和支持向量机模型利用已识别部件对未识别部件预测结果进行修正的准确性优势,在电力设备图像中多类部件的自动识别上具有准确性和可行性。
Description
技术领域
本发明涉及图像识别领域,尤其涉及一种电力设备图像中多类部件的自动识别方法。
背景技术
在智能变电站建设中,随着无人机、巡检机器人的普及和大量电力设备图像数据的积累,基于图像的电力设备状态自动识别逐渐受到关注。采用计算机视觉技术代替传统的人力巡检,可以有效提高巡检的频率和效率,并减少人工判断的主观性对准确率的影响。其中,对图像中电力设备多类部件的识别是一个关键性环节。只有在准确识别出巡检图像中电力设备各类部件的类别和位置后,才能够针对不同的部件可能发生的缺陷和故障类型,制定相应的状态识别算法,从而实现电力设备状态的自动识别。
对于电力设备和部件的自动识别,基本思路是从现场获得包含待识别目标的图像,并进行特征提取和分析,再通过相应的算法识别出图像中电力设备和部件的类别与位置。一些研究采用基于模版的匹配算法,即在现场图片中将待识别目标人工框定出来并作为模版,再通过模版与新的图片各个区域的相似度计算,对新的图片中的目标进行匹配。这种方法受限于拍摄点的定位和拍摄角度的精度,准确率和稳定性难以保证。为了提高对于拍摄距离和角度的鲁棒性,一些研究针对各类部件人工地设计形状轮廓等特征,再通过对特征的提取和计算实现目标识别,但是这些识别方法只适用于几何形状比较简单的部件,而且对于每类部件都需要根据待识别目标的特点人为地进行特征设计,泛化能力弱。为此,一些研究采用传统机器学习的算法,降低了对特征设计的要求,仅通过图片的纹理、颜色、边缘等特征,而未对待识别目标进行针对性的特征设计,实现了对电力设备和部件的定位,提高了模型的泛化能力。然而,这些研究中所采用的特征层次较浅,缺少对于浅层特征的抽象与综合,因此识别的准确性不尽如人意。
发明内容
本发明主要解决了电力设备部件识别算法稳定性和准确性不足的问题,提供了一种具有高稳定性和准确性的电力设备图像中多类部件的自动识别方法。
本发明解决其技术问题所采用的技术方案是,一种电力设备图像中多类部件的自动识别方法,包括以下步骤:
S1:训练SSD模型和SVM模型;
S2:对待识别变电站图像进行数值化;
S3:建立集合B1为空集;集合B1为已识别集合
S4:将数值化的图像输入到SSD模型,SSD模型输出存入到集合B2;
S5:对集合B2中元素进行SVM修正;集合B2为待识别集合;
S6:输出集合B1,识别结束。
本发明采用已标注部件类别和位置的训练图像集,对单镜头检测器(Single ShotDetector,SSD)以及支持向量机(Support Vector Machine,SVM)进行训练,在将待识别电力设备图像数值化后,采用训练后的SSD模型初步预测出电力设备图像中可能包含待识别部件的若干个框,包括每个框的坐标值以及包含每类部件的概率值,再采用训练后的SVM模型对SSD模型的预测结果进行修正。由于已识别部件和未识别部件的位置存在关联关系,因此将已识别部件的位置信息输入SVM模型,可对SSD模型输出的每个框包含各类部件的概率值进行修正。再根据每个框的概率修正值,筛选出包含待识别部件的框,并重复上述过程直至识别出图像中所有待识别部件。
作为上述方案的一种优选方案,所述步骤S1中,选取若干电力设备图像作为图像训练集,对每一幅训练集图像中的待识别部件类别和位置进行标注,将已标注的部件类别和位置作为训练标签,对SSD模型和SVM模型进行训练。
作为上述方案的一种优选方案,所述步骤S2中,读取每一幅待识别变电站图像中每一个像素点的红、绿、蓝三中颜色通道的值,将该三种颜色通道的值作为图像的原始特征。
作为上述方案的一种优选方案,所述步骤S5中SVM修正,包括以下步骤:
S01:设空集集合B3,设定i值为1;集合B3为临时集合;
S02:判断i值是否小于等于集合B2中元素的个数,若是,则继续执行步骤S03;若否,则执行步骤S06;
S03:将集合B2中第i个框的坐标值和框内包含每类部件的概率值以及由集合B1中所有框形成的参考向量都输入训练后的SVM模型;
S04:将SVM模型输出的最高概率修正值对应的部件类别作为第i个框对应的部件类别;
S05:判断第i个框对应的部件类别是否与集合B1中任意一个框的部件类别相同,若是,则令i值加上1,重新执行步骤S02;若否,则将第i个框加入集合B3,令i值加上1,重新执行步骤S02;通过增加的i的值到达遍历集合B2中所有元素的目的。
S06:判断临时集合B3是否为空集,若是,进入步骤S6;若否,则在集合B3中选择概率修正值最高的框,记为b;
S07:判断b对应的部件类别的概率修正值是否大于阀值,若是,则将b加入集合B1,并将b从集合B2中删除;若否,则进入步骤S6;阀值可根据精度需求进行调整,阀值通常处于0.6-0.8之间。
S08:判断集合B1中全部框对应的部件类别是否已包括所有待检测部件类别,若是,则进入步骤S6;若否,则重新执行步骤S01。
作为上述方案的一种优选方案,所述步骤S03中参考向量由集合B1中所有框的坐标值按照预先设定的待识别部件类别的顺序依次排列构成,若某一待识别部件类别在集合B1中没有对应的框,则其坐标值通过补0填充。
本发明的优点是:结合了SSD模型对图像特征的深层次提取优势和SVM模型利用已识别部件对未识别部件预测结果进行修正的准确性优势,提高了电力设备部件识别的准确性和稳定性。
附图说明
图1为本发明电力设备图像中多类部件的自动识别方法的一种流程图。
图2为实施例中本发明方法与两种对照模型的部件识别结果对照表。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步的说明。
实施例:
本实施例一种电力设备图像中多类部件的自动识别方法,如图1所示,包括以下步骤:S1:训练SSD模型和SVM模型;选取若干电力设备图像作为图像训练集,对每一幅训练集图像中的待识别部件类别和位置进行标注,将已标注的部件类别和位置作为训练标签,对SSD模型和SVM模型进行训练;
S2:对待识别变电站图像进行数值化;读取每一幅待识别变电站图像中每一个像素点的红、绿、蓝三中颜色通道的值,将该三种颜色通道的值作为图像的原始特征,从而将图像数值化;S3:建立集合B1为空集;
S4:将数值化的图像输入到SSD模型,SSD模型输出存入到集合B2;SSD模型的输出包括图像中包含待识别部件的200个框的坐标值以及每类部件的概率值;框的个数可根据精度需求进行调整;
S5:对集合B2中元素进行SVM修正;修正步骤如下:
S01:设空集集合B3,设定i值为1;
S02:判断i值是否小于等于集合B2中元素的个数,若是,则继续执行步骤S03;若否,则执行步骤S06;
S03:将集合B2中第i个框的坐标值和框内包含每类部件的概率值以及由集合B1中所有框形成的参考向量都输入训练后的SVM模型;参考向量由集合B1中所有框的坐标值按照预先设定的待识别部件类别的顺序依次排列构成,若某一待识别部件类别在集合B1中没有对应的框,则其坐标值通过补0填充;
S04:将SVM模型输出的最高概率修正值对应的部件类别作为第i个框对应的部件类别;
S05:判断第i个框对应的部件类别是否与集合B1中任意一个框的部件类别相同,若是,则令i值加上1,重新执行步骤S02;若否,则将第i个框加入集合B3,令i值加上1,重新执行步骤S02;
S06:判断集合B3是否为空集,若是,进入步骤S6;若否,则在集合B3中选择概率修正值最高的框,记为b;
S07:判断b对应的部件类别的概率修正值是否大于阀值,若是,则将b加入集合B1,并将b从集合B2中删除;若否,则进入步骤S6;
S08:判断集合B1中全部框对应的部件类别是否已包括所有待检测部件类别,若是,则进入步骤S6;若否,则重新执行步骤S01;
S6:输出集合B1,识别结束。
本实施例采用上述方法对某电网公司中的变压器设备的多类部件进行识别,首先选取5000幅关于变压器设备的巡检图像,并选取变压器的油箱、瓦斯继电器、本体储油柜、本体呼吸器、有载开关储油柜共5类作为待识别部件进行识别。对每一幅图像中的待识别部件类别和位置进行标注后,随机选取2500幅图像作为图像训练集,其余的2500幅图像作为图像测试集。用2500幅训练集图像对SSD模型和SVM模型进行训练。之后采用训练后的模型对2500幅测试集图像进行多类部件识别。
此外,还采用不加SVM模型修正的原始SSD模型,以及另一种单阶段目标检测模型(One-stage Object Detection Model)——单次扫描(You Only Look Once,YOLO)模型与本发明的方法进行对照。在评价部件识别效果时,采用目标检测任务中常用的平均查准率均值(mean Average Precision,mAP)以及所有待识别部件的查准率和查全率作为评价指标,三者识别结果如图2所示。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (5)
1.一种电力设备图像中多类部件的自动识别方法,其特征是:包括以下步骤:
S1:训练SSD模型和SVM模型;
S2:对待识别变电站图像进行数值化;
S3:建立集合B1为空集;
S4:将数值化的图像输入到SSD模型,SSD模型输出存入到集合B2;
S5:对集合 B2中元素进行SVM修正,将已识别部件的位置信息输入SVM模型,对SSD模型输出的每个框包含各类部件的概率值进行修正;SVM修正,包括以下步骤:
S01:设空集集合 B3,设定i值为1;
S02:判断i值是否小于等于集合B2中元素的个数,若是,则继续执行步骤S03;若否,则执行步骤S06;
S03:将集合B2中第i个框的坐标值和框内包含每类部件的概率值以及由集合B1中所有框形成的参考向量都输入训练后的SVM模型,若某一待识别部件类别在集合B1中没有对应的框,则其坐标值通过补0填充;
S04:将SVM模型输出的最高概率修正值对应的部件类别作为第i个框对应的部件类别;
S05:判断第i个框对应的部件类别是否与集合B1中任意一个框的部件类别相同,若是,则令i值加上1,重新执行步骤S02;若否,则将第i个框加入集合 B3,令i值加上1,重新执行步骤S02;
S06:判断集合B3是否为空集,若是,进入步骤S6;若否,则在集合B3中选择概率修正值最高的框,记为b;
S07:判断b对应的部件类别的概率修正值是否大于阈值,若是,则将b加入集合 B1,并将b从集合B2中删除;若否,则进入步骤S6;
S08:判断集合B1中全部框对应的部件类别是否已包括所有待检测部件类别,若是,则进入步骤S6;若否,则重新执行步骤S01;
S6:输出集合B1,识别结束。
2.根据权利要求1所述的一种电力设备图像中多类部件的自动识别方法,其特征是:所述步骤S1中,选取若干电力设备图像作为图像训练集,对每一幅训练集图像中的待识别部件类别和位置进行标注,将已标注的部件类别和位置作为训练标签,对SSD模型和SVM模型进行训练。
3.根据权利要求1所述的一种电力设备图像中多类部件的自动识别方法,其特征是:所述步骤S2中,读取每一幅待识别变电站图像中每一个像素点的红、绿、蓝三种颜色通道的值,将该三种颜色通道的值作为图像的原始特征。
4.根据权利要求1所述的一种电力设备图像中多类部件的自动识别方法,其特征是:所述步骤S4中SSD模型的输出包括图像中包含待识别部件的若干个框的坐标值以及每类部件的概率值。
5.根据权利要求1所述的一种电力设备图像中多类部件的自动识别方法,其特征是:所述步骤S03中参考向量由集合B1中所有框的坐标值按照预先设定的待识别部件类别的顺序依次排列构成,若某一待识别部件类别在集合B1中没有对应的框,则其坐标值通过补0填充。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910106759.0A CN110309843B (zh) | 2019-02-02 | 2019-02-02 | 一种电力设备图像中多类部件的自动识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910106759.0A CN110309843B (zh) | 2019-02-02 | 2019-02-02 | 一种电力设备图像中多类部件的自动识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110309843A CN110309843A (zh) | 2019-10-08 |
CN110309843B true CN110309843B (zh) | 2022-12-02 |
Family
ID=68074317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910106759.0A Active CN110309843B (zh) | 2019-02-02 | 2019-02-02 | 一种电力设备图像中多类部件的自动识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110309843B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275124A (zh) * | 2020-02-10 | 2020-06-12 | 国网河南省电力公司检修公司 | 变压器呼吸器检测方法、分类模型构建方法、计算机可读介质、变压器呼吸器监测*** |
CN111401289B (zh) * | 2020-03-24 | 2024-01-23 | 国网上海市电力公司 | 一种变压器部件的智能识别方法和装置 |
CN111815567A (zh) * | 2020-06-15 | 2020-10-23 | 国网上海市电力公司 | 一种高识别率电力设备自动标注方法和装置 |
CN111783889B (zh) * | 2020-07-03 | 2022-03-01 | 北京字节跳动网络技术有限公司 | 图像识别方法、装置、电子设备和计算机可读介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845415A (zh) * | 2017-01-23 | 2017-06-13 | 中国石油大学(华东) | 一种基于深度学习的行人精细化识别方法及装置 |
CN107705324A (zh) * | 2017-10-20 | 2018-02-16 | 中山大学 | 一种基于机器学习的视频目标检测方法 |
CN108416250A (zh) * | 2017-02-10 | 2018-08-17 | 浙江宇视科技有限公司 | 人数统计方法及装置 |
CN109002807A (zh) * | 2018-07-27 | 2018-12-14 | 重庆大学 | 一种基于ssd神经网络的驾驶场景车辆检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013179402A (ja) * | 2012-02-28 | 2013-09-09 | Sony Corp | 端末装置、情報処理装置、表示方法、及び表示制御方法 |
-
2019
- 2019-02-02 CN CN201910106759.0A patent/CN110309843B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845415A (zh) * | 2017-01-23 | 2017-06-13 | 中国石油大学(华东) | 一种基于深度学习的行人精细化识别方法及装置 |
CN108416250A (zh) * | 2017-02-10 | 2018-08-17 | 浙江宇视科技有限公司 | 人数统计方法及装置 |
CN107705324A (zh) * | 2017-10-20 | 2018-02-16 | 中山大学 | 一种基于机器学习的视频目标检测方法 |
CN109002807A (zh) * | 2018-07-27 | 2018-12-14 | 重庆大学 | 一种基于ssd神经网络的驾驶场景车辆检测方法 |
Non-Patent Citations (2)
Title |
---|
"A Novel Semi-Supervised SVM Based on Tri-Training";KunLun Li等;《JOURNAL OF COMPUTERS》;20100430;第5卷(第4期);第638-645页 * |
"基于CSSD和SVM脑电分类技术的研究";程善光等;《中国西部科技》;20130228;第12卷(第2期);第7-8页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110309843A (zh) | 2019-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110309843B (zh) | 一种电力设备图像中多类部件的自动识别方法 | |
CN111784685B (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
CN110827251B (zh) | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 | |
CN110245678B (zh) | 一种基于异构孪生区域选取网络的图像匹配方法 | |
CN107742093B (zh) | 一种红外图像电力设备部件实时检测方法、服务器及*** | |
CN111914813B (zh) | 基于图像分类的输电线路巡检图像命名方法及*** | |
CN114445706A (zh) | 一种基于特征融合的输电线路目标检测与识别方法 | |
CN113378686B (zh) | 一种基于目标中心点估计的两阶段遥感目标检测方法 | |
CN110991435A (zh) | 一种基于深度学习的快递运单关键信息定位方法和装置 | |
CN111127452A (zh) | 一种基于云端处理的集装箱智能ocr识别方法 | |
CN110264444B (zh) | 基于弱分割的损伤检测方法及装置 | |
CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
CN107220664B (zh) | 一种基于结构化随机森林的油瓶装箱清点方法 | |
CN111914720B (zh) | 一种输电线路绝缘子爆裂识别方法及装置 | |
CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
CN109919149A (zh) | 基于物体检测模型的物体标注方法及相关设备 | |
CN111881958A (zh) | 车牌分类识别方法、装置、设备及存储介质 | |
CN110826571B (zh) | 一种用于图像快速识别及特征匹配的图像遍历算法 | |
CN114049352B (zh) | 一种应用于自助行李托运的行李托盘快速检测方法 | |
CN111241905A (zh) | 基于改进ssd算法的输电线路鸟窝检测方法 | |
CN110738229B (zh) | 一种细粒度图像分类方法、装置及电子设备 | |
CN115937492B (zh) | 一种基于特征识别的变电设备红外图像识别方法 | |
CN116630749A (zh) | 工业设备故障检测方法、装置、设备以及存储介质 | |
CN110956174A (zh) | 一种器件编号的识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |