CN114913376A - 基于图像的缺陷自动识别方法、装置、***及存储介质 - Google Patents

基于图像的缺陷自动识别方法、装置、***及存储介质 Download PDF

Info

Publication number
CN114913376A
CN114913376A CN202210539735.6A CN202210539735A CN114913376A CN 114913376 A CN114913376 A CN 114913376A CN 202210539735 A CN202210539735 A CN 202210539735A CN 114913376 A CN114913376 A CN 114913376A
Authority
CN
China
Prior art keywords
defect
image data
identified
data
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210539735.6A
Other languages
English (en)
Inventor
葛馨远
王照
陈金梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202210539735.6A priority Critical patent/CN114913376A/zh
Publication of CN114913376A publication Critical patent/CN114913376A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像的缺陷自动识别方法、装置、***及存储介质，方法包括：获取待识别图像数据，并根据预设类型对待识别图像数据进行分类，得到分类后的图像数据；其中，待识别图像数据为无人机在预设区域巡航拍摄的多张原始图像数据；通过训练后的算法模型对分类后的图像数据进行缺陷智能识别，生成缺陷框，并在缺陷框填充对应的缺陷信息；根据先验知识和/或审核操作指令对缺陷信息进行审核，并根据审核结果输出已识别图像数据的缺陷识别报告。本发明通过训练后的算法模型对无人机巡航的图像数据进行缺陷智能识别，提高了缺陷识别率和工作效率，通过危急缺陷的发现处理，能避免造成的停电损失，为确保配电***可靠供电提供了坚实保障。

Description

基于图像的缺陷自动识别方法、装置、***及存储介质
技术领域
本发明涉及电力配网机巡数据处理技术领域，尤其涉及的是一种基于图像的缺陷自动识别方法、装置、***及存储介质。
背景技术
在低纬度亚热带季风气候区域，夏季出现雷电、台风、暴雨等极端气候较多。配电网架空线路受台风、暴雨、雷电等影响，容易发生导线松股断股、绝缘子雷击烧蚀、绝缘子破损等缺陷，这些典型缺陷为配电线路的安全可靠运行埋下了不可忽视的隐患。因此，及时发现并消除配网典型缺陷对保证配电网安全稳定运行至关重要。传统的配电网缺陷发现主要依靠运维人员在周期巡检过程中肉眼识别或者借助望远镜识别，这种方法不仅效率低、人工成本大，而且由于高度问题不易发现缺陷位置。
近年来，无人机巡检作业在国内电力***内的运用得到了较快发展，南方电网公司也在“十三五”规划中明确提出了“机巡为主、人巡为辅”协同巡检模式，持续提升电力线路巡检质量、效率。以广东电网为例，截止至2020年10月，广东电网已积累近2PB机巡数据，其中原始图像高达4000万张。目前，配电***的缺陷发现大多依靠后续人工归档机巡图片、人工识别缺陷图片。然而，随着机巡图片的不断增多，依靠人工去识别机巡图片中的缺陷所花的时间和精力也不断增强，这给运行人员又带来了新的工作难题。除此之外，不同工作经验的运行人员在人工识别机巡图片中的缺陷过程中也会存在漏检和误检的情况，影响缺陷识别的准确率。
因此，现有技术还有待改进。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种基于图像的缺陷自动识别方法、装置、***及存储介质，以提高电力配网缺陷识别效率和准确率。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种基于图像的缺陷自动识别方法，包括：
获取待识别图像数据，并根据预设类型对所述待识别图像数据进行分类，得到分类后的图像数据；其中，所述待识别图像数据为无人机在预设区域巡航拍摄的多张原始图像数据；
通过训练后的算法模型对所述分类后的图像数据进行缺陷智能识别，生成缺陷框，并在所述缺陷框填充对应的缺陷信息；
根据先验知识和/或审核操作指令对所述缺陷信息进行审核，并根据审核结果输出已识别图像数据的缺陷识别报告。
在一种实现方式中，所述获取待识别图像数据，之前包括：
从源数据层获取已标签的图像数据；其中，所述已标签的图像数据为已标签缺陷区域及缺陷信息的样本图像数据；
构建算法模型，并根据所述已标签的图像数据进行模型训练。
在一种实现方式中，所述根据已标签的图像数据进行模型训练，包括：
对所述已标签的图像数据进行预处理，并将预处理后的图像数据进行分类，得到训练集和测试集；其中，所述预处理包括：数据转换、数据归一、数据清洗以及数据编码；
通过所述训练集对构建的算法模型进行训练，并通过所述测试集对所述算法模型进行测试，得到所述训练后的算法模型。
在一种实现方式中，所述获取待识别图像数据，并根据预设类型对所述待识别图像数据进行分类，得到分类后的图像数据，包括：
获取所述待识别图像数据；
根据电力网馈线和线路台账的塔台坐标对所述待识别图像数据进行分类，得到所述分类后的图像数据。
在一种实现方式中，所述根据电力网馈线和线路台账的塔台坐标对所述待识别图像数据进行分类，之后还包括：
根据所述分类后的图像数据选择对应的线路文件夹；
根据所述线路文件夹中的馈线名称和线路名称，录入对应的缺陷识别项目信息；其中，所述缺陷识别项目信息包括供电运维信息、机巡信息以及审核信息。
在一种实现方式中，所述通过训练后的算法模型对所述分类后的图像数据进行缺陷智能识别，生成缺陷框，并在所述缺陷框填充对应的缺陷信息，包括：
根据所述分类后的图像数据选择所述训练后的算法模型；
将所述分类后的图像数据输入至所述训练后的算法模型输入层；
根据所述训练后的算法模型输出的图像数据确定智能识别后的缺陷部位、缺陷类型以及缺陷表象；
选择对应的缺陷库数据；其中，所述缺陷库数据包括杆塔数据、架空导线数据以及绝缘子数据；
根据所述缺陷部位、所述缺陷类型、所述缺陷表象以及所述缺陷库数据生成所述缺陷框，并在所述缺陷框填充对应的缺陷信息。
在一种实现方式中，所述根据先验知识和/或审核操作指令对所述缺陷信息进行审核，并根据审核结果输出已识别图像数据的缺陷识别报告，包括：
根据所述先验知识/或所述审核操作指令对所述缺陷信息进行审核，并对所述缺陷信息中的非典型缺陷进行标注；
调用辅助绘图对识别的缺陷标注框进行编辑、删除、修改以及增加操作，并根据报告报表格式生成所述已识别图像数据的缺陷识别报告。
第二方面，本发明还提供一种基于图像的缺陷自动识别装置，包括：处理器以及存储器，所述存储器存储有基于图像的缺陷自动识别程序，所述基于图像的缺陷自动识别程序被所述处理器执行时用于实现如第一方面所述的基于图像的缺陷自动识别方法。
第三方面，本发明还提供一种基于图像的缺陷自动识别***，包括：服务器以及如第二方面所述的缺陷自动识别装置；
所述服务器用于向所述缺陷自动识别装置提供数据库数据以及缺陷自动识别中所需要的算力服务；
所述缺陷自动识别装置用于执行以下操作：
获取待识别图像数据，并根据预设类型对所述待识别图像数据进行分类，得到分类后的图像数据；其中，所述待识别图像数据为无人机在预设区域巡航拍摄的多张原始图像数据；
通过训练后的算法模型对所述分类后的图像数据进行缺陷智能识别，生成缺陷框，并在所述缺陷框填充对应的缺陷信息；
根据先验知识和/或审核操作指令对所述缺陷信息进行审核，并根据审核结果输出已识别图像数据的缺陷识别报告。
第四方面，本发明还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有基于图像的缺陷自动识别程序，所述基于图像的缺陷自动识别程序被处理器执行时用于实现如第一方面所述的基于图像的缺陷自动识别方法。
本发明采用上述技术方案具有以下效果：
本发明提供了一种基于图像的缺陷自动识别方法、装置、***及存储介质，方法包括：获取待识别图像数据，并根据预设类型对待识别图像数据进行分类，得到分类后的图像数据；其中，待识别图像数据为无人机在预设区域巡航拍摄的多张原始图像数据；通过训练后的算法模型对分类后的图像数据进行缺陷智能识别，生成缺陷框，并在缺陷框填充对应的缺陷信息；根据先验知识和/或审核操作指令对缺陷信息进行审核，并根据审核结果输出已识别图像数据的缺陷识别报告。本发明通过训练后的算法模型对无人机巡航的图像数据进行缺陷智能识别，提高了缺陷识别率和工作效率，通过危急缺陷的发现处理，能避免造成的停电损失，为确保配电***可靠供电提供了坚实保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的一种实现方式中基于图像的缺陷自动识别方法的流程图。
图2是本发明的一种实现方式中基于图像的缺陷自动识别***架构图。
图3是本发明的一种实现方式中基于图像的缺陷自动识别***部署示意图。
图4是本发明的一种实现方式中内置缺陷数据库示意图。
图5是本发明的一种实现方式中基于图像的缺陷自动识别装置的功能原理图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
示例性方法
配电***的缺陷发现大多依靠后续人工归档机巡图片、人工识别缺陷图片。然而，随着机巡图片的不断增多，依靠人工去识别机巡图片中的缺陷所花的时间和精力也不断增强，这给运行人员又带来了新的工作难题。除此之外，不同工作经验的运行人员在人工识别机巡图片中的缺陷过程中也会存在漏检和误检的情况，影响缺陷识别的准确率。
针对上述技术问题，本实施例中提供了一种基于图像的缺陷自动识别方法，通过训练后的算法模型对无人机巡航的图像数据进行缺陷智能识别，提高了缺陷识别率和工作效率。
本发明实施例分为模型训练部分和缺陷自动识别部分。
在模型训练部分中，包括以下步骤：
步骤S001，从源数据层获取已标签的图像数据；其中，所述已标签的图像数据为已标签缺陷区域及缺陷信息的样本图像数据；
步骤S002，构建算法模型，并根据所述已标签的图像数据进行模型训练。
在本实施例中，对于模型训练部分，可基于配网机巡图片典型缺陷识别云平台，该平台的基础架构以Docker和Kubernetes技术为核心，依托底层基础设施的计算资源，高速互联网络以及多样化的文件***，构建机器学习框架和算法库，提供给上层业务应用服务。
在本实施例中，基于上述平台的算法生产体系结构包括以下过程：
首先，机器学习平台从源数据层获取标签过的图像数据；
其次，平台获取图像数据以后，对图像数据做预处理，包括数据转换、数据归一、数据清洗以及数据编码；
再次，预处理后的图像数据分为训练集/测试集。采用训练集数据对算法模型进行训练，并采用测试集数据对算法模型进行测试；
最后，通过多次训练迭代，生成训练好的算法模型；在布署算法时，将算法模型通过资产存模型管理存入存储管理库。
具体地，在本实施例的一种实现方式中，步骤S002包括以下步骤：
步骤S002a，对所述已标签的图像数据进行预处理，并将预处理后的图像数据进行分类，得到训练集和测试集；其中，所述预处理包括：数据转换、数据归一、数据清洗以及数据编码；
步骤S002b，通过所述训练集对构建的算法模型进行训练，并通过所述测试集对所述算法模型进行测试，得到所述训练后的算法模型。
在实际训练过程中，图像数据标注是整个人工智能模型生产流程的关键环节，它关系到最终输出的模型的识别准确率。由于需要海量的标注数据参与到模型训练中，因此，需要对清洗后的样本原始数据进行人工标注。为实现对标注人员和标注数据的统一管理，进而整体提高数据标注的质量和效率，需要一套在线或者离线的数据标注工具。
标注成果是标准的PascalVoc格式(与ImageNet采用的格式相同)，即JPG+XML；基于HTML+JavaScript+CSS+MYSQL构建Web端的在线标注功能，提供分类标注、标框标注、描点标注等标注方式。该模块可支持当前绝大多数主流浏览器，含IE10及以上、GoogleChrome66.0及以上、火狐59.0.2及以上、世界之窗浏览器7.0.0及以上。标注的主要形式是将待标注的图像数据和需求提交至平台，平台审核通过后将以众包的形式分发任务，领取任务后即可进行数据标注工作。
标签管理提供了按用户划分的层级结构的标签管理功能。用户可根据实际业务场景业务需求对标签进行层级的分类，管理标签的相关信息，具体可划分为：标签名，标签代码，标签示例图，标签属性，标签描述等。
在本实施例中，模型训练过程通过算法子模块实现，可根据检测任务、识别任务来训练该算法子模块；在该算法子模块中，包括AI基础软件平台，AI基础软件平台基于云端算力，应Linux+Tomcat+Python+Mysql+java+API等技术构建算法开发模块，可支持开源算法和自研算法，实现算力调度、算法建模、算法训练、算法测试和封装、算法部署等算法模型完整生命周期研发管理。AI基础软件平台集成了机器学***台提供基于Tensorflow等技术框架供用户进行模型的开发功能。
算法建模提供向导模式的创建过程，操作步骤如下：
首先，写入模型的基础信息，处理问题的类别，例如：模型的名称，图像识别或语音识别；
然后，选择用于模型训练的数据集，进行数据集的预处理，分割训练数据集；
其次，写入训练名称，选择实际需求选择适用的算法，并配置相关参数，例如：选择卷积神经网络，设置神经网络层级；
再次，确定算力和计算资源的使用情况；
最后，完成配置创建模型工作，开始训练模型。
对于已创建的模型，平台以模型列表的方式展示模型的简要信息，包括：技术框架，模型名称、算法参数，最新的模型训练信息及训练进度等。通过点击查看模型详细内容，可查看模型的训练记录以及每次训练的算法单元、数据集详细信息。
在训练完成后，可选择不同的评估数据集对已完成训练的模型进行多次评估(包括内部评估和外部评估)，并查看其评估结果；在评估完成后，可对训练及评估后的算法模型进行发布及存储。
如图1所示，在缺陷自动识别部分中，包括以下步骤：
步骤S100，获取待识别图像数据，并根据预设类型对所述待识别图像数据进行分类，得到分类后的图像数据；其中，所述待识别图像数据为无人机在预设区域巡航拍摄的多张原始图像数据。
在本实施例中，基于图像的缺陷自动识别方法通过预先训练好的算法模型进行处理，所述算法模型部署在基于图像的缺陷自动识别***中，所述基于图像的缺陷自动识别***为配网机巡图像典型缺陷识别***。
如图2所示，在本实施例中，配网机巡图像典型缺陷识别***主要组成部分有：硬件层、网络层、AI平台层以及业务层。
硬件层包含GPU推理服务器和工作站两个模块，***以硬件层为基础，承载了AI平台和***业务相关的各个功能模块。GPU推理服务器主要承载了AI平台层的所有模块，是AI平台各个模块的基础设施，同时通过网络与工作站相连接。GPU推理服务器是基于GPU应用于图像编解码、深度学***台各个模块来实现缺陷的智能识别。工作站具备强大的数据处理能力，有直观的便于人机交换信息的用户接口，可以与计算机网络相连，在更大的范围内互通信息，共享资源。工作站在编程、计算、文件书写、存档、通信等各方面给专业工作者以综合的帮助。
网络层用于提供基础的网络数据连接，可将多台工作站同时连接至同一组GPU推理服务器，实现多人多机同时进行缺陷的智能分析。
AI平台层具备AI模型库、AI引擎、算法自训练模块和算法的人工训练模块。AI平台层作为***技术架构的核心内容，承载了关于算法模型的训练和识别调用。平台通过算法人工训练模块进行模型库的训练和更新；AI引擎则响应前端客户端需求来调用模型库和算法；AI模型库是支撑客户端模型算法识别的重要内容，可定制化不同模型是最大的技术特点。
业务层主要是指缺陷识别***客户端，其包括各项功能：智能分图、缺陷智能识别、缺陷人工审核、报告一键生成等。
如图3所示，在本实施例中，在部署本实施例中的典型缺陷识别***时，可随着业务数据量的增加，横向扩展GPU推理工作站和客户端应用工作站。
具体地，在本实施例的一种实现方式中，步骤S100包括以下步骤：
步骤S101，获取所述待识别图像数据；
步骤S102，根据电力网馈线和线路台账的塔台坐标对所述待识别图像数据进行分类，得到所述分类后的图像数据。
在实际应用时，典型缺陷识别***的主要业务流程包括：首先，客户端获取工作站上的原始机巡数据，使用智能分图功能将数据自动分类；然后，数据通过客户端上传至服务器(此处有断点续传功能)，选择AI模型进行缺陷智能识别，生成缺陷框和自动填充部分缺陷信息；之后，审核缺陷智能识别结果，对缺陷进行增、删、改等操作，可按需进行一次或两次审核；最后，一键生成报告或报表。
在实际应用中，典型缺陷识别***具有智能分图的功能，智能分图模块可将无人机原始照片根据馈线、线路台账的杆塔坐标进行分类，能够节约大量的工作量。
具体地，在本实施例的一种实现方式中，步骤S100还包括以下步骤：
步骤S103，根据所述分类后的图像数据选择对应的线路文件夹；
步骤S104，根据所述线路文件夹中的馈线名称和线路名称，录入对应的缺陷识别项目信息；其中，所述缺陷识别项目信息包括供电运维信息、机巡信息以及审核信息。
在实际应用中，典型缺陷识别***还具有数据快速上传的功能，通过内置供电局的线路信息，可点击“新增”按键进入项目创建界面，在该界面下，通过选择标准命名的线路文件夹，根据文件夹命名的馈线名称和线路名称，按格式自动录入对应的缺陷识别项目信息；其中，供电局、运维班组等信息根据馈线名称和线路名称检索台账库，根据检索结果自动录入；巡视班组、分析人、审核人等信息按实际情况选择或写入。
如图1所示，在本发明实施例的一种实现方式中，基于图像的缺陷自动识别方法还包括以下步骤：
步骤S200，通过训练后的算法模型对所述分类后的图像数据进行缺陷智能识别，生成缺陷框，并在所述缺陷框填充对应的缺陷信息。
在本实施例中，在对图像数据分类及录入缺陷识别项目信息后，即可通过典型缺陷识别***中选择训练好的算法模型，并配合缺陷库数据完成缺陷智能识别的任务。
具体地，在本实施例的一种实现方式中，步骤S200包括以下步骤：
步骤S201，根据所述分类后的图像数据选择所述训练后的算法模型；
步骤S202，将所述分类后的图像数据输入至所述训练后的算法模型输入层；
步骤S203，根据所述训练后的算法模型输出的图像数据确定智能识别后的缺陷部位、缺陷类型以及缺陷表象；
步骤S204，选择对应的缺陷库数据；其中，所述缺陷库数据包括杆塔数据、架空导线数据以及绝缘子数据；
步骤S205，根据所述缺陷部位、所述缺陷类型、所述缺陷表象以及所述缺陷库数据生成所述缺陷框，并在所述缺陷框填充对应的缺陷信息。
在实际应用过程中，可在该典型缺陷识别***中选择已经发布的算法模型，即选择已经训练好的算法模型；然后，选择分类后的图像数据作为输入，输入至该训练后的算法模型的输入层中，通过该训练后的算法模型的特征提取功能，识别并输出对应的图像数据；其中，输出的图像数据包括标注的缺陷部位、缺陷类型以及缺陷表象。
通过输出的图像数据即可确定输入图像的缺陷部位、缺陷类型以及缺陷表象，实现对输入图像的智能缺陷识别的过程。
在本实施例中，除了算法模型的智能识别过程，还需要选择对应的缺陷库中的数据，如图4所示，所述缺陷库数据包括杆塔数据、架空导线数据以及绝缘子数据。
在本实施例中，缺陷库中为预先内置在***中的定制化数据库，通过采用定制化的配网缺陷库，支持层级缩减方式调取缺陷描述，方便对缺陷进行快速、准确识别；而且，根据算法模型识别的缺陷部位、缺陷类型以及缺陷表象，结合缺陷库数据，即可生成缺陷框，并在该缺陷框填充对应的缺陷信息，以对算法模型识别的缺陷进行信息补充。
如图1所示，在本发明实施例的一种实现方式中，基于图像的缺陷自动识别方法还包括以下步骤：
步骤S300，根据先验知识和/或审核操作指令对所述缺陷信息进行审核，并根据审核结果输出已识别图像数据的缺陷识别报告。
在本实施例中，在缺陷智能识别完成后，需要进入校核界面对所识别出的缺陷进行二次确定，在校对界面中，可通过人工校对的方式进行实时校对，也可以通过输入的先验知识(即人工输入的校对经验)进行自动校对。
同时，在校对过程中，还可以对非典型缺陷进行标注工作。在对非典型缺陷进行标注工作时，可以调用CAD辅助绘图激素，对识别的缺陷标注框进行编辑、删除、修改及增加等操作。
具体地，在本实施例的一种实现方式中，步骤S300包括以下步骤：
步骤S301，根据所述先验知识/或所述审核操作指令对所述缺陷信息进行审核，并对所述缺陷信息中的非典型缺陷进行标注；
步骤S302，调用辅助绘图对识别的缺陷标注框进行编辑、删除、修改以及增加操作，并根据报告报表格式生成所述已识别图像数据的缺陷识别报告。
在进行校核时，可根据***设置的快捷键进行快速的查看，其中，快捷键在设置界面中进行修改；在核检界面中，左侧列表为智能识别所识别出的缺陷列表；下方为当前杆塔(可切换)的照片列表；右侧是当前缺陷框的详情信息，在该窗口中内置了配网线路缺陷库。
对于无法识别的缺陷和漏检的缺陷，可进行人工画框进行补漏。
完成校核工作后，即可生成缺陷报告，可根据需求导出Word版巡检报告和Excel版巡检统计，并支持多个项目可合并生成报告、报表。
以下通过实际应用举例对本实施例进行说明：
本实施例中，利用研发的配网机巡图像典型缺陷识别***，已用于多条线路开展巡检图像处理，平均每小时处理照片数量2335张，配网鸟巢、绝缘子雷击烧蚀、绝缘子破损、导线外观缺陷(断股散股烧蚀)模型在测试集上的召回率、精确率达到80％以上，提高了缺陷识别率和工作效率，通过危急缺陷的发现处理，能避免造成的停电损失，为确保配电***可靠供电提供了坚实保障，应用前景广阔。
测试描述：使用缺陷隐患分析软件对无人机巡线图片场景中的绝缘子破损、绝缘子电弧烧伤、杆塔异物、导线断股缺陷隐患进行识别率和准确率测试。
预置条件：预置四类有缺陷隐患待识别图片，以及无缺陷隐患待识别图片，每类图片数量如下：
图片类型 绝缘子破损 绝缘子电弧烧伤 杆塔异物 导线断股 无缺陷
数量(张) 100 100 100 16 980
测试步骤：按以下图片组合方式分别将待识别图片导入装置进行识别。
绝缘子破损测试图片组合方式如下：
/ 第一次 第二次 第三次
有绝缘子破损(张) 50 100 100
无绝缘子破损(张) 980 500 980
绝缘子电弧烧伤测试图片组合方式如下：
Figure BDA0003649778690000121
杆塔异物测试图片组合方式如下：
/ 第一次 第二次 第三次
有杆塔异物(张) 50 100 100
无杆塔异物(张) 980 500 980
导线断股测试图片组合方式如下：
/ 第一次 第二次 第三次
有导线断股(张) 8 16 16
无导线断股(张) 980 500 980
测试结果：经测试，***对图片中的绝缘子破损缺陷隐患识别率为：83.60％、82.53％、82.53％，准确率为87.38％、86.67％、81.20％，符合通过标准，测试结果通过。对绝缘子电弧烧伤缺陷隐患识别率为81.90％、82.56％、82.56％，准确率为89.22％、85.5％、88.24％，符合通过标准，测试结果通过。对杆塔异物缺陷隐患识别率为92.0％、95.0％、95.0％，准确率为95.82％、97.50％、96.85％，符合通过标准，测试结果通过。对导线断股缺陷隐患识别率为87.5％、81.25％、81.25％，准确率为82.99％、82.17％、82.22％，符合通过标准，测试结果通过。
本实施例中利用配网机巡图片典型缺陷数据管理***，将缺陷数据做规范化管理和存储。通过配网机巡图片典型缺陷识别云平台标注缺陷数据、模型优化训练，进一步提升模型的召回率、精确率。
本实施例通过训练后的算法模型对无人机巡航的图像数据进行缺陷智能识别，提高了缺陷识别率和工作效率，通过危急缺陷的发现处理，能避免造成的停电损失，为确保配电***可靠供电提供了坚实保障。
示例性设备
基于上述实施例，本发明还提供一种基于图像的缺陷自动识别装置，其原理框图可以如图5所示。
该基于图像的缺陷自动识别装置包括：通过***总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，该基于图像的缺陷自动识别装置的处理器用于提供计算和控制能力；该基于图像的缺陷自动识别装置的存储器包括存储介质以及内存储器；该存储介质存储有操作***和计算机程序；该内存储器为存储介质中的操作***和计算机程序的运行提供环境；该接口用于连接外部设备，例如，移动终端以及计算机等设备；该显示屏用于显示相应的基于图像的缺陷自动识别信息；该通讯模块用于与云端服务器或移动终端进行通讯。
该计算机程序被处理器执行时用以实现一种基于图像的缺陷自动识别方法。
本领域技术人员可以理解的是，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的基于图像的缺陷自动识别装置的限定，具体的基于图像的缺陷自动识别装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种基于图像的缺陷自动识别装置，其中，包括：处理器和存储器，存储器存储有基于图像的缺陷自动识别程序，基于图像的缺陷自动识别程序被处理器执行时用于实现如上的基于图像的缺陷自动识别方法。
基于上述实施例，本发明还提供一种基于图像的缺陷自动识别***，包括：服务器以及如上所述的缺陷自动识别装置；
所述服务器用于向所述缺陷自动识别装置提供数据库数据以及缺陷自动识别中所需要的算力服务；
所述缺陷自动识别装置用于执行以下操作：
获取待识别图像数据，并根据预设类型对所述待识别图像数据进行分类，得到分类后的图像数据；其中，所述待识别图像数据为无人机在预设区域巡航拍摄的多张原始图像数据；
通过训练后的算法模型对所述分类后的图像数据进行缺陷智能识别，生成缺陷框，并在所述缺陷框填充对应的缺陷信息；
根据先验知识和/或审核操作指令对所述缺陷信息进行审核，并根据审核结果输出已识别图像数据的缺陷识别报告。
在一个实施例中，提供了一种存储介质，其中，存储介质存储有基于图像的缺陷自动识别程序，基于图像的缺陷自动识别程序被处理器执行时用于实现如上的基于图像的缺陷自动识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
综上，本发明提供了一种基于图像的缺陷自动识别方法、装置、***及存储介质，方法包括：获取待识别图像数据，并根据预设类型对待识别图像数据进行分类，得到分类后的图像数据；其中，待识别图像数据为无人机在预设区域巡航拍摄的多张原始图像数据；通过训练后的算法模型对分类后的图像数据进行缺陷智能识别，生成缺陷框，并在缺陷框填充对应的缺陷信息；根据先验知识和/或审核操作指令对缺陷信息进行审核，并根据审核结果输出已识别图像数据的缺陷识别报告。本发明通过训练后的算法模型对无人机巡航的图像数据进行缺陷智能识别，提高了缺陷识别率和工作效率，通过危急缺陷的发现处理，能避免造成的停电损失，为确保配电***可靠供电提供了坚实保障。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于图像的缺陷自动识别方法，其特征在于，所述基于图像的缺陷自动识别方法包括：
获取待识别图像数据，并根据预设类型对所述待识别图像数据进行分类，得到分类后的图像数据；其中，所述待识别图像数据为无人机在预设区域巡航拍摄的多张原始图像数据；
通过训练后的算法模型对所述分类后的图像数据进行缺陷智能识别，生成缺陷框，并在所述缺陷框填充对应的缺陷信息；
根据先验知识和/或审核操作指令对所述缺陷信息进行审核，并根据审核结果输出已识别图像数据的缺陷识别报告。
2.根据权利要求1所述的基于图像的缺陷自动识别方法，其特征在于，所述获取待识别图像数据，之前包括：
从源数据层获取已标签的图像数据；其中，所述已标签的图像数据为已标签缺陷区域及缺陷信息的样本图像数据；
构建算法模型，并根据所述已标签的图像数据进行模型训练。
3.根据权利要求2所述的基于图像的缺陷自动识别方法，其特征在于，所述根据已标签的图像数据进行模型训练，包括：
对所述已标签的图像数据进行预处理，并将预处理后的图像数据进行分类，得到训练集和测试集；其中，所述预处理包括：数据转换、数据归一、数据清洗以及数据编码；
通过所述训练集对构建的算法模型进行训练，并通过所述测试集对所述算法模型进行测试，得到所述训练后的算法模型。
4.根据权利要求1所述的基于图像的缺陷自动识别方法，其特征在于，所述获取待识别图像数据，并根据预设类型对所述待识别图像数据进行分类，得到分类后的图像数据，包括：
获取所述待识别图像数据；
根据电力网馈线和线路台账的塔台坐标对所述待识别图像数据进行分类，得到所述分类后的图像数据。
5.根据权利要求4所述的基于图像的缺陷自动识别方法，其特征在于，所述根据电力网馈线和线路台账的塔台坐标对所述待识别图像数据进行分类，之后还包括：
根据所述分类后的图像数据选择对应的线路文件夹；
根据所述线路文件夹中的馈线名称和线路名称，录入对应的缺陷识别项目信息；其中，所述缺陷识别项目信息包括供电运维信息、机巡信息以及审核信息。
6.根据权利要求1所述的基于图像的缺陷自动识别方法，其特征在于，所述通过训练后的算法模型对所述分类后的图像数据进行缺陷智能识别，生成缺陷框，并在所述缺陷框填充对应的缺陷信息，包括：
根据所述分类后的图像数据选择所述训练后的算法模型；
将所述分类后的图像数据输入至所述训练后的算法模型输入层；
根据所述训练后的算法模型输出的图像数据确定智能识别后的缺陷部位、缺陷类型以及缺陷表象；
选择对应的缺陷库数据；其中，所述缺陷库数据包括杆塔数据、架空导线数据以及绝缘子数据；
根据所述缺陷部位、所述缺陷类型、所述缺陷表象以及所述缺陷库数据生成所述缺陷框，并在所述缺陷框填充对应的缺陷信息。
7.根据权利要求1所述的基于图像的缺陷自动识别方法，其特征在于，所述根据先验知识和/或审核操作指令对所述缺陷信息进行审核，并根据审核结果输出已识别图像数据的缺陷识别报告，包括：
根据所述先验知识/或所述审核操作指令对所述缺陷信息进行审核，并对所述缺陷信息中的非典型缺陷进行标注；
调用辅助绘图对识别的缺陷标注框进行编辑、删除、修改以及增加操作，并根据报告报表格式生成所述已识别图像数据的缺陷识别报告。
8.一种基于图像的缺陷自动识别装置，其特征在于，包括：处理器以及存储器，所述存储器存储有基于图像的缺陷自动识别程序，所述基于图像的缺陷自动识别程序被所述处理器执行时用于实现如权利要求1-7中任意一项所述的基于图像的缺陷自动识别方法。
9.一种基于图像的缺陷自动识别***，其特征在于，包括：服务器以及如权利要求8所述的缺陷自动识别装置；
所述服务器用于向所述缺陷自动识别装置提供数据库数据以及缺陷自动识别中所需要的算力服务；
所述缺陷自动识别装置用于执行以下操作：
获取待识别图像数据，并根据预设类型对所述待识别图像数据进行分类，得到分类后的图像数据；其中，所述待识别图像数据为无人机在预设区域巡航拍摄的多张原始图像数据；
通过训练后的算法模型对所述分类后的图像数据进行缺陷智能识别，生成缺陷框，并在所述缺陷框填充对应的缺陷信息；
根据先验知识和/或审核操作指令对所述缺陷信息进行审核，并根据审核结果输出已识别图像数据的缺陷识别报告。
10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质存储有基于图像的缺陷自动识别程序，所述基于图像的缺陷自动识别程序被处理器执行时用于实现如权利要求1-7中任意一项所述的基于图像的缺陷自动识别方法。
CN202210539735.6A 2022-05-18 2022-05-18 基于图像的缺陷自动识别方法、装置、***及存储介质 Pending CN114913376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210539735.6A CN114913376A (zh) 2022-05-18 2022-05-18 基于图像的缺陷自动识别方法、装置、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210539735.6A CN114913376A (zh) 2022-05-18 2022-05-18 基于图像的缺陷自动识别方法、装置、***及存储介质

Publications (1)

Publication Number Publication Date
CN114913376A true CN114913376A (zh) 2022-08-16

Family

ID=82769679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210539735.6A Pending CN114913376A (zh) 2022-05-18 2022-05-18 基于图像的缺陷自动识别方法、装置、***及存储介质

Country Status (1)

Country Link
CN (1) CN114913376A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245846A (zh) * 2023-03-08 2023-06-09 华院计算技术(上海)股份有限公司 带钢的缺陷检测方法及装置、存储介质、计算设备
CN117152745A (zh) * 2023-10-23 2023-12-01 杭州迪安医学检验中心有限公司 一种基于图像处理技术的支原体识别和录入方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245846A (zh) * 2023-03-08 2023-06-09 华院计算技术(上海)股份有限公司 带钢的缺陷检测方法及装置、存储介质、计算设备
CN116245846B (zh) * 2023-03-08 2023-11-21 华院计算技术(上海)股份有限公司 带钢的缺陷检测方法及装置、存储介质、计算设备
CN117152745A (zh) * 2023-10-23 2023-12-01 杭州迪安医学检验中心有限公司 一种基于图像处理技术的支原体识别和录入方法及***

Similar Documents

Publication Publication Date Title
CN114913376A (zh) 基于图像的缺陷自动识别方法、装置、***及存储介质
CN110580529A (zh) 一种输电通道无人机精细化巡检数据的自动分析管理方法、***及存储介质
CN114648393A (zh) 一种应用于招投标的数据挖掘方法、***及设备
CN113760464A (zh) 一种基于深度学***台
CN112200465B (zh) 基于多媒体信息智能分析的电力ai方法及***
CN115438635A (zh) 报告生成方法、装置、及计算机存储介质
CN113642850A (zh) 一种面向配电网规划的数据融合方法及终端
CN112395954A (zh) 一种基于自然语言模型与目标检测算法结合的输电线路特定故障识别***
CN115391567A (zh) 风机标准作业知识图谱构建方法、装置及作业机械
CN113409305B (zh) 一种光缆资源数字化管理方法
CN109585013A (zh) 一种分布式医学诊断分析方法及***
CN112446619B (zh) 配电网抢修处理方法和装置
CN114997154A (zh) 一种对话机器人语料自动构造方法及***
CN111783391B (zh) 一种在线人工文本标记***及方法
CN113411841B (zh) 5g切片的割接合并方法、装置及计算设备
Long et al. 6G comprehensive intelligence: network operations and optimization based on Large Language Models
CN114283442A (zh) 一种二次接线图智能识别方法、装置及存储介质
CN112507053A (zh) 一种可视化***的建立方法及应用方法
CN112800035A (zh) 一种基于gis***的电网数据联通共享***
CN111046785A (zh) 一种基于卷积神经网络的无人机巡检视频关键目标识别的方法
CN116362634B (zh) 一种制度流程一体化管理***、方法、设备及存储介质
Tudevdagva et al. System Design of Insulator Inspection Software for HV Distribution Lines
CN112988677A (zh) 一种基于Hadoop电力数据处理子***
CN118230325A (zh) 一种图像识别方法、***、设备及介质
CN117078184A (zh) 一种基于人工智能算法的图纸审图方法、***及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination