CN114757307A - 一种人工智能自动训练方法、***、装置及存储介质 - Google Patents

一种人工智能自动训练方法、***、装置及存储介质 Download PDF

Info

Publication number
CN114757307A
CN114757307A CN202210669062.6A CN202210669062A CN114757307A CN 114757307 A CN114757307 A CN 114757307A CN 202210669062 A CN202210669062 A CN 202210669062A CN 114757307 A CN114757307 A CN 114757307A
Authority
CN
China
Prior art keywords
training
model
target
artificial intelligence
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210669062.6A
Other languages
English (en)
Other versions
CN114757307B (zh
Inventor
王晓辉
季知祥
蒲天骄
刘鹏
肖凯
郭鹏天
李道兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Power Research Institute Co Ltd CEPRI filed Critical China Electric Power Research Institute Co Ltd CEPRI
Priority to CN202210669062.6A priority Critical patent/CN114757307B/zh
Publication of CN114757307A publication Critical patent/CN114757307A/zh
Application granted granted Critical
Publication of CN114757307B publication Critical patent/CN114757307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种人工智能自动训练方法、***、装置及存储介质，设计面向卷积神经网络、递归神经网络、图卷积神经网络等一系列网络搜索框架，设计电力模型结构相适应的基本操作子，探索可行的模型搜索策略，实现电网应用场景下多任务的自动化训练，降低人工智能模型开发难度，解决传统人工智能算法中特征选择、模型评价等依靠个人经验和繁琐耗时的问题，提高人工智能模型开发效率。本发明可面向调度、运检、安监等领域提供图像识别、视频分析、文本分析、语音识别等人工智能算法自动训练，构建电力输变电设备巡检缺陷故障识别、安全生产监控违规操作识别、电力实体识别等模型，支撑电力调度、运检、安监、营销等各业务人工智能应用。

Description

一种人工智能自动训练方法、***、装置及存储介质
技术领域
本发明属于人工智能领域，涉及一种面向电力多场景的人工智能自动训练***的构建方法，尤其是一种人工智能自动训练方法、***、装置及存储介质。
背景技术
深度学习模型虽然降低了特征提取的难度，但却带来了两大类的超参数：与训练有关的学习率、动量、批大小；与网络结构有关的网络宽度、卷积核的数量、卷积层的多少等。这些超参数构成了一个巨大的搜索空间。而调试这些错综复杂的算法参数，算法的使用者不仅需要专业的知识，往往要花费大量的时间和经历去尝试。从近期的发展趋势来看，用算力换算法的思路来解决调参的问题越来越受到研究者的青睐。
虽然深度学习取得了这么多巨大的进步，但它离全自动化的机器学习***距离还有很远。每一个机器学习应用，如特征工程、模型选择、算法选择都需要定制化。如何将这些模型开发人员从这些繁琐的任务中解放出来，让他们从事更具有创新性的工作成为了一项极有价值的任务。
目前，针对电力业务的数据分析与挖掘应用，主要包括以下现有技术方案：
（1）业务理解
针对电力业务的数据分析与挖掘应用开始于业务需求分析数据分析人员要学习并理解业务领域的相关知识，与业务人员和关键利益相关方进行多次分析讨论共同制定业务需求，形成业务问题；与业务应用人员共同确定项目的分析目标，即最终要实施的应用场景，并编制相应的功能设计方案；同时，还需评估可用于项目实施的人员、技术、时间和数据。
（2）分析方法选择
此步的重点在于把业务问题转化为分析问题，并形成初始的分析假设，初步确定需要使用的分析挖掘方法，以便根据分析目标确定要采用的人工智能算法。
（3）数据准备
根据业务需求分析结果，对潜在的数据源进行调研，并根据业务规则对可获得的数据进行理解。结合分析目标，分析数据需求和可能用到的电力***内外部数据。由于设备异常、传输干扰或人为因素等造成数据质量参差不齐，存在大量的空值、异常值和错误值等情况，因而数据预处理成为数据分析挖掘的决定性工作。需要结合业务规则和数据分布情况对数据进行清洗；基于统一数据模型对数据数据准备进行集成和融合；根据设定的分析挖掘方法，对清洗过的数据进行规约、变换、离散化等预处理，以提高分析算法的性能。
根据算法模型的训练需要对部分数据进行数据标注，形成规范化算法可识别的数据，支撑算法模型训练。
（4）数据建模
根据分析假设和数据情况，对初步确定的分析方法进行模型训练、参数调优和算法验证。通过数据探索和变量选择，进行描述性统计分析和探索性建模分析以理解变量间的关系。基于分析假设、分析目标和数据探索情况，选择一种或一类具体的分析方法，针对大规模全量数据进行分析挖掘时，采用新型分析挖掘工具中的分布式算法，进行模型训练。在分析挖掘过程中，很多机器学习算法需要进行并行化改造和实现，这目前在学术界和工业界仍是一个挑战。在模型训练过程中，需根据分析方法的结果对模型参数进行调优。
（5）模型评估
此步骤是在实际数据（非训练时采用的数据）上对分析方法进行验证，根据验证结果迭代优化分析挖掘模型。结合项目分析目标和设计的业务场景，对数据维度或属性进行筛选，根据目的和用户群选用相应的展现方式。
（6）应用开发
将分析流程和分析方法等固化为模型，然后基于模型开发业务应用模块，提供标准IO接口与业务***进行互联。根据分析项目需求，采取先试点应用再全面推广的实施策略。在实施过程中收集反馈信息，并根据结果反馈情况确定是否需要进行模型修正。
上述现有技术存在以下缺陷：
在整个数据分析流程中涉及较多的算法分析选择、模型训练环境、模型评估等人员需要参与的工作。
在算法分析选择方面，针对特定的电力业务需要从大量的算法中去选择适用于电力特定任务的模型，需要分析挖掘人员具有较高的算法分析技术水平，同时工作量也较大。
在模型训练方面，需要分析挖掘人员亲自去构建算法模型的软硬件环境，一方面要亲自搭建软件环境，另一方面通常不具备较好的硬件条件，导致模型训练时间长、效果差问题。
在模型评估方面，需要分析挖掘人员人为定义算法模型评价指标，并编写相关评价程序，实现模型评价。
发明内容
本发明的目的在于解决现有技术中的问题，提供一种人工智能自动训练方法、***、装置及存储介质，实现样本数据管理、模型自适应选择、模型自动化训练等功能，实现人工智能模型自动化训练，降低人工智能模型开发难度，解决传统人工智能算法中特征选择、模型评价等依靠个人经验和繁琐耗时的问题，提高人工智能模型开发效率。
为达到上述目的，本发明采用以下技术方案予以实现：
一种人工智能自动训练方法，包括以下步骤：
接收上传的样本数据，并对样本数据进行人工或自动化辅助标注；
根据样本数据的标注信息，选择与所述标注信息对应的目标业务领域；
根据所述目标业务领域，从与所述目标业务领域对应的模型训练任务中选择目标模型训练任务；
根据所述目标模型训练任务匹配目标深度学习模型；
针对所述目标深度学习模型，进行自动化模型训练和参数预训练；
根据模型训练任务类型和评价方法，实现自动化模型评价。
一种人工智能自动训练***，包括：
样本数据管理模块，所述样本数据管理模块用于接收上传的样本数据，并对样本数据进行人工或自动化辅助标注；
业务领域选择模块，所述业务领域选择模块用于根据样本数据的标注信息，选择与所述标注信息对应的目标业务领域；
目标模型训练任务选择模块，所述目标模型训练任务选择模块用于根据所述目标业务领域，从与所述目标业务领域对应的模型训练任务中选择目标模型训练任务；
目标深度学习模型匹配模块，所述目标深度学习模型匹配模块用于根据所述目标模型训练任务匹配目标深度学习模型；
模型和参数训练模块，所述模型和参数训练模块用于针对所述目标深度学习模型，进行自动化模型训练和参数预训练；
模型评价模块，所述模型评价模块用于根据模型训练任务类型和评价方法，实现自动化模型评价。
一种人工智能自动训练装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明人工智能自动训练方法，面向电力多场景的图像、文本等模型自动化训练，具有操作简单、模型训练高效等特点，可有效支撑电网调度、运检、安监、营销等业务图像识别、文本分析、语音识别等模型训练，实现了业务与深度学习模型的自动匹配。
进一步的，本发明使用神经架构自动化搜索技术时，采用基于信息传递机制的图卷积神经网络架构搜索，采用稀疏过滤器和密集过滤器，来胜任粗细粒度的特征过滤任务，设计跟电力模型结构相适应的基本操作子，探索可行的模型搜索策略。
进一步的，本发明通过设计基本操作子，使用强化学习、可微分学习等参数更新方式，实现较少人工干预下的网络自动化训练。
进一步的，本发明在梯度下降算法进行网络结构搜索时，为了解决网络深度加深时的计算量增大和稳定性下降的问题：一是搜索空间近似，即在网络层数增加时减少可选操作的数量，从而降低计算量；二是搜索空间正则化，即通过操作层的随机丢弃和减少跳跃连接的次数，从而避免跳跃连接在操作层占据主导地位。
本发明通过建立面向电力多场景的全自动模型训练***，为模型开发人员提供方便、易用、高效的模型训练环境，较大的降低模型开发技术门槛、缩短模型开发时间，有效构建适合电力多场景的算法模型，有力支撑电力业务智能化发展。
附图说明
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明自动化模型训练的流程图。
图2为本发明图卷积神经网络的搜索空间示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
调试深度学习模型的超参数要花费大量的时间和经历去尝试。从近期的发展趋势来看，用算力换算法的思路来解决调参的问题越来越受到研究者的青睐。
自动化训练技术（AutoML）正是在这样的背景下被提出的。它的提出是希望能够自动化的解决一切人为的工作，让机器学习的门槛更低，让更多人有机会去使用机器学习。AutoML是一种端到端的应用机器学习的过程。在一个典型的机器学习任务中，AutoML将模型、优化、评价这些重要的步骤自动化的学习，使机器学习模型无需人工干预即可被应用。AutoML主要问题是选择合适的特征、选择合适的模型族和选择合适的模型参数。迁移学习是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率，不用像大多数网络那样从零学习。迁移学习可以加速训练过程，还可以解决目标领域训练样本数据少的问题。
本发明面向电力多场景的人工智能自动训练***包括样本数据管理、业务领域选择、自适应模型匹配、模型训练、模型评估、模型封装等功能模块。针对模型训练任务设计面向卷积神经网络、递归神经网络、图卷积神经网络等网络搜索框架，设计模型训练任务结构相适应的基本操作子，探索可行的模型搜索策略，实现电网应用场景下多任务的自动化训练。自动化模型训练通过设计基本操作子，使用强化学习、可微分学习等参数更新方式，实现较少人工干预下的网络自动化训练。
下面结合附图对本发明做进一步详细描述：
参见图1，本发明实施例公开了一种人工智能自动训练方法，包括以下步骤：
（1）样本数据管理
面向电力多场景的人工智能自动训练平台样本数据管理包括样本数据上传、样本数据标注、样本数据管理等。样本数据上传提供本地上传、服务器上传等。样本数据标注提供人工标注和自动化辅助标注两种方式，自动化辅助标注通过样本数据自动标注工具实现样本数据自动标注，提高样本数据标注效率。样本数据管理实现样本数据的全流程标准化管理，支撑模型自动化训练。
用户上传样本数据时可选择样本数据类型，平台基于样本数据类型实现样本数据自动标注，基于自动标注结果通过人工校核，样本数据可应用于模型训练。自动标注的样本数据类型包括输变电、安监等图像、视频、文本信息等，其中输变电图像标注包括异物、绝缘子、细小金具、导地线等；安监视频标注包括越线闯入、未戴安全帽、未穿工装、吸烟、未携带正确工具、人脸识别、未佩戴绝缘手套、带电设备附近用非绝缘物品等；文本信息标注包括电力设备、线路、变电站、组织机构、地点、人名等。
（2）电力自适应模型匹配
根据样本数据确定业务领域，通过样本内容相似度计算确定细分业务领域应用；例如：自适应模型匹配首先根据应用（样本）类型是属于图像或文本（自然语言处理）或语音大类，然后再匹配属于运检鸟窝识别还是绝缘子破裂还是违章未系安全带等。针对运检、调度、安监、营销等业务领域，主要包括图像识别、语音识别、文本分析、知识图谱等模型训练任务。知识图谱、情感分析都是基于自然语言文本处理应用，属于自然语言处理类型；语音合成、声纹识别属于语音处理应用，属于语音识别类。调度领域涉及知识图谱构建、文本分析、语音识别、语音合成等模型训练任务；运检领域涉及图像识别、声纹识别、知识图谱等模型训练任务；安监领域主要涉及视频分析、违章识别等，营销领域涉及语音识别、情感分析、知识图谱等模型训练任务。图像识别、语音识别属于人工智能应用大类，像杆塔鸟窝识别、绝缘子破裂等运检以及未系安全带、抽烟等违章识别都属于图像识别。
自适应模型匹配根据电力业务运检、安监、调度、营销等的图像识别、文本分析、语音识别等类型，自动匹配最优的深度学习模型。针对图像识别、自然语言处理、语音等匹配卷积神经网络、循环神经网络、图卷积神经网络等深度学习模型。
（3）网络架构搜索
针对电力运检、安监、调度、营销业务领域的具体业务，实现深度学习模型的自动化模型训练和参数预训练，基于可微分网络搜索框架，将两者嵌入到统一框架进行协同学习，设计有效的网络架构搜索技术，在自动化搜索出最优模型结构的同时，优化出最优的训练参数。
（4）使用神经架构自动化搜索技术时，设计跟电力模型结构相适应的基本操作子，探索可行的模型搜索策略。自动化网络训练理论通过设计基本操作子，使用强化学习、可微分学习等参数更新方式，实现较少人工干预下的网络自动化训练。如图1所示，本实施例采用基于搜索空间正则化的卷积神经网络和循环神经网络架构搜索，以及基于信息传递机制的图卷积神经网络架构搜索。
①基于搜索空间正则化的卷积神经网络和循环神经网络架构搜索
改进网络搜索策略，对搜索空间进行正则化来提高网络搜索性能，如图2所示。基于梯度的网络搜索存在训练不稳定的问题：一是目标任务精确度对随机初始化过于敏感；二是在代理数据集上搜索到的最优子结构在目标数据集上达不到满意的性能。这种不稳定问题是由优化差距（optimization gap）造成的，即在代理数据集上搜索最优子结构却在其他数据集上重新训练子网络间的差距。即使目标数据集和代理数据集是同一个，也无法保证多次堆叠cell后的网络是最优的子网络。
通过对搜索空间进行正则化来解决优化差距的问题。将离散搜索空间松弛为连续、可微分的函数，并基于梯度下降算法进行网络结构搜索。搜索空间由cell表示，每个cell是一个包含N个节点和若干边的有向无环图。cell中每个节点代表一个特征层，节点与节点之间的边代表特征变换操作o(∙)∈O。对于每一个中间节点x j ，将它与所有前驱节点{x 1,x 2,…,x (j-1)}进行稠密链接，连接的边分别表示为E(i,j)，(i<j)。DARTS对每一条边上的所有操作计算权重参数α (i,j)，并通过softmax函数进行归一化后用于对各操作进行加权聚合，从而将离散的搜索空间松弛成连续可微。为了解决网络深度加深时的计算量增大和稳定性下降的问题：一是搜索空间近似，即在网络层数增加时减少可选操作的数量，从而降低计算量；二是搜索空间正则化，即通过操作层的随机丢弃和减少跳跃连接的次数，从而避免跳跃连接在操作层占据主导地位。
②基于信息传递机制的图卷积神经网络架构搜索
设计基于新设计的搜索空间和基于梯度的搜索策略的图神经结构搜索方法，以自动学习在图上具有最优消息传递深度的更好的结构。构建具有树状拓扑计算过程和两种类型的细粒度基本操作子(特征过滤和邻居聚合)的图神经结构范式来构造强大的图网络搜索空间，其中，特征过滤执行自适应特征选择，邻居聚合捕获结构信息并计算邻居的统计量。
首先，设计适合网络架构搜索任务的图神经结构范式，将图神经结构计算图的拓扑结构定义为一颗有向树。其中每个节点代表潜在的图嵌入表示，每条边代表一个操作（特征过滤或邻居聚合）。其中特征过滤操作通过采用门控机制来控制信息流的方法执行特征的自适应选择；设计了两种过滤器——稀疏过滤器和密集过滤器，以胜任粗细粒度的特征过滤任务。用公式表示为：
Fs(H)=diag(MQ([H,Hin]))H,Fd(H)=MZ([H,Hin])⊙H (1)
其中，F s(H)表示稀疏过滤器，F d(H)表示密集过滤器，H表示待过滤的图嵌入，Hin表示整个图神经结构计算树的初始输入。
其次，使用与可微分的网络搜索架构相同的方法来使搜索空间连续。然后松弛一个特定操作为所有可能操作的softmax，公式表示发下：
Figure 56600DEST_PATH_IMAGE001
(2)
其中o表示所有可能操作的集合。松弛之后，优化的目标是共同学习所有混合操作中的架构参数α和权重参数w。α和w可以使用基于梯度的方法进行有效优化。
最后，在确定搜索框架过程中，可以通过将每个混合操作
Figure 120371DEST_PATH_IMAGE002
替换为最可能的操作，公式表示如下：
Figure 114346DEST_PATH_IMAGE003
(3)
（5）模型评估
模型评估根据训练任务类型和评价方法，实现自动化模型评价。模型评估方法包括准确率、召回率、F值等。
所述准确率如下：
准确率=识别出的正确实体数/识别出的实体数
所述召回率如下：
召回率=识别出的正确实体数/样本数据中的实体数
准确率和召回率的取值在0和1之间，数值越接近1，准确率或召回率就越高；当准确率和召回率出现矛盾时，F值为：
F值=(2×准确率×召回率)/(准确率+召回率)
其中，F值为准确率和召回率的加权调和平均值。
（6）模型封装
根据模型应用场景和部署方式不同将训练好的模型进行封装，支持模型以云端API、设备端SDK等多种方式发布使用。
本发明还公开了一种人工智能自动训练***，包括：
样本数据管理模块，所述样本数据管理模块用于接收上传的样本数据，并对样本数据进行人工或自动化辅助标注；
业务领域选择模块，所述业务领域选择模块用于根据样本数据的标注信息，选择与所述标注信息对应的目标业务领域；
目标模型训练任务选择模块，所述目标模型训练任务选择模块用于根据所述目标业务领域，从与所述目标业务领域对应的模型训练任务中选择目标模型训练任务；
目标深度学习模型匹配模块，所述目标深度学习模型匹配模块用于根据所述目标模型训练任务匹配目标深度学习模型；
模型和参数训练模块，所述模型和参数训练模块用于针对所述目标深度学习模型，进行自动化模型训练和参数预训练；
模型评价模块，所述模型评价模块用于根据模型训练任务类型和评价方法，实现自动化模型评价。
为支撑人工智能模型训练，本发明人工智能自动训练***，还包括以下模块：
1）服务器管理模块，实现对CPU服务器和GPU服务器的管理，将训练任务分到分布式的计算节点上执行计算。
2）训练框架集成模块，实现对训练过程的抽象，确定相关数据和参数即可启动训练任务并监控和分析训练过程。
3）池化计算资源管理模块，将GPU资源云化，实现启动训练任务时平台会自动把训练任务分配到合适的GPU上。
4）资源隔离和环境管理模块，实现对大规模计算节点中的资源和环境高效管理，兼容不同型号的GPU、不同版本的CUDA/CuDNN和不同的深度学习框架。
本发明一实施例提供的人工智能自动训练装置。该实施例的人工智能自动训练装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
所述人工智能自动训练装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述人工智能自动训练装置可包括，但不仅限于，处理器、存储器。
所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述人工智能自动训练装置的各种功能。
所述人工智能自动训练装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种人工智能自动训练方法，其特征在于，包括以下步骤：
接收上传的样本数据，并对样本数据进行人工或自动化辅助标注；
根据样本数据的标注信息，选择与所述标注信息对应的目标业务领域；
根据所述目标业务领域，从与所述目标业务领域对应的模型训练任务中选择目标模型训练任务；
根据所述目标模型训练任务匹配目标深度学习模型；
针对所述目标深度学习模型，进行自动化模型训练和参数预训练；
根据模型训练任务类型和评价方法，实现自动化模型评价。
2.根据权利要求1所述的人工智能自动训练方法，其特征在于，所述样本数据通过本地上传或服务器上传。
3.根据权利要求1所述的人工智能自动训练方法，其特征在于，所述自动化辅助标注为根据样本数据类型利用已有模型实现样本数据自动标注。
4.根据权利要求3所述的人工智能自动训练方法，其特征在于，所述自动标注基于用户上传样本数据时选择的样本数据类型实现，样本数据基于通过校核的标注信息应用于模型训练。
5.根据权利要求4所述的人工智能自动训练方法，其特征在于，所述自动化辅助标注包括输变电图像标注、安监视频标注以及文本信息标注；所述输变电图像标注包括对输变电图像中的以下至少一个目标对象的标注：异物、绝缘子、细小金具或导地线；安监视频标注包括对安监视频中至少一个目标对象的标注：越线闯入、未戴安全帽、未穿工装、吸烟、未携带正确工具、人脸识别、未佩戴绝缘手套或带电设备附近用非绝缘物品；文本信息标注包括对文本信息中的以下至少一个目标对象的标注：电力设备、线路、变电站、组织机构、地点或人名。
6.根据权利要求1所述的人工智能自动训练方法，其特征在于，所述业务领域包括运检业务、调度业务、安监业务以及营销业务；运检业务对应图像识别、声纹识别以及知识图谱的模型训练任务；调度业务对应知识图谱构建、文本分析、语音识别以及语音合成的模型训练任务；安监业务对应视频分析的模型训练任务，营销业务对应语音识别、情感分析以及知识图谱的模型训练任务。
7.根据权利要求1所述的人工智能自动训练方法，其特征在于，所述深度学习模型的自动化模型训练和参数训练的具体方法如下：
针对卷积神经网络，采用基于搜索空间正则化的方法进行自动化模型训练和参数预训练；
针对循环神经网络，采用基于搜索空间正则化的方法进行自动化模型训练和参数预训练；
针对图卷积神经网络，采用基于信息传递机制的方法进行自动化模型训练和参数预训练。
8.根据权利要求1所述的人工智能自动训练方法，其特征在于，所述根据所述目标模型训练任务匹配目标学习模型，包括：
确定目标模型训练任务的类型；
若所述目标模型训练任务的类型为图像类，确定目标深度学习模型为卷积神经网络；
若所述目标模型训练任务的类型为自然语言处理类，确定目标深度学习模型为循环神经网络；
若所述目标模型训练任务的类型为语音识别类，确定目标深度学习模型为图卷积神经网络。
9.根据权利要求7所述的人工智能自动训练方法，其特征在于，所述采用基于搜索空间正则化的方法进行自动化模型训练和参数预训练，包括：
将搜索空间松弛为连续、可微分的函数；
基于梯度下降算法进行网络结构搜索。
10.根据权利要求9所述的人工智能自动训练方法，其特征在于，所述将搜索空间松弛为连续、可微分的函数，包括：
分别将搜索空间cell中每个中间节点x j 与所有前驱节点{x 1,x 2,…,x (j-1)}进行稠密链接，搜索空间cell为包含N个节点和若干边的有向无环图，每个节点代表一个特征层，节点i与节点j之间的边E(i,j)代表特征变换操作o(∙)∈O,其中i<j；
对每一条边上的所有特征变换操作计算权重参数α (i,j)；
通过softmax函数对每个特征变换操作的权重参数进行归一化，归一化结果用于对各操作进行加权聚合。
11.根据权利要求9所述的人工智能自动训练方法，其特征在于，所述基于梯度下降算法进行网络结构搜索时，进行搜索空间近似处理和搜索空间正则化处理。
12.根据权利要求7所述的人工智能自动训练方法，其特征在于，所述基于信息传递机制的方法所采用的搜索空间由目标图神经结构范式构造，所述目标图神经结构范式具有树状拓扑计算过程和目标细粒度基本操作子，所述目标细粒度基本操作子包括特征过滤和邻居聚合，所述特征过滤用于执行自适应特征选择，所述邻居聚合用于捕获结构信息并计算邻居的统计量；
所述基于信息传递机制的方法所采用的搜索策略包括：
通过采用门控机制来控制信息流的方法执行特征的自适应选择；采用稀疏过滤器Fs(H)和密集过滤器Fd(H)，来胜任粗细粒度的特征过滤任务：
Fs(H)=diag(MQ([H,Hin]))H,Fd(H)=MZ([H,Hin])⊙H (1)
其中，H表示待过滤的图嵌入，Hin表示整个图神经结构计算树的初始输入；
使用与可微分的网络搜索架构相同的方法来使搜索空间连续，然后松弛一个操作为所有可能操作的softmax：
Figure 252523DEST_PATH_IMAGE001
(2)
其中，o表示所有可能操作的集合；松弛之后，以共同学习所有混合操作中的架构参数α和权重参数w为优化目标；架构参数α和权重参数w使用基于梯度的方法进行有效优化；
在确定搜索框架过程中，将每个混合操作
Figure 178890DEST_PATH_IMAGE002
替换为最可能的操作：
Figure 524421DEST_PATH_IMAGE003
(3)。
13.根据权利要求1所述的人工智能自动训练方法，其特征在于，所述评价方法包括计算准确率、计算召回率以及计算F值；
所述准确率的计算公式如下：
准确率=识别出的正确实体数/识别出的实体数
所述召回率的计算公式如下：
召回率=识别出的正确实体数/样本数据中的实体数
准确率和召回率的取值在0和1之间，数值越接近1，准确率或召回率就越高；
所述F值的计算公式如下：
当准确率和召回率出现矛盾时，F值为：
F值=(2×准确率×召回率)/(准确率+召回率)
其中，F值为准确率和召回率的加权调和平均值。
14.一种人工智能自动训练***，其特征在于，包括：
样本数据管理模块，所述样本数据管理模块用于接收上传的样本数据，并对样本数据进行人工或自动化辅助标注；
业务领域选择模块，所述业务领域选择模块用于根据样本数据的标注信息，选择与所述标注信息对应的目标业务领域；
目标模型训练任务选择模块，所述目标模型训练任务选择模块用于根据所述目标业务领域，从与所述目标业务领域对应的模型训练任务中选择目标模型训练任务；
目标深度学习模型匹配模块，所述目标深度学习模型匹配模块用于根据所述目标模型训练任务匹配目标深度学习模型；
模型和参数训练模块，所述模型和参数训练模块用于针对所述目标深度学习模型，进行自动化模型训练和参数预训练；
模型评价模块，所述模型评价模块用于根据模型训练任务类型和评价方法，实现自动化模型评价。
15.根据权利要求14所述的人工智能自动训练***，其特征在于，还包括：
服务器管理模块，所述服务器管理模块实现对CPU服务器和GPU服务器的管理，将模型训练任务分到分布式的计算节点上执行计算；
训练框架集成模块，所述训练框架集成模块实现对训练过程的抽象，确定相关数据和参数后，启动训练任务并监控和分析训练过程；
池化计算资源管理模块，所述池化计算资源管理模块用于将GPU资源云化，实现启动训练任务时平台会自动把训练任务分配到对应的GPU上；
资源隔离和环境管理模块，所述资源隔离和环境管理模块实现对计算节点中的资源和环境的管理，兼容不同型号的GPU、不同版本的CUDA/CuDNN和不同的深度学习框架。
16.一种人工智能自动训练装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-13任一项所述方法的步骤。
17.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-13任一项所述方法的步骤。
CN202210669062.6A 2022-06-14 2022-06-14 一种人工智能自动训练方法、***、装置及存储介质 Active CN114757307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210669062.6A CN114757307B (zh) 2022-06-14 2022-06-14 一种人工智能自动训练方法、***、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210669062.6A CN114757307B (zh) 2022-06-14 2022-06-14 一种人工智能自动训练方法、***、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114757307A true CN114757307A (zh) 2022-07-15
CN114757307B CN114757307B (zh) 2022-09-06

Family

ID=82336190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210669062.6A Active CN114757307B (zh) 2022-06-14 2022-06-14 一种人工智能自动训练方法、***、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114757307B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116010602A (zh) * 2023-01-10 2023-04-25 孔祥山 一种基于大数据的数据调优方法及***
CN116468131A (zh) * 2023-06-19 2023-07-21 成都市奇点软件有限公司 一种基于阶段性再训练的ai驱动项目自动化方法及***
CN116594748A (zh) * 2023-05-19 2023-08-15 航天宏图信息技术股份有限公司 针对任务的模型定制处理方法、装置、设备和介质
CN117876156A (zh) * 2024-03-11 2024-04-12 国网江西省电力有限公司南昌供电分公司 基于多任务电力物联终端监测方法、电力物联终端及介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171117A (zh) * 2017-12-05 2018-06-15 南京南瑞信息通信科技有限公司 基于多核异构并行计算的电力人工智能视觉分析***
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管***及方法
CN109271539A (zh) * 2018-08-31 2019-01-25 华中科技大学 一种基于深度学习的图像自动标注方法及装置
CN109635918A (zh) * 2018-10-30 2019-04-16 银河水滴科技（北京）有限公司 基于云平台和预设模型的神经网络自动训练方法和装置
WO2019113122A1 (en) * 2017-12-04 2019-06-13 Conversica, Inc. Systems and methods for improved machine learning for conversations
CN111814966A (zh) * 2020-08-24 2020-10-23 国网浙江省电力有限公司 神经网络架构搜索方法、神经网络应用方法、设备及存储介质
CN112434794A (zh) * 2020-11-30 2021-03-02 国电南瑞科技股份有限公司 一种基于深度学习的计算机视觉数据集半自动标注方法及***
WO2021139191A1 (zh) * 2020-01-08 2021-07-15 华为技术有限公司 数据标注的方法以及数据标注的装置
CN113344098A (zh) * 2021-06-22 2021-09-03 北京三快在线科技有限公司 一种模型训练方法及装置
CN113706099A (zh) * 2021-08-23 2021-11-26 中国电子科技集团公司第二十八研究所 一种数据标注、深度学习模型训练和服务发布***
CN113806574A (zh) * 2021-08-31 2021-12-17 北京中育神州数据科技有限公司 一种软硬件一体化的人工智能图像识别数据处理方法
CN113903081A (zh) * 2021-09-29 2022-01-07 北京许继电气有限公司 一种水电厂图像视觉识别人工智能报警方法及装置
CN114077674A (zh) * 2021-10-31 2022-02-22 国电南瑞科技股份有限公司 一种电网调度知识图谱数据优化方法及***
CN114445706A (zh) * 2022-01-25 2022-05-06 南京工程学院 一种基于特征融合的输电线路目标检测与识别方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019113122A1 (en) * 2017-12-04 2019-06-13 Conversica, Inc. Systems and methods for improved machine learning for conversations
WO2019109771A1 (zh) * 2017-12-05 2019-06-13 南京南瑞信息通信科技有限公司 基于多核异构并行计算的电力人工智能视觉分析***
CN108171117A (zh) * 2017-12-05 2018-06-15 南京南瑞信息通信科技有限公司 基于多核异构并行计算的电力人工智能视觉分析***
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管***及方法
CN109271539A (zh) * 2018-08-31 2019-01-25 华中科技大学 一种基于深度学习的图像自动标注方法及装置
CN109635918A (zh) * 2018-10-30 2019-04-16 银河水滴科技（北京）有限公司 基于云平台和预设模型的神经网络自动训练方法和装置
WO2021139191A1 (zh) * 2020-01-08 2021-07-15 华为技术有限公司 数据标注的方法以及数据标注的装置
CN111814966A (zh) * 2020-08-24 2020-10-23 国网浙江省电力有限公司 神经网络架构搜索方法、神经网络应用方法、设备及存储介质
CN112434794A (zh) * 2020-11-30 2021-03-02 国电南瑞科技股份有限公司 一种基于深度学习的计算机视觉数据集半自动标注方法及***
CN113344098A (zh) * 2021-06-22 2021-09-03 北京三快在线科技有限公司 一种模型训练方法及装置
CN113706099A (zh) * 2021-08-23 2021-11-26 中国电子科技集团公司第二十八研究所 一种数据标注、深度学习模型训练和服务发布***
CN113806574A (zh) * 2021-08-31 2021-12-17 北京中育神州数据科技有限公司 一种软硬件一体化的人工智能图像识别数据处理方法
CN113903081A (zh) * 2021-09-29 2022-01-07 北京许继电气有限公司 一种水电厂图像视觉识别人工智能报警方法及装置
CN114077674A (zh) * 2021-10-31 2022-02-22 国电南瑞科技股份有限公司 一种电网调度知识图谱数据优化方法及***
CN114445706A (zh) * 2022-01-25 2022-05-06 南京工程学院 一种基于特征融合的输电线路目标检测与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李远宁 等: "电网机巡图像分析框架与深度学习方法", 《电信科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116010602A (zh) * 2023-01-10 2023-04-25 孔祥山 一种基于大数据的数据调优方法及***
CN116010602B (zh) * 2023-01-10 2023-09-29 湖北华中电力科技开发有限责任公司 一种基于大数据的数据调优方法及***
CN116594748A (zh) * 2023-05-19 2023-08-15 航天宏图信息技术股份有限公司 针对任务的模型定制处理方法、装置、设备和介质
CN116468131A (zh) * 2023-06-19 2023-07-21 成都市奇点软件有限公司 一种基于阶段性再训练的ai驱动项目自动化方法及***
CN116468131B (zh) * 2023-06-19 2023-09-01 成都市奇点软件有限公司 一种基于阶段性再训练的ai驱动项目自动化方法及***
CN117876156A (zh) * 2024-03-11 2024-04-12 国网江西省电力有限公司南昌供电分公司 基于多任务电力物联终端监测方法、电力物联终端及介质

Also Published As

Publication number Publication date
CN114757307B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN114757307B (zh) 一种人工智能自动训练方法、***、装置及存储介质
CN110659173B (zh) 一种运维***及方法
Yu et al. LSTM-EFG for wind power forecasting based on sequential correlation features
Ye et al. Learning the evolutionary and multi-scale graph structure for multivariate time series forecasting
CN112181960A (zh) 一种基于AIOps的智能运维框架***
CN111967271A (zh) 分析结果的生成方法、装置、设备及可读存储介质
CN115456093A (zh) 一种基于注意力图神经网络的高性能图聚类方法
CN105630797A (zh) 数据处理方法及***
Xie et al. Logm: Log analysis for multiple components of hadoop platform
Papageorgiou et al. A systematic review on machine learning methods for root cause analysis towards zero-defect manufacturing
WO2023129164A1 (en) Digital twin sequential and temporal learning and explaining
Hu et al. 5G‐Oriented IoT Big Data Analysis Method System
CN114265954B (zh) 基于位置与结构信息的图表示学习方法
Wang et al. Distributed big data mining platform for smart grid
Chen et al. Entity representation by neighboring relations topology for inductive relation prediction
Wijayanto et al. Predicting future potential flight routes via inductive graph representation learning
Du et al. Smart oilfield technology
CN105354298A (zh) 基于Hadoop的大规模社交网络分析方法及其分析平台
Jingbo Big Data Classification Model and Algorithm Based on Double Quantum Particle Swarm Optimization
Wang et al. Unsupervised Data Anomaly Detection Based on Graph Neural Network
CN115392615B (zh) 基于信息增强生成对抗网络的数据缺失值补全方法及***
CN115080968B (zh) 一种带有智能安全防护的人工智能服务器
Zhang et al. Predicting Relations in SG-CIM Model Based on Graph Structure and Semantic Information
Almohammed et al. Data mining and analysis for predicting electrical energy consumption
Zhang Evaluation Methods of Machine Translation Based on Big Data Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant