CN112733824B - 基于视频图像智能前端的变电设备缺陷诊断方法和*** - Google Patents

基于视频图像智能前端的变电设备缺陷诊断方法和*** Download PDF

Info

Publication number
CN112733824B
CN112733824B CN202110364984.1A CN202110364984A CN112733824B CN 112733824 B CN112733824 B CN 112733824B CN 202110364984 A CN202110364984 A CN 202110364984A CN 112733824 B CN112733824 B CN 112733824B
Authority
CN
China
Prior art keywords
video image
defect
power transformation
intelligent
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110364984.1A
Other languages
English (en)
Other versions
CN112733824A (zh
Inventor
杨宁
高飞
杨洋
李丽华
张博文
韩帅
贾鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Power Research Institute Co Ltd CEPRI filed Critical China Electric Power Research Institute Co Ltd CEPRI
Priority to CN202110364984.1A priority Critical patent/CN112733824B/zh
Publication of CN112733824A publication Critical patent/CN112733824A/zh
Application granted granted Critical
Publication of CN112733824B publication Critical patent/CN112733824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Operations Research (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于视频图像智能前端的变电设备缺陷诊断方法及***。该方法包括：实时采集变电设备视频图像；采用最优调度方案，执行轻量化缺陷识别模型处理所述视频图像，并根据处理结果，确定变电设备的缺陷。该方法利用设置在智能前端这一边端侧的边缘计算能力来实时处理视频图像。利用集成在智能前端的视频图像处理芯片，执行变电设备缺陷图像诊断算法，生成变电设备状态预警结论或缺陷识别结论；在边端侧实现了快速高效的图像处理，保证了变电站设备缺陷诊断的快速性、及时性和准确性。

Description

基于视频图像智能前端的变电设备缺陷诊断方法和***
技术领域
本发明属于变电设备智能巡检技术领域，具体涉及基于视频图像智能前端的变电设备缺陷诊断方法和***。
背景技术
目前，变电设备巡检和分析存在以下问题：
一、缺少智能采集变电设备视频图像的手段。在变电设备巡视的发展初期，通常采用手持红外热成像仪、手持紫外成像仪以及人工巡视方式，提升了设备缺陷发现能力，但增加了运检人员的日常巡视工作压力，也对运检人员提出了较高技术要求。随着智能变电站建设，变电设备巡视可采用移动巡检机器人、固定机位的视频图像摄像头等视频图像巡检终端，减少了运检人员部分人工巡视压力，但增加了运检人员设备维护、***升级、缺陷审核等方面的压力。目前受限于软硬件技术水平，固定机位的视频图像摄像头和移动巡检机器人只能在固定预置点位进行数据采集，无法实现自适应角度的智能图像采集，存在采集的图像质量不高而导致在云端诊断效率低及误检率较高的问题。
二、目前的视频图像巡检终端缺少实时智能分析能力。目前，变电设备视频图像通过光纤等信道统一传输到后台服务器来分析处理，增加了通信及数据集中管理的成本和压力，数据分析的时效性和即时性不足。尤其在变电站内设置的视频图像巡检终端数量不断增加，视频图像采集智能前端的成像质量和分辨率不断提高时，通信信道和后台服务器的硬件成本激增，及图像识别和处理效率大幅下降。
因此，尽管目前已经有变电站/换流站在利用巡检机器人、视频摄像头、红外摄像头等视频图像巡检终端对变电站设备进行定期巡检，但其后续需要利用设置在云端的计算能力来处理视频图像，缺陷诊断及时性不足。
发明内容
针对现有技术的不足，本发明提供基于视频图像智能前端的变电设备缺陷诊断方法和***，以解决目前变电站设备缺陷诊断及时性不足的问题。
第一方面，本发明提供一种基于视频图像智能前端的变电设备缺陷诊断方法，包括：
实时采集变电设备视频图像；
采用最优调度方案，执行轻量化缺陷识别模型处理所述视频图像，并根据处理结果，确定变电设备的缺陷。
进一步地，在实时采集变电设备视频图像之前，还包括：
经边端侧云边协同组件和云端侧云边协同组件从云端服务器获取变电设备图像诊断模型，所述变电设备图像诊断模型是根据变电站的典型视频图像及典型缺陷完成深度学习神经网络训练及评估后生成的；其中，
所述边端侧云边协同组件设置于所述视频图像智能前端；
所述云端侧云边协同组件设置于所述云端服务器；
对获取的变电设备图像诊断模型执行伪量化处理和/或剪枝处理，得到轻量化缺陷识别模型。
进一步地，所述视频图像智能前端设置有视频图像处理芯片和中央处理器；
在实时采集变电设备视频图像之前，还包括：
协同视频图像处理芯片的硬件资源和中央处理器的硬件资源，对所述轻量化缺陷识别模型执行算子调优算法，得到与所述轻量化缺陷识别模型对应的最优调度方案，并映射到中央处理器内。
进一步地，所述视频图像智能前端设置有摄像头传感单元，所述摄像头传感单元固定设置在可控云台上，跟随可控云台摆动；
在实时采集变电设备视频图像之前，还包括：
获取摄像头传感单元采集的变电设备视频图像，
执行轻量化实例分割模型处理所述视频图像，确定目标主体的目标中心值；
根据所述目标主体的目标中心值和摄像头传感单元采集的图像的画面中心值计算偏移量；
根据所述偏移量，通过比例-积分-微分控制可控云台，以使得目标主***于摄像头传感单元采集的画面的中央。
进一步地，在根据变电站的典型视频图像及典型缺陷完成深度学习神经网络训练及评估，生成所述变电设备图像诊断模型时，
所述变电设备缺陷图像诊断模型基于以下深度学习神经网络框架中的一种或多种得到：YOLO、Faster RCNN、SSD和Mask RCNN；
在模型预测准确度大于或等于预先设定的准确度时，输出所述变电设备缺陷图像诊断模型的权重矩阵和模型参数。
第二方面，本发明提供一种基于视频图像智能前端的变电设备缺陷诊断***，包括：
设置于变电站内不同位置的多个视频图像智能前端；
每一所述视频图像智能前端包括智能摄像头和智能前端板卡；
所述智能摄像头用于采集变电设备视频图像；
所述智能前端板卡设置有视频图像处理芯片和中央处理器；
所述智能前端板卡还设置有智能分析单元，所述智能分析单元用于采用最优调度方案，协调视频图像处理芯片的硬件资源和中央处理器的硬件资源，执行轻量化缺陷识别模型处理所述视频图像，并根据处理结果，确定变电设备的缺陷。
进一步地，所述智能摄像头包括摄像头传感单元，所述摄像头传感单元为红外摄像头、可见光摄像头或紫外摄像头；
所述智能摄像头固定设置在可控云台上，跟随可控云台摆动；
所述视频图像处理芯片和中央处理器还用于实例分割变电设备视频图像，并确定目标主体的目标中心值；
所述中央处理器还用于根据所述目标主体的目标中心值，执行云台视角自适应调节算法，控制可控云台摆动，以使得目标主***于摄像头传感单元采集的画面的中央。
进一步地，所述中央处理器还用于协同视频图像处理芯片的硬件资源和中央处理器的硬件资源，对所述轻量化缺陷识别模型执行算子调优算法，得到与所述轻量化缺陷识别模型对应的最优调度方案，并映射到中央处理器内。
进一步地，所述智能前端板卡还包括压缩算法处理单元；
所述压缩算法处理单元用于对从云端获取的变电设备图像诊断模型执行伪量化处理和/或剪枝处理，得到轻量化缺陷识别模型；
所述变电设备缺陷图像诊断模型基于以下深度学习神经网络框架中的一种或多种得到：YOLO、Faster RCNN、SSD和Mask RCNN。
进一步地，还包括：
与所述多个智能前端通信连接的云端服务器；
所述云端服务器设置有云端侧云边协同组件、缺陷图像样本库、缺陷识别模型库和缺陷识别模型训练平台；
相应地，每一所述智能前端还包括边端侧云边协同组件；
所述智能分析单元确定的指示变电设备缺陷的缺陷图像经边端侧云边协同组件和云端侧云边协同组件传输；
在云端服务器，所述指示变电设备缺陷的缺陷图像通过标注和审核后，作为具有缺陷类型标识的标注样本存储在缺陷图像样本库；
所述缺陷识别模型训练平台根据所述标注样本进行模型训练和优化，并将通过模型评估的模型推送至缺陷识别模型库；
所述缺陷识别模型库还用于对模型进行版本管理，并将更新后的模型通过云端侧云边协同组件及边端侧云边协同组件推送至各所述智能前端。
本发明提供的基于视频图像智能前端的变电设备缺陷诊断方法和***，利用集成在智能前端的视频图像处理芯片，执行变电设备缺陷图像诊断算法，生成变电设备状态预警结论或缺陷识别结论；利用设置在边端侧的边缘计算能力来实时处理视频图像，在边端侧实现了快速高效的图像处理，保证了变电站设备缺陷诊断的快速性、及时性和准确性。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为本发明优选实施方式的变电设备缺陷图像诊断***的组成示意图；
图2为本发明优选实施方式的缺陷图像诊断模型算子调优算法的流程示意图；
图3为本发明优选实施方式的云台视角自适应调节算法的流程示意图；
图4为本发明优选实施方式的压缩算法处理的流程示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语（包括科技术语）对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
视频图像，也即视频数据，由时间上连续的多帧图像组成。
中央处理器，也即central processing unit，简称CPU。
YOLO，也即You Only Look Once，是一个对象检测算法，用于实时检测图像中的对象/目标。
SSD，也即Single Shot MultiBox Detector，是一种直接预测目标类别和边界框bounding box的多目标检测算法。它使用低层feature map检测小目标，使用高层featuremap检测大目标。
Mask RCNN是在Faster RCNN的基础上添加了一个预测分割mask的分支。
本发明实施例的基于视频图像智能前端的变电设备缺陷诊断方法，包括：
实时采集变电设备视频图像；
采用最优调度方案，执行轻量化缺陷识别模型处理所述视频图像，并根据处理结果，确定变电设备的缺陷。
本发明实施例的变电设备缺陷诊断方法中，集成在智能前端板卡的智能分析单元，基于视频图像智能前端，也即智能AI芯片处理视频图像，执行变电设备缺陷图像诊断算法，生成变电设备状态预警结论或缺陷识别结论。
具体地，该变电设备缺陷诊断方法中，智能前端板卡搭载边缘计算用嵌入式芯片，也即人工智能图像处理专用嵌入式芯片，在边端侧进行视频图像智能识别；云端将训练和评估后的变电设备缺陷图像诊断模型通过云端侧云边协同组件下发至智能前端板卡的云边协同组件。
智能前端板卡的压缩算法处理单元将接收的缺陷图像诊断模型进行压缩，得到轻量化缺陷识别模型，实现模型压缩。嵌入式操作***结合人工智能图像处理专用嵌入式芯片及中央处理器的硬件资源，执行算子调优算法，得到轻量化缺陷识别模型对应的最优调度方案，提升了诊断模型的执行效率。智能前端板卡的智能分析单元执行最优调度方案/优化后的模型，实时地进行变电设备实例分割和缺陷诊断。
具体地，智能分析单元采用的边缘计算用嵌入式芯片为升腾310AI处理芯片。作为高效、灵活、可编程的AI处理器，昇腾310在其典型配置时，八位整数精度（INT8）下的性能达到22TOPS，16位浮点数（FP16）下的性能达到11TFLOPS，支持同时识别200个不同的物体，一秒钟内可处理上千张图片。
应该理解为，升腾310AI处理芯片并不是用来替代运行有嵌入式操作***的ARM处理器等中央处理器的通用嵌入式芯片及通用处理器；而是与该通用嵌入式芯片及嵌入式操作***配合，为该通用处理器添加AI加速器功能。另外，AI计算属于计算密集型，与CPU相比，对控制的要求不高，控制相对简单。
昇腾310采用达芬奇架构，使用了高效灵活的运算密集型CISC指令集（针对神经网络的特殊专用指令），每个AI核心可以在1个周期内完成4096次MAC计算，集成了张量、矢量、标量等多种运算单元，支持多种混合精度计算，支持训练及推理这两种场景数据的高精度运算，将人工智能方便地从数据中心延伸到边缘计算设备。
TOPS是指Tera Ops / Second, 也即Tera Operations Per Second的缩写，1个TOPS代表处理器每秒钟可进行一万亿次（10^12）操作，是在深度学习领域的每秒基础算子操作数。FLOPS，也即Floating-point operations per second的缩写，即每秒所执行的浮点运算次数。一个TFLOPS（也即tera FLOPS）等于每秒万亿（10^12）次的浮点运算。因为浮点运算包括了所有涉及小数的运算，因此比整数运算更费时间。
考虑到不同的字长和精度，操作数是有不少差别的，因此一般会标注字长，比如16比特浮点，或者8比特整型。一般字长越短，精度越差。因此，如果模型优化效果不好的话，4比特的精度比传统深度学习模型也好不到哪里去。一般认为最少要到8比特才能保证好的精度。
具体地，在实时采集变电设备视频图像之前，还包括：
经边端侧云边协同组件和云端侧云边协同组件从云端服务器获取变电设备图像诊断模型，所述变电设备图像诊断模型是根据变电站的典型视频图像及典型缺陷完成深度学习神经网络训练及评估后生成的；其中，
所述边端侧云边协同组件设置于所述视频图像智能前端；
所述云端侧云边协同组件设置于所述云端服务器；
对获取的变电设备图像诊断模型执行伪量化处理和/或剪枝处理，得到轻量化缺陷识别模型。
具体地，运行在通用嵌入式芯片（包括中央处理器）上的嵌入式操作***还用于执行压缩算法，并对应为压缩算法处理单元这一虚拟装置。
压缩算法处理单元用于压缩变电设备缺陷图像诊断模型，以便于在智能前端板卡的中央处理器和智能分析单元中部署变电设备缺陷图像诊断模型对应的神经网络深度学习框架。
具体地，压缩算法包括伪量化处理，如，将32bit浮点表示的深度学习模型参数改为双精度或单精度表示，并存储。压缩算法还包括剪枝处理，将深度学习权重矩阵中不重要的参数设置为0，并利用稀疏矩阵存储深度学习权重矩阵。
应该理解为，该深度学习模型为预先指定的某类神经网络深度学习框架。
具体实施时，不限制伪量化处理和剪枝处理这两者之间的先后顺序。这两者之间的先后顺序不影响压缩效果。
具体地，压缩算法处理单元执行的压缩算法，包括：
1）伪量化处理。将通过云边协同组件获取的32bit浮点（float）深度学习模型参数转换为8bit整型（int）存储。
也即，在存储过程中，使用低精度整型对模型参数进行量化。另一方面，由于深度学习框架中，多数算子只支持32bit浮点运算，因此，在智能分析单元执行轻量化后的缺陷诊断模型的过程中，需要先将低精度整型表示的模型参数转换为高精度浮点表示的模型参数之后，再进行后续计算。因此，伪量化处理在模型存储步骤中可压缩模型占用的存储空间，但对模型运算过程中的加速并没有多大效果。
具体地，伪量化处理包括对称量化和非对称量化两种情形。
记表示量化的缩放尺度为scale，其通常为一个32bit浮点数；记浮点值0量化后的定点值为offset；记32bit浮点数的取值范围为[Fmin，Fmax]，及量化后整型数的取值范围为[Qmin，Qmax]。
1.1）对称量化
对称量化时，将浮点值0映射到零点后，offset的值为0，也即：offset=0。
根据下式计算表示量化的缩放尺度scale的值：
Figure 279904DEST_PATH_IMAGE001
。
这时，浮点值
Figure 123969DEST_PATH_IMAGE002
和量化后整型值
Figure 212011DEST_PATH_IMAGE003
的相互转换公式如下：
Figure 10203DEST_PATH_IMAGE004
；
Figure 740262DEST_PATH_IMAGE005
；
其中，
Figure 674720DEST_PATH_IMAGE002
为浮点值精度的深度学习模型参数；
Figure 199242DEST_PATH_IMAGE006
为整型精度的深度学习模型参数；
Figure 219150DEST_PATH_IMAGE007
为进行四舍五入运算的函数。
1.2）非对称量化
非对称量化时，并不固定浮点数0的定点值为零。
根据下式计算表示量化的缩放尺度scale的值：
Figure 487321DEST_PATH_IMAGE008
；
根据下式计算浮点值0量化后的定点值offset的值：
Figure 276285DEST_PATH_IMAGE009
。
这时，浮点值和量化后值的相互转换公式如下：
Figure 237288DEST_PATH_IMAGE010
；
Figure 744493DEST_PATH_IMAGE011
；
其中，
Figure 317819DEST_PATH_IMAGE002
为浮点值精度的深度学习模型参数；
Figure 492448DEST_PATH_IMAGE006
为整型精度的深度学习模型参数。
通常，当|Fmin|和Fmax相近时（通常两者绝对值的差值为Fmax的10%以内），可认为|Fmin|和Fmax对称，这时可采用对称量化处理；若否，则判断|Fmin|和Fmax不对称，并采用非对称量化处理。
采用以上处理策略，可以充分利用8bit整型表示数据的能力。
2）剪枝处理。将深度学习权重矩阵中不重要的权重值设置为0，并通过稀疏矩阵存储剪枝处理后的权重矩阵。
具体地，评估权重矩阵中各权重值重要性的基本原则是各权重值与0值之间的距离。某权重值与0值之间的距离越近，则该权重值越不重要；某权重值与0值之间的距离越远，则该权重值越重要。
具体地，剪枝处理包括：
2.1）将两个弱连接的神经元之间的连接断开。权重矩阵的各元素（也即权重值）反映了神经元之间的连接；权重值越小，则神经元之间的连接越弱。
具体地，在执行将两个弱连接的神经元之间的连接断开操作时，按照绝对值大小对权重矩阵中的各权重值自大至小地进行排序，并将排名靠后的k%的权重值置为零。
2.2）将不重要的神经元去掉。对应到权重矩阵中，相当于将权重矩阵中某一行和/或某一列置零。
具体地，在执行将不重要的神经元去掉操作时，计算各神经元对应的那行和那列权重值的平方和的根，按照该根的大小对各神经元自大至小地进行重要性排序；并将重要性排名靠后的k%的神经元对应的那行和那列权重值置零。
2.3）通过稀疏矩阵存储深度学习权重矩阵。具体地，在稀疏矩阵内，只存储权重矩阵中非零元素的序号和该非零元素的数值。因此，与权重矩阵相比，稀疏矩阵的维数更低，占用的存储空间更少。
具体地，所述视频图像智能前端设置有视频图像处理芯片和中央处理器；
在实时采集变电设备视频图像之前，还包括：
协同视频图像处理芯片的硬件资源和中央处理器的硬件资源，对所述轻量化缺陷识别模型执行算子调优算法，得到与所述轻量化缺陷识别模型对应的最优调度方案，并映射到中央处理器内。
具体地，运行在通用嵌入式芯片上的嵌入式操作***结合人工智能图像处理专用嵌入式芯片及中央处理器的硬件资源，执行算子调优算法，得到轻量化缺陷识别模型对应的最优调度方案，提升了诊断模型的执行效率。
传统的深度学习框架通常把深度学习神经网络模型抽象为由算子与依赖关系构建而成的数据流图，其中，算子是指卷积、池化、全连接、归一化等深度学习框架内的子操作。
目前，针对数据流图，在执行时，涉及第一层调度器和第二层调度器。其中，第一层调度器负责算子间并行性调度，按照数据流图拓扑序将算子逐个或将多个算子同时调度到中央处理器执行。而在此之下，又存在第二层调度器，其负责充分发掘算子内调度的并行性，以将计算任务映射给更小粒度的处理单元。但在实际的部署中，这两层调度器互相不感知，运行时的调度开销很大，如，直接开销包括中央处理器切换时必须执行的命令时间等。如，间接开销指切换新进程后缓存热启动的时间等。这种调度模式下，算子间的并行性没有被有效利用，以及忽视了算子内和算子间两种并行性的相互影响。
如图2所示，该实施例的算子调优算法中，嵌入式操作***根据经过伪量化和剪枝之后的深度学习神经网络模型和前端智能板卡上的底层计算资源，生成调度方案。具体地，将原数据流图中的算子分解为更小的调度单元，将底层的硬件抽象为由多个虚拟执行单元组成。在这套新的抽象下，通过更细调度单元粒度将数据流图调度到多个虚拟执行单元之上，兼顾了计算任务中的两种并行性与底层计算资源的协调。随后，在编译期，嵌入式操作***生成整个调度方案，在编译期生成并“静态”映射到硬件计算单元（包括人工智能图像处理专用嵌入式芯片及中央处理器）上，可以消除掉调度切换时的直接开销和间接开销许多原本存在的调度开销。
具体地，如图2所示，算子调优算法包括以下步骤：
3.1）将变电设备缺陷诊断模型的数据流图解析为算子与依赖关系；
3.2）将各算子分别分解为更小的非耦合的调度单元；
3.3）将中央处理器底层硬件抽象为多个虚拟执行单元；
3.4）通过更细的调度单元粒度将数据流图调度到多个虚拟执行单元之上，得到调度方案，该调度方案兼顾了计算任务中的两种并行性与底层计算资源的协调；
3.5）在编译期生成调度方案并“静态”映射到硬件计算单元上，因此可以天然地消除掉许多原本存在的调度开销。
具体地，所述视频图像智能前端设置有摄像头传感单元，所述摄像头传感单元固定设置在可控云台上，跟随可控云台摆动；
在实时采集变电设备视频图像之前，还包括：
获取摄像头传感单元采集的变电设备视频图像，
执行轻量化实例分割模型处理所述视频图像，确定目标主体的目标中心值；
根据所述目标主体的目标中心值和摄像头传感单元采集的图像的画面中心值计算偏移量；
根据所述偏移量，通过比例-积分-微分控制可控云台，以使得目标主***于摄像头传感单元采集的画面的中央。
具体地，运行在通用嵌入式芯片（包括中央处理器）上的嵌入式操作***还用于控制可控云台。预先记录不同预置点位分别对应的云台旋转角度和/或俯仰角度，实现了在多个预置点位之间灵活切换。
需要说明的是，摄像头传感单元与可控云台固定连接；控制云台旋转/俯仰来改变云台视角，也就同时改变了摄像头传感单元的图像采集角度。
具体地，在任一预置点位处，通过中心偏移量算法，实现云台视角自适应调节。首先，智能分析单元协同CPU，从获取的视频图像中实例分割出变电设备（应该理解为，这时，变电设备作为目标主体，为前景，变电设备周围的环境或其他附件作为背景；需要将作为前景的目标主体与背景分割，并确定目标主体对应的具体的变电设备的种类、型号、编号等信息），确定目标主体的目标中心值。随后，CPU根据从智能分析单元获取的目标主体的目标中心值和摄像头传感单元采集的图像的画面中心值计算偏移量。随后，对偏移量进行归一化处理，并根据通过偏移量的正负确定云台旋转方向，通过比例-积分-微分（Proportion-Integral-Derivative，简称PID）控制云台旋转，从而使得目标主体置于摄像头传感单元采集的画面的中央，以提升基于深度学习模型的目标主体的检测效率和变电设备图像缺陷识别的精度。
具体地，智能摄像头搭载有可控云台，智能前端的中央处理器部署有云台视角自适应调节算法，通过控制可控云台转动或俯仰，实现摄像头角度自适应调优，保证摄像头采集图像的稳定性和可靠性。
如图3所示，云台视角自适应调节算法包括以下步骤：
4.1）变电设备目标识别。
智能分析单元利用变电设备实例分割模型对智能摄像头传回的视频图像进行实例分割，得到各变电设备的实例分割区域（为包围该变电设备的最小矩形），也即目标识别用矩形框，确定该目标识别用矩形框在画面中的边界坐标，也即，
Figure 93194DEST_PATH_IMAGE012
的值。
4.2）偏移量计算
根据下式计算目标识别用矩形框中心坐标(
Figure 353274DEST_PATH_IMAGE013
)：
Figure 697667DEST_PATH_IMAGE014
；
Figure 461224DEST_PATH_IMAGE015
；
记画面中心坐标为(
Figure 764029DEST_PATH_IMAGE016
)，根据下式计算画面中心坐标：
Figure 980247DEST_PATH_IMAGE017
；
Figure 393911DEST_PATH_IMAGE018
；
其中， Width表示画面宽度； Height表示画面高度；
根据下式计算画面中心与目标识别用矩形框中心的偏移量(
Figure 11974DEST_PATH_IMAGE019
)：
Figure 984216DEST_PATH_IMAGE020
；
Figure 687730DEST_PATH_IMAGE021
。
以上考虑了画面和矩形框不同图像分辨率的影响，通过归一化处理，将偏移量缩放至[-1,1]区间，并用正负符号表示云台旋转方向为逆时针或顺时针。具体地，正号表示云台朝向逆时针方向旋转；负号表示云台朝向顺时针旋转。
4.3）云台旋转PID控制。
由于云台旋转时步进最小角度限制，云台存在接近目标值附近抖动的情况，为此，将死区范围（在偏移量落入死区范围内后，停止控制云台随角度增量变化而自适应调节）设定为云台最小步进角度。
由于云台控制量为角度增量（每次控制云台移动的角度），而偏移量为二维坐标增量，因此需要按照预先标定的坐标-角度转换常量，先将二维坐标增量转为角度增量，再控制云台旋转。
在多个连续的采样周期跨度内，在每一个采样周期，根据当前画面中心与目标识别用矩形框中心的偏移量实时估算角度增量；并在确定当前的角度增量小于死区范围时，控制云台停止旋转。
具体地，在根据变电站的典型视频图像及典型缺陷完成深度学习神经网络训练及评估，生成所述变电设备图像诊断模型时，
所述变电设备缺陷图像诊断模型基于以下深度学习神经网络框架中的一种或多种得到：YOLO、Faster RCNN、SSD和Mask RCNN；
在模型预测准确度大于或等于预先设定的准确度时，输出所述变电设备缺陷图像诊断模型的权重矩阵和模型参数。
具体地，在云端利用变电设备的正样本进行深度学习模型训练，构建变电设备实例分割模型，用于目标识别和云台控制；在云端利用变电设备缺陷负样本进行深度学习模型训练，构建变电设备缺陷诊断模型，用于变电设备缺陷检测。
具体地，变电设备缺陷图像诊断模型可以分别基于YOLO、FasterRCNN、SSD和MaskRCNN等深度学习神经网络框架训练得到。
相应地，变电设备缺陷图像诊断模型分别针对以上4类图像数据来源训练得到。
如图4所示，深度学习神经网络模型训练步骤包括：
5.1）权重初始化；
5.2）向前传播计算；
5.3）损失计算；
5.4）向后传播计算；
5.5）更新权重矩阵；
5.6）将模型预测中满足预设准确度的模型参数和权重矩阵输出。
若模型预测准确度小于预先设定的准确度时，重复步骤5.2）至5.5）；若模型预测准确度大于等于预先设定的准确度时，输出模型文件、权重文件、模型参数及配置文件。
如图1所示，本发明实施例的基于视频图像智能前端的变电设备缺陷诊断***，包括：
设置于变电站内不同位置的多个视频图像智能前端；
每一所述视频图像智能前端包括智能摄像头和智能前端板卡；
所述智能摄像头用于采集变电设备视频图像；
所述智能前端板卡设置有视频图像处理芯片和中央处理器；
所述智能前端板卡还设置有智能分析单元，所述智能分析单元用于采用最优调度方案，协调视频图像处理芯片的硬件资源和中央处理器的硬件资源，执行轻量化缺陷识别模型处理所述视频图像，并根据处理结果，确定变电设备的缺陷。
具体地，所述智能摄像头包括摄像头传感单元，所述摄像头传感单元为红外摄像头、可见光摄像头或紫外摄像头；
所述智能摄像头固定设置在可控云台上，跟随可控云台摆动；
所述视频图像处理芯片和中央处理器还用于实例分割变电设备视频图像，并确定目标主体的目标中心值；
所述中央处理器还用于根据所述目标主体的目标中心值，执行云台视角自适应调节算法，控制可控云台摆动，以使得目标主***于摄像头传感单元采集的画面的中央。
具体地，所述中央处理器还用于协同视频图像处理芯片的硬件资源和中央处理器的硬件资源，对所述轻量化缺陷识别模型执行算子调优算法，得到与所述轻量化缺陷识别模型对应的最优调度方案，并映射到中央处理器内。
具体地，所述智能前端板卡还包括压缩算法处理单元；
所述压缩算法处理单元用于对从云端获取的变电设备图像诊断模型执行伪量化处理和/或剪枝处理，得到轻量化缺陷识别模型；
所述变电设备缺陷图像诊断模型基于以下深度学习神经网络框架中的一种或多种得到：YOLO、Faster RCNN、SSD和Mask RCNN。
具体地，还包括：
与所述多个智能前端通信连接的云端服务器；
所述云端服务器设置有云端侧云边协同组件、缺陷图像样本库、缺陷识别模型库和缺陷识别模型训练平台；
相应地，每一所述智能前端还包括边端侧云边协同组件；
所述智能分析单元确定的指示变电设备缺陷的缺陷图像经边端侧云边协同组件和云端侧云边协同组件传输；
在云端服务器，所述指示变电设备缺陷的缺陷图像通过标注和审核后，作为具有缺陷类型标识的标注样本存储在缺陷图像样本库；
所述缺陷识别模型训练平台根据所述标注样本进行模型训练和优化，并将通过模型评估的模型推送至缺陷识别模型库；
所述缺陷识别模型库还用于对模型进行版本管理，并将更新后的模型通过云端侧云边协同组件及边端侧云边协同组件推送至各所述智能前端。
本发明实施例的变电设备缺陷诊断方法，在边端侧，利用先进的智能芯片技术，在视频图像采集智能前端植入有人工智能图像处理专用嵌入式芯片及嵌入式操作***，在边端侧实现了快速高效的图像处理，保证了变电站设备缺陷诊断的快速性、及时性和准确性；并通过云台视角自适应调节，提高了视频图像采集智能前端视频图像采集智能前端的智能化水平，保证了采集图像的稳定性和可靠性。
本发明实施例的变电设备缺陷诊断方法中，在边端侧，智能摄像头搭载可控云台，在智能前端的中央处理器部署有云台视角自适应调节算法，通过控制云台来实现摄像头角度自适应调优，保证采集图像时的稳定性和可靠性。
本发明实施例的变电设备缺陷诊断方法中，智能分析单元生成变电设备缺陷诊断结论（包括缺陷图片和告警信息），通过边端侧云边协同组件将缺陷图片和告警信息传输到云端侧云边协同组件，通过自动和/或人工标注和审核后，得到标注样本，并把标注样本入样本库；另一方面，将标注样本送到缺陷识别模型训练平台，进行模型训练和优化，以训练变电设备缺陷图像诊断模型，并在缺陷识别模型训练平台进行模型评估后，将符合要求的图像诊断模型推送至图像诊断模型库；图像诊断模型库进行模型版本管理（如，按照接收日期进行版本编号），并将最新版本的缺陷图像诊断模型通过云端侧云边协同组件推送至智能前端的边端侧云边协同组件，由智能前端的压缩算法处理单元更新由智能分析单元协同中央处理器执行的变电设备缺陷图像诊断模型，从而实现在云端侧与边端侧之间实现标注样本和图像诊断模型的闭环优化。
智能前端板卡还部署有云边协同组件（边端），用于回传智能分析单元执行变电设备缺陷图像诊断算法后生成的变电设备状态预警结论（也即告警信息）、缺陷识别结论（也即缺陷数据）；云边协同组件还用于接收云端下达的变电设备缺陷图像诊断算法的镜像文件或更新包。
应该理解为，云边协同组件接收的变电设备缺陷图像诊断算法的镜像文件或更新包在边端，依次经过压缩算法处理及算子调优后，最后由智能分析单元协同中央处理来执行更新后的变电设备缺陷图像诊断算法/模型。
部署在云服务器的云边协同组件（云端），用于接收智能分析单元执行变电设备缺陷图像诊断算法后生成的缺陷数据和告警信息；还用于下达云服务器训练后生成的变电设备缺陷图像诊断算法的镜像文件或更新包。
部署在云服务器的缺陷识别模型训练平台，用于训练变电设备缺陷图像识别算法模型；其采用容器技术，可部署不同深度学习框架的镜像；利用云服务器充足的算力资源，对变电设备缺陷图像识别算法模型进行迭代优化。
部署在云服务器的模型库，用于模型版本管理、模型回传和下载、模型评估和发布及模型镜像打包。
部署在云服务器的样本库，用于图像数据存储与管理、数据清洗和预处理及数据标注和标签管理。具体地，提供样本回传/下载、样本管理、样本扩充、样本标注和样本评价等模块，有效地支撑样本资源的归集与管理。
本发明实施例的变电设备缺陷诊断方法中，智能分析单元将得到的变电设备缺陷诊断结论通过边端侧云边协同组件将缺陷图片和告警信息传输到云端侧云边协同组件。在云端，通过自适应地/人工标注和审核后，将缺陷图片和告警信息入样本库。
在云端，将标注样本送到缺陷识别模型训练平台进行变电设备缺陷图像诊断模型的训练，并在缺陷识别模型训练平台进行模型评估，并将评估后符合准确度要求的诊断模型推送至模型库。
在云端，模型库对诊断模型进行版本管理，并将变电设备缺陷图像诊断模型通过云端侧云边协同组件推送至智能前端（也即边端）的云边协同组件。
智能前端通过前述的压缩算法及算子调优算法更新存储在中央处理器/嵌入式芯片内的轻量化的变电设备缺陷图像诊断模型，在边端实现模型的闭环优化。
本发明一个实施例的变电站缺陷诊断方法，包括：
步骤S10，通过智能前端的摄像头传感单元完成视频图像的实时采集。
步骤S20，通过智能前端的图像数字编码器完成对视频图像的H.265编码，得到H.265码流；将H.265码流封装成实时流协议（Real-Time Stream Protocol，简称RTSP）数据包，并传输到智能前端板卡的编解码模块，以将RTSP数据包解码为智能分析单元可处理的视频图像。
具体实施时，根据摄像头传感单元支持的视频图像传输格式，可选地配置现有技术中公开的视频编码模块和视频编解码模块。
步骤S30，应用预先设置的诊断模型进行变电设备红外实例分割和缺陷诊断。
具体地，智能前端板卡搭载实现边缘计算（相对于云端计算而言）的人工智能视频图像处理芯片，如ascend升腾310 AI处理器芯片。
如图1所示，该变电设备缺陷诊断***，包括：多个智能前端和云端；智能前端包括智能摄像头和智能前端板卡；智能摄像头集成有摄像头传感单元；智能前端/智能摄像头可作为独立单元安装在变电站摄像头点位。
当摄像头传感单元采用可见光谱段模组时，用于采集变电设备的可见光视频图像；当摄像头传感单元采用红外光谱段模组时，用于采集变电设备的红外视频图像；当摄像头传感单元采用紫外光谱段模组时，用于采集变电设备的紫外视频图像；当采用声学成像探头时，可用于采集变电设备声成像。
智能摄像头还集成有图像数字编码器，其用于接收摄像头传感单元获取的视频图像信号，将视频图像信号编码成H.265格式，以提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。
智能摄像头还集成有可控云台，其用于完成摄像头传感单元在不同预置点位切换的机械运动及用于完成云台视角自适应调节的机械运动。
智能前端板卡集成有编解码模块（可以是硬件模块，也可以是软件模块），用于对图像数字编码器发送的H.265格式视频图像的编解码。
智能前端板卡集成有中央处理器，其与集成在智能前端板卡上的人工智能图像处理专用嵌入式芯片协同执行变电设备缺陷图像诊断算法。
智能前端板卡还搭载有压缩算法处理单元。压缩算法处理单元执行变电设备缺陷图像诊断模型压缩算法，实现模型轻量化转换，并得到轻量化后的诊断模型。
智能前端板卡还搭载有中央处理器。该中央处理器执行云台视角自适应调节算法，控制摄像头传感单元跟随云台运动以实现目标主体跟踪。该中央处理器还执行算子调优，提升智能分析/单元的执行效率。
智能前端板卡还搭载有智能分析单元，该智能分析单元按照算子调优后的调度方案，执行轻量化后的缺陷诊断模型，处理摄像头传感单元获取的视频图像，包括实例分割和缺陷诊断，并生成设备状态预警结论（也即告警信息）、缺陷识别结论（也即缺陷数据）结论。
将在云端预先训练和评估后的变电设备缺陷图像诊断模型通过云端设置的云边协同组件下发至智能前端板卡设置的云边协同组件。
也即，安装在变电站各摄像头预置点位的各智能前端作为云边，与设置在云服务器的云端通过云边协同组件组成基于物联网的变电设备缺陷诊断***；在云端采用云计算，在各智能前端采用边缘计算，协同完成变电设备缺陷诊断。
综上，该变电设备缺陷图像诊断方法和***，通过云台视角自适应调节实现摄像头传感单元的图像采集角度自适应调节，并智能采集变电设备视频图像，提高了智能前端的视频采集智能化水平；在边端，基于视频图像处理芯片，实现利用深度学习模型处理变电设备的视频图像，提高了视频数据分析的时效性和即时性，实现了变电站设备的状态预警和缺陷识别，实现了变电站设备状态实时监测与管控。
该变电设备缺陷图像诊断方法和***，可以极大提高变电站巡检效率，及时发现设备过热缺陷，消除设备潜在故障风险，保障设备安全可靠运行，减小发生停电故障的概率，发挥积极的设备状态评价和检修决策辅助支撑作用，节省运维成本。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明的实施例是参照根据本发明的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个//该[装置、设备/线路等]”都被开放地解释为装置、设备/线路等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (8)

1.一种基于视频图像智能前端的变电设备缺陷诊断方法，其特征在于，用于设置于变电站内不同位置的多个视频图像智能前端，包括：
视频图像智能前端设置有视频图像处理芯片和中央处理器，其中，中央处理器设置有嵌入式操作***；视频图像处理芯片与通用嵌入式芯片及嵌入式操作***配合，为中央处理器添加AI加速器功能；
摄像头传感单元采集变电设备的视频图像，其中，摄像头传感单元设置在视频图像智能前端，所述摄像头传感单元固定设置在可控云台上，跟随可控云台摆动；
执行轻量化实例分割模型处理所述视频图像，确定目标主体的目标中心值，其中，所述目标主体为变电设备；
所述中央处理器根据所述目标主体的目标中心值和摄像头传感单元采集的图像的画面中心值计算偏移量；并根据所述偏移量，通过比例-积分-微分控制可控云台，以使得目标主***于摄像头传感单元采集的画面的中央；
摄像头传感单元实时采集变电设备视频图像，其中，由所述嵌入式操作***通过比例-积分-微分控制可控云台以使得作为目标主体的变电设备位于摄像头传感单元采集的画面的中央；
智能分析单元采用最优调度方案，执行轻量化缺陷识别模型处理所述视频图像，并根据处理结果，确定变电设备的缺陷；
其中，所述轻量化缺陷识别模型是由压缩算法处理单元对获取的变电设备图像诊断模型执行伪量化处理和/或剪枝处理后得到的；其中，所述压缩算法处理单元运行在嵌入式操作***内；
其中，所述最优调度方案是所述嵌入式操作***协同视频图像处理芯片的硬件资源和中央处理器的硬件资源，对所述轻量化缺陷识别模型执行算子调优算法得到，并映射到中央处理器内的。
2.根据权利要求1所述的方法，其特征在于，
在实时采集变电设备视频图像之前，还包括：
经边端侧云边协同组件和云端侧云边协同组件从云端服务器获取变电设备图像诊断模型，所述变电设备图像诊断模型是根据变电站的典型视频图像及典型缺陷完成深度学习神经网络训练及评估后生成的；其中，
所述边端侧云边协同组件设置于所述视频图像智能前端；
所述云端侧云边协同组件设置于所述云端服务器。
3.根据权利要求1所述的方法，其特征在于，
在根据变电站的典型视频图像及典型缺陷完成深度学习神经网络训练及评估，生成所述变电设备图像诊断模型时，
所述变电设备缺陷图像诊断模型基于以下深度学习神经网络框架中的一种或多种得到：YOLO、Faster RCNN、SSD和Mask RCNN；
在模型预测准确度大于或等于预先设定的准确度时，输出所述变电设备缺陷图像诊断模型的权重矩阵和模型参数。
4.一种基于视频图像智能前端的变电设备缺陷诊断***，其特征在于，包括：
设置于变电站内不同位置的多个视频图像智能前端；
每一所述视频图像智能前端包括智能摄像头和智能前端板卡；
所述智能摄像头固定设置在可控云台上，跟随可控云台摆动；
所述智能摄像头用于采集变电设备视频图像；
所述智能前端板卡设置有视频图像处理芯片和中央处理器，其中，中央处理器设置有嵌入式操作***；所述视频图像处理芯片与通用嵌入式芯片及嵌入式操作***配合，为中央处理器添加AI加速器功能；
所述智能前端板卡还设置有智能分析单元，所述智能分析单元用于采用最优调度方案，协调视频图像处理芯片的硬件资源和中央处理器的硬件资源，执行轻量化缺陷识别模型处理所述视频图像，并根据处理结果，确定变电设备的缺陷；
所述视频图像处理芯片和中央处理器还用于实例分割变电设备视频图像，并确定目标主体的目标中心值；
所述中央处理器还用于根据所述目标主体的目标中心值，执行云台视角自适应调节算法，控制可控云台摆动，以使得目标主***于摄像头传感单元采集的画面的中央。
5.根据权利要求4所述的***，其特征在于，
所述智能摄像头包括摄像头传感单元，所述摄像头传感单元为红外摄像头、可见光摄像头或紫外摄像头。
6.根据权利要求4所述的***，其特征在于，
所述中央处理器还用于协同视频图像处理芯片的硬件资源和中央处理器的硬件资源，对所述轻量化缺陷识别模型执行算子调优算法，得到与所述轻量化缺陷识别模型对应的最优调度方案，并映射到中央处理器内。
7.根据权利要求4所述的***，其特征在于，
所述智能前端板卡还包括压缩算法处理单元；
所述压缩算法处理单元用于对从云端获取的变电设备图像诊断型执行伪量化处理和/或剪枝处理，得到轻量化缺陷识别模型；
所述变电设备缺陷图像诊断模型基于以下深度学习神经网络框架中的一种或多种得到：YOLO、Faster RCNN、SSD和Mask-RCNN。
8.根据权利要求4所述的***，其特征在于，还包括：
与多个智能前端通信连接的云端服务器；
所述云端服务器设置有云端侧云边协同组件、缺陷图像样本库、缺陷识别模型库和缺陷识别模型训练平台；
相应地，每一所述智能前端还包括边端侧云边协同组件；
所述智能分析单元确定的指示变电设备缺陷的缺陷图像经边端侧云边协同组件和云端侧云边协同组件传输；
在云端服务器，所述指示变电设备缺陷的缺陷图像通过标注和审核后，作为具有缺陷类型标识的标注样本存储在缺陷图像样本库；
所述缺陷识别模型训练平台根据所述标注样本进行模型训练和优化，并将通过模型评估的模型推送至缺陷识别模型库；
所述缺陷识别模型库还用于对模型进行版本管理，并将更新后的模型通过云端侧云边协同组件及边端侧云边协同组件推送至各所述智能前端。
CN202110364984.1A 2021-04-06 2021-04-06 基于视频图像智能前端的变电设备缺陷诊断方法和*** Active CN112733824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110364984.1A CN112733824B (zh) 2021-04-06 2021-04-06 基于视频图像智能前端的变电设备缺陷诊断方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110364984.1A CN112733824B (zh) 2021-04-06 2021-04-06 基于视频图像智能前端的变电设备缺陷诊断方法和***

Publications (2)

Publication Number Publication Date
CN112733824A CN112733824A (zh) 2021-04-30
CN112733824B true CN112733824B (zh) 2022-04-15

Family

ID=75596411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110364984.1A Active CN112733824B (zh) 2021-04-06 2021-04-06 基于视频图像智能前端的变电设备缺陷诊断方法和***

Country Status (1)

Country Link
CN (1) CN112733824B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113437799A (zh) * 2021-06-22 2021-09-24 国网北京市电力公司 变电站内设备的监控方法及装置
CN113485719A (zh) * 2021-07-07 2021-10-08 智洋创新科技股份有限公司 一种变电站视频巡视***与图像识别框架接口的交互方法
CN114241727A (zh) * 2021-11-26 2022-03-25 国网新疆电力有限公司巴州供电公司 变电设备智能诊断预警***、方法及装置
CN114609158A (zh) * 2022-05-12 2022-06-10 山东通广电子有限公司 一种基于深度学习的变电设备目标及缺陷智能检测设备
CN114792319B (zh) * 2022-06-23 2022-09-20 国网浙江省电力有限公司电力科学研究院 一种基于变电图像的变电站巡检方法及***
CN115271117A (zh) * 2022-07-25 2022-11-01 中国南方电网有限责任公司超高压输电公司昆明局 一种换流站内部设备故障诊断方法、装置、计算机设备
CN115409210A (zh) * 2022-08-22 2022-11-29 中国南方电网有限责任公司超高压输电公司昆明局 监测装备的控制方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544247A (zh) * 2019-09-03 2019-12-06 东莞德福得精密五金制品有限公司 人工智能云计算多途径设备***运行缺陷检查监控方法
CN112330676A (zh) * 2020-12-31 2021-02-05 中国电力科学研究院有限公司 基于红外点云的变电站/换流站缺陷诊断方法及***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100520379C (zh) * 2002-11-01 2009-07-29 光子动力学公司 用于检查具有图样的平的介质的方法和装置
US9077882B2 (en) * 2005-04-05 2015-07-07 Honeywell International Inc. Relevant image detection in a camera, recorder, or video streaming device
JP4423617B2 (ja) * 2007-01-10 2010-03-03 株式会社日立製作所 プラント制御装置
CN110962046B (zh) * 2019-11-25 2021-05-25 佛山缔乐视觉科技有限公司 五金件的缺陷识别方法、***及存储介质
CN110992323B (zh) * 2019-11-26 2023-05-12 中冶赛迪信息技术(重庆)有限公司 一种基于图像处理的钢带检测方法、装置及卡钢检测方法
CN111191593A (zh) * 2019-12-30 2020-05-22 成都云尚物联环境科技有限公司 图像目标检测方法、装置、存储介质及污水管道检测装置
CN111307823B (zh) * 2020-04-13 2022-10-25 国家电网有限公司 基于边云协同的变电设备典型视觉缺陷检测***及方法
CN112016559A (zh) * 2020-08-26 2020-12-01 北京推想科技有限公司 实例分割模型的训练方法及装置，图像处理的方法及装置
CN112036463A (zh) * 2020-08-26 2020-12-04 国家电网有限公司 一种基于深度学习的电力设备缺陷检测识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544247A (zh) * 2019-09-03 2019-12-06 东莞德福得精密五金制品有限公司 人工智能云计算多途径设备***运行缺陷检查监控方法
CN112330676A (zh) * 2020-12-31 2021-02-05 中国电力科学研究院有限公司 基于红外点云的变电站/换流站缺陷诊断方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于嵌入式的智能目标检测与跟踪***;李忠海等;《武汉科技大学学报》;20120215;第35卷(第1期);全文 *

Also Published As

Publication number Publication date
CN112733824A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112733824B (zh) 基于视频图像智能前端的变电设备缺陷诊断方法和***
Verucchi et al. A systematic assessment of embedded neural networks for object detection
Francies et al. A robust multiclass 3D object recognition based on modern YOLO deep learning algorithms
CN108805901B (zh) 一种基于多核dsp的视觉目标快速检测跟踪并行计算及融合方法
CN108764456B (zh) 机载目标识别模型构建平台、机载目标识别方法及设备
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN113312957A (zh) 基于视频图像的脱岗识别方法、装置、设备及存储介质
CN112232411B (zh) HarDNet-Lite在嵌入式平台的优化方法
CN116258941A (zh) 基于Android平台的yolox目标检测轻量化改进方法
CN115311617A (zh) 城轨车站区域客流信息获取方法及***
CN113205163B (zh) 数据标注方法及装置
CN117217280A (zh) 神经网络模型优化方法、装置及计算设备
US20230298335A1 (en) Computer-implemented method, data processing apparatus and computer program for object detection
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN116128879B (zh) 一种轻量化输电线路缺陷检测方法和装置
WO2022127576A1 (zh) 站点模型更新方法及***
CN114359602A (zh) 产品缺陷的检测方法及装置、存储介质、电子设备
CN110929790A (zh) 一种船舶数据筛选方法及相关装置
CN116193274B (zh) 一种多摄像头安全控制方法和***
CN116957045B (zh) 基于最优传输理论的神经网络量化方法、***及电子设备
CN114782284B (zh) 动作数据修正方法、装置、设备及存储介质
CN117975201B (zh) 训练数据生成的方法、装置、计算机设备及存储介质
CN118277741A (zh) 基于深度学习的输电线路缺陷检测方法
CN118297911A (zh) 绝缘子缺陷故障检测方法、装置、存储介质及计算机设备
CN115019271A (zh) 一种车道线检测网络训练方法、行驶控制方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant