CN114627388B - 输电线路异物检测设备及其异物检测方法 - Google Patents

Abstract

本申请涉及一种输电线路异物检测设备及其异物检测方法，输电线路异物检测设备包括图像采集装置、处理器和云端服务器，图像采集装置连接处理器，处理器与云端服务器通信，图像采集装置和处理器均设置于输电线路，图像采集装置用于采集输电线路的状态图像并发送至处理器，处理器用于对状态图像进行目标检测，在检测到有存在异物的状态图像后，发送处理信号至云端服务器，云端服务器用于根据处理信号判断是否发布告警。通过图像采集装置和处理器实现在边端设备先识别一次输电线路上是否存在异物，可以减少发送至云端服务器的图像的数量，降低对高可靠性网络的依赖，节省网络资费，降低能耗，使用可靠。

Description

输电线路异物检测设备及其异物检测方法

技术领域

本申请涉及电网维护技术领域，特别是涉及一种输电线路异物检测设备及其异物检测方法。

背景技术

随着我国电力事业的发展和西电东送等战略的实施，输电线路的安全运行是保障电网稳定的重要环节之一。然而导线异物入侵是输电线路普遍存在的一种现象，风筝、反光膜、防尘网等易漂浮物成为威胁高压输电线路稳定运行的一大隐患。因此，需对输电线路异物入侵进行监测，在导线被悬挂异物时实现有效预警，进而采取措施清除导线悬挂异物。

传统的输电线路异物入侵监测方法是基于摄像头监控，通过安装在输电杆塔或其他位置的摄像头，拍摄输电线路状态，将图片通过移动网络传送至服务器后进行异物检测。然而，这种方法需要持续不断地上传图片至云端服务器，对网络状态要求高，容易出现传输不稳定的情况，且网络通信资费高，使用成本大，不适合长期使用，工作不可靠。

发明内容

基于此，有必要针对上述技术问题，提供一种低能耗、使用可靠的输电线路异物检测设备及其异物检测方法。

第一方面，本申请提供了一种输电线路异物检测设备，包括图像采集装置、处理器和云端服务器，所述图像采集装置连接所述处理器，所述处理器与所述云端服务器通信，所述图像采集装置和所述处理器均设置于输电线路；

所述图像采集装置用于采集所述输电线路的状态图像并发送至所述处理器，所述处理器用于对所述状态图像进行目标检测，在检测到有存在异物的状态图像后，发送处理信号至所述云端服务器，所述云端服务器用于根据所述处理信号判断是否发布告警。

在其中一个实施例中，所述处理器包括微控制器单元和嵌入神经网络处理单元，所述图像采集装置和所述嵌入神经网络处理单元均连接所述微控制器单元，所述微控制器单元与所述云端服务器通信；

所述微控制器单元用于接收所述状态图像，并将所述状态图像传输至所述嵌入神经网络处理单元，所述嵌入神经网络处理单元对所述状态图像进行目标检测，在检测到有存在异物的状态图像后，将处理信号通过所述微控制器单元发送至所述云端服务器。

在其中一个实施例中，所述图像采集装置包括RGB摄像头和红外摄像头，所述RGB摄像头和所述红外摄像头均连接所述处理器。

在其中一个实施例中，所述处理器用于对来自所述RGB摄像头的状态图像进行分割后，分别对分割后的子图像进行目标检测。

在其中一个实施例中，所述处理器用于采用二等分或八等分方法对来自所述RGB摄像头的状态图像进行分割。

在其中一个实施例中，所述处理器用于基于第一权重对所述状态图像进行目标检测，所述云端服务器用于基于第二权重对接收到的存在异物的状态图像进行目标复检，所述第一权重的参数少于所述第二权重的参数。

第二方面，本申请还提供了一种输电线路异物检测设备的异物检测方法，所述输电线路异物检测设备包括图像采集装置、处理器和云端服务器，所述图像采集装置连接所述处理器，所述处理器与所述云端服务器通信，所述图像采集装置和所述处理器均设置于输电线路；

所述输电线路异物检测设备的异物检测方法应用于所述处理器，所述方法包括：

获取所述输电线路的状态图像；

对所述状态图像进行目标检测；

在检测到有存在异物的状态图像后，发送处理信号至所述云端服务器，使所述云端服务器根据所述处理信号判断是否发布告警。

在其中一个实施例中，所述对所述状态图像进行目标检测，包括：

对所述状态图像进行分割后，分别对分割后的子图像进行目标检测。

第三方面，本申请还提供了一种输电线路异物检测设备的异物检测方法，所述输电线路异物检测设备包括图像采集装置、处理器和云端服务器，所述图像采集装置连接所述处理器，所述处理器与所述云端服务器通信，所述图像采集装置和所述处理器均设置于输电线路；

所述输电线路异物检测设备的异物检测方法应用于所述云端服务器，所述方法包括：

接收处理信号；所述处理信号由所述处理器对状态图像进行目标检测，在检测到有存在异物的状态图像后发送，所述状态图像由所述图像采集装置采集所述输电线路得到；

根据所述处理信号判断是否发布告警。

在其中一个实施例中，所述图像采集装置包括RGB摄像头和红外摄像头，所述根据所述处理信号判断是否发布告警，包括：

当所述处理信号包括所述处理器对来自所述RGB摄像头的状态图像进行目标检测后得到的第一检测结果，以及包括所述处理器对来自所述红外摄像头的状态图像进行目标检测后得到的第二检测结果时，则发布告警。

上述输电线路异物检测设备及其异物检测方法，输电线路异物检测设备包括图像采集装置、处理器和云端服务器，图像采集装置连接处理器，处理器与云端服务器通信，图像采集装置和处理器均设置于输电线路，图像采集装置用于采集输电线路的状态图像并发送至处理器，处理器用于对状态图像进行目标检测，在检测到有存在异物的状态图像后，发送处理信号至云端服务器，云端服务器用于根据处理信号判断是否发布告警。通过图像采集装置和处理器实现在边端设备先识别一次输电线路上是否存在异物，若是，则发送处理信号至云端服务器，由云端服务器根据处理信号判断是否发布告警，可以减少发送至云端服务器的图像的数量，降低对高可靠性网络的依赖，节省网络资费，降低能耗，使用可靠。

附图说明

图1为一个实施例中输电线路异物检测设备的结构框图；

图2为一个实施例中对图像进行二等分的示意图；

图3为一个实施例中对图像进行八等分的示意图；

图4为一个实施例中输电线路异物检测设备的工作流程图；

图5为一个实施例中进行权重训练的流程图；

图6为一个实施例中输电线路异物检测设备的异物检测方法的流程图；

图7为另一个实施例中输电线路异物检测设备的异物检测方法的流程图；

图8为又一个实施例中输电线路异物检测设备的异物检测方法的流程图；

图9为再一个实施例中输电线路异物检测设备的异物检测方法的流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，提供一种输电线路异物检测设备，用于对输电线路进行检测，判断输电线路上是否有异物入侵。其中，异物是指与输电线路不同，可能会对输电线路的正常工作产生影响的物体。例如风筝、孔明灯、反光膜、防尘网等易漂浮物。请参见图1，输电线路异物检测设备包括图像采集装置300、处理器100和云端服务器200，图像采集装置300连接处理器100，处理器100与云端服务器200通信，图像采集装置300和处理器100均设置于输电线路，图像采集装置300用于采集输电线路的状态图像并发送至处理器100，处理器100用于对状态图像进行目标检测，在检测到有存在异物的状态图像后，发送处理信号至云端服务器200，云端服务器200用于根据处理信号判断是否发布告警。通过图像采集装置300和处理器100实现在边端设备先识别一次输电线路上是否存在异物，若是，则发送处理信号至云端服务器200，由云端服务器200根据处理信号判断是否发布告警，可以减少发送至云端服务器200的图像的数量，降低对高可靠性网络的依赖，节省网络资费，降低能耗，使用可靠。

具体地，图像采集装置300设置于输电线路，可以设置在输电线路上或输电线路附近，例如设置在输电杆塔。图像采集装置300用于采集输电线路的状态图像，可以实时或按照预设时间间隔对输电线路进行拍照，以获得输电线路的状态图像，实时采集状态图像可以有效避免漏检情况的发生，按照预设时间间隔采集状态图像可以减轻图像采集装置300的工作负荷。图像采集装置300的类型并不是唯一的，例如可以为光学摄像头或红外摄像头320等，光学摄像头可以采集输电线路的可见光图像作为状态图像，实施简单，成像直观。红外摄像头320可以采集输电线路的红外图像作为状态图像，由于输电线路内传输电能，其温度与异物的温度一般不一致，因此通过采集输电线路的红外图像作为状态图像也可以作为后续检测是否存在异物的依据。可以理解，在其他实施例中，图像采集装置300还可以为其他类型，例如超声成像装置等，只要本领域技术人员认为可以实现即可。

处理器100也设置于输电线路，可以设置在输电线路上或输电线路附近，例如设置在输电杆塔，用于对状态图像进行目标检测，将检测到的存在异物的状态图像发送至云端服务器200。处理器100获取到状态图像后，通过对状态图像进行图像分析，判断输电线路上是否存在异物。图像分析的过程并不唯一，可以包括灰度处理和轮廓分析，通过对状态图像的各目标物的灰度和物体轮廓进行分析，判断输电线路上是否存在异物。当处理器100分析得到该状态图像内存在异物时，认为初次检测得到输电线路有异物入侵，则发送处理信号至云端服务器200，进行后续处理。处理器100的类型也不是唯一的，例如可以为微控制单元，微控制单元可以实现数据处理，且体积小，集成化程度高。可以理解，在其他实施例中，微控制单元也可以为其他结构或类型，只要本领域技术人员认为可以实现即可。

云端服务器200又称为云服务器，云端服务器内可以存储更加高级的算法，在对图像进行分析时，可以提高分析检测结果的准确性。在本实施例中，云端服务器200在接收到处理信号后，根据处理信号判断是否发布告警。根据处理信号的类型不同，云端服务器200的进行告警判断的过程也不一样。例如，当图像采集装置300包括RGB摄像头时，当处理器100对来自RGB摄像头的状态图像进行分析，检测到有存在异物的状态图像后，将存在异物的状态图像发送至云端服务器200，此时的处理信号为存在异物的状态图像。云端服务器200对存在异物的状态图像进行目标复检，以确认存在异物的状态图像内是否确实存在异物。若存在异物，则发布告警。具体地，进行目标复检的方式并不唯一的，例如可以使用普通的图像处理过程进行目标复检，包括图像灰度处理、轮廓提取和分析等，也可以采用人工神经网络实现目标复检，例如使用卷积神经网络，具体可根据实际需求选择，只要本领域技术人员认为可以实现即可。一般地，云端服务器200使用的算法如人工神经网络较为复杂，目标复检精度较高，能识别的物体种类更多，可以进一步保障异物检测结果的准确性。

或者，当图像采集装置300包括RGB摄像头310和红外摄像头320时，当处理器100对来自RGB摄像头的状态图像进行分析和对来自红外摄像头320的状态图像进行分析，均检测到有存在异物的状态图像后，处理器100向云端服务器200发送报警信号，此时的处理信号为报警信号，云端服务器在接收到报警信号后可不对图像进行分析，直接发布报警，以节约控制流程。可以理解，当图像采集装置300包括RGB摄像头和红外摄像头320时，当处理器100对来自RGB摄像头的状态图像进行分析和对来自红外摄像头320的状态图像进行分析，检测到只有来自一种摄像头的状态图像存在异物时，则将存在异物的状态图像发送至云端服务器200进行目标复检，此时的处理信号为存在异物的状态图像，由云端服务器200进一步判断输电线路是否确实存在异物入侵情况，若判断确实存在，则发布告警。如此可以降低图像采集装置300的工作误差对检测结果的影响，以提高输电线路异物检测设备的工作可靠性。

进一步地，云端服务器200发布告警的方式并不是唯一的，例如为发送短信或拨打电话至运维人员，告知运维人员输电线路有异物入侵，需要及时处理。或者，云端服务器200也可以发送报警信号至连接的报警装置，报警装置可以为声光报警器或显示屏等，以及时告知异物入侵的情况。

在一个实施例中，请参见图1，处理器100包括微控制器单元110和嵌入神经网络处理单元120，图像采集装置300和嵌入神经网络处理单元120均连接微控制器单元110，微控制器单元110与云端服务器200通信，微控制器单元110用于接收状态图像，并将状态图像传输至嵌入神经网络处理单元120，嵌入神经网络处理单元120对状态图像进行目标检测，在检测到有存在异物的状态图像后，将处理信号通过微控制器单元110发送至云端服务器200。

具体地，在本实施例中，微控制器单元110可以作为转发器，负责将接收到的状态图像发送至嵌入神经网络处理单元120，并将嵌入神经网络处理单元120处理之后的图像发送至云端服务器200。嵌入神经网络处理单元120主要作为图像处理器100，由不同的器件实现不同的工作，可以避免单个器件工作负荷过大，影响器件寿命。嵌入神经网络处理单元120采用类似于人脑的决策模式，具备深度学习的功能，计算能力小，体积小。嵌入神经网络处理单元120在对状态图像进行目标检测时，可以使用卷积神经网络算法，需要根据嵌入神经网络处理单元120硬件的特殊性选择合适的目标检测算法。进一步地，可将嵌入神经网络处理单元120嵌入到微控制单元中，提高处理器100的集成程度，减小处理器100的体积。

在一个实施例中，图像采集装置300包括RGB摄像头310和红外摄像头320，RGB摄像头310和红外摄像头320均连接处理器100。

具体地，图像采集装置300可以包括RGB摄像头310和红外摄像头320，RGB摄像头310由三根不同的线缆采集红、绿、蓝三个基本彩色成分，通常是用三个独立的CCD传感器来获取三种彩色信号，可以用来采集准确的彩色图像。红外摄像头320可以采集输电线路的红外图像作为状态图像，由于输电线路内传输电能，其温度与异物的温度一般不一致，因此通过采集输电线路的红外图像作为状态图像也可以作为后续检测是否存在异物的依据。进一步地，RGB摄像头310的数量可以为两个以上，红外摄像头320的数量也可以为两个以上，各RGB摄像头310和红外摄像头320可设置在不同位置，实现对输电线路多位置、多角度的状态图像采集，从而有利于提高异物检测结果的准确性。此外，RGB摄像头310和红外摄像头320具有相同的拍摄角度，RGB摄像头310和红外摄像头320及检测结果可以互相验证，减少检测误差，提高输电线路异物检测设备的工作性能。

在一个实施例中，处理器100用于对来自RGB摄像头310的状态图像进行分割后，分别对分割后的子图像进行目标检测。处理器100还可以将检测到的存在异物的子图像所处的状态图像发送至云端服务器200，云端服务器200对接收到的存在异物的状态图像进行分割后，分别对分割后的子图像进行目标复检，若识别到异物，则发布告警。

具体地，在输电线路在线监测场景下，往往场景较为空旷，要监测的物品在画面中占比较小，因此，处理器100在对来自RGB摄像头310的状态图像进行目标检测时，先将状态图像进行分割，得到两个以上的子图像，然后对分割后的子图像进行检测，可以提高检测结果的准确性。若检测到子图像中存在异物，则认为该子图像所处的状态图像内检测到了异物，将该子图像所处的状态图像作为处理信号，发送至云端服务器200进行进一步处理。可以理解，处理器100在对来自红外摄像头320的状态图像进行目标检测时，由于来自红外摄像头320的状态图像通常分辨率不高，因此可以不用进行图像分割的步骤，直接进行目标检测。类似的，云端服务器200在接收到处理信号后，对存在异物的状态图像进行目标复检，先将存在异物的状态图像进行分割，得到两个以上的子图像，然后对分割后的子图像进行检测，若检测到子图像中存在异物，则认为该子图像所处的存在异物的状态图像内确实存在异物，发布告警。采用先对图像进行分割，再对子图像进行分析处理的方式，可以使图像中的小目标更容易被检测到，有利于降低漏检率。

在一个实施例中，处理器100用于采用二等分或八等分方法对来自RGB摄像头310的状态图像进行分割。

具体地，处理器100在对来自RGB摄像头310的状态图像进行分割时，一般是将状态图像分割成两个以上的面积相等的子图像，从而可以对各子图像采用相同或类似的分析方法，有利于减少图像处理误差。进一步地，在本实施例中，处理器100可以采用二等分或八等分方法对状态图像进行分割，切割后的子图像接近1：1的比例，可以有效阻止状态图像内物体的比例发生变化，更有利于目标检测。云端服务器200可以采用二等分或八等分方法对存在异物的状态图像进行分割，切割后的子图像接近1：1的比例，可以有效阻止存在异物的状态图像内物体的比例发生变化，更有利于目标检测。以图像采集装置300为RGB摄像头310为例，RGB摄像头310可采集的图像分辨率为2048*1080，则可以将图像分为1024*1080二等分(请参见图2)或512*540八等份(请参见图3)，分别对分割后的图像进行目标检测，记录目标检测结果。

在一个实施例中，处理器100用于基于第一权重对状态图像进行目标检测，云端服务器200用于基于第二权重对接收到的存在异物的状态图像进行目标复检，第一权重的参数少于第二权重的参数。

具体地，处理器100对状态图像进行目标检测前，云端服务器200对接收到的存在异物的状态图像进行目标复检前，都可以进行人工神经网络模型权重的预训练，请参见图5，训练的过程包括：首先进行人工神经网络结构构建和权重初始化，然后进行正向训练，计算损失函数，当精度达到预期时，将此时的权重作为权重，当精度未达到预期时，进行反向传播，更新权重，然后回到正向训练的步骤。在图像采集装置300获取到状态图像后，可以先对图像中出现的物体进行入侵物标注，比如要识别山火、风筝，我就对图像中出现的山火、风筝进行标注，若图像中没出现相关物体，就不标注，标注过程一般为人为。在进行入侵物标注后，进行图像预处理，图像预处理是人工神经网络训练过程的一个重要步骤，要对图像进行缩放、组合等操作，图像的预处理方法会影响训练精度，是模型训练重要的一部分。在进行图像预处理后，回到如前述的正向训练的步骤。

处理器100和云端服务器200所用人工神经网络模型训练权重的流程大体相同，不同点在于，云端服务器200使用的人工神经网络一般较为复杂，目标检测精度较高，能识别的物体种类更多。处理器100中使用的人工神经网络具有更为简单的网络结构，且在训练得到权重后，需要进行权重的量化和格式转换，以实现低能耗的实时监测。权重训练一般都是在性能较好的电脑上进行，训练得到的权重会发布到云端服务器200和处理器100中使用。

在本实施例中，处理器100用于基于第一权重对状态图像进行目标检测，云端服务器200用于基于第二权重对接收到的存在异物的状态图像进行目标复检，第一权重的参数少于第二权重的参数。第一权重和第二权重是不同的，因为处理器100用的网络深度对比云端服务器200上用的会更浅，所述第一权重的参数少于第二权重的参数，处理器100用于基于第一权重对状态图像进行目标检测所需占用的内存要更少，目标检测一次所需的能耗要更低。

当图像采集装置300包括RGB摄像头310和红外摄像头320时，处理器100针对RGB图像和红外图像可用不同的权重，例如针对RGB图像所用的权重为权重A，针对红外图像所用的权重为权重A*。对应的，云端服务器针对RGB图像使用的权重为权重B，针对红外图像所用的权重为权重B*。

上述输电线路异物检测设备，输电线路异物检测设备包括图像采集装置300、处理器100和云端服务器200，图像采集装置300连接处理器100，处理器100与云端服务器200通信，图像采集装置300和处理器100均设置于输电线路，图像采集装置300用于采集输电线路的状态图像并发送至处理器100，处理器100用于对状态图像进行目标检测，在检测到有存在异物的状态图像后，发送处理信号至云端服务器200，云端服务器200用于根据处理信号判断是否发布告警。通过图像采集装置300和处理器100实现在边端设备先识别一次输电线路上是否存在异物，若是，则发送处理信号至云端服务器200，由云端服务器200根据处理信号判断是否发布告警，可以减少发送至云端服务器200的图像的数量，降低对高可靠性网络的依赖，节省网络资费，降低能耗，使用可靠。

为了更好地理解上述实施例，以下结合一个具体的实施例进行详细的解释说明。在一个实施例中，输电线路异物检测设备包括图像采集装置300、处理器100和云端服务器200，处理器100包括微控制器单元110和嵌入神经网络处理单元120，图像采集装置300包括RGB摄像头310和红外摄像头320。请参见图4，RGB摄像头310和红外摄像头320均连接微控制器单元110，实现输电线路现状的多角度拍摄，其中RGB摄像头310和红外摄像头320有相同的拍摄角度。嵌入神经网络处理单元120处理这些照片得到初步预测结果，并通过图像分割的方式解决小目标检测的问题。若RGB摄像头310所拍摄图片和红外摄像头320所拍摄图片预测结果中均出现预警物品，则直接向云端服务器200发布告警信息；若其中之一的预测结果中出现预警物品，则将两者采集的图像上传至云端服务器200，由其最终判断输电线路是否遭到异物入侵并发布告警。云端服务器200本身的神经网络要更高级。在边端设备先识别一次的原因是降低对高可靠性网络的依赖，节省网络资费。

其中嵌入神经网络处理单元120和云端服务器200进行目标检测任务前需要进行人工神经网络模型权重的预训练，整体流程如图5所示。其中，图像标注是指的对图像中出现的物体进行标注，比如要识别山火、风筝，我就对图像中出现的山火、风筝进行标注，若图像中没出现相关物体，就不标注。所有标注过程均可为人为。图像预处理是人工神经网络训练过程必须的一个步骤，要对图像进行缩放、组合等操作。图像的预处理方法会影响训练精度，是模型训练重要的一部分。损失函数和精度预期根据实际情况来，没有固定值。权重训练都是在性能较好的电脑上进行，训练得到的权重会发布到嵌入式处理单元和云端服务器200中。输出结果是图像中识别到的异物在图像中的坐标和类别，若图像中没有异物，则没有输出。

其中嵌入神经网络处理单元120和云端服务器200所用人工神经网络模型权重的流程大体相同，不同点在于，云端服务器200使用的人工神经网络较为复杂，目标检测精度较高，能识别的物体种类更多。嵌入神经网络处理单元120中使用的人工神经网络具有更为简单的网络结构，且在训练得到权重后，需要进行权重的量化和格式转换，以实现低能耗的实时监测。嵌入神经网络处理单元120所用的权重为权重A，即第一权重，云端服务器200使用的权重为权重B，即第二权重。嵌入神经网络处理单元120中使用的人工神经网络和云端服务器200使用的人工神经网络均可以为卷积神经网络或其他。进一步地，当图像采集装置300包括RGB摄像头310和红外摄像头320时，嵌入神经网络处理单元120针对RGB图像所用的权重为权重A，针对红外图像所用的权重为权重A*；云端服务器200针对RGB图像使用的权重为权重B，针对红外图像所用的权重为权重B*。

在输电线路在线监测场景下，往往场景较为空旷，要监测的物品在画面中占比较小，针对输电线路场景下小目标检测采取将图像进行分割后再检测的方式。输电线路集成传感器所用RGB相机可采集的图像分辨率为2048*1080，将图像分为512*540八等份或1024*1080二等份，分别对分割后的图像进行目标检测，记录目标检测结果，图像分割示意图如。输入模型的图片的比例是有规定的，一般是1：1，所以在前面说的图像预处理，其中有一部分工作就是把不符合比例的图像进行缩放。虽然缩放后的图像也可以输入到模型里，但是物体的比例已经发生变化，不利于目标识别。比如2048*1080的图片，缩放到1：1的比例，1080*1080，整个图片变窄了，图片里的物品也会跟着变窄，影响识别效果。按照2、8等分的方式分是较为合适的，切割后的小图就是接近1：1的比例。

对分割后的子图像进行目标检测，这种分割方式后的子图分辨率降低且图像比例接近1：1，故图片在预处理时进行缩放对目标的影响较小，图像中的小目标也较易被检测。采用八等份和两等份两种分割方式，一方面可以避免图像分割对大目标物检测的影响，另一方面可以避免小目标物体正好处于分割线中间而被分割。因为红外摄像头320拍摄图片的分辨率通常较低，故可以不进行上述处理。

在边端进行异物入侵监测时，若RGB摄像头310所拍摄图片和红外摄像头320所拍摄图片均检测到预警物体，则直接向云端服务器200发布预警信息，若其中之一的预测结果中出现预警物品，则将本次检测所用的输电线路状态图片上传至云端服务器200进行进一步检测，由其最终判断输电线路是否遭到异物入侵并发布告警，若云端服务器200也判定画面内存在预警物体，则发布告警，具体流程如图4所示。边端是指的在边缘侧，即输电线路侧，与之相对的是在云端，在云端服务器200侧。

输电线路异物检测设备通过微控制单元、嵌入神经网络处理单元120、多个RGB摄像头310、和红外摄像头320和云端服务器200实现输电线路异物入侵监测，其中RGB摄像头310和红外摄像头320有相同的拍摄角度。多个RGB摄像头310连接微控制器单元110实现输电线路现状的多角度拍摄，嵌入神经网络处理单元120处理这些照片得到初步预测结果，并通过图像分割的方式解决小目标检测的问题。若RGB摄像头310所拍摄图片和红外摄像头320所拍摄图片预测结果中均出现预警物品，则直接向云端服务器发布告警信息；若其中之一的预测结果中出现预警物品，则将两者采集的图像上传至云端服务器，由其最终判断输电线路是否遭到异物入侵并发布告警。

依靠嵌入神经网络处理单元120、多个RGB摄像头310和红外摄像头320，实现了实时、低能耗的边端目标检测，通过对高分辨率RGB图像进行分割，对分割后的子图进行目标识别的方式，解决大场景下小目标检测问题，并通过仅将出现预警物体的图片上传至云端服务器200的方式，解决了对网络状态要求高、网络通信资费高的问题。依靠云端服务器200对边端设备传来的可能被异物入侵的输电线路状态图片进行目标检测，解决了边端设备因算力不足和所用网络模型简单而造成的对输电线路异物的误判和漏判，进一步提高了输电线路异物入侵检测任务的准确性。依靠RGB摄像头310和红外摄像头320同时检测，提高了目标检测的准确性。

基于同样的发明构思，本申请实施例还提供了一种输电线路异物检测设备的异物检测方法，输电线路异物检测设备包括图像采集装置300、处理器100和云端服务器200，图像采集装置300连接处理器100，处理器100与云端服务器200通信，图像采集装置300和处理器100均设置于输电线路；输电线路异物检测设备的异物检测方法应用于处理器100，请参见图6，方法包括：

步骤S110：获取输电线路的状态图像。

具体地，处理器100连接图像采集装置300，可以通过图像采集装置300采集输电线路的状态图像。图像采集装置300的类型并不是唯一的，例如可以为光学摄像头或红外摄像头320等，光学摄像头可以采集输电线路的可见光图像作为状态图像，实施简单，成像直观。红外摄像头320可以采集输电线路的红外图像作为状态图像，由于输电线路内传输电能，其温度与异物的温度一般不一致，因此通过采集输电线路的红外图像作为状态图像也可以作为后续检测是否存在异物的依据。

步骤S120：对状态图像进行目标检测。

处理器100获取到状态图像后，通过对状态图像进行图像分析，判断输电线路上是否存在异物。图像分析的过程并不唯一，可以包括灰度处理和轮廓分析，通过对状态图像的各目标物的灰度和物体轮廓进行分析，判断输电线路上是否存在异物。

步骤S130：在检测到有存在异物的状态图像后，发送处理信号至云端服务器，使云端服务器根据处理信号判断是否发布告警。

当处理器100分析得到该状态图像内存在异物时，认为初次检测得到输电线路有异物入侵，则发送处理信号至云端服务器200，使云端服务器200根据处理信号判断是否发布告警。当图像采集装置300包括RGB摄像头时，处理器100对来自RGB摄像头的状态图像进行分析，检测到有存在异物的状态图像后，将存在异物的状态图像发送至云端服务器200，此时的处理信号为存在异物的状态图像。

或者，当图像采集装置300包括RGB摄像头和红外摄像头320时，当处理器100对来自RGB摄像头的状态图像进行分析和对来自红外摄像头320的状态图像进行分析，均检测到有存在异物的状态图像后，处理器100向云端服务器200发送报警信号，此时的处理信号为报警信号，云端服务器在接收到报警信号后可不对图像进行分析，直接报警，以节约控制流程。可以理解，当图像采集装置300包括RGB摄像头和红外摄像头320时，当处理器100对来自RGB摄像头的状态图像进行分析和对来自红外摄像头320的状态图像进行分析，检测到只有来自一种摄像头的状态图像存在异物时，则将存在异物的状态图像发送至云端服务器200进行目标复检，由云端服务器200进一步判断输电线路是否确实存在异物入侵情况。如此可以降低图像采集装置300的工作误差对检测结果的影响，以提高输电线路异物检测设备的工作可靠性。

发布告警的方式并不是唯一的，例如为发送短信或拨打电话至运维人员，告知运维人员输电线路有异物入侵，需要及时处理。或者，云端服务器200也可以发送报警信号至连接的报警装置，报警装置可以为声光报警器或显示屏等，以及时告知异物入侵的情况。

在一个实施例中，请参见图7，步骤S120包括步骤S121。

步骤S121：对状态图像进行分割后，分别对分割后的子图像进行目标检测。

处理器100在对状态图像进行目标检测时，先将状态图像进行分割，得到两个以上的子图像，然后对分割后的子图像进行检测，若检测到子图像中存在异物，则认为该子图像所处的状态图像内检测到了异物，将该子图像所处的状态图像发送至云端服务器200进行进一步处理。采用先对图像进行分割，再对子图像进行分析处理的方式，可以使图像中的小目标更容易被检测到，有利于降低漏检率。

基于同样的发明构思，本申请实施例还提供了一种输电线路异物检测设备的异物检测方法，输电线路异物检测设备包括图像采集装置300、处理器100和云端服务器200，图像采集装置300连接处理器100，处理器100与云端服务器200通信，图像采集装置300和处理器100均设置于输电线路，输电线路异物检测设备的异物检测方法应用于云端服务器200，请参见图8，方法包括：

步骤S210：接收处理信号。

其中，处理信号由处理器100对状态图像进行目标检测，在检测到有存在异物的状态图像后发送，状态图像由图像采集装置300采集输电线路得到。处理信号的类型并不是唯一的，当图像采集装置300包括RGB摄像头时，当处理器100对来自RGB摄像头的状态图像进行分析，检测到有存在异物的状态图像后，将存在异物的状态图像发送至云端服务器200，此时的处理信号为存在异物的状态图像。或者，当图像采集装置300包括RGB摄像头和红外摄像头320时，当处理器100对来自RGB摄像头的状态图像进行分析和对来自红外摄像头320的状态图像进行分析，均检测到有存在异物的状态图像后，处理器100向云端服务器200发送报警信号，此时的处理信号为报警信号。当图像采集装置300包括RGB摄像头和红外摄像头320时，当处理器100对来自RGB摄像头的状态图像进行分析和对来自红外摄像头320的状态图像进行分析，检测到只有来自一种摄像头的状态图像存在异物时，则将存在异物的状态图像发送至云端服务器200进行目标复检，此时的处理信号为存在异物的状态图像。

步骤S220：根据处理信号判断是否发布告警。

云端服务器200又称为云端服务器，云端服务器内可以存储更加高级的算法，在对图像进行分析时，可以提高分析检测结果的准确性。在本实施例中，云端服务器200在接收到处理信号后，根据处理信号判断是否发布告警。根据处理信号的类型不同，云端服务器200的进行告警判断的过程也不一样。例如，当图像采集装置300包括RGB摄像头时，当处理器100对来自RGB摄像头的状态图像进行分析，检测到有存在异物的状态图像后，将存在异物的状态图像发送至云端服务器200，此时的处理信号为存在异物的状态图像。云端服务器200对存在异物的状态图像进行目标复检，以确认存在异物的状态图像内是否确实存在异物。若存在异物，则发布告警。具体地，进行目标复检的方式并不唯一的，例如可以使用普通的图像处理过程进行目标复检，包括图像灰度处理、轮廓提取和分析等，也可以采用人工神经网络实现目标复检，例如使用卷积神经网络，具体可根据实际需求选择，只要本领域技术人员认为可以实现即可。一般地，云端服务器200使用的算法如人工神经网络较为复杂，目标复检精度较高，能识别的物体种类更多，可以进一步保障异物检测结果的准确性。

或者，当图像采集装置300包括RGB摄像头和红外摄像头320时，当处理器100对来自RGB摄像头的状态图像进行分析和对来自红外摄像头320的状态图像进行分析，均检测到有存在异物的状态图像后，处理器100向云端服务器200发送报警信号，此时的处理信号为报警信号，云端服务器在接收到报警信号后可不对图像进行分析，直接发布报警，以节约控制流程。可以理解，当图像采集装置300包括RGB摄像头和红外摄像头320时，当处理器100对来自RGB摄像头的状态图像进行分析和对来自红外摄像头320的状态图像进行分析，检测到只有来自一种摄像头的状态图像存在异物时，则将存在异物的状态图像发送至云端服务器200进行目标复检，此时的处理信号为存在异物的状态图像，由云端服务器200进一步判断输电线路是否确实存在异物入侵情况，若判断确实存在，则发布告警。如此可以降低图像采集装置300的工作误差对检测结果的影响，以提高输电线路异物检测设备的工作可靠性。

发布告警的方式并不是唯一的，例如为发送短信或拨打电话至运维人员，告知运维人员输电线路有异物入侵，需要及时处理。或者，云端服务器200也可以发送报警信号至连接的报警装置，报警装置可以为声光报警器或显示屏等，以及时告知异物入侵的情况。

在一个实施例中，图像采集装置包括RGB摄像头310和红外摄像头320，请参见图9，步骤S220包括步骤S221。

步骤S221：当处理信号包括处理器对来自RGB摄像头的状态图像进行目标检测后得到的第一检测结果，以及包括处理器对来自红外摄像头320的状态图像进行目标检测后得到的第二检测结果时，则发布告警。

可以理解，此处的第一检测结果为在来自RGB摄像头310的状态图像中检测到了异物，第二检测结果为在来自红外摄像头320的状态图像中检测到了异物。当图像采集装置300包括RGB摄像头和红外摄像头320时，当处理器100对来自RGB摄像头的状态图像进行分析和对来自红外摄像头320的状态图像进行分析，均检测到有存在异物的状态图像后，处理器100向云端服务器200发送报警信号，此时的处理信号为报警信号，云端服务器在接收到报警信号后可不对图像进行分析，直接发布报警，以节约控制流程。

可以理解，在其他实施例中，当图像采集装置300包括RGB摄像头和红外摄像头320时，若处理器100对来自RGB摄像头的状态图像进行分析和对来自红外摄像头320的状态图像进行分析，检测到只有来自一种摄像头的状态图像存在异物时，则将存在异物的状态图像发送至云端服务器200进行目标复检，此时的处理信号为存在异物的状态图像，由云端服务器200对存在异物的状态图像进行目标复检，进一步判断输电线路是否确实存在异物入侵情况，若判断确实存在，则发布告警。如此可以降低图像采集装置300的工作误差对检测结果的影响，以提高输电线路异物检测设备的工作可靠性。

云端服务器200在对存在异物的状态图像进行目标复检时，先将存在异物的状态图像进行分割，得到两个以上的子图像，然后对分割后的子图像进行检测，若检测到子图像中存在异物，则认为该子图像所处的存在异物的状态图像内确实存在异物，发布告警。采用先对图像进行分割，再对子图像进行分析处理的方式，可以使图像中的小目标更容易被检测到，有利于降低漏检率。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (5)

1.一种输电线路异物检测设备，其特征在于，包括图像采集装置、处理器和云端服务器，所述图像采集装置连接所述处理器，所述处理器与所述云端服务器通信，所述图像采集装置和所述处理器均设置于输电线路；

所述图像采集装置用于采集所述输电线路的状态图像并发送至所述处理器，所述处理器用于对所述状态图像进行目标检测，在检测到有存在异物的状态图像后，发送处理信号至所述云端服务器，所述云端服务器用于根据所述处理信号判断是否发布告警；

所述图像采集装置包括RGB摄像头和红外摄像头，所述RGB摄像头和所述红外摄像头均连接所述处理器；所述RGB摄像头的数量为两个以上，所述红外摄像头的数量为两个以上，各所述RGB摄像头和所述红外摄像头设置在不同位置，所述RGB摄像头和所述红外摄像头具有相同的拍摄角度；

所述处理器用于对来自所述RGB摄像头的状态图像进行分割后，分别对分割后的子图像进行目标检测，若检测到子图像中存在异物，将该子图像所处的状态图像作为处理信号，发送至所述云端服务器；所述处理器用于采用二等分或八等分方法对来自所述RGB摄像头的状态图像进行分割；

所述处理器在对来自所述红外摄像头的状态图像进行目标检测时，不进行图像分割的步骤，直接进行目标检测；

当所述处理器对来自所述RGB摄像头的状态图像进行分析和对来自所述红外摄像头的状态图像进行分析，均检测到有存在异物的状态图像后，所述处理器向所述云端服务器发送报警信号，所述云端服务器在接收到所述报警信号后发布报警；

当所述处理器对来自所述RGB摄像头的状态图像进行分析和对来自所述红外摄像头的状态图像进行分析，检测到只有来自一种摄像头的状态图像存在异物时，则将存在异物的状态图像发送至所述云端服务器进行目标复检，所述云端服务器进一步判断输电线路是否确实存在异物入侵情况，若判断确实存在，则发布告警；所述处理器用于基于具有第一权重的人工神经网络模型对所述状态图像进行目标检测，所述云端服务器用于基于具有第二权重的人工神经网络模型对接收到的存在异物的状态图像进行目标复检，所述第一权重的参数少于所述第二权重的参数。

2.根据权利要求1所述的输电线路异物检测设备，其特征在于，所述处理器包括微控制器单元和嵌入神经网络处理单元，所述图像采集装置和所述嵌入神经网络处理单元均连接所述微控制器单元，所述微控制器单元与所述云端服务器通信；

所述微控制器单元用于接收所述状态图像，并将所述状态图像传输至所述嵌入神经网络处理单元，所述嵌入神经网络处理单元对所述状态图像进行目标检测，在检测到有存在异物的状态图像后，将处理信号通过所述微控制器单元发送至所述云端服务器。

3.根据权利要求1所述的输电线路异物检测设备，其特征在于，所述处理器针对RGB图像和红外图像用具有不同权重的人工神经网络模型进行检测。

4.一种输电线路异物检测设备的异物检测方法，其特征在于，所述输电线路异物检测设备包括图像采集装置、处理器和云端服务器，所述图像采集装置连接所述处理器，所述处理器与所述云端服务器通信，所述图像采集装置和所述处理器均设置于输电线路；所述图像采集装置包括RGB摄像头和红外摄像头，所述RGB摄像头和所述红外摄像头均连接所述处理器；所述RGB摄像头的数量为两个以上，所述红外摄像头的数量为两个以上，各所述RGB摄像头和所述红外摄像头设置在不同位置，所述RGB摄像头和所述红外摄像头具有相同的拍摄角度；

所述输电线路异物检测设备的异物检测方法应用于所述处理器，所述方法包括：

获取所述输电线路的状态图像；

对所述状态图像进行目标检测；

在检测到有存在异物的状态图像后，发送处理信号至所述云端服务器，使所述云端服务器根据所述处理信号判断是否发布告警；

对来自所述RGB摄像头的状态图像进行分割后，分别对分割后的子图像进行目标检测，若检测到子图像中存在异物，将该子图像所处的状态图像作为处理信号，发送至所述云端服务器；所述处理器用于采用二等分或八等分方法对来自所述RGB摄像头的状态图像进行分割；在对来自所述红外摄像头的状态图像进行目标检测时，不进行图像分割的步骤，直接进行目标检测；

当对来自所述RGB摄像头的状态图像进行分析和对来自所述红外摄像头的状态图像进行分析，均检测到有存在异物的状态图像后，向所述云端服务器发送报警信号，所述云端服务器在接收到所述报警信号后发布报警；

当对来自所述RGB摄像头的状态图像进行分析和对来自所述红外摄像头的状态图像进行分析，检测到只有来自一种摄像头的状态图像存在异物时，则将存在异物的状态图像发送至所述云端服务器进行目标复检，所述云端服务器进一步判断输电线路是否确实存在异物入侵情况，若判断确实存在，则发布告警；所述处理器用于基于具有第一权重的人工神经网络模型对所述状态图像进行目标检测，所述云端服务器用于基于具有第二权重的人工神经网络模型对接收到的存在异物的状态图像进行目标复检，所述第一权重的参数少于所述第二权重的参数。

5.一种输电线路异物检测设备的异物检测方法，其特征在于，所述输电线路异物检测设备包括图像采集装置、处理器和云端服务器，所述图像采集装置连接所述处理器，所述处理器与所述云端服务器通信，所述图像采集装置和所述处理器均设置于输电线路；所述图像采集装置包括RGB摄像头和红外摄像头，所述RGB摄像头和所述红外摄像头均连接所述处理器；所述RGB摄像头的数量为两个以上，所述红外摄像头的数量为两个以上，各所述RGB摄像头和所述红外摄像头设置在不同位置，所述RGB摄像头和所述红外摄像头具有相同的拍摄角度；

所述输电线路异物检测设备的异物检测方法应用于所述云端服务器，所述方法包括：

接收处理信号；所述处理信号由所述处理器基于具有第一权重的人工神经网络模型对状态图像进行目标检测，在检测到有存在异物的状态图像后发送，所述状态图像由所述图像采集装置采集所述输电线路得到；

根据所述处理信号判断是否发布告警；

所述图像采集装置包括RGB摄像头和红外摄像头，所述根据所述处理信号判断是否发布告警，包括：

对来自所述RGB摄像头的状态图像进行分割后，分别对分割后的子图像进行目标检测，若检测到子图像中存在异物，将该子图像所处的状态图像作为处理信号，发送至所述云端服务器；采用二等分或八等分方法对来自所述RGB摄像头的状态图像进行分割；在对来自所述红外摄像头的状态图像进行目标检测时，不进行图像分割的步骤，直接进行目标检测；

当所述处理信号包括所述处理器对来自所述RGB摄像头的状态图像进行目标检测后得到的第一检测结果，以及包括所述处理器对来自所述红外摄像头的状态图像进行目标检测后得到的第二检测结果时，则发布告警；所述第一检测结果为在来自所述RGB摄像头的状态图像中检测到了异物，所述第二检测结果为在来自所述红外摄像头的状态图像中检测到了异物；

当所述处理信号包括所述处理器对来自所述RGB摄像头的状态图像进行目标检测后得到的所述第一检测结果，或者包括所述处理器对来自所述红外摄像头的状态图像进行目标检测后得到的所述第二检测结果时，基于具有第二权重的人工神经网络模型对存在异物的状态图像进行目标复检，进一步判断输电线路是否确实存在异物入侵情况，若判断确实存在，则发布告警；所述第一权重的参数少于所述第二权重的参数。