CN112260402B - 基于视频监控的变电站智能巡检机器人状态的监控方法 - Google Patents
基于视频监控的变电站智能巡检机器人状态的监控方法 Download PDFInfo
- Publication number
- CN112260402B CN112260402B CN202011138333.2A CN202011138333A CN112260402B CN 112260402 B CN112260402 B CN 112260402B CN 202011138333 A CN202011138333 A CN 202011138333A CN 112260402 B CN112260402 B CN 112260402B
- Authority
- CN
- China
- Prior art keywords
- inspection robot
- camera
- monitoring
- state
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
- H02J13/00001—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by the display of information or by user interaction, e.g. supervisory control and data acquisition systems [SCADA] or graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
- H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
- H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
- H02J13/00022—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment using wireless data transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供一种基于视频监控的变电站智能巡检机器人状态的监控方法,该方法包括:S1.集控中心实时接收巡检机器人位置信息,对于一定时间内未传回位置信息的巡检机器人,标记该巡检机器人状态异常;S2.获取状态异常巡检机器人最后传回的位置信息,根据位置信息在监控地图中查询第一摄像头和第二摄像头,所述第一摄像头、第二摄像头分别为距离位置信息所表示位置最接近的两个监控摄像头;S3.将第一摄像头、第二摄像头所采集图像通过检测网络进行处理,检测状态异常巡检机器人是否位于第一摄像头或第二摄像头所采集图像中,检测一定时间内所采集图像中巡检机器人是否发生移动,对巡检机器人状态进行更新。
Description
技术领域
本发明涉及变电站视频监控***技术领域,尤其涉及一种基于视频监控的变电站智能巡检机器人状态的监控方法。
背景技术
据不完全统计,我国东部发达地区平均每个省拥有5000座变电站,西部地区平均每个省拥有3000座变电站。如此庞大数量的变电站,需要大量的人力进行维护。而近年兴起的变电站巡检机器人有效缓解了变电站的人员需求,特别是偏远地区。然而,目前变电站巡检机器人相关技术还在发展之中,变电站巡检机器人通过无线通信技术与集中控制***进行交互,当巡检机器人的无线通信模块在工作过程中损坏或者机器人突然掉电,集中控制中心往往只能通过里程计方法推测巡检机器人的最后位置,巡检机器人却可能继续移动或被人工搬运,不利于集中控制中心对巡检机器人的统一管理以及故障的及时处理。而变电站中存在大量的监控摄像头,这部分监控影像资源有待利用和开发。
发明内容
本发明的目的在于提供一种基于视频监控的变电站智能巡检机器人状态的监控方法,利用变电站视频监控资源,实现变电站智能巡检机器人的状态监控,解决变电站巡检机器人在掉电或无线通信模块出现故障导致无法定位和追踪其具***置的问题。
一种基于视频监控的变电站智能巡检机器人状态的监控方法,包括以下步骤:
S1.集控中心实时接收巡检机器人位置信息,对于一定时间内未传回位置信息的巡检机器人,标记该巡检机器人状态异常;
S2.获取状态异常巡检机器人最后传回的位置信息,根据位置信息在监控地图中查询第一摄像头和第二摄像头,所述第一摄像头、第二摄像头分别为距离位置信息所表示位置最接近的两个监控摄像头;
S3.将第一摄像头、第二摄像头所采集图像通过检测网络进行处理,检测状态异常巡检机器人是否位于第一摄像头或第二摄像头所采集图像中,检测一定时间内所采集图像中巡检机器人是否发生移动,对巡检机器人状态进行更新。
进一步的,在所述步骤S1前,还包括步骤:
S01.建立地图坐标原点,记录巡检机器人巡检地图rM∈(rL(1),rL(2),...,rL(n)),其中n表示巡检机器人在巡检地图rM所记录的第n个巡检位置,第i(i∈(1,2...,k))个巡检机器人在变电站中的位置表示为rLi(rxi,ryi,rzi),第i个巡检机器人的巡检地图表示为k为巡检机器人总数。
S03.监控摄像头采集巡检机器人图片,利用机器人图片训练深度检测网络,获得二分类深度检测网络。
进一步的,所述步骤S03具体包括:
S031.监控摄像头采集巡检机器人图片;
S032.对所采集巡检机器人图片进行预处理,生成由矩形绘制的巡检机器人图像的外包围框,获取所采集的m张图片中每张图片的矩形框中心在图片中的像素坐标(ruj,rvj)以及矩形框的长轴像素长度rrawj与短轴像素长度rcolumnj,其中j表示所采集的m张图片中的第j张;
S033.通过巡检机器人图片样本集对深度检测网络进行训练,获得二分类深度检测网络net,将巡检机器人图片输入检测网络net,检测网络net输出矩形框的中心坐标(rU,rV)以及矩形框的长、短轴像素长度(rRAW,rCOLUMN)。
进一步的,所述步骤S3具体包括:
S33、判断rT是否大于E,若rT>E,表示巡检机器人停止运动,判定巡检机器人为掉电状态;若rT<E,判定巡检机器人进行断网离线工作状态,标记巡检机器人状态为离线巡检模式,通过监控摄像头对巡检机器人进行追踪,直至巡检机器人进入掉电状态或重新联网。
进一步的,所述步骤S33中判定巡检机器人为掉电状态后,还包括:
S333.检测所采集图片中维修人员像素坐标与巡检机器人像素坐标差值小于预设像素移动阈值hT时,标记相应巡检机器人状态为在库。
进一步的,在步骤S331之前,还包括:
监控摄像头采集变电站现场维修人员图片;
对所采集维修人员图片进行预处理,获取所采集的f张图片中每张图片的矩形框中心在图片中的像素坐标(hug,hvg)以及矩形框的长轴像素长度hrawg与短轴像素长度hcolumng,其中g表示所采集的f张图片中的第g张;
通过维修人员图片样本集对深度检测网络进行训练,将维修人员图片输入检测网络net,检测网络net输出矩形框的中心坐标(hu,hv)以及矩形框的长、短轴像素长度(hRAW,hCOLUMN)。
式1表示在第i个监控地图中寻找第k个监控摄像头,该监控摄像头与第i个巡检机器人最后位置的欧氏距离最小。
进一步的,所述检测网络基于darknet深度学习框架,采用107层的yolov3网络实现。
进一步的,所述检测网络运行于视觉服务器,所述视觉服务器包括多台GPU服务器,通过Haproxy均衡器将图像处理任务分发到各个GPU服务器。
与现有技术相比,本发明的有益效果是:
本发明所提供的一种基于视频监控的变电站智能巡检机器人状态的监控方法,当巡检机器人无法传送位置信息时,集控中心会主动调取相关摄像头并获取对应的图片信息,根据多次识别结果判断巡检机器人的工作状态,从而采取相应措施。本发明有效利用了变电站的监控摄像头资源,对巡检机器人进行辅助定位和故障状态判断,有利于对变电站巡检机器人故障进行及时处理。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的优选实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的预处理原理示意图。
图2是本发明实施例提供的变电站智能巡检机器人状态监控***部署原理示意图。
图3是本发明实施例提供的变电站智能巡检机器人状态监控方法整体流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所列举实施例只用于解释本发明,并非用于限定本发明的范围。
本发明提供一种基于视频监控的变电站智能巡检机器人状态的监控方法,所述方法包括以下步骤:
S1.集控中心实时接收巡检机器人位置信息,对于一定时间内未传回位置信息的巡检机器人,标记该巡检机器人状态异常。
巡检机器人正常情况下回通过无线通信模块实时反馈其位置信息,集控中心实时接收巡检机器人返回的位置信息,巡检机器人可能会进入掉电状态或者通信功能发生故障,当集控中心在一定时间内无法接收到巡检机器人传回的位置信息时,则标记该巡检机器人状态异常。
S2.获取状态异常巡检机器人最后传回的位置信息,根据位置信息在监控地图中查询第一摄像头和第二摄像头,所述第一摄像头、第二摄像头分别为距离位置信息所表示位置最接近的两个监控摄像头。
S3.将第一摄像头、第二摄像头所采集图像通过检测网络进行处理,检测状态异常巡检机器人是否位于第一摄像头或第二摄像头所采集图像中,检测一定时间内所采集图像中巡检机器人是否发生移动,对巡检机器人状态进行更新。
作为一个示例,在步骤S1前还包括以下步骤:
S01.建立地图坐标原点,记录巡检机器人巡检地图rM∈(rL(1),rL(2),...,rL(n)),其中n表示巡检机器人在巡检地图rM所记录的第n个巡检位置,第i(i∈(1,2...,k))个巡检机器人在变电站中的位置表示为rLi(rxi,ryi,rzi),第i个巡检机器人的巡检地图表示为k为巡检机器人总数。
具体的,每个巡检机器人的巡检路线均由工作人员预先设定,该路线由一连串离散点组成,这些离散点是以集控中心为坐标原点的坐标点,是变电站在物理空间的映射,而离散点组成的集合为巡检地图rM∈(rL(1),rL(2),...,rL(n)),表示第i个机器人要完成巡检任务所需要经过的路线。每个巡检机器人的巡检路线不相同。
具体的,对于不同的巡检路线,对应不同的监控摄像头,因此不同的巡检地图也存在一组与其对应的监控地图监控地图中摄像头的坐标是根据以集控中心为原点,结合变电站设计图纸进行标记所得。巡检机器人的巡检路线由巡检地图决定,因此对于每个巡检地图,可以预先选择巡检路线中所需要经过的监控摄像头,从而组成监控地图。
S03.监控摄像头采集巡检机器人图片,利用机器人图片训练深度检测网络,获得二分类深度检测网络。
所述步骤S03具体包括:
S031.监控摄像头采集巡检机器人图片。
一些实施方式中,监控摄像头可以是先采集巡检机器人一定时长的工作视频,每个视频中需包含巡检机器人的工作影像,且包含巡检机器人从进入摄像头视野到离开摄像头的整个工作过程。将视频分帧保存图片,例如每10s视频保存一张图片。
S032.对所采集巡检机器人图片进行预处理,生成由矩形绘制的巡检机器人图像的外包围框,获取所采集的m张图片中每张图片的矩形框中心在图片中的像素坐标(ruj,rvj)以及矩形框的长轴像素长度rrawj与短轴像素长度rcolumnj,其中j表示所采集的m张图片中的第j张。
其中,对矩形框的绘制可以采用labelme等图像标注软件进行绘制,在labelme中输入待标注的图像,通过绘制矩形框包围图片中的巡检机器人,labelme将自动输出JSON格式的标注结果,包裹矩形框的中心像素坐标,矩形框的长半轴长度以及短半轴长度,通过利用图片和JSON文本可以对深度检测网络进行训练。绘制矩形框样式可以参照图1。
S033.通过巡检机器人图片样本集对深度检测网络进行训练,获得二分类深度检测网络net,将巡检机器人图片输入检测网络net,检测网络net输出矩形框的中心坐标(rU,rV)以及矩形框的长、短轴像素长度(rRAW,rCOLUMN)。
该步骤中,将上一步骤获得的图片与标注信息按照9:1的比例分别作为巡检机器人图片样本集和巡检机器人图像测试集,所述样本集用于训练深度检测网络net,检测网络net对标注的矩形框中的内容进行学习并提取抽象特征,使用测试集可以对检测网络net的性能进行验证。一些实施方式中,对于输入检测网络net的测试集图片而言,如果输出的中心坐标、轴长度与JSON文件中的数据不相符,则将二者的差值反馈给检测网络net,修正网络连接权值,直到网络的输出结果与JSON文件的数据一致,从而提高检测网络的识别准确率。
在本发明的实施例中,所述深度检测网络采用了darknet深度学习框架,并采用了107层的yolov3网络。检测网络net运行于视觉服务器,所述视觉服务器部署于集控中心之下,集控中心可向视觉服务器传输监控摄像头所采集图片,视觉服务器返回对图片的检测结果,***的部署方式如图2所示,为了应对突发情况,所述视觉服务器包括多台GPU服务器,通过Haproxy均衡器将集控中心发送的图像处理任务分发到各个GPU服务器。
式1表示在第i个监控地图中寻找第k个监控摄像头,该监控摄像头与第i个巡检机器人最后位置的欧氏距离最小。同时考虑到巡检机器人可能在接收超时时间内离开监控摄像头k的视野范围,因此还需要在监控地图中找到第k个监控摄像头的下一个监控摄像头以便保证捕捉到巡检机器人的位置。
作为一个示例,所述步骤S3具体包括:
上述步骤中,集控中心将第一摄像头采集的图像信息传输给视觉服务器,检测监控摄像头视野中是否出现巡检机器人,如果没有检测到,则将第k+1个监控摄像头采集的图片传输给视觉服务器进行检测。视觉服务器返回巡检机器人在图像中的像素坐标(rU,rV)t。
一些实施方式中,像素移动阈值rT设置为摄像头分辨率的5%,例如1080P摄像头的像素移动阈值为rT=1080×0.05=54。
S33.判断rT是否大于E,若rT>E,表示巡检机器人停止运动,判定巡检机器人为掉电状态;若rT<E,判定巡检机器人进行断网离线工作状态,标记巡检机器人状态为离线巡检模式,通过监控摄像头对巡检机器人进行追踪,直至巡检机器人进入掉电状态或重新联网。
作为一个示例,所述步骤S33中判定巡检机器人为掉电状态后,还包括:
S333.检测所采集图片中维修人员像素坐标与巡检机器人像素坐标差值小于预设像素移动阈值hT时,表示维修人员已经对机器人进行处理和搬运,集控中心标记相应巡检机器人状态为在库。
一些实施方式中,所述像素移动阈值hT可以设置为100,表示维修人员到达故障巡检机器人周围。
上述步骤中,对所采集图像中是否存在维修人员同样是通过检测网络实现,因此需要对深度检测网络进行训练使其可以识别维修人员,即在步骤S331之前,还包括:
监控摄像头采集变电站现场维修人员图片。一些实施方式中,监控摄像头可以是先采集现场维修人员一定时长的工作视频,每个视频中需包含维修人员的工作影像,且包含维修人员从进入摄像头视野到离开摄像头的整个工作过程,将视频分帧保存图片。
对所采集维修人员图片进行预处理,获取所采集的f张图片中每张图片的矩形框中心在图片中的像素坐标(hug,hvg)以及矩形框的长轴像素长度hrawg与短轴像素长度hcolumng,其中g表示所采集的f张图片中的第g张。对矩形框的绘制可以采用labelme等图像标注软件进行绘制,在labelme中输入待标注的图像,通过绘制矩形框包围图片中的维修人员,labelme将自动输出JSON格式的标注结果,包裹矩形框的中心像素坐标,矩形框的长半轴长度以及短半轴长度,通过利用图片和JSON文本可以对深度检测网络进行训练。
通过维修人员图片样本集对深度检测网络进行训练,将维修人员图片输入检测网络net,检测网络net输出矩形框的中心坐标(hu,hv)以及矩形框的长、短轴像素长度(hRAW,hCOLUMN)。具体的,将上一步骤获得的图片与标注信息按照9:1的比例分别作为维修人员图片样本集和维修人员图像测试集,所述样本集用于训练深度检测网络net,检测网络net对标注的矩形框中的内容进行学习并提取抽象特征,使用测试集可以对检测网络net的性能进行验证。
在本发明的实施例中,前述方法实施例可以按照如图3所示的流程实现。
当深度检测网络完成学习后,且巡检机器人巡检工作正式开始后,当巡检机器人与集控中心正常通信时,监控摄像头无需将所拍摄视频传输给集控中心,从而减轻服务器运行负担;当巡检机器人与集控中心通信异常,无法确定巡检机器人具***置时,开始按照前述方法对巡检机器人进行状态监控和判断,在判断时只需将距离巡检机器人最后位置最接近的摄像头和下一摄像头的视频数据传输给视觉服务器,从而在保证对巡检机器人的状态进行精准判断的同时,合理利用服务器资源,提高运维效率。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于视频监控的变电站智能巡检机器人状态的监控方法,其特征在于,所述方法包括以下步骤:
S1.集控中心实时接收巡检机器人位置信息,对于一定时间内未传回位置信息的巡检机器人,标记该巡检机器人状态异常;
S2.获取状态异常巡检机器人最后传回的位置信息,根据位置信息在监控地图中查询第一摄像头和第二摄像头,所述第一摄像头、第二摄像头分别为距离位置信息所表示位置最接近的两个监控摄像头;
S3.将第一摄像头、第二摄像头所采集图像通过检测网络进行处理,检测状态异常巡检机器人是否位于第一摄像头或第二摄像头所采集图像中,检测一定时间内所采集图像中巡检机器人是否发生移动,对巡检机器人状态进行更新。
2.根据权利要求1所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法,其特征在于,在所述步骤S1前,还包括步骤:
S01.建立地图坐标原点,记录巡检机器人巡检地图rM∈(rL(1),rL(2),...,rL(n)),其中n表示巡检机器人在巡检地图rM所记录的第n个巡检位置,第i(i∈(1,2...,k))个巡检机器人在变电站中的位置表示为rLi(rxi,ryi,rzi),第i个巡检机器人的巡检地图表示为k为巡检机器人总数;
S03.监控摄像头采集巡检机器人图片,利用机器人图片训练深度检测网络,获得二分类深度检测网络。
3.根据权利要求2所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法,其特征在于,所述步骤S03具体包括:
S031.监控摄像头采集巡检机器人图片;
S032.对所采集巡检机器人图片进行预处理,生成由矩形绘制的巡检机器人图像的外包围框,获取所采集的m张图片中每张图片的矩形框中心在图片中的像素坐标(ruj,rvj)以及矩形框的长轴像素长度rrawj与短轴像素长度rcolumnj,其中j表示所采集的m张图片中的第j张;
S033.通过巡检机器人图片样本集对深度检测网络进行训练,获得二分类深度检测网络net,将巡检机器人图片输入检测网络net,检测网络net输出矩形框的中心坐标(rU,rV)以及矩形框的长、短轴像素长度(rRAW,rCOLUMN)。
4.根据权利要求2或3所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法,其特征在于,所述步骤S3具体包括:
S33.判断rT是否大于E,若rT>E,表示巡检机器人停止运动,判定巡检机器人为掉电状态;若rT<E,判定巡检机器人进行断网离线工作状态,标记巡检机器人状态为离线巡检模式,通过监控摄像头对巡检机器人进行追踪,直至巡检机器人进入掉电状态或重新联网。
6.根据权利要求5所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法,其特征在于,在步骤S331之前,还包括:
监控摄像头采集变电站现场维修人员图片;
对所采集维修人员图片进行预处理,获取所采集的f张图片中每张图片的矩形框中心在图片中的像素坐标(hug,hvg)以及矩形框的长轴像素长度hrawg与短轴像素长度hcolumng,其中g表示所采集的f张图片中的第g张;
通过维修人员图片样本集对深度检测网络进行训练,将维修人员图片输入检测网络net,检测网络net输出矩形框的中心坐标(hu,hv)以及矩形框的长、短轴像素长度(hRAW,hCOLUMN)。
8.根据权利要求1所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法,其特征在于,所述检测网络基于darknet深度学习框架,采用107层的yolov3网络实现。
9.根据权利要求1或8所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法,其特征在于,所述检测网络运行于视觉服务器,所述视觉服务器包括多台GPU服务器,通过Haproxy均衡器将图像处理任务分发到各个GPU服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011138333.2A CN112260402B (zh) | 2020-10-22 | 2020-10-22 | 基于视频监控的变电站智能巡检机器人状态的监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011138333.2A CN112260402B (zh) | 2020-10-22 | 2020-10-22 | 基于视频监控的变电站智能巡检机器人状态的监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112260402A CN112260402A (zh) | 2021-01-22 |
CN112260402B true CN112260402B (zh) | 2022-05-24 |
Family
ID=74263424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011138333.2A Active CN112260402B (zh) | 2020-10-22 | 2020-10-22 | 基于视频监控的变电站智能巡检机器人状态的监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112260402B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114302115B (zh) * | 2022-01-06 | 2024-04-19 | 重庆紫光华山智安科技有限公司 | 视频播放方法、装置、设备及介质 |
CN116404561B (zh) * | 2023-06-08 | 2023-08-15 | 威海双城电气有限公司 | 一种电力设备智能识别装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095817A (zh) * | 2015-07-03 | 2015-11-25 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人故障诊断方法、装置及*** |
WO2016152182A1 (ja) * | 2015-03-23 | 2016-09-29 | ノーリツプレシジョン株式会社 | 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム |
CN109040688A (zh) * | 2018-08-23 | 2018-12-18 | 顺德职业技术学院 | 一种对获取的工业机器人操作视频进行存储的方法及*** |
CN110290350A (zh) * | 2019-06-26 | 2019-09-27 | 广东康云科技有限公司 | 一种巡检机器人的实时状态监控方法、***和存储介质 |
CN111267079A (zh) * | 2018-12-05 | 2020-06-12 | ***通信集团山东有限公司 | 一种智能巡检机器人巡检方法及装置 |
-
2020
- 2020-10-22 CN CN202011138333.2A patent/CN112260402B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016152182A1 (ja) * | 2015-03-23 | 2016-09-29 | ノーリツプレシジョン株式会社 | 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム |
CN105095817A (zh) * | 2015-07-03 | 2015-11-25 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人故障诊断方法、装置及*** |
CN109040688A (zh) * | 2018-08-23 | 2018-12-18 | 顺德职业技术学院 | 一种对获取的工业机器人操作视频进行存储的方法及*** |
CN111267079A (zh) * | 2018-12-05 | 2020-06-12 | ***通信集团山东有限公司 | 一种智能巡检机器人巡检方法及装置 |
CN110290350A (zh) * | 2019-06-26 | 2019-09-27 | 广东康云科技有限公司 | 一种巡检机器人的实时状态监控方法、***和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112260402A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111307823B (zh) | 基于边云协同的变电设备典型视觉缺陷检测***及方法 | |
CN110703800A (zh) | 基于无人机的电力设施智能识别方法及*** | |
CN110033453A (zh) | 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法 | |
CN112260402B (zh) | 基于视频监控的变电站智能巡检机器人状态的监控方法 | |
CN108520567A (zh) | 一种依靠拍摄设备运行图像识别的辅助巡检方法 | |
CN110850723A (zh) | 一种基于变电站巡检机器人***的故障诊断及定位方法 | |
CN111626139A (zh) | 一种机房it设备故障信息精准检测方法 | |
CN110458794B (zh) | 用于轨道列车的配件质量检测方法及装置 | |
CN112697798B (zh) | 面向红外图像的变电设备电流致热型缺陷的诊断方法和装置 | |
CN115220479B (zh) | 动静协同的输电线路精细化巡检方法与*** | |
CN111695512B (zh) | 一种无人值守文物监测方法及装置 | |
CN113589837A (zh) | 一种基于边缘云的电力实时巡检方法 | |
CN113177614A (zh) | 一种城市轨道交通供电开关柜图像识别***及方法 | |
CN112819988A (zh) | 基于5g的无人机电站智能巡检方法、***和网络侧服务端 | |
CN116363573A (zh) | 一种变电站设备状态异常识别方法和*** | |
CN114445782A (zh) | 基于边缘ai和北斗短报文的输电线路图像采集*** | |
CN113487166A (zh) | 一种基于卷积神经网络的化纤飘丝质量检测方法及*** | |
CN112489018A (zh) | 一种电力线智能巡线方法及巡线 | |
CN111738148A (zh) | 一种利用红外巡检拍摄的故障识别方法 | |
CN113449767B (zh) | 一种多图像融合的变电站设备异常识别定位方法 | |
CN116311034A (zh) | 一种基于对比检测的机器人巡检*** | |
CN113822249B (zh) | 一种监测架空线路隐患位置的方法、设备 | |
CN115147591A (zh) | 一种变电设备红外图像电压致热型缺陷诊断方法及*** | |
CN114355083A (zh) | 基于人工智能算法的巡检机器人故障识别方法、*** | |
CN111105395B (zh) | 一种用于输电运行监测的ai智能云台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |