CN114937218B - 基于图像识别的电力设施巡检***和方法 - Google Patents
基于图像识别的电力设施巡检***和方法 Download PDFInfo
- Publication number
- CN114937218B CN114937218B CN202210859885.5A CN202210859885A CN114937218B CN 114937218 B CN114937218 B CN 114937218B CN 202210859885 A CN202210859885 A CN 202210859885A CN 114937218 B CN114937218 B CN 114937218B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- target object
- night vision
- brightness change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000007689 inspection Methods 0.000 title claims description 24
- 230000008859 change Effects 0.000 claims abstract description 59
- 230000004297 night vision Effects 0.000 claims abstract description 55
- 238000004891 communication Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Medical Informatics (AREA)
- Water Supply & Treatment (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于图像识别的电力设施巡检***和方法,涉及图像识别和无人机技术,包括:无人机,搭载有夜视仪和摄像头;专用设备,所述专用设备上设置有闪光灯;其中,所述无人机用于通过所述夜视仪拍摄夜视图像,从所述夜视图像中识别目标对象,广播识别特征认领信息;所述专用设备在接收到广播后认领识别特征并上报身份信息,根据识别特征生成闪光灯的控制信号以控制闪光灯的闪烁频率;所述无人机通过所述摄像头或者夜视仪对目标对象进行跟踪拍摄,并根据目标对象所在区域的亮度变化来确定识别特征,以确定目标对象的身份信息。通过本方案可以实现夜间的目标区分。
Description
技术领域
本申请涉及图像识别技术和无人机技术,特别是一种基于图像识别的电力设施巡检***和方法。
背景技术
随着无人机技术和图像处理技术的日渐成熟,在诸多场合中已经可以通过无人机携带摄像机执行一些巡逻、救援任务。在一些重要设施(如电力设施)的保障措施中,不乏无人机、机器人等巡检方式。
在日间巡检时,由于环境有较好的光线,使得无人机可以基于拍摄到的图像进行目标识别、身份识别等操作。但是在夜间的时候,由于照相机在夜间无法获得较好的光线,所拍摄的图像清晰度难以满足部分识别需求。而搭载大功率灯光或者高精度摄像机会使得无人机成本增加,已有设备难以负荷。
虽然部分方案可以搭载夜视摄像机,但是其仅能用于发现目标,无法对目标身份进行识别。当巡逻区域发现多个目标时,也无法区分目标的身份,导致无人机需要实施目标跟踪时无法确定跟踪对象。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种基于图像识别的电力设施巡检***和方法,可以基于图像识别技术在夜间识别目标身份。
一方面,本申请实施例提供了一种基于图像识别的电力设施巡检***,包括:
无人机,搭载有夜视仪和摄像头;
专用设备,所述专用设备上设置有闪光灯;
其中,所述无人机用于通过所述夜视仪拍摄夜视图像,从所述夜视图像中识别目标对象,广播识别特征认领信息;
所述专用设备在接收到广播后认领识别特征并上报身份信息,根据识别特征生成闪光灯的控制信号以控制闪光灯的闪烁频率;
所述无人机通过所述摄像头或者夜视仪对目标对象进行跟踪拍摄,并根据目标对象所在区域的亮度变化来确定识别特征,以确定目标对象的身份信息。
在部分实施例中,所述根据目标对象所在区域的亮度变化来确定识别特征,具体包括:
按间隔抽取拍摄到的视频中的画面帧;
从所述画面帧中裁剪出目标所在区域,得到多个子图;
对所述子图进行亮度统计,以确定亮度变化曲线;
从所述亮度变化曲线的波形的频率确定识别特征。
在部分实施例中,所述无人机根据被认领的所有识别特征中的闪烁频率的最高值确定画面帧的抽取间隔。
在部分实施例中,专用设备在接收到广播后认领识别特征并上报身份信息,具体是:
专用设备在接收到广播后,与无人机建立通信,向无人机上报身份并接收无人机分配的识别特征编号,根据所述识别特征编号确定识别特征。
在部分实施例中,所述无人机还用于在广播识别特征认领信息之前,还包括以下步骤:
通过互联网获取当前区域中的专用设备数量;
通过夜视仪搜寻当前区域中的目标对象,当所述目标对象数量大于所述专用设备数量时,广播识别特征认领信息;
或者,
通过摄像头搜寻当前区域中的目标对象,当所述目标对象数量为1时,通过互联网获取当前区域中的专用设备对应的身份信息。
在部分实施例中,所述无人机在判定两个目标对象距离小于阈值时,对这两个目标对象对应的亮度变化曲线进行滤波,从而确定出目标的亮度变化曲线,并基于目标的亮度变化曲线确定识别特征。
在部分实施例中,根据当前被认领的识别特征对应的频率对亮度变化曲线进行带通滤波,分离出各识别特征对应的候选曲线,将强度最大的候选曲线作为目标的亮度变化曲线。
在部分实施例中,所述无人机在根据目标对象所在区域的亮度变化来确定识别特征时,分别计算出夜视仪对应的第一亮度变化曲线和摄像头对应的第二亮度变化曲线;
利用第二亮度变化曲线校验第一亮度变化曲线,当所述第一亮度变化曲线和第二变化曲线对应闪烁频率满足条件时,基于第一亮度变化曲线来确定识别特征。
在部分实施例中,所述专用设备包括手持机和头盔,所述闪光灯设置于所述手持机或者头盔上。
一种基于图像识别的电力设施巡检方法,应用于基于图像识别的电力设施巡检***之中,包括:
无人机通过所述夜视仪拍摄夜视图像,从所述夜视图像中识别目标对象,广播识别特征认领信息;
专用设备在接收到广播后认领识别特征并上报身份信息,根据识别特征生成闪光灯的控制信号以控制闪光灯的闪烁频率;
无人机通过所述摄像头或者夜视仪对目标对象进行跟踪拍摄,并根据目标对象所在区域的亮度变化来确定识别特征,以确定目标对象的身份信息。
本申请实施例通过在无人机上搭载有夜视仪和摄像头,可以在夜间准确地识别出目标,无论在光线是否充足的地方都可以实施跟踪等作业;本***为巡检人员配置了专用设备,所述专用设备上设置有闪光灯;无人机可以通过所述夜视仪拍摄夜视图像,从所述夜视图像中识别目标对象,然后广播识别特征认领信息;专用设备在接收到广播后认领识别特征并上报身份信息,根据识别特征生成闪光灯的控制信号以控制闪光灯的闪烁频率;无人机可以通过所述摄像头或者夜视仪对目标对象进行跟踪拍摄,并根据目标对象所在区域的亮度变化来确定识别特征,以确定目标对象的身份信息;通过这一方式在偏僻区域,地面定位信号覆盖较差的区域可以实现夜间的身份识别,这样可以确定出现场人员的身份,快速区分巡检人员和闯入者等,同时闪光信号不容易被伪造,在未与无人机通信协商识别特征的情况下,无法通过模仿闪光灯闪烁的方式来躲避。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图做一简单地介绍。
图1是本申请实施例提供的一种基于图像识别的电力设施巡检***的模块框图;
图2是本申请实施例提供的亮度变化曲线的波形示意图;
图3是本申请实施例提供的基于图像识别的电力设施巡检方法的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,以下将参照本申请实施例中的附图,通过实施方式清楚、完整地描述本申请的技术方案,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
可以理解的是,无人机巡检***可以在夜间等情况对沿线的重要设施进行巡检,监测重要场所中的人员情况,分辨是否有非法闯入等情形发生。同时可以兼顾夜间搜寻,目标跟踪等任务。无人机巡检***是数量庞大的电力设施巡检的重要手段之一。图像识别技术,利用神经网络等技术手段对拍摄的图像进行分析,从而识别出图像中的目标位置和类型等,是人工智能技术中的重要分支之一。
参照图1,本申请实施例公开了一种基于图像识别的电力设施巡检***,包括:
无人机,搭载有夜视仪和摄像头。当然可以理解的是,无人机用于进行数据处理的处理装置和通信装置。夜视仪可以采用诸如热成像或者红外夜视仪等,主要目的用于在夜间发现和跟踪目标所在的位置。
专用设备,所述专用设备上设置有闪光灯。专用设备可以是指手持机,是指专用头盔或者两者的组合。设置闪光灯是为了在夜间光线昏暗的环境中发出指示信号,以使得空中的无人机可以基于闪光灯的信号识别画面中目标的身份。从而采取下一步的任务。专用设备通常搭载有多种通信模块以应对户外的复杂通信环境。
其中,所述无人机用于通过所述夜视仪拍摄夜视图像,从所述夜视图像中识别目标对象,广播识别特征认领信息;可以理解的是,搭载夜视仪可以在夜间发现目标,而摄像头则可以在光线充足的地方或者日间进行拍摄任务,同时摄像头在本实施例中承担灯光识别的任务。当然,在夜间时,摄像头也可以开启录制。无人机在发现目标后,可以通过专用设备可接收的频段进行中短程的广播,可以采用诸如433MHz,2.4GHz等频段进行广播,广播的范围通常通过发射功率控制,一般控制在数十米到数百米的范围。通过现场广播的方式要求专用设备能够现场连接服务器,可以适应复杂的通信环境。
所述专用设备在接收到广播后认领识别特征并上报身份信息,根据识别特征生成闪光灯的控制信号以控制闪光灯的闪烁频率。
具体地专用设备在接收到广播后,与无人机建立通信,向无人机上报身份并接收无人机分配的识别特征编号,根据所述识别特征编号确定识别特征。可以理解的是,在部分实施例中,相关的识别特征,例如闪烁频率,闪烁占空比的信息已经预先存储在专用设备中,专用设备和无人机之间只需要协商使用哪个编号对应的识别特征,无人机就可以基于识别特征专用设备上报的身份信息确定目标对象的身份。至于专用设备的中的身份信息,可以预先绑定,例如,手持机的使用人员在作业之前利用手持机进行登录,此时,手持机的机身码与身份信息绑定并上传到服务器中。此时,无人机可以通过服务器访问这些信息。当然,在现场离线的情况下也可以通过预先下载数据来执行任务。在极端情况下通信情况下,无人机和手持机均为连线状态,无人机可以记录手持机的信息,在事后联网后完成身份的确认。
所述无人机通过所述摄像头或者夜视仪对目标对象进行跟踪拍摄,并根据目标对象所在区域的亮度变化来确定识别特征,以确定目标对象的身份信息。可以理解的是,当专用设备的闪光灯闪烁的时候,发出的光线会改变局部的亮度。在目标所在的区域这种改变尤为明显。当闪光灯设置在安全帽上,这种变化在航拍条件下,会比较清楚。无人机通过摄像头的连续拍摄,然后在视频的画面帧中检测亮度变化,就可以确定出闪光灯的变化规律。此时,闪光灯闪烁的频率,闪烁的占空比都可以成为识别特征。在本实施例中,并不采用强度作为识别特征,其原因是夜间的亮度是不确定的,没有参考值的情况下并不能检测强度值。当然,在部分实施例中,闪光灯可以发射特定颜色的光线,在处理亮度变化曲线之前,可以从图像帧中过滤出特定颜色的光线来进行分析,即分析特定颜色的光源的亮度变化。可以理解的是采取上述手段,相对于基于不同颜色区分身份的方式在夜间准确度更佳,也不要求设备上设置有多色灯光;相对于通过控制不同设备错开闪烁的方式,可以同时识别多个目标的身份,效率更高。
具体地,所述根据目标对象所在区域的亮度变化来确定识别特征,具体包括:
按间隔抽取拍摄到的视频中的画面帧。可以理解的是,所述视频可以是夜视仪所拍摄到的视频,也可使摄像头拍摄到的视频。在本实施例中,通过夜视仪可以准确地识别出目标并进行锁定。在夜间,对于光线的变化在夜视仪和摄像头中都可以被捕捉。因此,从中抽取画面帧都可以进行相关闪烁特征的分析。
从所述画面帧中裁剪出目标所在区域,得到多个子图;之所以需要裁剪出目标所在的区域是利用了闪光灯一般只能影响其附近亮度的特点,通过这一方式,就可以在一个画面中分割出多个目标对象对应的子图,同时对多个目标进行识别。对于一个目标,会在抽取的各画面帧截取对应的子图。然后这些子图按照时间先后顺序构成一个子图序列。图2示出一种灯光亮度变化的过程,从图中可以看出,灯光在闪烁时,画面帧的亮度是按照特征进行变化的,当采集几个周期之后,可以通过画面帧对应的时间点,分析出闪光灯的波形,从而从波形的频率特征来分辨目标对象的身份。
对所述子图进行亮度统计,以确定亮度变化曲线。统计出每个子图的平均亮度,然后根据子图的顺序,绘制亮度变化曲线。可以对数据点之间进行插值处理,从而得到平滑的曲线。可以理解的是,识别可以在2~3秒内完成,在此时间内,一般人员移动的范围不会很大,周边的亮度一般不会发生明显的变化。即便用户移动导致环境亮度发生明显变化,也可以通过继续识别的方式来确定其身份。在曲线中,可以用第一帧画面的平均亮度作为参考零点来绘制曲线。
从所述亮度变化曲线的波形的频率确定识别特征。可以理解的是,在得到亮度变化曲线之后,可以通过测定波峰之间的距离来得到闪烁频率,也可以通过相关的波形处理算法得到闪烁的占空比。那么,无人机就可以通过识别特征确定出识别对象的身份。
在部分实施例中,为了可以减少无人机对图像处理的数量,所述无人机根据被认领的所有识别特征中的闪烁频率的最高值确定画面帧的抽取间隔。可以理解的是,为了保持测量的准确性,需要确保每个闪烁周期至少抽取10帧画面进行处理,那么对于60Hz的录像而言,则需要每6帧抽取一帧,即每隔5帧抽一帧。那么假设当前识别三个目标,三个目标分别是每秒闪烁1次,每秒闪烁2次和2秒闪烁1次,此时,闪烁频率最高值是每秒2次,意味着,为了对每个周期至少采集10帧画面,在1秒内需要抽取20帧画面进行处理,对应于60Hz的录像而言,就是每三帧抽取一帧。通过这一方式,相对于设定固定的抽取间隔,可以确保识别质量的情况下有机会减少处理量,节省无人机功耗。需要理解的是,由于在进行分析之前,无人机并不知晓当前分析的对象具体对应哪一个闪烁频率,因此,基于频率最高的来设定抽取间隔,可以确保每个闪烁周期抽取的帧数不小于设定的最小值。
在部分实施例中,所述无人机还用于在广播识别特征认领信息之前,还包括以下步骤:
通过互联网获取当前区域中的专用设备数量。可以理解的是,在可以联网的情况下,无人机可以通过互联网与服务器通信,以确定当前区域正在执行任务的人数(设备数量)。
通过夜视仪搜寻当前区域中的目标对象,当所述目标对象数量大于所述专用设备数量时,广播识别特征认领信息。为了减少识别的压力,无人机可以在搜寻到当前区域的目标对象大于专用设备数量的时候,才进行识别特征认领的广播。这样可以减少识别的次数,从而在部分不需要区分现场人员身份的场合下节省上述环节。
或者,
通过摄像头搜寻当前区域中的目标对象,当所述目标对象数量为1时,通过互联网获取当前区域中的专用设备对应的身份信息。在部分实施例中,如果当前区域仅有一个目标对象,且基于互联网可以确定当前作业人员的身份时,可以无需对人员进行区分,这一方式可以减少识别所产生的设备功耗。
在部分实施例中,当两个目标距离较为接近的时候,需要考虑两个目标对象的专用设备闪光灯相互影响的问题,但是由于两者所在位置与闪光灯之间仍然有距离差异,因为两个闪光灯在两个目标上所产生的亮度影响强度是有差别的。在本实施例中,由于无人机知道各闪烁频率,通常闪烁频率相差较大,因此可以通过滤波的方式从亮度变化曲线中分离出两个不同频率的波,再利用距离远近所导致的强度影响不同,可以判定出接近目标对象的光源的频率,从而避免两个闪光灯同时闪烁的时候相互影响,所述无人机在判定两个目标对象距离小于阈值时,对这两个目标对象对应的亮度变化曲线进行滤波,从而确定出目标的亮度变化曲线,并基于目标的亮度变化曲线确定识别特征。可以理解的是,两个目标之间的距离,要根据无人机相对目标的距离来进行估算。无人机拍摄到画面中目标的大小和无人机与目标之间的距离有关。因此,可以采取简单的判定方式,即根据画面中目标对象的两个目标框之间的距离和目标框大小的比例来判断两者距离是否小于阈值。一般情况下,人的身高差异不大,因此,两个相近的目标框的大小是接近的。目标框较大,说明目标相对于无人机比较近;目标框较小,说明目标相对于无人机比较远,当两组目标框之间的距离是相同的时候,显然远处的一组目标框之间的距离更大。因此,可以用两个目标框之间的距离除以目标框的平均大小来得到比例值,根据该比例值是否小于阈值来确定两者是否距离较小。通过这样的方式,可以基于经验值,在画面中直接估算两个目标对象之间的距离是否过小,而无需进行准确的测量。因此,无人机在判定两个目标对象距离小于阈值,具体是,无人机确定两个目标对象在画面中的目标框之间的距离除以其中一个(可以是面积较大的一个)目标框的面积小于阈值时,判定两个目标对象距离小于阈值。可以理解的是,目标框是在图像识别模型识别目标是所框选的目标区域。
在部分实施例中,根据当前被认领的识别特征对应的频率对亮度变化曲线进行带通滤波,分离出各识别特征对应的候选曲线,将强度(可以用平均幅值衡量)最大的候选曲线作为目标的亮度变化曲线。可以理解的是,接近目标对象的闪光灯对目标对象所在区域产生的亮度影响是更大的。因此,从中分离出的亮度变化曲线,较强的会是目标对象所持有的专用设备所发出的灯光。基于上述实施例可以在两个目标对象较为接近且同时闪烁的情况下,分辨两个目标的身份。采取这一方式,无需对闪光位置进行进一步识别来提高准确率,因此算法简单且可靠。
在部分实施例中,所述无人机在根据目标对象所在区域的亮度变化来确定识别特征时,分别计算出夜视仪对应的第一亮度变化曲线和摄像头对应的第二亮度变化曲线;
利用第二亮度变化曲线校验第一亮度变化曲线,当所述第一亮度变化曲线和第二变化曲线对应闪烁频率满足条件时,基于第一亮度变化曲线来确定识别特征。在部分实施例中,由于画面帧丢失等情况会导致计算的识别特征不准确的情形,此时,在算力充足的情况下,可以利用两个摄像头拍摄的画面来进行相互校准。其中,主要校准的是两者对应的亮度变化曲线的频率。
在部分实施例中,所述专用设备包括手持机和头盔,所述闪光灯设置于所述手持机或者头盔上。可以理解的是,可以将闪光灯设置在头盔上,头盔上的闪光灯与手持机通信,受到手持机的控制。可以理解的是,一般的作业人员需要佩戴头盔,并且头盔上设置闪光灯,无人机在夜间可以清晰地识别出灯光信号。
参照图3,本实施例公开了一种基于图像识别的电力设施巡检方法,应用于基于图像识别的电力设施巡检***之中,包括:
S1、无人机通过所述夜视仪拍摄夜视图像,从所述夜视图像中识别目标对象,广播识别特征认领信息;
S2、专用设备在接收到广播后认领识别特征并上报身份信息,根据识别特征生成闪光灯的控制信号以控制闪光灯的闪烁频率;
S3、无人机通过所述摄像头或者夜视仪对目标对象进行跟踪拍摄,并根据目标对象所在区域的亮度变化来确定识别特征,以确定目标对象的身份信息。
本实施例通过在无人机上搭载有夜视仪和摄像头,可以在夜间准确地识别出目标,无论在光线是否充足的地方都可以实施跟踪等作业;本***为巡检人员配置了专用设备,所述专用设备上设置有闪光灯;无人机可以通过所述夜视仪拍摄夜视图像,从所述夜视图像中识别目标对象,然后广播识别特征认领信息;专用设备在接收到广播后认领识别特征并上报身份信息,根据识别特征生成闪光灯的控制信号以控制闪光灯的闪烁频率;无人机可以通过所述摄像头或者夜视仪对目标对象进行跟踪拍摄,并根据目标对象所在区域的亮度变化来确定识别特征,以确定目标对象的身份信息;通过这一方式在偏僻区域,地面定位信号覆盖较差的区域可以实现夜间的身份识别,这样可以确定出现场人员的身份,快速区分巡检人员和闯入者等,同时闪光信号不容易被伪造,在未与无人机通信协商识别特征的情况下,无法通过模仿闪光灯闪烁的方式来躲避。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。
Claims (9)
1.一种基于图像识别的电力设施巡检***,其特征在于,包括:
无人机,搭载有夜视仪和摄像头;
专用设备,所述专用设备上设置有闪光灯;
其中,所述无人机用于通过所述夜视仪拍摄夜视图像,从所述夜视图像中识别目标对象,广播识别特征认领信息;
所述专用设备在接收到广播后认领识别特征并上报身份信息,根据识别特征生成闪光灯的控制信号以控制闪光灯的闪烁频率;
所述无人机通过所述摄像头或者夜视仪对目标对象进行跟踪拍摄,并根据目标对象所在区域的亮度变化来确定识别特征,以确定目标对象的身份信息;
所述根据目标对象所在区域的亮度变化来确定识别特征,具体包括:
按间隔抽取拍摄到的视频中的画面帧;
从所述画面帧中裁剪出目标所在区域,得到多个子图;
对所述子图进行亮度统计,以确定亮度变化曲线;
从所述亮度变化曲线的波形的频率确定识别特征,其中,所述识别特征是指闪烁频率。
2.根据权利要求1所述的基于图像识别的电力设施巡检***,其特征在于,所述无人机根据被认领的所有识别特征中的闪烁频率的最高值确定画面帧的抽取间隔,其中,每个闪烁周期抽取的帧数设置有最小值。
3.根据权利要求1所述的基于图像识别的电力设施巡检***,其特征在于,专用设备在接收到广播后认领识别特征并上报身份信息,具体是:
专用设备在接收到广播后,与无人机建立通信,向无人机上报身份并接收无人机分配的识别特征编号,根据所述识别特征编号确定识别特征。
4.根据权利要求1所述的基于图像识别的电力设施巡检***,其特征在于,所述无人机还用于在广播识别特征认领信息之前,还包括:
通过互联网获取当前区域中的专用设备数量;
通过夜视仪搜寻当前区域中的目标对象,当所述目标对象数量大于所述专用设备数量时,广播识别特征认领信息;
或者,
通过摄像头搜寻当前区域中的目标对象,当所述目标对象数量为1时,通过互联网获取当前区域中的专用设备对应的身份信息。
5.根据权利要求1所述的基于图像识别的电力设施巡检***,其特征在于,所述无人机在判定两个目标对象距离小于阈值时,对这两个目标对象对应的亮度变化曲线进行滤波,从而确定出目标的亮度变化曲线,并基于目标的亮度变化曲线确定识别特征。
6.根据权利要求5所述的基于图像识别的电力设施巡检***,其特征在于,根据当前被认领的识别特征对应的频率对亮度变化曲线进行带通滤波,分离出各识别特征对应的候选曲线,将强度最大的候选曲线作为目标的亮度变化曲线。
7.根据权利要求1所述的基于图像识别的电力设施巡检***,其特征在于,所述无人机在根据目标对象所在区域的亮度变化来确定识别特征时,分别计算出夜视仪对应的第一亮度变化曲线和摄像头对应的第二亮度变化曲线;
利用第二亮度变化曲线校验第一亮度变化曲线,当所述第一亮度变化曲线和第二变化曲线对应闪烁频率满足条件时,基于第一亮度变化曲线来确定识别特征。
8.根据权利要求1所述的基于图像识别的电力设施巡检***,其特征在于,所述专用设备包括手持机和头盔,所述闪光灯设置于所述手持机或者头盔上。
9.一种基于图像识别的电力设施巡检方法,其特征在于,应用于如权利要求1所述的***之中,包括:
无人机通过所述夜视仪拍摄夜视图像,从所述夜视图像中识别目标对象,广播识别特征认领信息;
专用设备在接收到广播后认领识别特征并上报身份信息,根据识别特征生成闪光灯的控制信号以控制闪光灯的闪烁频率;
无人机通过所述摄像头或者夜视仪对目标对象进行跟踪拍摄,并根据目标对象所在区域的亮度变化来确定识别特征,以确定目标对象的身份信息;
所述根据目标对象所在区域的亮度变化来确定识别特征,具体包括:
按间隔抽取拍摄到的视频中的画面帧;
从所述画面帧中裁剪出目标所在区域,得到多个子图;
对所述子图进行亮度统计,以确定亮度变化曲线;
从所述亮度变化曲线的波形的频率确定识别特征,其中,所述识别特征是指闪烁频率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210859885.5A CN114937218B (zh) | 2022-07-22 | 2022-07-22 | 基于图像识别的电力设施巡检***和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210859885.5A CN114937218B (zh) | 2022-07-22 | 2022-07-22 | 基于图像识别的电力设施巡检***和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114937218A CN114937218A (zh) | 2022-08-23 |
CN114937218B true CN114937218B (zh) | 2022-10-21 |
Family
ID=82868444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210859885.5A Active CN114937218B (zh) | 2022-07-22 | 2022-07-22 | 基于图像识别的电力设施巡检***和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114937218B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116027798B (zh) * | 2022-09-30 | 2023-11-17 | 三峡大学 | 基于图像修正的无人机电力巡检***及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006253008A (ja) * | 2005-03-11 | 2006-09-21 | Matsushita Electric Ind Co Ltd | 放電ランプのフリッカー抑圧装置 |
CN103327179A (zh) * | 2013-06-03 | 2013-09-25 | 深圳市宝尔爱迪科技有限公司 | 手机灯语发送与识别***及实现方法 |
CN206058207U (zh) * | 2016-07-22 | 2017-03-29 | 浙江钧普科技股份有限公司 | 无线警用人员身份识别指示装置 |
CN107040888A (zh) * | 2017-02-27 | 2017-08-11 | 集美大学 | 基于射频的船舶身份自动识别与执法巡检***及方法 |
CN113810632A (zh) * | 2021-10-19 | 2021-12-17 | 深圳市迈测科技股份有限公司 | 红外成像装置及夜视仪 |
CN114580823A (zh) * | 2021-11-23 | 2022-06-03 | 国网甘肃省电力公司 | 一种基于变电站多方式融合的人机自然交互方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002171424A (ja) * | 2000-11-30 | 2002-06-14 | Nec Corp | 動画像処理方法、動画像処理装置および動画像表示装置 |
JP5804340B2 (ja) * | 2010-06-10 | 2015-11-04 | 株式会社島津製作所 | 放射線画像領域抽出装置、放射線画像領域抽出プログラム、放射線撮影装置および放射線画像領域抽出方法 |
US9324226B2 (en) * | 2013-03-15 | 2016-04-26 | Juan Enrique Cienfuegos | Post disaster lighting operation sequences system and method(s) for visually locating, identifying, distinguishing and tracking disaster victims |
JP6345697B2 (ja) * | 2013-12-27 | 2018-06-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報処理プログラム、受信プログラムおよび情報処理装置 |
CN109274984B (zh) * | 2018-10-16 | 2021-07-16 | 深圳开阳电子股份有限公司 | 检测视频序列中光源闪烁的方法、装置及图像处理设备 |
US11032486B2 (en) * | 2019-10-11 | 2021-06-08 | Google Llc | Reducing a flicker effect of multiple light sources in an image |
-
2022
- 2022-07-22 CN CN202210859885.5A patent/CN114937218B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006253008A (ja) * | 2005-03-11 | 2006-09-21 | Matsushita Electric Ind Co Ltd | 放電ランプのフリッカー抑圧装置 |
CN103327179A (zh) * | 2013-06-03 | 2013-09-25 | 深圳市宝尔爱迪科技有限公司 | 手机灯语发送与识别***及实现方法 |
CN206058207U (zh) * | 2016-07-22 | 2017-03-29 | 浙江钧普科技股份有限公司 | 无线警用人员身份识别指示装置 |
CN107040888A (zh) * | 2017-02-27 | 2017-08-11 | 集美大学 | 基于射频的船舶身份自动识别与执法巡检***及方法 |
CN113810632A (zh) * | 2021-10-19 | 2021-12-17 | 深圳市迈测科技股份有限公司 | 红外成像装置及夜视仪 |
CN114580823A (zh) * | 2021-11-23 | 2022-06-03 | 国网甘肃省电力公司 | 一种基于变电站多方式融合的人机自然交互方法 |
Non-Patent Citations (2)
Title |
---|
development of an autonomous bridge deck inspection robotic system;Hung M.La et al.;《JOURNAL OF FIELD ROBOTICS》;20170601;第1489-1504页 * |
基于无人机热红外遥感的地面人员检测模型研究;张继荣;《中国优秀硕士学位论文全文数据库 基础科学辑》;20200715(第07期);第A008-93页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114937218A (zh) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108802758B (zh) | 一种基于激光雷达的智能安防监控装置、方法和*** | |
KR101953342B1 (ko) | 멀티 센서 화재감지 방법 및 시스템 | |
CN111710055A (zh) | 便携式电力巡检设备及电力巡检方法、电力巡检*** | |
CN114937218B (zh) | 基于图像识别的电力设施巡检***和方法 | |
CN104698427B (zh) | 室外电能表故障自动检验方法 | |
CN102117484B (zh) | 使用图像色彩信息的处理***、处理方法与图像分类方法 | |
CN102915620B (zh) | 地质环境灾害视频监测方法 | |
CN108288289B (zh) | 一种用于可见光定位的led视觉检测方法及其*** | |
CN111695512B (zh) | 一种无人值守文物监测方法及装置 | |
CN112257554B (zh) | 基于多光谱的森林火灾识别方法、***、程序及存储介质 | |
CN201726494U (zh) | 利用图像色彩信息执行图像比对的装置与*** | |
CN110414486A (zh) | 一种红外可见光成像识别一体化设备及工作方法 | |
CN104316538A (zh) | 一种电缆包覆流程中闪缝检测方法及装置 | |
CN113095114A (zh) | 液压***漏油检测方法、装置和设备 | |
CN107147877A (zh) | 固定区域夜雾天况全天候彩***成像***及其构建方法 | |
CN111862621B (zh) | 多类型适配的黑烟车智能抓拍*** | |
CN113778091A (zh) | 一种风电场升压站设备巡检方法 | |
CN107330939B (zh) | 一种基于矿井巷道灯的可见光定位***及方法 | |
CN111127436B (zh) | 一种用于桥梁的位移检测预警方法 | |
CN109828891B (zh) | 一种故障指示灯识别方法 | |
CN111724605A (zh) | 黑烟车监测***及其监测方法 | |
KR101829274B1 (ko) | 비콘을 이용한 영상 보안 시스템 및 방법과 이를 위한 객체 관리 장치 | |
CN215298410U (zh) | 一种入侵识别*** | |
CN111102966A (zh) | 自动采集设备状态的方法 | |
CN109389866B (zh) | 一种检测无人机拍摄的***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |