CN108445767B - 一种基于无人机的可视化现场安全监督管理*** - Google Patents

一种基于无人机的可视化现场安全监督管理*** Download PDF

Info

Publication number
CN108445767B
CN108445767B CN201810467918.5A CN201810467918A CN108445767B CN 108445767 B CN108445767 B CN 108445767B CN 201810467918 A CN201810467918 A CN 201810467918A CN 108445767 B CN108445767 B CN 108445767B
Authority
CN
China
Prior art keywords
module
aerial vehicle
unmanned aerial
control
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810467918.5A
Other languages
English (en)
Other versions
CN108445767A (zh
Inventor
杨亚龙
朱徐来
张睿
方潜生
杨先锋
刘玉福
谢陈磊
刘为
洪德健
汪明月
张振亚
张毅
许强林
朱俊超
胡林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Jianzhu University
Original Assignee
Anhui Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Jianzhu University filed Critical Anhui Jianzhu University
Priority to CN201810467918.5A priority Critical patent/CN108445767B/zh
Publication of CN108445767A publication Critical patent/CN108445767A/zh
Application granted granted Critical
Publication of CN108445767B publication Critical patent/CN108445767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Alarm Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于无人机的可视化现场安全监督管理***，该***包括：无人机单元：用于实时采集数据信息，并监督现场安全；服务器单元：用于对无人机单元实时采集的数据进行存储，并及时作出对应控制指令操作；移动终端：用于辅助对无人机回传的数据进行存储并进行数据分析实时操作，并与服务器单元连接实现数据同步共享。本发明提供的基于无人机的可视化现场安全监督管理***，只要授权者通过移动终端或者服务器单元就可实现对无人机单元的控制，易于操作，自动化程度高。

Description

一种基于无人机的可视化现场安全监督管理***
技术领域
本发明涉及可视化现场安全监督管理技术领域，尤其涉及一种基于无人机的可视化现场安全监督管理***。
背景技术
目前我国建成六大电网，输电线路总长度超过了115万千米，500kV及以上的输电线路已成为各区电网输电主力。我国的国土幅员辽阔，地形也相对复杂，丘陵较多、平原较少，加上气象条件的复杂多变，给跨区电网和超高压输电线路工程的建设带来一定难度，加上建成之后的维护与保养，仅仅依靠现有的检查手段和常规测试并不能满足高效快速的要求，也不能达到很好的效果。而无人机技术的应用，能够很好完成线路巡检、线路架设和线路规划等任务，但目前在基建施工现场安全管控方面没有具体实施案例。
电网基建施工点多面广，建设单位为了对现场进行管理，投放了大量的人力对施工现场安全及质量进行监督管控。由于施工现场环境复杂，人员流动性高，人员素质水平有限，目前安徽送变电已经开发建设了一套施工现场安全实时管控***用于现场安全管理。***通过手持终端、无线球机以及监控中心组成了有效的管控模式，现已初有成效。但目前的管理模式还属于半自动管理模式。
发明内容
本发明的所要解决的技术问题在于现有技术还属于半自动管理模式的缺陷。
本发明是通过以下技术方案实现的：一种基于无人机的可视化现场安全监督管理***，该***包括：
无人机单元：用于实时采集数据信息，并监督现场安全；
服务器单元：用于对无人机单元实时采集的数据进行存储，并及时作出对应控制指令操作；
移动终端：用于辅助对无人机回传的数据进行存储并进行数据分析实时操作，并与服务器单元连接实现数据同步共享。
作为本发明的优选方式之一，所述无人机单元包括：无人机电源输出模块、飞行控制模块、摄像机云台单元、飞行数据采集模块、数据存储模块、4G无线传输模块、4G网络控制模块；所述飞行数据采集模块与数据存储模块连接，采集存储飞行状态数据及无人机设备参数；所述4G网络控制模块与云台控制模块、飞行控制模块连接，保障远程控制无人机的飞行，扩大无人机的飞行半径，以保障管理人员通过移动终端随时随地操控无人机飞行状态和摄像机云台状态；所述数据存储模块与飞行数据采集模块、视频采集模块连接，实时存储各模块采集的数据信息；所述4G无线传输模块与数据存储模块以及服务器端4G无线传输模块连接，将数据实时回传；所述无人机电源输出模块与各模块连接，为各模块供电。
作为本发明的优选方式之一，无人机单元还包括语音播放模块，所述语音播报模块与4G网络控制模块连接，用于播放后台喊话内容及发出告警通知。
作为本发明的优选方式之一，所述无人机单元还包括飞行验电模块，所述飞行验电模块与数据存储模块连接，用于自动避让高压带电线缆或物体，并及时通知相关施工人员远离危险源。
作为本发明的优选方式之一，所述摄像机云台单元包括视频采集模块、云台控制模块；所述视频采集模块与数据存储模块连接，用于直播和录像；所述云台控制模块与4G网络控制模块连接，用于对摄像机的角度进行控制。
作为本发明的优选方式之一，所述服务器单元包括：4G无线传输模块、数据存储模块、流媒体服务模块、飞行控制服务模块、智能分析服务模块、服务器电源输出模块；其中，所述服务器电源输出模块与其他各模块连接，为各模块供电；所述流媒体服务模块与数据存储模块连接，实时接收无人机推送的实时视频数据；所述智能分析服务模块与流媒体服务模块、数据存储模块连接，实时抓取现场的违章信息，并命令现场人员进行整改；所述飞行控制服务模块与数据存储模块连接，接收无人机回传的飞行数据，并将数据信息存储；所述4G无线传输模块与数据存储模块、无人机端的4G无线传输模块连接，实现实时数据通信与存储。
作为本发明的优选方式之一，所述智能分析服务模块实时抓取现场违章信息的方式具体为:通过基于深度学习的目标检测算法进行场景内基本目标单元的检测；检测算法包括以下步骤：
(1)将图像划分为S*S个格子，当一个目标的中心落入某个格子中，则该格子负责检测相应目标；
(2)每个格子预测B个bounding boxes，以及这些bounding boxes的置信值confidence scores，YOLO模型预测出每个bounding box时，即预测出了该bounding box的置信值，可以定义为
Figure BDA0001662481590000031
该值表明了该bounding box包含目标的可信度，以及该bounding box的可信度；
(3)训练模型时，当对应的格子中不包含目标，则该置信值等于0，否则，该置信值等于predicted box与ground truth的IOU，每个bounding box包含有5个值：x，y，w，h，confidence；其中，x，y表示bounding box的中心，w，h表示bounding box的宽、高，confidence表示bounding box与ground truth的IOU；该置信值是预测出的，并非实际计算所得，每个格子预测出C个条件概率Pr(Classi|Object)；
(4)测试时，将bounding box的置信度与类别概率相乘，得特定类的置信分数；该置信分数表示该类别出现在bounding box的概率，亦表示bounding box吻合目标的程度；计算公式具体如下：
Figure BDA0001662481590000041
作为本发明的优选方式之一，所述智能分析服务模块实时抓取现场违章信息的方式中，通过基于深度学习的目标检测算法进行场景内基本目标单元的检测后，再于行人检测的基础上，继续通过图像处理算法对安全帽和危险区域进行检测，步骤如下：
(1)对检测到的行人区域(x,y,w,h)，划定行人头部(w，w)的方形区域为行人头部，并将该区域内的像素由RGB空间转化为HSV空间；
(2)在该空间中，统计像素点落在给定的颜色区间中的比例；当该比例超过一定阈值，则判定行人正确佩戴安全帽；
(3)基于危险区域检测算法是在行人检测的基础上进行，因此，对于给定的危险区域(x0,y0,w0,h0)和检测到的行人区域(x,y,w,h)，根据平面几何原理，计算两者出现交集的情况，公式如下：
NOT(x0≤x+w AND x≤x0+w0AND y0≤y+h AND y≤y0+h0)；
(4)根据步骤(3)计算结果检测出行人是否进入安全区域并根据结果进行后续处理。
作为本发明的优选方式之一，所述飞行控制模块通过基于***误差加速度补偿的模糊PID控制算法和滑模控制相结合的方式实现对无人机飞行姿态的控制，从而保证***的抗风性和鲁棒性，有效提高飞行控制***的稳定性以及运行轨迹跟踪精度；
其中，所述模糊PID控制算法包括两部分：PID与模糊PID控制器；所述模糊PID控制器采集误差数据及误差变化情况，及时调节PID的三个参数，并作用于被控对象，所述模糊PID控制器包括输入输出量、模糊推理、执行机构以及控制对象，具体控制方法为：
(1)确定***的输入变量；
(2)按照选定的输入变量，确定模糊PID控制器的结构；
(3)对输入变量进行模糊化处理，将精确的输入量转化成模糊量；
(4)根据设定的模糊逻辑规则，经过模糊推理和反模糊化，将模糊量转化成控制对象的控制量；
(5)通过对自监督PID控制进行优化，融入自监督PID控制模型中形成高精度PID改进模型控制，实现无人机运行轨迹的自主监督控制；
所述无人机的参数矩阵采用下式表示:
Figure BDA0001662481590000051
其中M(q)，
Figure BDA0001662481590000052
和G0(q)代表名义模型参数矩阵，ΔM(q)、
Figure BDA0001662481590000053
和ΔG(q)表示模型误差，显示了模型参数的不确定性，因此无人机模型为：
Figure BDA0001662481590000054
上式中，
Figure BDA0001662481590000055
表示***在建模过程中出现的随机干扰及误差；假设qd∈Rn为有界轨迹，当该有界轨迹负荷要求n＝3，其速度和加速度则分别表示为
Figure BDA0001662481590000056
和
Figure BDA0001662481590000057
下式为其跟踪定义:
Figure BDA0001662481590000058
若影响建模的随机误差和干扰为已知，则利用基于反馈线性法设计理想的控制规律，表达式如下：
Figure BDA0001662481590000061
式(4)中λ1表示一组Hurwitz多项式的系数，将控制规律表达式(4)代入无人机模型式(2)中得出:
Figure BDA0001662481590000062
式(5)中，当t接近无穷大时，
Figure BDA0001662481590000063
无限接近于0，此时的qd可看成与q近似；
因此，通过式(5)监督自适应PID模型直观得出变量存在***误差e、误差变化率ec以及误差加速度的d(ec)，加速度调节因子表达式如下:
Figure BDA0001662481590000064
式(6)中，de(k)表示在时间为t时的误差变化率，dde(k)表示在时间为t时的误差加速度；
所述滑模控制为变结构的控制，采用切换开关，切换模型切换面两边的结构，使得***按照规定的状态轨迹运动，具体公式如下：
假设某非线性***：
Figure BDA0001662481590000065
上式中x∈Rn,u∈R,t∈R,,选定滑模切换函数s(x)，输入量按照式(7)关系切换时；
Figure BDA0001662481590000066
式(7)满足以下条件：
(1)满足滑模到达条件：要求滑模切换函数的导数收敛于零，即滑模切换的相轨迹与有限的时间内到达滑模平面；
(2)切换平面存在滑动模态区，即s(x)＝0时；
(3)***在滑模面上的运动动态性能较好，满足李雅普诺夫稳定条件。
作为本发明的优选方式之一，当所述服务器单元与无人机连接并实时操作时，默认设置移动终端无法与无人机(4G无线传输模块)连接；当移动终端与无人机(4G无线传输模块)连接时，默认设置服务器单元无法与无人机单元连接
本发明相比现有技术的优点在于：(1)本发明提供的基于无人机的可视化现场安全监督管理***，只要授权者通过移动终端或者服务器单元就可实现对无人机单元的控制，易于操作，自动化程度高；(2)本发明具备易改造、易扩展的能力；特别是***中将原有的无人机自带网络控制模块升级为4G网络控制模块，保证***稳定性和控制性能，以保障能够远程控制无人机的飞行，扩大无人机的飞行半径，从而保障了管理人员可通过移动终端随时随地操控无人机飞行状态和摄像机的云台状态；飞行控制模块基于基于***误差加速度补偿的模糊PID控制算法和滑模控制算法的结合，保证飞行控制***的抗风性和鲁棒性，有效提高飞行控制***的稳定性以及运行轨迹跟踪精度；(3)本发明对无人机的5.8G模拟图像传输模块进行改造升级为4G网络数据传输模块，确保视频能够实时流畅的传输；利用4G网络与无人机的数据采集模块和视频采集模块结合，将无人机的飞行状态数据、设备参数(发动机、机载电源***、任务设备的工作状态)以及搭载的摄像机视频信号实时传输到***平台，使管理人员即时掌握飞行状态和远端的现场视频；(4)本发明可通过4G网络可以远程的控制摄像机的云台装置，使其能够进行镜头的放大缩小、摄像头的上下左右旋转操作、镜头的变倍变焦等操作，以满足施工现场各种监控管理的需求；同时也可以针对重点作业部位或违章现场通过无人机进行视频的抓拍和录像，通过基于深度学习的目标检测算法(YOLO)进行场景内基本目标单元(行人)的检测，进而判断违规现象并做出反馈；(5)本发明实现远程操作无人机、远程控制视频云台、电量监控、定点充电、飞行数据及影像数据实时回传、违章识别，异常情况双向报警。
附图说明
图1是本发明的***框图；
图2是本发明的模糊PID控制器结构框图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示：一种基于无人机的可视化现场安全监督管理***，该***包括：
无人机单元：用于实时采集数据信息，并监督现场安全；其中包括无人机电源输出模块、飞行控制模块、摄像机云台单元、飞行数据采集模块、数据存储模块、4G无线传输模块、4G网络控制模块；所述飞行数据采集模块与数据存储模块连接，采集存储飞行状态数据及无人机设备参数；所述4G网络控制模块与云台控制模块、飞行控制模块连接，保障远程控制无人机的飞行，扩大无人机的飞行半径，以保障管理人员通过移动终端随时随地操控无人机飞行状态和摄像机云台状态；所述数据存储模块与飞行数据采集模块、视频采集模块连接，实时存储各模块采集的数据信息；所述4G无线传输模块与数据存储模块以及服务器端4G无线传输模块连接，将数据实时回传；所述无人机电源输出模块与各模块连接，为各模块供电；
服务器单元：用于对无人机单元实时采集的数据进行存储，并及时作出对应控制指令操作；其中包括4G无线传输模块、数据存储模块、流媒体服务模块、飞行控制服务模块、智能分析服务模块、服务器电源输出模块；其中，所述服务器电源输出模块与其他各模块连接，为各模块供电；所述流媒体服务模块与数据存储模块连接，实时接收无人机推送的实时视频数据；所述智能分析服务模块与流媒体服务模块、数据存储模块连接，实时抓取现场的违章信息，并命令现场人员进行整改；所述飞行控制服务模块与数据存储模块连接，接收无人机回传的飞行数据，并将数据信息存储；所述4G无线传输模块与数据存储模块、无人机端的4G无线传输模块连接，实现实时数据通信与存储；
移动终端：用于辅助对无人机回传的数据进行存储并进行数据分析实时操作，并与服务器单元连接实现数据同步共享。
为了更好的通过无人机监督现场安全，作为本发明的优选方式之一，所述无人机单元还包括语音播放模块，所述语音播报模块与4G网络控制模块连接，播放后台喊话内容及发出告警通知。
为了提高无人机的安全性，作为本发明的优选方式之一，所述无人机单元还包括飞行验电模块，所述飞行验电模块与数据存储模块连接，可自动进行避让高压带电线缆或物体，并及时的通知相关施工人员远离危险源。
作为本发明的优选方式之一，所述摄像机云台单元包括视频采集模块、云台控制模块；所述视频采集模块与数据存储模块连接，用于直播和录像；所述云台控制模块与4G网络控制模块连接，用于对摄像机的角度进行控制。
作为本发明的优选方式之一，所述智能分析服务模块实时抓取现场违章信息的方式具体为:通过基于深度学习的目标检测算法进行场景内基本目标单元的检测；检测算法包括以下步骤：
(1)将图像划分为S*S个格子，当一个目标的中心落入某个格子中，则该格子负责检测相应目标；
(2)每个格子预测B个bounding boxes，以及这些bounding boxes的置信值confidence scores，YOLO模型预测出每个bounding box时，即预测出了该bounding box的置信值，可以定义为
Figure BDA0001662481590000101
该值表明了该bounding box包含目标的可信度，以及该bounding box的可信度；
(3)训练模型时，当对应的格子中不包含目标，则该置信值等于0，否则，该置信值等于predicted box与ground truth的IOU，每个bounding box包含有5个值：x，y，w，h，confidence；其中，x，y表示bounding box的中心，w，h表示bounding box的宽、高，confidence表示bounding box与ground truth的IOU；该置信值是预测出的，并非实际计算所得，每个格子预测出C个条件概率Pr(Classi|Object)；
(4)测试时，将bounding box的置信度与类别概率相乘，得特定类的置信分数；该置信分数表示该类别出现在bounding box的概率，亦表示bounding box吻合目标的程度；计算公式具体如下：
Figure BDA0001662481590000102
该算法流程简单，速度很快，可以实现实时检测，比其他目标检测算法的准确率高很多。
作为本发明的优选方式之一，所述智能分析服务模块实时抓取现场违章信息的方式中，通过基于深度学习的目标检测算法进行场景内基本目标单元的检测后，再于行人检测的基础上，继续通过图像处理算法对安全帽和危险区域进行检测，步骤如下：
(1)对检测到的行人区域(x,y,w,h)，划定行人头部(w，w)的方形区域为行人头部，并将该区域内的像素由RGB空间转化为HSV空间；
(2)在该空间中，统计像素点落在给定的颜色区间中的比例；当该比例超过一定阈值，则判定行人正确佩戴安全帽；
(3)基于危险区域检测算法是在行人检测的基础上进行，因此，对于给定的危险区域(x0,y0,w0,h0)和检测到的行人区域(x,y,w,h)，根据平面几何原理，计算两者出现交集的情况，公式如下：
NOT(x0≤x+w AND x≤x0+w0AND y0≤y+h AND y≤y0+h0)；
(4)根据步骤(3)计算结果检测出行人是否进入安全区域并根据结果进行后续处理。
为了提高***的稳定性和鲁棒性，作为本发明的优选方式之一，所述飞行控制模块通过基于***误差加速度补偿的模糊PID控制算法和滑模控制相结合的方式实现对无人机飞行姿态的控制，从而保证***的抗风性和鲁棒性，有效提高飞行控制***的稳定性以及运行轨迹跟踪精度；
其中，所述模糊PID控制算法包括两部分：PID与模糊PID控制器；所述模糊PID控制器采集误差数据及误差变化情况，及时调节PID的三个参数，并作用于被控对象，如图2所示：模糊PID控制器包括输入输出量、模糊推理、执行机构以及控制对象，具体控制方法为：
(1)确定***的输入变量；
(2)按照选定的输入变量，确定模糊PID控制器的结构；
(3)对输入变量进行模糊化处理，将精确的输入量转化成模糊量；
(4)根据设定的模糊逻辑规则，经过模糊推理和反模糊化，将模糊量转化成控制对象的控制量；
(5)通过对自监督PID控制进行优化，融入自监督PID控制模型中形成高精度PID改进模型控制，实现无人机运行轨迹的自主监督控制；
所述无人机的参数矩阵采用下式表示:
Figure BDA0001662481590000121
其中M(q)，
Figure BDA0001662481590000122
和G0(q)代表名义模型参数矩阵，ΔM(q)、
Figure BDA0001662481590000123
和ΔG(q)表示模型误差，显示了模型参数的不确定性，因此无人机模型为：
Figure BDA0001662481590000124
上式中，
Figure BDA0001662481590000125
表示***在建模过程中出现的随机干扰及误差；假设qd∈Rn为有界轨迹，当该有界轨迹负荷要求n＝3，其速度和加速度则分别表示为
Figure BDA0001662481590000126
和
Figure BDA0001662481590000127
下式为其跟踪定义:
Figure BDA0001662481590000128
若影响建模的随机误差和干扰为已知，则利用基于反馈线性法设计理想的控制规律，表达式如下：
Figure BDA0001662481590000129
式(4)中λ1表示一组Hurwitz多项式的系数，将控制规律表达式(4)代入无人机模型式(2)中得出:
Figure BDA00016624815900001210
式(5)中，当t接近无穷大时，
Figure BDA00016624815900001211
无限接近于0，此时的qd可看成与q近似；
因此，通过式(5)监督自适应PID模型直观得出变量存在***误差e、误差变化率ec以及误差加速度的d(ec)，加速度调节因子表达式如下:
Figure BDA00016624815900001212
式(6)中，de(k)表示在时间为t时的误差变化率，dde(k)表示在时间为t时的误差加速度；；
采用基于误差加速度的模糊补偿方法，对无人机监督自适应PID模型实施改进，得到高精度的PID改进模型，提高机器人轨迹控制的精确度，与监督自适应PID结构相似，不同的是输出变量的不同，基于加速度的模糊补偿原理得到加速度调节因子R(k)和误差绝对值|e|；监督自适应PID结构的输出变量为Rp、Ri和Rd，基于误差加速度的模糊补偿能反映***响应情况，进而使监督自适应PID模型更精确地进行控制。
滑模控制又叫滑模变结构控制，其主要思想是***从设定状态出发，在有限的时间内达到滑模面，并在滑模面产生滑动运动，最后到达平衡点；滑模控制对具体模型依赖程度较低，抗干扰能力强，被广泛运用在非线性***控制中。
所述滑模控制为变结构的控制，采用切换开关，切换模型切换面两边的结构，使得***按照规定的状态轨迹运动，具体公式如下：
假设某非线性***：
Figure BDA0001662481590000131
上式中x∈Rn,u∈R,t∈R,,选定滑模切换函数s(x)，输入量按照式(7)关系切换时；
Figure BDA0001662481590000132
式(7)满足以下条件：
(1)满足滑模到达条件：要求滑模切换函数的导数收敛于零，即滑模切换的相轨迹与有限的时间内到达滑模平面；
(2)切换平面存在滑动模态区，即s(x)＝0时；
(3)***在滑模面上的运动动态性能较好，满足李雅普诺夫稳定条件。
通过此两种算法的结合，保证***的抗风性和鲁棒性，有效提高飞行控制***的稳定性以及运行轨迹追踪精度。
为了保持***的稳定性，作为本发明的优选方式之一，当所述服务器单元与无人机连接并实时操作时，默认设置移动终端无法与无人机(4G无线传输模块)连接；当移动终端与无人机(4G无线传输模块)连接时，默认设置服务器单元无法与无人机单元连接
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于无人机的可视化现场安全监督管理***，其特征在于，该***包括：
无人机单元：用于实时采集数据信息，并监督现场安全；
服务器单元：用于对无人机单元实时采集的数据进行存储，并及时作出对应控制指令操作；
移动终端：用于辅助对无人机回传的数据进行存储并进行数据分析实时操作，并与服务器单元连接实现数据同步共享；
所述服务器单元包括：4G无线传输模块、数据存储模块、流媒体服务模块、飞行控制服务模块、智能分析服务模块、服务器电源输出模块；其中，所述服务器电源输出模块与其他各模块连接，为各模块供电；所述流媒体服务模块与数据存储模块连接，实时接收无人机推送的实时视频数据；所述智能分析服务模块与流媒体服务模块、数据存储模块连接，实时抓取现场的违章信息，并命令现场人员进行整改；所述飞行控制服务模块与数据存储模块连接，接收无人机回传的飞行数据，并将数据信息存储；所述4G无线传输模块与数据存储模块、无人机端的4G无线传输模块连接，实现实时数据通信与存储；
所述智能分析服务模块实时抓取现场违章信息的方式具体为:通过基于深度学习的目标检测算法进行场景内基本目标单元的检测；检测算法包括以下步骤：
(1)将图像划分为S*S个格子，当一个目标的中心落入某个格子中，则该格子负责检测相应目标；
(2)每个格子预测B个bounding boxes，以及这些bounding boxes的置信值confidencescores，YOLO模型预测出每个bounding box时，即预测出了该bounding box的置信值，可以定义为
Figure FDA0002981119010000011
该值表明了该bounding box包含目标的可信度，以及该bounding box的可信度；
(3)训练模型时，当对应的格子中不包含目标，则该置信值等于0，否则，该置信值等于predicted box与ground truth的IOU，每个bounding box包含有5个值：x，y，w，h，confidence；其中，x，y表示bounding box的中心，w，h表示bounding box的宽、高，confidence表示bounding box与ground truth的IOU；该置信值是预测出的，并非实际计算所得，每个格子预测出C个条件概率Pr(Classi|Object)；
(4)测试时，将bounding box的置信度与类别概率相乘，得特定类的置信分数；该置信分数表示该类别出现在bounding box的概率，亦表示bounding box吻合目标的程度；计算公式具体如下：
Figure FDA0002981119010000021
所述智能分析服务模块实时抓取现场违章信息的方式中，通过基于深度学习的目标检测算法进行场景内基本目标单元的检测后，再于行人检测的基础上，继续通过图像处理算法对安全帽和危险区域进行检测，步骤如下：
(1)对检测到的行人区域(x,y,w,h)，划定行人头部(w，w)的方形区域为行人头部，并将该区域内的像素由RGB空间转化为HSV空间；
(2)在该空间中，统计像素点落在给定的颜色区间中的比例；当该比例超过一定阈值，则判定行人正确佩戴安全帽；
(3)基于危险区域检测算法是在行人检测的基础上进行，因此，对于给定的危险区域(x0,y0,w0,h0)和检测到的行人区域(x,y,w,h)，根据平面几何原理，计算两者出现交集的情况，公式如下：
NOT(x0≤x+w AND x≤x0+w0 ANDy0≤y+h ANDy≤y0+h0)；
(4)根据步骤(3)计算结果检测出行人是否进入安全区域并根据结果进行后续处理。
2.根据权利要求1所述的基于无人机的可视化现场安全监督管理***，其特征在于，所述无人机单元包括：无人机电源输出模块、飞行控制模块、摄像机云台单元、飞行数据采集模块、数据存储模块、4G无线传输模块、4G网络控制模块；所述摄像机云台单元包括视频采集模块、云台控制模块；所述飞行数据采集模块与数据存储模块连接，采集存储飞行状态数据及无人机设备参数；所述4G网络控制模块与云台控制模块、飞行控制模块连接；所述数据存储模块与飞行数据采集模块、视频采集模块连接，实时存储各模块采集的数据信息；所述4G无线传输模块与数据存储模块以及服务器端4G无线传输模块连接，将数据实时回传；所述无人机电源输出模块与各模块连接，为各模块供电。
3.根据权利要求2所述的基于无人机的可视化现场安全监督管理***，其特征在于，所述无人机单元还包括语音播放模块，所述语音播报模块与4G网络控制模块连接，用于播放后台喊话内容及发出告警通知。
4.根据权利要求2所述的基于无人机的可视化现场安全监督管理***，其特征在于，所述无人机单元还包括飞行验电模块，所述飞行验电模块与数据存储模块连接，用于自动避让高压带电线缆或物体，并及时通知相关施工人员远离危险源。
5.根据权利要求2所述的基于无人机的可视化现场安全监督管理***，其特征在于，所述视频采集模块与数据存储模块连接，用于直播和录像；所述云台控制模块与4G网络控制模块连接，用于对摄像机的角度进行控制。
6.根据权利要求1所述的基于无人机的可视化现场安全监督管理***，其特征在于，所述飞行控制模块通过基于***误差加速度补偿的模糊PID控制算法和滑模控制相结合的方式实现对无人机飞行姿态的控制；
其中，所述模糊PID控制算法包括两部分：PID与模糊PID控制器；所述模糊PID控制器采集误差数据及误差变化情况，及时调节PID的三个参数，并作用于被控对象，所述模糊PID控制器包括输入输出量、模糊推理、执行机构以及控制对象，具体控制方法为：
(1)确定***的输入变量；
(2)按照选定的输入变量，确定模糊PID控制器的结构；
(3)对输入变量进行模糊化处理，将精确的输入变量转化成模糊量；
(4)根据设定的模糊逻辑规则，经过模糊推理和反模糊化，将模糊量转化成控制对象的控制量；
(5)通过对自监督PID控制进行优化，融入自监督PID控制模型中形成高精度PID改进模型控制，实现无人机运行轨迹的自主监督控制；
所述无人机的参数矩阵采用下式表示:
Figure FDA0002981119010000041
其中M(q)，
Figure FDA0002981119010000042
和G0(q)代表名义模型参数矩阵，ΔM(q)、
Figure FDA0002981119010000043
和ΔG(q)表示模型误差，显示了模型参数的不确定性，因此无人机模型为：
Figure FDA0002981119010000044
上式中，
Figure FDA0002981119010000045
表示***在建模过程中出现的随机干扰及误差；假设qd∈Rn为有界轨迹，当该有界轨迹负荷要求n＝3，其速度和加速度则分别表示为
Figure FDA0002981119010000046
下式为其跟踪定义:
Figure FDA0002981119010000047
若影响建模的随机误差和干扰为已知，则利用基于反馈线性法设计理想的控制规律，表达式如下：
Figure FDA0002981119010000051
式(4)中λ1表示一组Hurwitz多项式的系数，将控制规律表达式(4)代入无人机模型式(2)中得出:
Figure FDA0002981119010000052
式(5)中，当t接近无穷大时，
Figure FDA0002981119010000053
无限接近于0，此时的qd可看成与q近似；
因此，通过式(5)监督自适应PID模型直观得出变量存在***误差e、误差变化率ec以及误差加速度dec(k)，加速度调节因子表达式如下:
Figure FDA0002981119010000054
式(6)中，de(k)表示在时间为t时的误差变化率，dde(k)表示在时间为t时的误差加速度；
所述滑模控制为变结构的控制，采用切换开关，切换模型切换面两边的结构，使得***按照规定的状态轨迹运动，具体公式如下：
假设某非线性***：
Figure FDA0002981119010000055
上式中x∈Rn,u∈R,t∈R,,选定滑模切换函数s(x)，输入量按照式(7)关系切换时；
Figure FDA0002981119010000056
式(7)满足以下条件：
(1)满足滑模到达条件：要求滑模切换函数的导数收敛于零，即滑模切换的相轨迹与有限的时间内到达滑模平面；
(2)切换平面存在滑动模态区，即s(x)＝0时；
(3)***在滑模面上的运动动态性能较好，满足李雅普诺夫稳定条件。
7.根据权利要求1-6任一所述的基于无人机的可视化现场安全监督管理***，其特征在于，当所述服务器单元与无人机连接并实时操作时，默认设置移动终端无法与无人机连接；当移动终端与无人机连接时，默认设置服务器单元无法与无人机单元连接。
CN201810467918.5A 2018-05-16 2018-05-16 一种基于无人机的可视化现场安全监督管理*** Active CN108445767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810467918.5A CN108445767B (zh) 2018-05-16 2018-05-16 一种基于无人机的可视化现场安全监督管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810467918.5A CN108445767B (zh) 2018-05-16 2018-05-16 一种基于无人机的可视化现场安全监督管理***

Publications (2)

Publication Number Publication Date
CN108445767A CN108445767A (zh) 2018-08-24
CN108445767B true CN108445767B (zh) 2021-04-27

Family

ID=63204229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810467918.5A Active CN108445767B (zh) 2018-05-16 2018-05-16 一种基于无人机的可视化现场安全监督管理***

Country Status (1)

Country Link
CN (1) CN108445767B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559006A (zh) * 2018-09-19 2019-04-02 中建科技有限公司深圳分公司 一种基于无人机的施工现场的监控方法、装置及终端设备
CN109558783A (zh) * 2018-09-20 2019-04-02 中建科技有限公司深圳分公司 一种用于建筑施工现场的违规检测方法、***及设备
WO2020056677A1 (zh) * 2018-09-20 2020-03-26 中建科技有限公司深圳分公司 一种用于建筑施工现场的违规检测方法、***及设备
CN109358654B (zh) * 2018-11-16 2022-03-29 江苏科技大学 一种水空两栖搜救支援无人飞行器***
CN109712453A (zh) * 2019-02-28 2019-05-03 安徽腾策网络科技有限公司 一种基于大数据的软件培训管理***
CN109870910A (zh) * 2019-03-02 2019-06-11 哈尔滨理工大学 一种基于滑膜控制的飞行器控制方法
CN110147114A (zh) * 2019-05-30 2019-08-20 国网福建省电力有限公司莆田供电公司 一种基于无人机辅助的现场违章监测***及方法
CN111741254B (zh) * 2020-05-13 2022-03-25 苏州锦添科技产业发展有限公司 一种基于无人机信息终端的可视化数字孪生高端装备***
CN111614969A (zh) * 2020-05-14 2020-09-01 深圳供电局有限公司 无人机巡视视频直播方法及***
CN112214029A (zh) * 2020-09-10 2021-01-12 江苏久飞智能科技有限公司 一种电力巡检无人机机载soa型任务管理计算控制***
CN112700225A (zh) * 2021-01-07 2021-04-23 湖南联智科技股份有限公司 一种用于无人机巡航监测平台管理的技术架构
CN112804547B (zh) * 2021-01-07 2022-08-23 河北交通职业技术学院 一种基于无人机vr摄像的交互式直播***
CN115454138B (zh) * 2022-10-11 2023-04-18 众芯汉创（北京）科技有限公司 一种基于无人机图像识别技术的施工违章判定方法和***
CN116012787A (zh) * 2023-01-10 2023-04-25 山东高速建设管理集团有限公司 一种基于高空气球与无人机蜂群的安全监测方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202632112U (zh) * 2012-06-29 2012-12-26 山东电力集团公司电力科学研究院 一种用于无人机巡检带电导线的电场差分避障***
CN103135550A (zh) * 2013-01-31 2013-06-05 南京航空航天大学 用于电力巡线的无人机多重避障控制方法
CN104898596A (zh) * 2015-04-02 2015-09-09 中国石油大学(华东) 现场用多功能安全监督综合管理***
CN106791712A (zh) * 2017-02-16 2017-05-31 周欣 一种建筑工地的监控***及方法
CN206322023U (zh) * 2016-11-25 2017-07-11 武汉理工大学 一种无人机别墅小区违章搭建监控装置
CN107274510A (zh) * 2017-06-08 2017-10-20 广东容祺智能科技有限公司 一种基于电磁避障的无人机电力巡检***
CN107450589A (zh) * 2017-07-25 2017-12-08 广东容祺智能科技有限公司 一种基于无人机的建筑施工安全巡视与预警***
CN107734296A (zh) * 2017-09-30 2018-02-23 贵州电网有限责任公司铜仁供电局 一种基建现场无人机监控***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202632112U (zh) * 2012-06-29 2012-12-26 山东电力集团公司电力科学研究院 一种用于无人机巡检带电导线的电场差分避障***
CN103135550A (zh) * 2013-01-31 2013-06-05 南京航空航天大学 用于电力巡线的无人机多重避障控制方法
CN104898596A (zh) * 2015-04-02 2015-09-09 中国石油大学(华东) 现场用多功能安全监督综合管理***
CN206322023U (zh) * 2016-11-25 2017-07-11 武汉理工大学 一种无人机别墅小区违章搭建监控装置
CN106791712A (zh) * 2017-02-16 2017-05-31 周欣 一种建筑工地的监控***及方法
CN107274510A (zh) * 2017-06-08 2017-10-20 广东容祺智能科技有限公司 一种基于电磁避障的无人机电力巡检***
CN107450589A (zh) * 2017-07-25 2017-12-08 广东容祺智能科技有限公司 一种基于无人机的建筑施工安全巡视与预警***
CN107734296A (zh) * 2017-09-30 2018-02-23 贵州电网有限责任公司铜仁供电局 一种基建现场无人机监控***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
无人机在建筑施工现场的应用研究;李彩霞;《中国优秀硕士学位论文全文数据库（电子期刊）》;20170215(第02期);第C038-2251页 *
李彩霞.无人机在建筑施工现场的应用研究.《中国优秀硕士学位论文全文数据库（电子期刊）》.2017,(第02期),第C038-2251页. *

Also Published As

Publication number Publication date
CN108445767A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN108445767B (zh) 一种基于无人机的可视化现场安全监督管理***
CN110488841B (zh) 基于智能机器人的变电设备联合巡检***及其应用方法
CN112910094B (zh) 基于泛在电力物联网的变电站远方自动巡检***及方法
CN108189043B (zh) 一种应用于高铁机房的巡检方法及巡检机器人***
US11561251B2 (en) Remote autonomous inspection of utility system components utilizing drones and rovers
CN109284739B (zh) 一种基于深度学习的输电线路防外力破坏预警方法及***
US7109875B2 (en) Sensor network system managing method, sensor network system managing program, storage medium containing sensor network system managing program, sensor network system managing device, relay network managing method, relay network managing program, storage medium containing relay network managing program, and relay network managing device
CN109861387B (zh) 一种变电站智能巡检***
CN116755474A (zh) 一种无人机用电力巡线方法及***
CN114250471A (zh) 一种油气智慧管道架构下的阴极保护电位随动控制***
CN106546703A (zh) 大气质量监测***、方法及装置
CN114510077A (zh) 无人机杆路巡检的路线规划方法及装置、计算机存储介质
CN114115020A (zh) 一种无人机高度智能控制***及其控制方法
CN115271113A (zh) 抽水蓄能电站施工过程智能巡查方法
CN116360440A (zh) 无人船地面站交互***
CN117111660A (zh) 一种无人值守智能粮仓***及方法
CN114663818B (zh) 基于视觉自监督学习机场运行核心区监测预警***及方法
CN117030032A (zh) 一种设备部件测温方法、装置、电子设备和存储介质
CN205911826U (zh) 一种应用于变电站的开放式数字化综合自动化***
CN113541314A (zh) 一种变电站联合巡检***及其控制方法
CN110430437B (zh) 遥视***自适应云端存储方法
CN113485368A (zh) 一种架空输电线路巡线机器人导航、巡线方法及装置
CN114202910A (zh) 仪表识别装置、仪表监控***及其监控方法
CN110989686A (zh) 无人机与变电站执行机构交互方法及***
CN117970822B (zh) 一种自动化无人加氢***及其加氢方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant