CN111898563A - 一种保护区安全综合监护装备与监护方法 - Google Patents
一种保护区安全综合监护装备与监护方法 Download PDFInfo
- Publication number
- CN111898563A CN111898563A CN202010770673.0A CN202010770673A CN111898563A CN 111898563 A CN111898563 A CN 111898563A CN 202010770673 A CN202010770673 A CN 202010770673A CN 111898563 A CN111898563 A CN 111898563A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- unmanned aerial
- aerial vehicle
- image
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000010276 construction Methods 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000007689 inspection Methods 0.000 claims abstract description 25
- 238000012806 monitoring device Methods 0.000 claims abstract description 9
- 238000013523 data management Methods 0.000 claims abstract description 8
- 238000013136 deep learning model Methods 0.000 claims abstract description 4
- 238000004891 communication Methods 0.000 claims description 28
- 238000001931 thermography Methods 0.000 claims description 23
- 238000012216 screening Methods 0.000 claims description 17
- 230000005236 sound signal Effects 0.000 claims description 11
- 230000001133 acceleration Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000005553 drilling Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 238000009412 basement excavation Methods 0.000 claims description 3
- 230000036760 body temperature Effects 0.000 claims description 3
- 238000010438 heat treatment Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000009194 climbing Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 239000011800 void material Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 239000002689 soil Substances 0.000 description 4
- 239000006096 absorbing agent Substances 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 238000003756 stirring Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本发明涉及一种保护区安全综合监护装备与监护方法，主要解决现有施工监控存在无法全方位监控以及需要人工干预等技术问题。本发明装备包括定点监控***、日常巡检车、无人机监控***和云端处理***；其中所述定点监控***、日常巡检车和无人机监控***联合对保护区进行多维度数据采集和前端数据处理，云端处理***接收采集***的数据，并利用深度学***台和手机终端发送违规作业类型及相关信息。与现有技术相比，本发明融合多***进行不同视角数据采集，结合前后端进行违规作业识别，具有全方位数据采集、多层次数据处理、识别精度高和监控无死角等优点。
Description
技术领域
本发明涉及一种保护区安全综合监护装备与监护方法，特别是公开一种隧道、管廊等地下工程的地面保护区安全综合监护装备与监护方法，应用于保护区安全监护领域。
背景技术
传统的现场安全监护措施主要有：一是依靠工作人员的现场巡检；二是固定位置安装监控相机采集视频图像信息，然后后台工作人员通过屏幕进行现场监控。由于施工现场范围较大，少量的监控人员流动巡检难以满足全方位的实时监控需要，而在固定位置安装视频监控难以监视现场人员施工作业，且后台观看人员易出现疲劳漏检的问题，夜间和凌晨时段以上问题尤为突出，同时对不同作业类型无有效管理，预警方式单一、滞后。
实用新型《可移动道路施工监控***》（CN201721547496.X）提供了一种由风力发电***、光伏发电***、无线视频监控***、扬尘噪声风力信息检测***和蓄能***组成的可移动施工监控方法；实用新型《一种工地施工监控***》（CN201820161951.0）提出一种基于主机单元、供电单元和客户端的模块化施工监控***。但是上述专利存在以下问题：1、只能从单一视角和高度对施工局部进行监控，无法实时对施工现场进行全方位监控；2、现场违规行为的判断需后期人工参与，增加监控成本的同时难以保证判断准确率；3、无自动预警功能，违规预警仍需人工参与。
综上，迫切需要一种全局监控、高自动化、智能化、具备自动预警的保护区安全综合监护装备与监护方法。
发明内容
本发明的目的是提供的一种保护区安全综合监护装备与监护方法。主要解决现有施工监控存在的无法全方位监控以及需要人工干预等技术问题。
本发明的目的可以通过以下技术方案来实现：
一种保护区安全综合监护装备，包括定点监控***、日常巡检车、无人机监控***和云端处理***，定点监控***、日常巡检车、无人机监控***与云端处理***通过网络连接，所述定点监控***、日常巡检车和无人机监控***联合进行视频、声音、振动多源信号采集，所述云端处理***部署在云端服务器，存储定点监控***、日常巡检车和无人机监控***的前端数据处理结果，并基于预训练的深度学***台和手机终端。
一种保护区安全综合监护方法，步骤如下：
S1、针对定点监控***，基于分割算法筛选包含小型施工机械的可见光图像；
S2、利用日常巡检车的红外热成像图像，筛选包含施工人员的可见光图像；
S3、对无人机单次巡检图像进行无缝拼接，生成保护区全景图像；
S4、基于模型
，对筛选后的可见光图像进行施工人员和小型施工机械识别；
S5、基于模型
，对拼接后的全景图像进行大型施工机械识别和定位；
S6、结合振动信号和声音信号强度变化，对大型施工机械识别结果进行修正。
本发明进一步改进在于，所述定点监控***包括视频模块、声音模块、振动模块、微处理模块、声光报警模块和采集立杆，固定安装在保护区内，对保护区内小型推土机和小型钻机等小型施工机械进行24小时全方位监控。
进一步的，所述视频模块包括安装在采集立杆横臂末端的监控云台和高清摄像机，与微处理模块相连，所述监控云台的水平旋转角度不小于180°，所述的高清摄像机监控画面覆盖整个保护区范围；所述采集立杆高度为H，安装后的视频模块监控小型施工机械不受遮挡。
进一步的，所述声音模块采用户外拾音器，最远拾音范围30m，拾音器安装在采集立杆高度0.5H处。
进一步的，所述振动模块包括一个加速度传感器和时程记录仪，加速度传感器在保护区的中心安装，检测整个保护区范围的振动信号，与时程记录仪连接，对数据进行采集记录，时程记录仪与微处理模块相连。
进一步的，所述微处理模块包括FPGA图像处理单元、4G/5G通讯单元和ARM控制器，所述FPGA图像处理单元与ARM控制器连接，基于分割算法筛选包含小型施工机械的可见光图像，所述4G/5G通讯单元与ARM控制器连接，用于把筛选后的数据发送到云端处理***，所述的基于分割算法筛选包含小型施工机械的可见光图像具体步骤如下：
（1）Vibe算法分割可见光图像，得到二值化图像
；
（2）统计
中前景所占的图像面积；
（3）根据阈值
筛选存在小型施工机械的可见光图像。
进一步的，所述声光报警模块包含LED警示灯和扩音器，LED警示灯可显示红黄绿三种颜色，和扩音器一同安装在采集立杆横臂的中间位置。
本发明进一步改进在于，所述日常巡检车包括车辆载体、影像采集模块、车载微处理模块，日常巡检车在保护区内进行周期性或不定期巡检，对施工人员是否佩戴安全帽、是否穿反光衣等人员行为进行监控。
进一步的，所述车辆载体为小轿车，搭载影像采集设备在保护区内进行多线路移动巡查。
进一步的，所述的影像采集模块包括固定在车辆载体顶部的车载云台、车载高清摄像机和车载红外热成像摄像机，所述车载云台安装在车辆前进方向的左右两侧，每个车载云台的底部采用减振器固定在车辆载体上，所述的车载高清摄像机和车载红外热成像摄像机并排安装在车载云台上，通过车载云台的旋转每个车载高清摄像机和车载红外热成像摄像机负责180°的监测范围。
进一步的，所述的车载微处理模块包括车载FPGA图像处理单元、车载4G/5G通讯单元和车载ARM控制器，车载FPGA图像处理单元与车载ARM控制器连接，利用日常巡检车的红外热成像图像，筛选包含施工人员的可见光图像，所述车载4G/5G通讯单元与车载ARM控制器连接，用于把筛选后的数据发送到云端处理***，所述的利用日常巡检车的红外热成像图像，筛选包含施工人员的可见光图像具体步骤如下：
（1）将时刻
拍摄的彩色红外热成像图像转换成灰度图像
；
（2）根据人体温度在红外热成像图像中的灰度值设定阈值
；
（3）根据下列公式分割灰度图像
的高温区域得到二值图像
：
其中
表示像素点的位置；
（4）对二值图像
进行先腐蚀后膨胀的形态学操作，消除噪声干扰得到二值图像
；
（5）对
提取轮廓信息后进行矩形拟合，去掉高宽比小于2的矩形，排除施工机械发动机发热干扰，若存在高宽比大于2的矩形，认为时刻
有施工人员进入监控区域，将时刻
的可见光图像
筛选出来。
本发明进一步改进在于，所述无人机监控***包括无人机、影像采集模块、无人机微处理模块和地面位置标定桩，用于对钻机、打桩机、起重机、挖掘机、堆土机、登高车、基坑开挖和大型堆土进行监控和准确定位。
进一步的，所述无人机为多旋翼无人机，采用周期性巡检的方式沿固定路线对保护区进行空中拍摄。
进一步的，所述影像采集模块包括安装在无人机底部的三轴机械云台和云台搭载的无人机高清摄像机，无人机高清摄像机向下拍摄。
进一步的，所述的无人机微处理模块包括无人机FPGA图像处理单元、无人机4G/5G通讯单元和无人机ARM控制器，无人机FPGA图像处理单元与无人机ARM控制器连接，对无人机单次巡检图像进行无缝拼接，生成保护区全景图像，所述无人机4G/5G通讯单元与无人机ARM控制器连接，用于把拼接后的数据发送到云端处理***，所述的对无人机单次巡检图像进行无缝拼接，生成保护区全景图像具体步骤如下：
（1）对无人机单次巡检过程中的所有图像提取FAST角点；
（2）基于相邻两幅图像的FAST角点计算两幅相邻图像的变换矩阵，利用变化矩阵将相邻图像变换到相同坐标系；
（3）采用加权平均算法依次对相邻图像的重叠区域进行融合生成保护区全景图像。
进一步的，所述地面位置标定桩表面涂有不同醒目颜色，按一定顺序分散在保护区内固定，在无人机巡检过程中提供位置引导。
本发明进一步改进在于，云端处理***存储定点监控***、日常巡检车和无人机监控***的前端数据处理结果，基于模型
对筛选后的可见光图像进行施工人员和小型施工机械识别，若施工人员未佩戴安全帽、未穿反光衣、小型施工机械在非施工时段或非施工区域进行施工，反馈报警信号到定点监控***的声光报警模块，基于模型
对拼接后的全景图像进行大型施工机械识别和定位，结合振动信号和声音信号强度变化，对大型施工机械识别结果进行修正，若大型施工机械在非施工时段或非施工位置进行施工，反馈报警信号到定点监控***的声光报警模块，同时识别结果发送到数据管理平台和手机终端，所述的模型
与
的训练过程如下：
（1）对可见光图像中的施工人员施工行为和小型施工机械进行数据标注，其中施工人员施工行为标注安全帽和反光衣两类，小型施工机械标注小型挖掘机和小型钻机两类；
（2）对全景图像进行数据标注，标注挖掘机、堆土车、钻机和搅拌机四类；
（3）采用目标检测算法YOLO，对可见光图像和全景图像的标注结果进行数据训练，得到模型
和
。
本发明进一步改进在于，所述的结合振动信号和声音信号强度变化，对大型施工机械识别结果进行修正的具体步骤如下：
（1）若时刻
全景图像中检测到大型施工机械；
（2）检测时刻
的声音信号和振动信号是否存在局部峰值，若均存在局部峰值，认为该时刻存在大型施工机械。
本发明进一步改进在于，所述声光报警模块的红黄绿三种颜色的LED警示灯分别对应施工人员、小型施工机械和大型施工机械，配合扩音器采取不同报警音进行违规预警。
本发明的有益效果是：
（1）本发明是多个采集***综合进行空中、地面、地下的多维度、多源信号采集，实行对保护区多层次、多手段综合监控；
（2）综合微处理单元和云端服务器实现前端数据处理和后端目标识别，减少数据存储和传输成本的同时，提高识别准确精度；
（3）融合深度学习和计算机视觉对施工安全行为进行实时自动化识别与位置追踪，实现智能化综合监护。
附图说明
图1为本发明的整体结构图；
图2为本发明的方法流程图；
图3为定点监控***结构图；
图4为定点监控***的微处理模块结构图；
图5为日常巡检车结构图；
图6为车载微处理模块结构图；
图7为无人机监控***结构图；
图8为无人机微处理模块结构图。
图中：1-定点监控***，11-监控云台，12-高清摄像机，13-采集立杆，14-扩音器，15-LED警示灯，16-拾音器，17-加速度传感器，18-时程记录仪，19-微处理模块，191-FPGA图像处理单元，192-4G/5G通讯单元，193-ARM控制器，2-日常巡检车，21-车辆载体，22-车载云台，23-车载高清摄像机，24-车载红外热成像摄像机，25-车载微处理模块，251-车载FPGA图像处理单元，252-车载4G/5G通讯单元，253-车载ARM控制器，3-无人机监控***，31-无人机，32-地面位置标定桩，33-三轴机械云台，34-无人机高清摄像机，35-无人机微处理模块，351-无人机FPGA图像处理单元，352-无人机4G/5G通讯单元，353-无人机ARM控制器，4-云端服务器。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，一种保护区安全综合监护装备，包括定点监控***1、日常巡检车2、无人机监控***3和云端处理***，定点监控***1、日常巡检车2、无人机监控***3与云端处理***通过网络连接，所述定点监控***1、日常巡检车2和无人机监控***3联合进行视频、声音、振动多源信号采集，所述云端处理***部署在云端服务器4，存储定点监控***1、日常巡检车2和无人机监控***3的前端数据处理结果，并基于预训练的深度学***台和手机终端。
如图2，本发明公开了一种保护区安全综合监护方法，包括以下步骤：
S1、针对定点监控***，基于分割算法筛选包含小型施工机械的可见光图像；
S2、利用日常巡检车的红外热成像图像，筛选包含施工人员的可见光图像；
S3、对无人机单次巡检图像进行无缝拼接，生成保护区全景图像；
S4、基于模型
，对筛选后的可见光图像进行施工人员和小型施工机械识别；
S5、基于模型
，对拼接后的全景图像进行大型施工机械识别和定位；
S6、结合振动信号和声音信号强度变化，对大型施工机械识别结果进行修正。
如图3所示，定点监控***1包括视频模块、声音模块、振动模块、微处理模块19、声光报警模块和采集立杆13共六个部分。
视频模块包括安装在采集立杆13横臂末端的监控云台11和高清摄像机12，监控云台11的水平旋转角度不小于180°，高清摄像机12监控画面覆盖整个保护区范围，以USB接口与微处理模块19连接，采集立杆13高度为6m，安装后的高清摄像机12在监控云台11的水平旋转下可以不受物体遮挡地监控50m×60m的保护区内小型推土机和小型钻机等小型施工机械。
声音模块采用户外枪机式拾音器16，拾音器16安装在采集立杆13高度3m处，通过螺栓紧固于采集立杆13上，指向保护区方向，通过采集立杆13内部走线与微处理模块19相连。
振动模块包括加速度传感器17和时程记录仪18，加速度传感器17采用三轴向力平衡式加速度传感器，边角处有专门的水平调整螺栓和水平泡，用于安装时的水平调节，中心设计有安装孔，用一个螺栓可固定整个加速度传感器17，安装在保护区的中心位置，通过不锈钢密封外壳进行保护，时程记录仪18与加速度传感器17连接，提供数据采集、记录和传输功能，与微处理模块19相连。
如图4所示，微处理模块19包括FPGA图像处理单元191、4G/5G通讯单元192和ARM控制器193，所用FPGA图像处理单元191 型号为Altera-EP4CE10，所用4G/5G通讯单元192型号为WH-LTE-7S4 V2，所用ARM控制器193型号为STM32F103VCT6，FPGA图像处理单元191与ARM控制器193连接，基于分割算法筛选包含小型施工机械的可见光图像，所述4G/5G通讯单元192与ARM控制器193连接。
基于分割算法筛选包含小型施工机械的可见光图像具体步骤如下：
（1）Vibe算法分割可见光图像，二值化图像
，所用的Vibe算法类如下：
Class Vibe
{
void init(const Mat backgroundImage); //参数初始化
void processFirstFrame(const Mat backgroundImage); //背景建模
void testAndUpdata(const Mat recentImage); //分割可见光图像
Mat getMask(void); //返回二值化图像
}
（2）统计
中前景所占的图像面积；
（3）根据阈值
筛选存在小型施工机械的可见光图像。
声光报警模块包含LED警示灯15和扩音器14，与ARM控制器193相连，通过4G/5G通讯单元192接收云端服务器4发送的报警信号，对来自云端服务器4的报警信号做出反应，LED警示灯15和扩音器14一同安装在采集立杆13横臂的中间位置，LED警示灯15可显示红黄绿三种颜色，具备快闪和慢闪功能。
如图5所示，日常巡检车2包括车辆载体21、影像采集模块和车载微处理模块25
车辆载体21为小轿车，搭载影像采集设备在保护区内进行多线路移动巡查。
影像采集模块包括固定在车辆载体21顶部的车载云台22、车载高清摄像机23和车载红外热成像摄像机24，车载云台22安装在车辆载体21前进方向的左右两侧，每个车载云台22的底部采用减振器固定在车辆载体上，车载高清摄像机23和车载红外热成像摄像机24并排安装在车载云台22上，均与车载微处理模块25连接，通过车载云台22的旋转每个车载高清摄像机23和车载红外热成像摄像机24负责180°的监测范围，车载高清摄像机23用于监控施工人员是否佩戴安全帽、是否穿反光衣等行为，车载红外热成像摄像机24获取红外热成像图像，用于对包含施工人员的可见光图像进行筛选，车载高清摄像机23、车载红外热成像摄像机24和车载微处理模块25相连。
如图6所示，车载微处理模块25包括车载FPGA图像处理单元251、车载4G/5G通讯单元252和车载ARM控制器253，所用车载FPGA图像处理单元251 型号为Altera-EP4CE10，所用车载4G/5G通讯单元252型号为WH-LTE-7S4 V2，所用车载ARM控制器253型号为STM32F103VCT6，车载FPGA图像处理单元251与车载ARM控制器253连接，车载4G/5G通讯单元252与车载ARM控制器253连接，车载ARM控制器253通过车载4G/5G通讯单元252与云端服务器4进行数据传输，当车载高清摄像机23和车载红外热成像摄像机24采集的数据传输给车载FPGA图像处理单元251，车载FPGA图像处理单元251利用日常巡检车的红外热成像图像，筛选包含施工人员的可见光图像，通过车载4G/5G通讯单元252把数据发送到云端处理***，利用日常巡检车的红外热成像图像，筛选包含施工人员的可见光图像具体步骤如下：
（1）将时刻
拍摄的彩色红外热成像图像转换成灰度图像
，所用的转换函数为cvtColor(InputArraysrc, OutputArraydst, int code, int dstCn=0 )；
（2）根据人体温度在红外热成像图像中的灰度值设定阈值
；
（3）根据下列公式对灰度图像
分割高温区域得到二值图像
：
其中
表示像素点的位置；
（4）对二值图像
进行先腐蚀后膨胀的形态学操作，消除噪声干扰得到二值图像
，所用的腐蚀和膨胀函数分别如下：
void erode(InputArraysrc，OutputArraydst，InputArray kernel)，
void dilate(InputArraysrc，OutputArraydst，InputArray kernel)；
（5）对
提取轮廓信息后进行矩形拟合，去掉高宽比小于2的矩形，排除施工机械发动机发热干扰，若存在高宽比大于2的矩形，认为时刻
有施工人员进入监控区域，将时刻
的可见光图像
筛选出来，所用的轮廓提取函数如下：
findContours( InputOutputArray image, OutputArrayOfArrayscontours,intmode, int method, Point offset = Point())，所用的矩形拟合函数如下：
RectboundingRect( InputArray points)。
如图7所示，无人机监控***3包括无人机31、影像采集模块、无人机微处理模块35和地面位置标定桩32。
无人机采用多旋翼无人机31，采用周期性巡检的方式，参照地面位置标定桩32沿固定路线对保护区进行空中监控。
影像采集模块包括安装在无人机底部的三轴机械云台33和云台搭载的无人机高清摄像机34，无人机高清摄像机34向下拍摄，与无人机微处理模块35连接，对保护区钻机、打桩机、起重机、挖掘机、堆土机、登高车、基坑开挖和大型堆土进行拍摄。
如图8所示，无人机微处理模块35包括无人机FPGA图像处理单元351、无人机4G/5G通讯单元352和无人机ARM控制器353，所用无人机FPGA图像处理单元351 型号为Altera-EP4CE10，所用无人机4G/5G通讯单元352型号为WH-LTE-7S4 V2，所用无人机ARM控制器353型号为STM32F103VCT6，无人机FPGA图像处理单元351与无人机ARM控制器353连接，对无人机单次巡检图像进行无缝拼接，生成保护区全景图像，无人机4G/5G通讯单元352与无人机ARM控制器353连接，无人机ARM控制器353通过无人机4G/5G通讯单元352与云端服务器4进行数据传输，对无人机单次巡检图像进行无缝拼接，生成保护区全景图像具体步骤如下：
（1）对无人机单次巡检过程中的所有图像提取FAST角点；
（2）基于相邻两幅图像的FAST角点计算两幅相邻图像的变换矩阵，利用变化矩阵将相邻图像变换到相同坐标系，采用如下的函数计算变换矩阵：
Mat cv::findHomography( InputArraysrcPoints, InputArraydstPoints, intmethod = 0,double ransacReprojThreshold = 3, OutputArray mask = noArray(),const int maxIters = 2000, const double confidence = 0.995)；
（3）采用加权平均算法依次对相邻图像的重叠区域进行融合生成保护区全景图像。
地面位置标定桩32为塑料材质，表面涂有不同醒目颜色，按一定顺序分散在保护区内借助螺栓固定，在无人机巡检过程中提供位置引导。
云端处理***部署在云端服务器4内，存储定点监控***1、日常巡检车2和无人机监控***3的前端数据处理结果，基于模型
对筛选后的可见光图像进行施工人员和小型施工机械识别，若施工人员未佩戴安全帽、未穿反光衣、小型施工机械在非施工时段或非施工区域进行施工，反馈报警信号到定点监控***的声光报警模块，基于模型
对拼接后的全景图像进行大型施工机械识别和定位，结合振动信号和声音信号强度变化，对大型施工机械识别结果进行修正，若大型施工机械在非施工时段或非施工位置进行施工，反馈报警信号到定点监控***1的声光报警模块，同时识别结果发送到数据管理平台和手机终端，所述的模型
与
的训练过程如下：
（1）对可见光图像中的施工人员施工行为和小型施工机械进行数据标注，其中施工人员施工行为标注安全帽和反光衣两类，小型施工机械标注小型挖掘机和小型钻机两类；
（2）对全景图像进行数据标注，标注挖掘机、堆土车、钻机和搅拌机四类；
（3）采用目标检测算法YOLO，对可见光图像和全景图像的标注结果进行数据训练，得到模型
和
。
本发明进一步改进在于，所述的结合振动信号和声音信号强度变化，对大型施工机械识别结果进行修正的具体步骤如下：
（1）若时刻
全景图像中检测到大型施工机械；
（2）检测时刻
的声音信号和振动信号是否存在局部峰值，若均存在局部峰值，认为该时刻存在大型施工机械。
声光报警模块的红黄绿三种颜色的LED警示灯分别对应施工人员、小型施工机械和大型施工机械，配合扩音器采取不同报警音进行违规预警。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (11)
1.一种保护区安全综合监护装备，其特征是：包括定点监控***、日常巡检车、无人机监控***和云端处理***，定点监控***、日常巡检车、无人机监控***与云端处理***通过网络连接，所述定点监控***、日常巡检车和无人机监控***联合进行视频、声音、振动多源信号采集，所述云端处理***部署在云端服务器，存储定点监控***、日常巡检车和无人机监控***的前端数据处理结果，并基于预训练的深度学***台和手机终端。
2.根据权利要求1所述的一种保护区安全综合监护装备，其特征是：所述定点监控***包括视频模块、声音模块、振动模块、微处理模块、声光报警模块和采集立杆，固定安装在保护区内，所述视频模块包括安装在采集立杆横臂末端的监控云台和高清摄像机，与微处理模块相连，采集立杆高度为H，所述声音模块采用户外拾音器，安装在采集立杆高度0.5H处，与微处理模块相连；所述振动模块包括加速度传感器和时程记录仪，加速度传感器在保护区的中心安装，检测整个保护区范围的振动信号，与时程记录仪连接，对数据进行采集记录，时程记录仪与微处理模块相连；所述微处理模块包括FPGA图像处理单元、4G/5G通讯单元和ARM控制器，FPGA图像处理单元基于分割算法筛选包含小型施工机械的可见光图像，与ARM控制器连接，所述4G/5G通讯单元与ARM控制器连接；所述声光报警模块包含LED警示灯和扩音器，LED警示灯和扩音器一同安装在采集立杆横臂的中间位置。
3.根据权利要求1所述的一种保护区安全综合监护装备，其特征是：所述日常巡检车包括车辆载体、影像采集模块、车载微处理模块；所述车辆载体为小轿车，搭载影像采集设备在保护区内进行多线路移动巡查；所述的影像采集模块包括固定在车辆载体顶部的车载云台、车载高清摄像机和车载红外热成像摄像机，所述车载云台安装在车辆前进方向的左右两侧，所述车载高清摄像机和车载红外热成像摄像机并排安装在车载云台上；所述的车载微处理模块包括车载FPGA图像处理单元、车载4G/5G通讯单元和车载ARM控制器，所述车载FPGA图像处理单元利用日常巡检车的红外热成像图像，筛选包含施工人员的可见光图像，与车载ARM控制器连接，所述车载4G/5G通讯单元与车载ARM控制器连接。
4.根据权利要求1所述的一种保护区安全综合监护装备，其特征是：所述无人机监控***包括无人机、影像采集模块、无人机微处理模块和地面位置标定桩，用于对钻机、打桩机、起重机、挖掘机、堆土机、登高车、基坑开挖和大型堆土进行监控和准确定位；所述无人机为多旋翼无人机，采用周期性巡检的方式沿固定路线对保护区进行空中拍摄；所述影像采集模块包括安装在无人机底部的三轴机械云台和无人机高清摄像机，所述无人机高清摄像机向下拍摄；所述的无人机微处理模块包括无人机FPGA图像处理单元、无人机4G/5G通讯单元和无人机ARM控制器，所述无人机FPGA图像处理单元对无人机单次巡检图像进行无缝拼接，生成保护区全景图像，与无人机ARM控制器连接，所述无人机4G/5G通讯单元与无人机ARM控制器连接。
5.权利要求1所述的一种保护区安全综合监护装备的监护方法，其特征是：步骤如下：
S1、针对定点监控***，基于分割算法筛选包含小型施工机械的可见光图像；
S2、利用日常巡检车的红外热成像图像，筛选包含施工人员的可见光图像；
S3、对无人机单次巡检图像进行无缝拼接，生成保护区全景图像；
S4、基于模型
，对筛选后的可见光图像进行施工人员和小型施工机械识别；
S5、基于模型
，对拼接后的全景图像进行大型施工机械识别和定位；
S6、结合振动信号和声音信号强度变化，对大型施工机械识别结果进行修正。
6.根据权利要求5所述的监护方法，其特征是：步骤S1的具体步骤如下：
（1）Vibe算法分割可见光图像，得到二值化图像
；
（2）统计
中前景所占的图像面积；
（3）根据阈值
筛选存在小型施工机械的可见光图像。
7.根据权利要求5所述的监护方法，其特征是：步骤S2的具体步骤如下：
（1）将时刻
拍摄的彩色红外热成像图像转换成灰度图像
；
（2）根据人体温度在红外热成像图像中的灰度值设定阈值
；
（3）根据下列公式分割灰度图像
的高温区域得到二值图像
：
其中
表示像素点的位置；
（4）对二值图像
进行先腐蚀后膨胀的形态学操作，消除噪声干扰得到二值图像
；
（5）对
提取轮廓信息后进行矩形拟合，去掉高宽比小于2的矩形，排除施工机械发动机发热干扰，若存在高宽比大于2的矩形，认为时刻
有施工人员进入监控区域，将时刻
的可见光图像
筛选出来。
8.根据权利要求5所述的监护方法，其特征是：步骤S3的具体步骤如下：
（1）对无人机单次巡检过程中的所有图像提取FAST角点；
（2）基于相邻两幅图像的FAST角点计算两幅相邻图像的变换矩阵，利用变化矩阵将相邻图像变换到相同坐标系；
（3）采用加权平均算法依次对相邻图像的重叠区域进行融合生成保护区全景图像。
9.根据权利要求5所述的监护方法，其特征是：步骤S4的具体步骤如下：基于模型
对筛选后的可见光图像进行施工人员和小型施工机械识别，若施工人员未佩戴安全帽、未穿反光衣、小型施工机械在非施工时段或非施工区域进行施工，反馈报警信号到定点监控***的声光报警模块,同时识别结果发送到数据管理平台和手机终端。
10.根据权利要求5所述的监护方法，其特征是：步骤S5的具体步骤如下：基于模型
对拼接后的全景图像进行大型施工机械识别和定位，结合振动信号和声音信号强度变化，对大型施工机械识别结果进行修正，若大型施工机械在非施工时段或非施工位置进行施工，反馈报警信号到定点监控***的声光报警模块，同时识别结果发送到数据管理平台和手机终端。
11.根据权利要求5所述的监护方法，其特征是：步骤S6的具体步骤如下：
（1）若时刻
全景图像中检测到大型施工机械；
（2）检测时刻
的声音信号和振动信号，若均存在局部峰值，认为该时刻存在大型施工机械。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010770673.0A CN111898563A (zh) | 2020-08-04 | 2020-08-04 | 一种保护区安全综合监护装备与监护方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010770673.0A CN111898563A (zh) | 2020-08-04 | 2020-08-04 | 一种保护区安全综合监护装备与监护方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111898563A true CN111898563A (zh) | 2020-11-06 |
Family
ID=73184086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010770673.0A Pending CN111898563A (zh) | 2020-08-04 | 2020-08-04 | 一种保护区安全综合监护装备与监护方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111898563A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487894A (zh) * | 2020-11-17 | 2021-03-12 | 厦门路桥信息股份有限公司 | 基于人工智能的轨道交通保护区自动巡查方法及装置 |
| CN112799394A (zh) * | 2020-12-15 | 2021-05-14 | 广州极飞科技股份有限公司 | 一种无人作业设备控制方法、装置、设备及存储介质 |
| CN112866639A (zh) * | 2021-01-07 | 2021-05-28 | 北京家人智能科技有限公司 | 一种巡逻警戒方法及设备 |
| CN114973684A (zh) * | 2022-07-25 | 2022-08-30 | 深圳联和智慧科技有限公司 | 一种建筑工地定点监控方法及*** |
| CN115355952A (zh) * | 2022-10-20 | 2022-11-18 | 山东联合能源管道输送有限公司 | 一种原油储罐智能巡检*** |
| CN115439988A (zh) * | 2022-07-20 | 2022-12-06 | 杭州无限环境设计工程有限公司 | 一种基于路灯灯联网的城市协同安全监测*** |
| CN115793093A (zh) * | 2023-02-02 | 2023-03-14 | 水利部交通运输部国家能源局南京水利科学研究院 | 堤坝隐伏病险诊断空地一体化装备 |
| CN116580717A (zh) * | 2023-07-12 | 2023-08-11 | 南方科技大学 | 一种建筑工地场界噪声背景干扰在线修正方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104242459A (zh) * | 2014-09-26 | 2014-12-24 | 广东电网有限责任公司佛山供电局 | 变电站实时监测分析***及其方法 |
| CN106375725A (zh) * | 2016-09-20 | 2017-02-01 | 朱海燕 | 一种基于人脸识别的智能视频监控*** |
| CN108961276A (zh) * | 2018-04-04 | 2018-12-07 | 山东鲁能智能技术有限公司 | 基于视觉伺服的配电线路巡检数据自动采集方法及*** |
| CN109640032A (zh) * | 2018-04-13 | 2019-04-16 | 河北德冠隆电子科技有限公司 | 基于人工智能多要素全景监控检测五维预警*** |
| CN111310736A (zh) * | 2020-03-26 | 2020-06-19 | 上海同岩土木工程科技股份有限公司 | 一种保护区内车辆卸载堆土的快速识别方法 |
-
2020
- 2020-08-04 CN CN202010770673.0A patent/CN111898563A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104242459A (zh) * | 2014-09-26 | 2014-12-24 | 广东电网有限责任公司佛山供电局 | 变电站实时监测分析***及其方法 |
| CN106375725A (zh) * | 2016-09-20 | 2017-02-01 | 朱海燕 | 一种基于人脸识别的智能视频监控*** |
| CN108961276A (zh) * | 2018-04-04 | 2018-12-07 | 山东鲁能智能技术有限公司 | 基于视觉伺服的配电线路巡检数据自动采集方法及*** |
| CN109640032A (zh) * | 2018-04-13 | 2019-04-16 | 河北德冠隆电子科技有限公司 | 基于人工智能多要素全景监控检测五维预警*** |
| CN111310736A (zh) * | 2020-03-26 | 2020-06-19 | 上海同岩土木工程科技股份有限公司 | 一种保护区内车辆卸载堆土的快速识别方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487894A (zh) * | 2020-11-17 | 2021-03-12 | 厦门路桥信息股份有限公司 | 基于人工智能的轨道交通保护区自动巡查方法及装置 |
| CN112487894B (zh) * | 2020-11-17 | 2024-04-23 | 厦门路桥信息股份有限公司 | 基于人工智能的轨道交通保护区自动巡查方法及装置 |
| CN112799394A (zh) * | 2020-12-15 | 2021-05-14 | 广州极飞科技股份有限公司 | 一种无人作业设备控制方法、装置、设备及存储介质 |
| CN112799394B (zh) * | 2020-12-15 | 2022-09-13 | 广州极飞科技股份有限公司 | 一种无人作业设备控制方法、装置、设备及存储介质 |
| CN112866639B (zh) * | 2021-01-07 | 2023-04-28 | 珠海市横琴盈实科技研发有限公司 | 一种巡逻警戒方法及设备 |
| CN112866639A (zh) * | 2021-01-07 | 2021-05-28 | 北京家人智能科技有限公司 | 一种巡逻警戒方法及设备 |
| CN115439988A (zh) * | 2022-07-20 | 2022-12-06 | 杭州无限环境设计工程有限公司 | 一种基于路灯灯联网的城市协同安全监测*** |
| CN115439988B (zh) * | 2022-07-20 | 2024-04-09 | 杭州无限环境设计工程有限公司 | 一种基于路灯灯联网的城市协同安全监测*** |
| CN114973684A (zh) * | 2022-07-25 | 2022-08-30 | 深圳联和智慧科技有限公司 | 一种建筑工地定点监控方法及*** |
| CN114973684B (zh) * | 2022-07-25 | 2022-10-14 | 深圳联和智慧科技有限公司 | 一种建筑工地定点监控方法及*** |
| CN115355952A (zh) * | 2022-10-20 | 2022-11-18 | 山东联合能源管道输送有限公司 | 一种原油储罐智能巡检*** |
| CN115355952B (zh) * | 2022-10-20 | 2023-01-20 | 山东联合能源管道输送有限公司 | 一种原油储罐智能巡检*** |
| CN115793093B (zh) * | 2023-02-02 | 2023-05-16 | 水利部交通运输部国家能源局南京水利科学研究院 | 堤坝隐伏病险诊断空地一体化装备 |
| CN115793093A (zh) * | 2023-02-02 | 2023-03-14 | 水利部交通运输部国家能源局南京水利科学研究院 | 堤坝隐伏病险诊断空地一体化装备 |
| CN116580717A (zh) * | 2023-07-12 | 2023-08-11 | 南方科技大学 | 一种建筑工地场界噪声背景干扰在线修正方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898563A (zh) | 一种保护区安全综合监护装备与监护方法 | |
| CN109164443A (zh) | 基于雷达及图像分析的铁路线路异物检测方法及*** | |
| CN111341068B (zh) | 一种基于深度学习的钻井现场危险区域预警***构成方法 | |
| CN100507970C (zh) | 基于数字摄像机的闯红灯检测***及方法 | |
| CN112149522A (zh) | 电缆通道智能可视化防外破监测***及方法 | |
| CN106780284A (zh) | 隧道洞壁围岩完整性信息采集装置及评价方法 | |
| CN106170072B (zh) | 视频采集***及其采集方法 | |
| CN104766086A (zh) | 一种公路标识的监管方法和*** | |
| CN102542806A (zh) | 高速公路行驶车辆遮挡号牌实时监测***及其控制方法 | |
| CN107977018A (zh) | 基于双目立体视觉和无人机的秸秆焚烧监测方法 | |
| CN102867417A (zh) | 一种出租车防伪***及方法 | |
| CN204155450U (zh) | 一种道路上高清卡口装置 | |
| CN105118301B (zh) | 车载式违法监测*** | |
| CN107749055A (zh) | 一种led交通诱导屏的故障检测方法、***及装置 | |
| CN107360394A (zh) | 应用于边防视频监控***的多预置点动态智能监测方法 | |
| CN110691224A (zh) | 一种变电站周界视频智能检测*** | |
| CN110885019A (zh) | 一种基于bim模型的塔吊监测与实时报警*** | |
| CN202018736U (zh) | 车载占用公交车道违法监测*** | |
| CN107200274A (zh) | 一种基于机器视觉的防集装箱卡车被吊起方法 | |
| CN115171054A (zh) | 渔政巡逻方法及*** | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测*** | |
| CN110349172B (zh) | 基于图像处理和双目立体测距的输电线路防外破预警方法 | |
| CN205383993U (zh) | 车辆牌照及轮廓测量识别*** | |
| CN213424017U (zh) | 一种智能工地*** | |
| CN109686104B (zh) | 一种车辆超高检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |