CN112288984A - 基于视频融合的三维可视化无人值守变电站智能联动*** - Google Patents

Abstract

本发明涉及一种基于视频融合的三维可视化无人值守变电站智能联动***。该***包括3D视频实景融合子***、智能巡视子***、传感器子***、轨道机巡视子***、门磁和周界报警子***、球机联动子***、火苗识别预警子***和监控中心，各子***与监控中心互联互通。本发明通过融合三维视频实现的三维可视化无人值守变电智能联动***，实现了全天候、全方位、24小时不间断对变电所的智能监控，实现了对变电所三维实景任意浏览查看和对变电站内的故障进行报警提示，工作人员可以在监控室内观看视频，实现对辖内多个变电所的实时监控和调度指挥，免除工作人员每天对变电设施设备的巡视，提升了监控能力和工作效率。

Description

基于视频融合的三维可视化无人值守变电站智能联动***

技术领域

本发明涉及视频影像融合处理，以及自动化控制领域，具体涉及视频数据与三维模型融合，并通过各感应器的互联互通互控，实现变电站全景立体监控，全天候无人值守，智能识别异常，并及时报警联动处置。

背景技术

随着我国高铁建设的如火如荼，目前在我国高铁***内，约有数千座变电所，提供着稳定可靠的电力供应，保障着整个铁路网的安全高效运行。这些变电所为保障变电站的稳定，需安排工作人员对整个电网中的各供电设备进行检查维护，并对变电站整体设备参数及其周围环境进行记录和分析。

变电所工作人员对变电站的检查管理，主要包括对变电站各设备运行参数查看、记录，以及变电站周围环境，变电站内部情况巡检，但这些巡检主要是通过人力固定时间或者不定期抽检的方式进行的。这种巡检方式存在一定的时间间隔空隙，致使变电站长时间处于放任无管理监测状态，假如这些时段变电站的某些项参数出现异常，或者变电站内外环境出现意外事故(如火情)，若不及时采取措施，将造成供电故障，将带来不可估量的损失，并且该巡检方式，存在需要人员多、反应不及时、受天气影响大等问题。

为了提高监测效果以及全天候的监测，目前已经有一些智能化的监测***投入使用，然而现有的智能化监测***大都是通过在变电站安装多部摄像机进行监控，但通过摄像机监测的方式，只能通过值班人员全天候的盯着屏幕发现异常，而一旦出现事故，比如火情发生时，***不能自动识别，无法主动报警，也就更不能进一步对变电站进行险情处置，从而加剧事故损失。现有的智能检测***通过多路摄像机获取单通道的视频信息后，往往采用九宫格或者十六宫格呈现视频图像，无法把视频信息进行关联，这些杂乱无章的信息，值班人员很容易出现视觉疲惫。视频采用的是二维模式，不利于对变电站现场进行整体把控，从而无法合理的操控变电站的现有资源对险情采取适当的应对举措。

现有的技术中，通过工作人员值守或者通过门禁***来避免非法人员进入，然而这些方式造成了人力资源浪费，并且也无法全面避免非法入侵。当非法入侵发生后，***不能及时发现并反馈到监控中心，也不能跟踪记录入侵人员的活动轨迹。当非法入侵人员对变电站的设备进行窃取、破坏时，也无法进行及时报警，从而造成供电的严重故障。

有鉴于此，需要设计出一种用于变电站无人值守的智能综合联动平台，该平台可以对变电站各项设备实现全天候监测，可在三维全景模型中实时融合视频数据，整体关联和综合调度，实时查看变电站内外环境，提高设备运行掌控的实时性，及时发现事故隐患，确保变电站实现持续稳定工作，并基本无需值班人员过多干预，从而降低运维人工成本。

发明内容

综上所述，本发明的目的是基于视频融合技术提供一种三维变电站无人值守智能联动***，可将视频信息拼接融合到三维模型中，对变电站的各项设备、周围环境和非法入侵等监控识别，在三维实景中，全景立体观测，联动、监测、报警，提升整体把控的依据，保障了变电站的持续稳定运行，实现无人值守，大大节约了人力成本。

本发明采用的技术方案是：

一种基于视频融合的三维可视化无人值守变电站智能联动***，其集成多项子***，分别实现各项需求，子***主要包括：3D视频实景融合子***，智能巡视子***，传感器子***，轨道机巡视子***，门磁和周界报警子***，球机联动子***，火苗识别预警子***。所述的各子***均与监控中心互联互通。

进一步，3D视频实景融合子***，其目的是通过在三维全景模型中实时融合视频数据，构建一幅变电站实时全景立体场景。该3D视频实景融合子***包括视频采集模块、视频融合模块和视频显示模块。在三维场景中直观展现出变电所内各路摄像机点位、数量以及视频覆盖区域。视频采集模块包含若干视频图像采集设备(如摄像机)，通过有线或无线的方式与监控中心连接，进行信息交换。视频图像采集设备设置在变电站的出口、变电站供电设备附近等。视频采集模块获取的多路视频信息，通过数据传输链路传递给视频融合模块，将多路视频融合在三维模型中，并视频显示模块浏览查看。优选地，可以采用专利“一种高效的GPU三维视频融合绘制方法”(专利公开号：CN104616243A)所公开的技术将多路视频融合在三维模型中。

上述专利“一种高效的GPU三维视频融合绘制方法”是一种高效的GPU三维视频融合绘制方法，其步骤包括：通过视频对象缓冲区获取由多路视频流所输入的视频数据；在GPU中进行可扩展分层解码，解码线程由视频对象所依赖的对应三维场景部分的可视特性进行控制和驱动；解码完成后将所有按照同步时间解码相应的时间片段而得到的图像序列和纹理识别序号绑定并存放在图像纹理缓冲区中；对图像纹理缓冲区中的纹理进行采样，将其映射到三维场景中的物体的表面，并完成其它真实感绘制相关的操作，最终输出基于视频的虚实融合绘制结果。

进一步，所述智能巡视子***，其主要目的是巡视并处理变电所各项设备参数、周围环境和内部异常状况。在三维实景中，预先根据需要任意建立巡视路径，自动对设备进行巡检。融合视频后的三维实景中，该智能巡视子***依照工作人员的巡视视角，走进***，查看个设备的运行状态。该智能巡视子***包括自动识别模块、自动报警模块。自动识别模块识别的范围包括各种预设的表盘读数、设备开关状态等。对于表盘读数，该模块对视频中的单帧图像，识别表盘，并根据表盘的各指针位置以及角度信息，结合该表盘的读数规则，进而自动计算，获取表盘读数；对设备开关状态，该模块基于神经网络的深度学习模型，自动识别两种状态(开、关)。查出异常后，将异常信息以及异常信息的视频图像反馈给监控中心，并在三维场景中标示该位置，触发自动报警模块中的报警设备，实现联动。

进一步，所述传感器子***，其目的是集合多种传感器，增加对变电所内部环境参数的精确掌握，并及时处理异常情况。该子***包括烟气传感器、温度传感器、湿度传感器和压力传感器等多种组合。所述各传感器都接入物联网，输出信息均直接传入监控中心的数据分析模块。数据分析模块实时分析各项检测结果，对异常信息及时在三维视频融合场景中进行标示，并触发监控中心的报警设备，通知工作人员及时进行处理。数据分析模块位于监控中心，与位于监控中心的电源控制设备联通，数据分析模块根据传感器获取异常信息的严重等级，对电源进行严格控制。

进一步，所述轨道机巡视子***，其目的是动态轮巡变电所的各主要仪表盘，自动识别仪表盘读数，并对异常进行分析报警。采用轨道机加摄像机巡检的模式，利用数字图像算法技术对设备仪表读数进行识别，如果读数不在安全区内，则及时停止轨道机运行，并将读数上传监控中心。在实时三维场景中，标注异常设备的位置和异常数值，并及时调整***浏览的视角，浏览查看该设备信息，确认情况，并进一步报警处理。

其中，“轨道机加摄像机巡检的模式”是指在轨道机预先设定的路线上，推动摄像机不间断的进行巡检，摄像机在某些预定位置，自动暂停若干时间，让摄像头调整好角度，拍摄该位置某些装置的读数或者识别其当前状态。

其中，“利用图像算法技术对设备仪表读数进行识别”是指在视频中的单帧图像，识别表盘，并根据表盘的各指针位置以及角度信息，结合该表盘的读数规则，进而自动计算，获取表盘读数。

进一步，所述门磁和周界报警子***，其目的主要是对变电所的出入口的大门和重点区域的外部环境进行控制、管理。该子***包括设置在变电所的所有门磁控制模块，以及圈置安防重点区的周界线，这些模块都额外标示在三维实景中，***可以明显的看到它们。门磁和周界报警子***采集的数据统一接入监控中心的数据分析模块作为数据输入，并对数据进行分析，监控中心对该子***可以发送控制命令，控制门磁和周界报警服务。

进一步，所述球机联动子***，其主要目的是根据异常信息位置(门磁和周界报警子***、传感器子***等子***的设备位置信息)，通过调整球机姿态，不断响应用户关注的区域。该子***包括各个安防球机、视频处理分析模块，以及报警装置，各个安防球机和视频处理分析模块相连，视频处理分析模块与监控中心进行数据交互，进行异常信息定位并和球机实现三维联动。报警装置用于监控中心的视频分析部分发现异常时进行报警。

球机联动子***的视频处理分析模块，对***中众多摄像头视频数据进行处理分析，检查这些摄像头播放的视频中有无异常信息，若有异常信息，计算异常信息的位置坐标，并将该坐标传递给球机，针对球机自身安装位置和朝向坐标信息。结合目标点位置信息，计算出球机应该旋转的角度，之后便可进行视频播放。

进一步，所述火苗预警识别子***，其功能主要是对视频信息进行火苗检测，及时发现火情，包括各安防摄像头、球机，以及报警装置。优选的，其中的火苗识别处理部分依托专利“3D立体火灾识别方法和***”(专利公开号：CN109002746A)所公开的技术实现。该“3D立体火灾识别方法和***”提供一种3D立体火灾识别方法和***，能够方便、有效地对视频中的内容进行火灾分析以及报警。

本发明的有益效果：通过融合三维视频，建设的三维可视化无人值守变电智能联动***，实现了全天候、全方位、24小时不间断对变电所的智能监控，实现对变电所三维实景任意浏览查看，对变电站内的故障进行报警提示，并可以设置紧急状态自动控制，工作人员可以在监控室内观看视频，实现对辖内多个变电所的实时监控和调度指挥，免除工作人员每天至少2次对变电设施设备的巡视，提升了监控能力和工作效率。

附图说明

图1是本发明的原理框架示意图。

图2是本发明***工作流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

图1为本发明的原理框架示意图。如该图所示，本发明采用的技术方案是集成多项子***，分别实现各项功能，子***主要包括：3D视频实景融合子***，智能巡视子***，传感器子***，轨道机巡视子***，门磁和周界报警子***，球机联动子***，火苗识别预警子***组成。所述的各子***均与监控中心相关联，各子***包括各个功能模块。

在监控中心设置电源控制设备、数据分析模块和报警设备。电源控制设备用于各项探测设备检测到数据严重异常或者火苗报警等严重事故后，将控制某些异常设备的电源开关，避免造成严重损失。数据分析模块实时分析各子***的各项检测结果，对异常信息及时在三维视频融合场景中进行标示，并触发监控中心的报警设备，通知工作人员及时进行处理。数据分析模块还与电源控制设备联通，数据分析模块根据传感器获取异常信息的严重等级，对电源进行严格控制。报警设备用于响应周界侵入后，也用于识别到火苗或者传感器数据异常后，发出备报警。

其中，3D视频实景融合子***，包括视频采集模块、视频融合模块和视频显示模块。视频采集模块采用一台或者多台数字高清摄像机，比如CCD摄像机，安置于变电站内的供电设备，用于不间断的获取变电站一定范围的视频影像数据，并通过视频传输线路传递给视频融合模块。视频融合模块对接收到的视频数据，采用高效的GPU三维视频融合绘制方法，结合变电站三维实景模型，针对视频覆盖范围，实现视频的全景拼接，与变电站三维模型精准匹配融合，通过视频显示模块显示在三维地理信息(3D GIS)视频融合平台中，把单一局部独立视频还原成全局真是场景，实现三维变电站场景中，视频与场景同步展现。有异常险情发生时(火灾，烟雾等)，传感器子***监测发现异常，将险情的位置信息及时传递给监控中心，监控中心自动调用最近的摄像机，并将相机的姿态调整为合适的角度，确保灾情现场第一时间清楚展现在安防指挥***平台上。另外，其他子***探测的数据被监控中心的数据分析模块统一整理，会筛选异常信息，发送到监控中心，在该平台上打印展示。异常警告分为若干等级，高等级的警告信息，触发指挥***的警报***，低等级的警告信息会输出在监控中心。

视频融合模块，采用显卡进行视频处理算法，比如英特尔的GTX1080ti等，具有强大的视频编解码处理能力，当然，其他一些显卡也同样可以实现本发明的目的，比如RTX2080Ti。

监控中心的数据分析模块中，接入了视频数据，高压室数据，温感器、***、温湿器的各类检测数据，并且在三维地理信息中，将这些设备采用不同的图标标示在***中。温感器可以采用定温式探测器或者差温式探测器等，***也有编码型、开关型等，各类各项感应器其他设备此处不一一列举，在数据分析模块处中预先设置了多种探测器的阈值参数，比如温度阈值、烟气阈值、压力阈值、湿度阈值等。烟气阈值可以设置为0，就是说当烟气传感器感应到的烟气值只要是有任何值不为0的值输出，都将给指挥中心进行报警。压力阈值、湿度阈值、温度阈值被设定阈值后，通过对应传感器输出的数值不小于对应阈值后，将触发一连串的反应，阈值设置了一定的等级，比如最低等级可以只在监控中心打印输出在屏幕上，中级等级可以拉响警报等，最严重等级甚至可以直接控制整个变电所的电源开关。

本实施例中，门磁和周界报警子***，其中门磁***，安装在变电所门窗位置，门磁主要由开关部分和磁铁部分构成，当开关部分与磁铁部份间隔非常近，即门或者窗处于关闭状态时，门磁开关处于工作状态，接收到强行入侵者的袭击后会发出警报音，并将报警信息发送给监控中心，监控中心的工作人员通过点击该信息，三维地理信息***会自动飞转到产生该异常的位置处，在三维场中，结合融合视频，查看警报位置的周围环境状况，确认警报讯息，并做进一步处理。其中周界报警***，在实施过程中，变电所工作人员可以根据需要在变电所内部的重要区域画出边界线，并且将边界线，依据严重程度划分等级，例如划分三级，最***为初级警惕，中间等级为戒备，最内层为严厉警告，摄像机监控范围不小于该监控周界，当用户进入周界范围内时，根据预先等级，分别相应处理。当视频分析模块发出最严厉的警告时，三维GIS***会直接将浏览视角转到该位置，第一时间让工作人员确认现场情况，及时处理。该周界警示功能，工作人员可以手动取消，以便于变电所工作人员在电力***检查维修时合法进入。

本实施中，智能巡视子***，其中巡视路线是变电所工作人员根据变电所中各设备的稳定程度、易损性等状态，来综合设计的，当然，巡视路线也可以为多条。工作人员使用时，选择某一条路径，设置总巡视时间，***会沿着巡视路径，调用沿路的摄像头，在三维地理信息实景中实时查看视频信息。工作人员在巡视中发现问题后，可以暂停巡视。该子***与监控中心的数据分析模块进行数据交互，将异常信息截图保存，分析识别记录后，在监控中心显示、处理。

本实施中，球机联动子***，球机可以是各种安防摄像头、球机，可以实现360度旋转拍摄。球机部署在离变电站适当距离的，四周较空旷的高杆上。三维立体全景视频中，工作人员发现问题后，或由本总体平台***接收到异常报警信息后，用户点击报警信息，***查找到对应位置的球机，自动调整角度和焦距，重新将视频融合入三维模型中播放。

其中，球机自动调整，以拍摄到固定位置的，实现联动具体步骤如下：

1)标定球机在三维地理信息***中的位置。

2)根据球机内部参数，计算能拍摄到固定位置的最佳设置参数。

3)根据设置参数，调整球机为最佳位置和朝向。

4)调整视频融合参数，重新将视频融合入三维地理信息***。

5)将三维地理信息***的浏览视角设置到该球机安置位置处，其朝向和球机朝向一致。

图2是本发明的***工作流程示意图。本发明中，各种传感器、安防摄像头和球机等设备标注在变电所的三维地理信息中，实现和监控中心互联互通，各个设备实现联动，具体如下：

1)设备温度异常与摄像机联动：传感器子***中用温度传感器对设备进行温度监测，设备温度超过警戒值时触发声音报警，报警信息上传给监控中心，监控中心根据报警位置信息自动在3D视频实景融合子***中标注出异常点的位置，触发警报，3D视频实景融合子***根据传感器位置通过球机联动子***联动附近的摄像机，将视角调整到发送温度异常的设备位置处，工作人员确认问题，并派遣维修人员紧急维护。

2)轨道机与摄像机联动：在轨道机巡视子***中，轨道机加摄像机巡检的模式，利用深度学习技术对设备仪表读数进行识别，读数不在安全区内，及时停止轨道机运行，上传监控中心。在3D视频实景融合子***中，标注异常设备的位置和异常数值，并及时调用并调整摄像机的视角，浏览查看该设备情况，确认情况，并报警，及时派遣维修人员紧急维护。

3)警戒区异常与监控中心联动：门磁和周界报警子***的视频分析模块，检测到可疑人员硬闯警戒区内，将信息发送给监控中心，联动监控中心的报警设备，联动摄像头，并调整摄像头视角，三维地理信息中可清楚看到该可疑人员硬闯警戒区的行为，及时根据情况，采取适当的行动。

4)火苗异常与监控中心联动：火苗识别预警子***的视频分析模块，检测到火苗，发送异常给监控中心，在3D视频实景融合子***中标注该火源的位置，并触发警报，监控中心实时联动附近的摄像机调取视频确认信息，及时采取措施(如情况紧急，可以直接拉闸断电)

5)烟控异常与监控中心联动：传感器子***的***不断检测烟气的浓度，在传感器的数据分析模块对数据处理，异常结果传给监控中心，发生异常，则发出警报，输出烟雾异常的位置，联动摄像头，并调整摄像头视角，并在3D视频实景融合子***中标示位置，触发报警。

6)门磁异常与监控中心联动：门磁和周界报警子***的门磁部分出现非法闯入后，上传监控中心，联动摄像头，并调整摄像头视角，触发警报，监控中心的工作人员确认情况，并及时处理异常。

7)高压室异常与监控中心联动：传感器子***的压力传感器检测到压力异常，并实时传递异常信息给监控中心，输出显示，并联动摄像头，调整摄像头视角，触发警报，监控中心的工作人员确认情况，并及时处理异常。

8)整体联动：3D视频实景融合子***，重点监控区域，全景视频实时拼接，并融合到三维地理信息中，实时查看实景视频，立体全局把控，发现问题后，联动各路摄像机和报警装备，及时确认异常警报，联动一切各用资源，统一指挥调度，排除险情。

以上公开的本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (10)

1.一种基于视频融合的三维可视化无人值守变电站智能联动***，其特征在于，包括3D视频实景融合子***、智能巡视子***、传感器子***、轨道机巡视子***、门磁和周界报警子***、球机联动子***、火苗识别预警子***和监控中心，各子***与监控中心互联互通；

所述3D视频实景融合子***通过在三维全景模型中实时融合视频数据，构建变电站实时全景立体场景；

所述智能巡视子***巡视并处理变电站各项设备参数、周围环境和内部异常状况，将异常信息以及异常信息的视频图像反馈给监控中心；

所述传感器子***通过多种传感器监测变电站内部环境参数，并发送至监控中心；

所述轨道机巡视子***动态轮巡变电站的各主要仪表盘，自动识别仪表盘读数，并对异常进行分析报警；

所述门磁和周界报警子***对变电站的出入口的大门和重点区域的外部环境进行控制、管理，将门磁和周界线标示在三维实景中，并将采集的数据发送至监控中心；

所述球机联动子***根据异常信息位置，通过调整球机姿态不断响应用户关注的区域；

所述火苗预警识别子***对视频信息进行火苗检测以及时发现火情，并反馈至监控中心；

所述监控中心监控各子***的运行，对异常信息及时在三维视频融合场景中进行标示，并触发报警装置以通知工作人员及时进行处理。

2.根据权利要求1所述的方法，其特征在于，所述3D视频实景融合子***包括视频采集模块、视频融合模块和视频显示模块，视频采集模块获取多路视频信息，通过数据传输链路传递给视频融合模块，将多路视频融合在三维模型中，并在视频显示模块浏览查看。

3.根据权利要求1所述的方法，其特征在于，所述智能巡视子***包括自动识别模块和自动报警模块；自动识别模块识别表盘读数、设备开关状态；对于表盘读数，自动识别模块对视频中的单帧图像识别表盘，并根据表盘的各指针位置以及角度信息，结合该表盘的读数规则，进而自动计算以获取表盘读数；对设备开关状态，自动识别模块基于神经网络的深度学习模型，自动识别开、关两种状态；查出异常后，自动识别模块将异常信息以及异常信息的视频图像反馈给监控中心，并在三维场景中标示该位置，触发自动报警模块中的报警设备，实现联动。

4.根据权利要求1所述的方法，其特征在于，所述传感器子***包括烟气传感器、温度传感器、湿度传感器和压力传感器，各传感器都接入物联网，输出信息均直接传入监控中心的数据分析模块。

5.根据权利要求1所述的方法，其特征在于，所述轨道机巡视子***采用轨道机加摄像机巡检的模式，利用数字图像算法技术对设备仪表读数进行识别，如果读数不在安全区内，则及时停止轨道机运行，并将读数上传监控中心。

6.根据权利要求1所述的方法，其特征在于，所述门磁和周界报警子***包括设置在变电所的所有门磁控制模块以及圈置安防重点区的周界线，门磁控制模块和周界线都标示在三维实景中；门磁和周界报警子***采集的数据统一接入监控中心的数据分析模块作为数据输入，以便对数据进行分析；监控中心对门磁和周界报警子***发送控制命令，控制门磁和周界报警服务。

7.根据权利要求1所述的方法，其特征在于，所述球机联动子***包括各个安防球机、视频处理分析模块，以及报警装置；各个安防球机和视频处理分析模块相连；视频处理分析模块与监控中心进行数据交互，进行异常信息定位并和球机实现三维联动；报警装置用于监控中心的视频分析部分发现异常时进行报警。

8.根据权利要求1所述的方法，其特征在于，所述火苗预警识别子***检测到火苗后，发送异常给监控中心，在3D视频实景融合子***中标注火源的位置并触发警报，监控中心实时联动附近的摄像机调取视频确认信息，并及时采取相应措施。

9.根据权利要求1所述的方法，其特征在于，所述监控中心中设置电源控制设备和数据分析模块；电源控制设备用于各项探测设备检测到数据严重异常或者火苗报警事故后，控制某些异常设备的电源开关以避免造成严重损失；数据分析模块实时分析传感器子***和门磁和周界报警子***的各项检测结果，对异常信息及时在三维视频融合场景中进行标示，并触发监控中心的报警设备，通知工作人员及时进行处理；数据分析模块还与电源控制设备联通，数据分析模块根据传感器获取异常信息的严重等级，对电源进行严格控制。

10.根据权利要求1所述的方法，其特征在于，各个子***与监控中心互联互通，实现联动，所述联动包括：设备温度异常与摄像机联动、轨道机与摄像机联动、警戒区异常与监控中心联动、火苗异常与监控中心联动、烟控异常与监控中心联动、门磁异常与监控中心联动、高压室异常与监控中心联动、整体联动。

Images