CN112118421A - 一种智慧巡河方法、装置、存储介质和电子设备 - Google Patents

Abstract

本申请涉及水务工程与环境工程领域，尤其是涉及一种智慧巡河方法、装置、存储介质和电子设备，其包括获取全景摄像机实时采集的河道监测视频；根据所述河道监测视频，生成观测视频；根据所述河道监测视频中的河面图像，获取河面参数，所述河面参数用于描述河道的河面状况；将所述观测视频和所述河面参数发送至VR终端，以使所述VR终端显示所述观测视频和所述河面参数。本申请持续性的监测河面状况，提高巡河的整体效率，提升巡河信息的准确性。

Description

一种智慧巡河方法、装置、存储介质和电子设备

技术领域

本申请涉及水务工程与环境工程领域，尤其是涉及一种智慧巡河方法、装置、存储介质和电子设备。

背景技术

随着社会的发展，人们开始越来越重视人类所赖以生存的环境，进一步加强河湖管理保护工作是其中一项重点工作，即由各级部门的相关负责人担任“河长”，负责组织相应河湖的管理和保护工作。河长日常的工作包括巡河，以便能及时发现河流的污染问题并将问题上报。

相关技术中，巡河需要河长到现场进行实地的巡查，巡查完毕后，还需要河长手动记录操作，并上报巡河信息，包括巡河时间、巡河河段以及巡河事件等信息。

但是上述相关技术中，河长在未巡河时，无法做到及时掌握河面状况，且巡河整体效率较低。

发明内容

为了帮助河长及时、准确的掌握河道实时情况，从而快速、有效地处理发现的问题，提高河长工作效率和应急指挥能力，本申请提供一种智慧巡河方法、装置、存储介质和电子设备。

第一方面，本申请提供一种智慧巡河方法，包括：

获取全景摄像机实时采集的河道监测视频；

根据所述河道监测视频，生成观测视频；

根据所述河道监测视频中的河面图像，获取河面参数，所述河面参数用于描述河道的河面状况；

将所述观测视频和所述河面参数发送至VR终端，以使所述VR终端显示所述观测视频和所述河面参数。

通过采用上述技术方案，全景摄像机对河道状况进行实时监控，并将采集的河道状况生成河道监测视频，河道监测视频发生到服务器进行管理和处理，转换成观测视频，将观测视频发生至VR终端进行显示，帮助河长及时、准确的掌握河道实时情况，从而快速、有效地处理发现的问题，提高河长工作效率和应急指挥能力。河面参数根据河面图像进行获取，形成电子数据显示在VR终端，对河长的巡河起到参考和帮助的作用。

优选的，在根据所述河道监测视频中的河面图像，获取河面参数时：

识别出所述河面图像中所包括的异物图像；

根据所述异物图像，获取用于描述异物的异物特征，所述异物特征包括异物体积和异物数量。

优选的，将所述观测视频和所述河面参数发送至VR终端之前：

根据所述异物特征，生成河面污染指数；

若所述河面污染指数大于河面标准指数，则输出报警信号至所述VR终端。

优选的，在根据所述河道监测视频中的河面图像，获取河面参数时：

识别出所述河面图像中色彩异常的部分图像；

根据所述部分图像，生成颜色特征，所述颜色特征包括异常颜色和异常颜色面积。

优选的，将所述观测视频和所述河面参数发送至VR终端之前：

根据所述颜色特征，生成水质污染指数；

若所述水质污染指数大于所述水质标准指数，则输出报警信号至所述VR终端。

优选的，根据所述河道监测视频中的河面图像，获取河面参数时：

获取水质成分参数，将所述水质成分参数发送至所述VR终端，以使所述VR终端显示所述水质成分参数。

优选的，根据所述河道监测视频，生成观测视频时：

对所述河道监测视频进行缝合和转换处理，生成以适应所述VR终端显示和360度全景观测的所述观测视频。

第二方面，本申请提供一种智慧巡河装置，包括：

数据采集模块，用于获取全景摄像机实时采集的河道监测视频；

数据转换模块，用于根据所述河道监测视频，生成观测视频；

获取参数模块，根据所述河道监测视频中的河面图像，获取河面参数；

发送模块，用于将所述观测视频和所述河面参数发送至VR终端；

显示模块，用于显示所述观测视频和所述河面参数。

第三方面，本申请提供一种计算机可读存储介质，包括：

存储程序，所述存储程序运行时执行上述智慧巡河方法。

第四方面，本申请提供一种电子设备，包括：

存储器和处理器，其中，存储器中存储有计算机程序，处理器被设置为通过计算机程序执行上述智慧巡河方法。

综上所述，本申请的有益技术效果：

通过全景摄像机实时不间断的对河道进行连续监测和远程全景监控，同时将采集的河道监测视频转换为用于VR终端查看的观测视频，将转换好的观测视频发送到可进行操控的VR终端，获取河道参数的同时，通过不断切换采集点的全景摄像机，对河面情况进行全景无死角巡河，做到实时掌握河面状况，预警预报重要的河面事故，缩短巡河时间，提高巡河的整体工作效率，同时克服地理环境的困难，提升巡河信息的准确性，实现巡河方法的升级转变。

附图说明

图1是本申请实施例提供的一种智慧巡河方法的流程示意框图；

图2是本申请实施例提供的根据异物图像描述异物特征的流程示意框图；

图3是本申请实施例提供的一种智慧巡河装置的结构示意框图。

具体实施方式

以下结合附图对本申请作进一步详细说明。

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，本申请实施例公开一种智慧巡河方法，包括：

S101，获取全景摄像机实时采集的河道监测视频。

具体的，河道两侧布置有若干个全景摄像机，若干个全景摄像机沿河道长度方向排列设置。

应当理解，若干全景摄像机的设置，使河水流经的区域被全范围覆盖，从而避免出现视线盲区，减少视线盲区出现异常情况而未被全景摄像机采集的情况发生，提高巡河时的河道监测视频的信息准确性。

可选的，全景摄像机的拼接延时<100ms，从而提高拍摄的河道监测视频的整体流畅性，同时便于后续对河道监测视频进行处理转换。

可选的，在实际应用中，全景摄像机采用2*2um大靶面CMOS传感器，从而在实时采集河道监测视频的过程中，有效增加感光面积，增加河道监测视频的准确性，进一步提高提升巡河信息的准确性。

另外，大靶面CMOS传感器还可以提升暗场效果，适应夜晚工作环境，使得夜间也可以实时采集河道监测视频，进一步提升巡河信息的实用性，实现对河面的全天候监控和巡视。

可选的，全景摄像机的壳体采用工业级防水设计，使全景摄像机具有防水、防尘和防雷的功能，适用于室外环境的连续工作。

可选的，全景摄像机选用室外防水一体化VR全景摄像机V8。

S102，根据所述河道监测视频，生成观测视频。

具体的，还包括第一路由器和流媒体服务器。

应当理解，河道监测视频通过第一路由器传输至流媒体服务器，流媒体服务器对河道监测视频进行缝合和转换处理，生成可供VR终端使用的观测视频，并将观测视频存储在流媒体服务器中。

优选的，第一路由器为企业级路由器，企业级路由器可以提供千/万Mbps端口的速率、服务质量、多点广播、流量控制、支持IPv6、组播以及MPLS等特性的支持能力，满足企业用户对安全性、稳定性、可靠性，大大提高通信速度，减轻企业网络***通信负荷，节约网络***资源，提高网络***畅通率。

优选的，流媒体服务器是流媒体应用的核心***，流媒体是指以流方式在网络中传送音频、视频和多媒体文件的媒体形式。相对于下载完成后观看的网络播放形式，流媒体是把连续的音频和视频信息压缩后放到服务器上，可以边下载边观看，而不必等待整个文件下载完毕，从而提高视频数据的传输效率。

可选的，流媒体服务器包括服务器和VR流媒体视频管理软件DeepDepth-V2。DeepDepth-V2流媒体视频管理软件具有高效的视频管理功能，具有上传、转码、直播、回放功能、多屏播放等功能。

可选的，流媒体服务器自带存储空间，实现存储扩容需求。

可选的，第一路由器与流媒体服务器之间通过RTMP进行推流，RTMP是Real TimeMessaging Protocol（实时消息传输协议），是一种设计用来进行实时数据通信的网络协议，主要用在支持RTMP协议的流媒体服务器之间进行音视频和数据通信，从而降低延迟，适应于较长的时间的传输。

优选的，第一路由器与流媒体服务器之间的联网方式为5G信号传输，以满足高清视频，虚拟现实等大数据量传输。

S103，根据所述河道监测视频中的河面图像，获取河面参数，所述河面参数用于描述河道的河面状况。

具体的，河面参数为异物特征，识别出河面图像中所包括的异物图像，根据异物图像，获取用于描述异物的异物特征，异物特征包括异物体积和异物数量。

应当理解，河面图像由多个像素点组合而成，每个像素点的颜色都不一定相同，通过对河面图像进行灰度化处理，使每个像素点的RGB值统一成同一个值，从而使河面图像由三通道变为单通道，单通道的河面图像数据处理起来较为简便，同时可以避免条带失真的情况发生。

然后对灰度化处理后的河面图像，采用SIFT （scale invariant featuretransform，尺度不变特征变换）或HOG（histogram of oriented gradients，方向梯度直方图）的方法，进行特征提取。

将特征提取后的河面图像，与上一时刻特征提取后的河面图像进行对比，从而确定是否存在区别点，即异物图像，从而实现对河面图像上异物的识别。

例如，取时刻为t的河面图像A和时刻为t-1的河面图像B，需要经过如下步骤来判断河面图像A和河面图像B是否为相同图：

S1，分别得到河面图像A和河面图像B对应的特征点集合S1和S2。

S2，对于集合S1中的每一个特征点，分别找到S2中对应的最近邻特征点，可以用欧式距离作为度量标准，若小于阈值，则表明当前特征点匹配成功，否则匹配失败。

S3，若集合S1中匹配成功个数大于指定阈值，则表明河面图像A近似为河面图像B的一部分，则说明河面图像A和河面图像B为相同图像，河面没有异物存在，否则说明河面存在异物。

参考图2，作为本申请提供的智慧巡河方法的一种具体实施方式，识别出河面图像中所包括的异物图像，根据异物图像，获取用于描述异物的异物特征，异物特征包括异物体积和异物数量，过程如下：

S201，根据所述异物特征，生成河面污染指数。

S202，若所述河面污染指数大于河面标准指数，则输出报警信号至所述VR终端。

具体的，设异物数量为x，异物体积y，河面污染指数为V，故有V={x，y}，河面标准指数为W。

当V<=W，则河面状态为正常状态，VR终端显示河面状况正常；

当V>W，则河面状态为报警状态，VR终端显示报警信号，提示人员进行河面异物处理。

应当理解，异物处理涉及到很多方法，例如，通过水上机器人或者现场清洁人员，进行异物的跟踪和处理。

优选的，通过在河道上沿其长度方向上设置三个监测点a、b、c，其中，a与b之间的距离和b与c之间的距离相同，都为L。异物从a点到b点的时间为t，故可获取异物的移速s=L/t。根据移速s，推算得出异物移至c点的时间。以c点为圆心，L为半径进行范围圈定，获取距离c点距离最近的现场清洁人员或者水上机器人，进行异物的抓取和处理。

参考图2，作为本申请提供的智慧巡河方法的一种具体实施方式，根据所述河道监测视频中的河面图像，获取河面参数，过程如下：

S301，识别出所述河面图像中色彩异常的部分图像。

S302，根据所述部分图像，生成颜色特征，所述颜色特征包括异常颜色和异常颜色面积。

具体的，对河面图像上色彩偏差较大的图像区域进行框选和截取，形成色彩异常区域。

可选的，对色彩异常区域进行图像放大。

应当理解，通过色彩识别软件或者人工识别，对异常颜色进行获取和判断，通过对比正常状态下河面的颜色数据，输出颜色是否异常的结论。

若输出为异常颜色，则输出报警信号至所述VR终端。

若输出为异常颜色面积大于预设面积，则输出报警信号至所述VR终端。

可选的，根据所述颜色特征，生成水质污染指数。

具体的，河水污染指数计算方式为：

式中 PIj——j种用途水的水污染指数，mg/L；

Si,j——水质评价参数(污染物)i的J种用途水的水质评价标准，mg/L；

Ci——水质评价参数i的实测浓度，mg/L；

n——水质评价参数的项目数。

优选的，选取温度、颜色、透明度、pH值、大肠杆菌数、总溶解固体、悬浮固体、总氮、碱度、氯、铁、锰、硫酸盐、溶解氧作为计算水污染指数的评价参数，并将水的用途分为三类。

人类接触使用的(PI1)，包括饮用、游泳、制造饮料等；

间接接触使用的(PI2)，包括养鱼、工业食品制备、农业用等；

不接触使用的(PI3)，包括工业冷却用、公共娱乐及航运等。

根据水体在不同用途占的份额(即权系数)，分别以W1、W2、W3代表，得出水质污染指数计算公式：

PI=PI1W1+PI2W2+PI3W3

式中 PI一总水质指数；

W1，W2，W3——各种用途用水的权系数。从而计算得出水质污染指数。应当理解，得出的水质污染指数，需要与水质标准指数对比。当水质污染指数大于水质标准指数，生成报警信号并传输至VR终端进行显示和预警，提醒工作人员需要进行河水处理，达到巡河治理的目的。

参考图2，作为本申请提供的智慧巡河方法的一种具体实施方式，根据河道监测视频中的河面图像，获取河面参数时，过程如下：

S401，获取水质成分参数，将所述水质成分参数发送至所述VR终端，以使所述VR终端显示所述水质成分参数。

具体的，通过在河道两侧设置取水装置，对河水进行实时的取水，从而便于实时对河水进行化学分析，确定水质成分，形成水质成分分析报告，并将水质成分分析报告发送至VR终端进行显示和通知，达到实时监测河面水质的目的。

S104，将所述观测视频和所述河面参数发送至VR终端，以使所述VR终端显示所述观测视频和所述河面参数。其中，观测视频是河道监测视频通过流媒体服务器进行缝合和转换处理生成，观测视频为360度全景视频。

具体的，还包括第二路由器。将流媒体服务器中管理处理后的观测视频和河面参数，通过第二路由器进行网络传输，传输至VR终端，使VR终端显示观测视频和河面参数。

优选的，第二路由器也为企业级路由器。

具体的，VR终端包括VR眼镜和显示屏幕。应当理解，VR眼镜方便用户进行虚拟画面巡河，通过外接设备进行操控，发出操控指令，从而在观测视频中进行转向和调焦的处理，便于工作人员更好的进行观测和巡河，提高巡河的真实性和准确性。显示屏幕与VR眼镜里的内容同步，从而便于其他人员进行同步观测。

优选的，第二路由器与流媒体服务器之间的联网方式为5G信号传输。

将处理转换后的观测视频，发送至可以进行查看的VR终端，通过VR终端对观测视频的进行操控和转向处理，实现对观测视频的查看，完成此监测点的视频后，切换至下一监测点进行查看，依次操作，从而实现河道情况的巡河。

参考图3，本申请实施例公开一种智慧巡河装置30，包括：

数据采集模块31，用于获取全景摄像机实时采集的河道监测视频；

数据转换模块32，用于根据所述河道监测视频，生成观测视频；

获取参数模块33，根据所述河道监测视频中的河面图像，获取河面参数；

发送模块34，用于将所述观测视频和所述河面参数发送至VR终端；

显示模块35，用于显示所述观测视频和所述河面参数。

本申请实施例公开一种计算机可读存储介质，包括：

存储程序，所述存储程序运行时执行上述智慧巡河方法。

本申请实施例公开一种电子设备，包括：

存储器和处理器，其中，存储器中存储有计算机程序，处理器被设置为通过计算机程序执行上述智慧巡河方法。

本申请实施例提供了一种智慧巡河方法、装置、存储介质和电子设备，通过全景摄像机实时不间断的对河道进行连续监测和远程全景监控，同时将采集的河道监测视频转换为用于VR终端查看的观测视频，将转换好的观测视频发送到可进行操控的VR终端，获取河道参数的同时，通过不断切换采集点的全景摄像机，对河面情况进行全景无死角巡河，做到实时掌握河面状况，预警预报重要的河面事故，缩短巡河时间，提高巡河的整体工作效率，同时克服地理环境的困难，提升巡河信息的准确性，实现巡河方法的升级转变。

在本申请中可能出现的对各种消息/信息/设备/网元/***/装置/动作/操作/流程/概念等各类客体进行了赋名，可以理解的是，这些具体的名称并不构成对相关客体的限定，所赋名称可随着场景，语境或者使用习惯等因素而变更，对本申请中技术术语的技术含义的理解，应主要从其在技术方案中所体现/执行的功能和技术效果来确定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

非易失性存储器可以是ROM、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)或闪存。

易失性存储器可以是RAM，其用作外部高速缓存。RAM有多种不同的类型，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器。

上述任一处提到的处理器，可以是一个CPU，微处理器，ASIC，或一个或多个用于控制上述智慧巡河方法的程序执行的集成电路。该处理模块和该存储模块可以解耦，分别设置在不同的物理设备上，通过有线或者无线的方式连接来实现该处理模块和该存储模块的各自的功能，以支持该***芯片实现上述实施例中的各种功能。或者，该处理模块和该存储器也可以耦合在同一个设备上。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种智慧巡河方法，其特征在于，包括：

获取全景摄像机实时采集的河道监测视频；

根据所述河道监测视频，生成观测视频；

根据所述河道监测视频中的河面图像，获取河面参数，所述河面参数用于描述河道的河面状况；

将所述观测视频和所述河面参数发送至VR终端，以使所述VR终端显示所述观测视频和所述河面参数。

2.根据权利要求1所述的一种智慧巡河方法，其特征在于，所述河面参数包括异物特征，所述根据所述河道监测视频中的河面图像，获取河面参数包括：

识别出所述河面图像中所包括的异物图像；

根据所述异物图像，获取用于描述异物的异物特征，所述异物特征包括异物体积和异物数量。

3.根据权利要求2所述的一种智慧巡河方法，其特征在于，所述将所述观测视频和所述河面参数发送至VR终端之前，所述方法还包括：

根据所述异物特征，生成河面污染指数；

若所述河面污染指数大于河面标准指数，则输出报警信号至所述VR终端。

4.根据权利要求1所述的一种智慧巡河方法，其特征在于，所述河面参数包括颜色特征，所述根据所述河道监测视频中的河面图像，获取河面参数包括：

识别出所述河面图像中色彩异常的部分图像；

根据所述部分图像，生成颜色特征，所述颜色特征包括异常颜色和异常颜色面积。

5.根据权利要求4所述的一种智慧巡河方法，其特征在于，所述将所述观测视频和所述河面参数发送至VR终端之前，所述方法还包括：

根据所述颜色特征，生成水质污染指数；

若所述水质污染指数大于所述水质标准指数，则输出报警信号至所述VR终端。

6.根据权利要求3或5所述的一种智慧巡河方法，其特征在于，根据所述河道监测视频中的河面图像，获取河面参数，所述方法还包括：

获取水质成分参数，将所述水质成分参数发送至所述VR终端，以使所述VR终端显示所述水质成分参数。

7.根据权利要求1所述的一种智慧巡河方法，其特征在于，所述根据所述河道监测视频，生成观测视频包括：

对所述河道监测视频进行缝合和转换处理，生成以适应所述VR终端显示和360度全景观测的所述观测视频。

8.一种智慧巡河装置，其特征在于，包括：

数据采集模块，用于获取全景摄像机实时采集的河道监测视频；

数据转换模块，用于根据所述河道监测视频，生成观测视频；

获取参数模块，根据所述河道监测视频中的河面图像，获取河面参数；

发送模块，用于将所述观测视频和所述河面参数发送至VR终端；

显示模块，用于显示所述观测视频和所述河面参数。

9.一种计算机可读存储介质，其特征在于：包括存储程序，所述存储程序运行时执行上述权利要求1至7任一项中所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

Images