CN111062171A

CN111062171A - 基于云计算的efdc模型的应用方法、装置、***

Info

Publication number: CN111062171A
Application number: CN201911154831.3A
Authority: CN
Inventors: 蒋益民; 周鹏; 徐飞; 张金龙
Original assignee: Tsinghua Solution Information Technology Co ltd
Current assignee: Tsinghua Solution Information Technology Co ltd
Priority date: 2019-11-22
Filing date: 2019-11-22
Publication date: 2020-04-24
Anticipated expiration: 2039-11-22
Also published as: CN111062171B

Abstract

本发明提供一种基于云计算的EFDC模型的应用方法、装置、***及介质，所述方法包括：提取EFDC模型网格；获取水体流域范围；绘制可视化图层；获取输入数据，对所述输入数据进行处理；将处理后的数据导入EFDC模型；为EFDC模型分配云服务器；获取计算结果数据，并将所述计算结果数据关联至可视化图层。根据本发明的方案，能够使界面操作简便、用户无需掌握EFDC模型对数据的输入格式要求；还可以同时对多组输入数据进行并发模拟，模拟速度快。

Description

基于云计算的EFDC模型的应用方法、装置、***

技术领域

本发明涉及水质信息处理领域，尤其涉及一种基于云计算的EFDC模型的应用方法、装置、***及介质，具体涉及一种应用水质监测的基于云计算的EFDC模型的应用方法、装置、***及介质。

背景技术

目前，已有诸多水环境空间机理模型被应用于对水环境进行模拟，例如一维的S-P模型和QUASAR模型、二维的WASP模型、三维的EFDC模型、MIKE系列模型等。其中，EFDC模型因其功能较全面，可以模拟水动力、水质扩散、毒质扩散而日益受到重视。EFDC模型主要用于仿真还原目标流域的水动力和扩散场景，对水质进行预测，从而对决策进行论证和对污染现状进行解析。

现有技术CN108256249A(刘晓等)提出了一种三峡库区EFDC模型集成方法，提供对外的功能接口服务，但仍存在诸多缺陷：(1)用户界面体验较差，不能灵活展示、变更展示区域；(2)用户需要输入指定参数，对用户要求高，需要用户熟悉各种接口的数据格式，使输入数据符合格式要求，若某个输入参数不合理则造成模型运行崩溃；(3)对硬件要求高，普通计算机只能支持一组输入数据且模型计算速度慢，无法同时对多组输入数据进行模拟计算，不能同时对多组输入数据的运算结果进行比较；(4)输出结果单一。

发明内容

为解决上述技术问题，本发明提出了一种基于云计算的EFDC模型的应用方法，所述方法、装置、***及介质，用以解决现有技术中用户界面体验差、输入数据受限、计算速度慢的技术问题。

根据本发明的第一方面，提供一种基于云计算的EFDC模型的应用方法，包括：

步骤S101：提取EFDC模型网格；

步骤S102：获取水体流域范围；

步骤S103：绘制可视化图层；

步骤S104：获取输入数据，对所述输入数据进行处理；

步骤S105：将处理后的数据导入EFDC模型；

步骤S106：为EFDC模型分配云服务器；

步骤S107：获取计算结果数据，并将所述计算结果数据关联至可视化图层。

进一步地，所述提取EFDC模型网格包括：

步骤S1011：将EFDC模型生成的网格文件转化为矢量shp文件；

步骤S1012：对所述矢量shp文件中的数据进行处理；

步骤S1013：将含有网格信息的shp文件转化为GeoJSON文件。

进一步地，所述对所述矢量shp文件中的数据进行处理包括：

获取所述模型的属性表，将所述属性表中的初始值I、J分别加2，即

I赋值为I+2；J赋值为J+2；shp文件中的数据具有和模型一致的网格信息，所述网格信息包括经纬度信息、网格ID，记为L，以及每个网格各自的横纵坐标编号(I,J)。

进一步地，所述为EFDC模型分配云服务器包括：

步骤S1061：计算剩余CPU的最大满足值；

步骤S1062：修改所述EFDC模型中的占取的线程数量，运行所述EFDC模型；

步骤S1063：释放线程，并将其分配给其他EFDC模型。

根据本发明第二方面，提供一种基于云计算的EFDC模型的应用装置，包括：

提取网格模块：用于提取EFDC模型网格；

获取范围模块：用于获取水体流域范围；

绘制图层模块：用于绘制可视化图层；

数据处理模块：用于获取输入数据，对所述输入数据进行处理；

导入模块：用于将处理后的数据导入EFDC模型；

云服务器分配模块：用于为EFDC模型分配云服务器；

结果显示模块：用于获取计算结果数据，并将所述计算结果数据关联至可视化图层。

进一步地，所述提取网格模块包括：

转化子模块一：用于将EFDC模型生成的网格文件转化为矢量shp文件；

数据处理子模块：用于对所述矢量shp文件中的数据进行处理；

转化子模块二：用于将含有网格信息的shp文件转化为GeoJSON文件。

进一步地，所述转化子模块一包括：

获取及转换子模块，用于获取所述模型的属性表，将所述属性表中的初始值I、J分别加2，即I赋值为I+2；J赋值为J+2；所述矢量shp文件中的数据具有和模型一致的网格信息，所述网格信息包括经纬度信息、网格ID，记为L，以及每个网格各自的横纵坐标编号(I,J)。

进一步地，所述云服务器分配模块包括：

计算子模块：用于计算剩余CPU的最大满足值；

运行子模块：用于修改所述EFDC模型中的占取的线程数量，运行所述EFDC模型；

释放子模块：用于释放线程，并将其分配给其他EFDC模型。

根据本发明第三方面，提供一种基于云计算的EFDC模型的应用***，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于云计算的EFDC模型的应用方法。

根据本发明第四方面，提供一种一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于云计算的EFDC模型的应用方法。

根据本发明的上述方案，能够在Web Services前端的地图展示界面由用户根据监控需要对所监控的对象添加污染物数据，界面操作简便、用户无需掌握EFDC模型对数据的输入格式要求；还可以同时对多组输入数据进行并发模拟，模拟速度快，能够提供模拟结果对比分析功能；模拟的结果可以关联到地图上，地图上的网格可以实时反应每种污染物或变量的数值。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：

图1为本发明提出的基于云计算的EFDC模型的应用方法流程图；

图2为本发明一个实施方式的提取EFDC模型网格的方法流程图；

图3为本发明一个实施方式的为EFDC模型分配云服务器的方法流程图；

图4为本发明一个实施方式的基于云计算的EFDC模型的应用方法的水体模拟效果图；

图5为本发明提出的基于云计算的EFDC模型的应用装置组成框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先结合图1说明本发明的基于云计算的EFDC模型的应用方法，图1示出了根据本发明的基于云计算的EFDC模型的应用方法流程图。如图1所示，所述方法包括以下步骤：

步骤S101：提取EFDC模型网格；

以下结合图2说明本发明的提取EFDC模型网格的控制方法。所述提取EFDC模型网格包括：

步骤S1011：将EFDC模型生成的网格文件转化为矢量shp文件；

在地图上，例如谷歌地图、高德地图等，利用EFDC模型对地图中的目标区域进行拓扑描绘，再通过EFDC软件自带的CVL软件，或者Delft3D等网格制作软件生成原始网格图层，本实施例中的目标区域为水体。进而，为了后续使用需要，将所述原始网格文件导出或转化为矢量shp文件。

步骤S1012：对所述矢量shp文件中的数据进行处理；

即在ArcGIS或类似的地理软件中对所述矢量shp文件中的数据进行与模型统一的处理，包括：

获取所述模型的属性表，经过数据对比及计算，发现将所述属性表中的初始值I、J分别加2效果最好，即

I赋值为I+2(I＝I+2)；J赋值为J+2(J＝J+2)；

经过上述处理，使得shp文件中的数据具有和模型一致的网格信息，网格信息包括经纬度信息、网格ID，记为L，以及每个网格各自的横纵坐标编号(I,J)。

步骤S1013：将含有网格信息的shp文件转化为GeoJSON文件；

即将含有上述网格信息的shp文件转化为可以部署至前端GeoServer的GeoJSON文件，所述JSON文件也具有所述网格信息。

步骤S102：获取水体流域范围；

利用ArcGis软件确定目标水体在地图中的流域范围，通过DEM地理高程图来划分、确定步骤S101中获得的GeoJSON文件中所述目标水体的每个网格对应的水体的流域范围。再将每个网格对应的水体的流域范围与步骤S101中获得的GeoJSON文件中的每个网格利用ArcGIS空间关联性工具进行关联，确定每个网格所受影响的流域面积，将所述流域面积数据分配给每个流体边缘的网格。根据分配结果，绘制所述目标水体流域范围的矢量图层和对应的GeoJSON文件。

步骤S103：绘制可视化图层；

将所述步骤S101获得的所述目标水体的网格与所述步骤S102获取的所述目标水体流域范围的矢量图层进行叠加，叠加后的图层通过ArcGis图层发布，或通过Json文件上载至前端GeoJSON进行图层发布。将发布的图层进行透明化处理，使之覆盖在实际地图上。使用户通过图形画界面点击所述目标水体流域范围内任意位置时，都会将实际地图中的位置与对应的网格相关联。

步骤S104：获取输入数据，对所述输入数据进行处理；

将EFDC模型的接口进行二次开发，向用户提供更友好的界面、使输入数据格式灵活，用户无需了解熟知EFDC模型的参数要求，即可使用。

获取用户的输入数据，将输入数据进行加工、转化，完善其他EFDC模型所需的参数数据，将相关的数据文件转化为标准EFDC模型接受的文件格式。

例如，用户点击地图上某一具***置，进入输入污染源信息界面，在所述污染源信息界面添加与所点击的具***置对应的污染源数据，需要用户提供所述具***置的流量、污染源浓度、监测时间等信息。后台将流量及污染源浓度数据与输入的监测时长相除，得到每天的平均流量数据，由于所述步骤S103中发布的叠加后的图层已经覆盖于地图上，则用户输入的具体数据、后台根据用户输入的具体数据计算得到的中间数据都可以匹配到与地图中具***置对应的网格单元中，将计算得到的每天的平均流量数据与地图上所点击的具***置对应的网格的I、J、L进行匹配，用户在用户界面完成数据输入后，根据用户的输入数据，生成如下表1所示的格式文件，将其存入数据库。

表1

步骤S105：将处理后的数据导入EFDC模型；

本实施例对EFDC模型进行了二次开发，将EFDC模型所需的输入参数进行了封装，在模型接口提供了参数开关，对于用户通过输入界面输入的数据，其对应的参数开关为开状态；对于用户未输入的数据，其对应的参数开关为关状态。将用户输入的数据保存到如表一中的数据库表，将所述数据库表中的数据通过二次开发的EFDC模型接口，读入EFDC模型进行模拟计算时使用的inp文件，对于inp文件中对应的多个参数，参数开关状态为开状态的，根据数据库表中的数据来自动替换主控(efdc.inp)和水质控制(wq3dwc.inp)文件中的相应参数；之后再将污染源序列根据网格L值大小重新排序，在相关的水质(cwqsr*.inp)和流量(qser.inp)文件中续源文件写入污染源时间序列数据，并对参数开关状态为关状态的参数数值，用0值进行时间序列的填补，从而完善inp文件的数据。

用户界面的输入数据可以根据用户使用习惯、监测对象等进行个性化定制及调整。

步骤S106：为EFDC模型分配云服务器；

每个EFDC模型在计算时可用的最大CPU为32线程，但在实际应用中，很多计算设备并无法达到为EFDC模型分配32线程的性能，因此极大影响了计算速度，也无法并发运行多个EFDC模型。在本实施例中，利用弹性云服务来解决上述技术问题。

以下结合图3说明本发明的为EFDC模型分配云服务器的方法，所述为EFDC模型分配云服务器包括：

步骤S1061：计算剩余CPU的最大满足值；

获取云服务器上可并发的线程总数M，预留一定线程，例如，预留Z％的线程数，扣除预留线程数后剩余的线程数结果向上取整即得到EFDC模型可并发运行使用的总线程数。统计目前云服务器上已并发运行的EFDC模型所占用的线程总数N，计算剩余CPU可用值；并统计h(h为整数或者小数，h的设置需根据云服务器的性能来确定)小时内即将完成模拟的EFDC模型所占取的线程数量Xi，所述线程数量Xi为设定时间内可以执行完毕的模型所占用的CPU线程数，根据所述线程数量Xi和完成模拟剩余的时间，通过算法

当前可用弹性线程总数：

if P<＝32

Y_i＝P

else Y_i＝32；

其中：M＝服务器上可并发的线程总数；

N＝云服务器上已并发运行的EFDC模型所占用的线程总数；

Z％＝保障***稳定运行的预留线程数比例；

h＝允许的弹性线程占用时间；

Xi＝h时间内可运行完毕的某个模型占用的线程数算出接下来i小时里剩余CPU的最大满足值Y_i；由所述EFDC模型输出的nc文件数量、生成所述nc文件所用的时间、总体需要生成的nc文件的个数计算所述EFDC模型完成模拟所需消耗时间T_i。所述完成模拟剩余的时间基于所述EFDC模型完成模拟所需消耗时间确定。

若所述剩余CPU的最大满足值大于32，则将所述EFDC模型中的占取的线程数量修改32；若所述剩余CPU的最大满足值小于32，则将所述EFDC模型中的占取的线程数量修改为所述剩余CPU的最大满足值，实现CPU资源的不浪费，并且不会因为过度占用CPU资源导致***不稳定；运行所述EFDC模型，进行模拟计算；

步骤S1063：释放线程，并将其归还给CPU可用线程。

所述EFDC模型模拟计算结束后，释放当前线程；将当前模型运行所占用的CPU线程数归还给CPU，并且将上述算法中的剩余可用总线程数进行增加上该模型释放的线程数进行更新。

传统的EFDC模型进行模拟计算后，输出的结果是以nc文件格式进行显示的，nc文件中具有一个包含该模型全部网格数据的数字矩阵，不利于获取单独的网格数据。本实施例对EFDC模型进行了二次开发，对nc文件中的数据进行加工、转化。将nc文件中的所述网格数据根据其所在nc文件中的层数(K值)、横纵坐标编号(I,J值)和行列总数转化为与所述步骤S103获得的可视化图层中的网格相对应的数据。

转化公式为：

第n个网格的数据＝每行网格总数*总行数*K+(网格J值-k)*每行网格总数+(网格I值-k)，此处规定网格的I值和J值都是从3开始；

将转化后的网格数据与所述步骤S103获得的可视化图层中的网格相关联，根据横纵坐标编号I、J值进行关联，并将相应的网格数据保存到数据库中，便可以在前端通过Webservice接口方式调用服务端获取运行结果，并渲染到GIS图层上，即可查看各个网格的数据。

以下结合图4说明本发明基于云计算的EFDC模型的应用方法的水体模拟效果，具体的：

本实施例方法应用于贵州省重点流域生态环境大数据管理***，例如，对河流总磷污染物进行模拟，在用户界面输入数据，在前端展示所述EFDC模型对总磷的模拟结果，可以获取监测断面关联的网格的浓度数据，并且在地图界面上，用户只需滑动鼠标，即可实时展示每个网格的当天的浓度数据。

请参考图5，其为本发明提出的基于云计算的EFDC模型的应用装置组成框图。如图所示，该装置包括：

提取网格模块：用于提取EFDC模型网格；

获取范围模块：用于获取水体流域范围；

绘制图层模块：用于绘制可视化图层；

导入模块：用于将处理后的数据导入EFDC模型；

云服务器分配模块：用于为EFDC模型分配云服务器；

进一步地，所述提取网格模块包括：

进一步地，所述转化子模块一包括：

进一步地，所述云服务器分配模块包括：

计算子模块：用于计算剩余CPU的最大满足值；

释放子模块：用于释放线程，并将其分配给其他EFDC模型。

本发明实施例进一步给出一种基于云计算的EFDC模型的应用***，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如上所述的基于云计算的EFDC模型的应用方法。

本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如上所述的基于云计算的EFDC模型的应用方法。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作***)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims

1.一种基于云计算的EFDC模型的应用方法，其特征在于，所述方法包括：

步骤S101：提取EFDC模型网格；

步骤S102：获取水体流域范围；

步骤S103：绘制可视化图层；

步骤S104：获取输入数据，对所述输入数据进行处理；

步骤S105：将处理后的数据导入EFDC模型；

步骤S106：为EFDC模型分配云服务器；

2.如权利要求1所述的基于云计算的EFDC模型的应用方法，其特征在于，所述提取EFDC模型网格包括：

步骤S1011：将EFDC模型生成的网格文件转化为矢量shp文件；

步骤S1012：对所述矢量shp文件中的数据进行处理；

步骤S1013：将含有网格信息的shp文件转化为GeoJSON文件。

3.如权利要求2所述的基于云计算的EFDC模型的应用方法，其特征在于，所述对所述矢量shp文件中的数据进行处理包括：

I赋值为I+2；J赋值为J+2；所述矢量shp文件中的数据具有和模型一致的网格信息，所述网格信息包括经纬度信息、网格ID，记为L，以及每个网格各自的横纵坐标编号(I,J)。

4.如权利要求1所述的基于云计算的EFDC模型的应用方法，其特征在于，所述为EFDC模型分配云服务器包括：

步骤S1061：计算剩余CPU的最大满足值；

步骤S1063：释放线程，并将其分配给其他EFDC模型。

5.一种基于云计算的EFDC模型的应用装置，其特征在于，所述装置包括：

提取网格模块：用于提取EFDC模型网格；

获取范围模块：用于获取水体流域范围；

绘制图层模块：用于绘制可视化图层；

导入模块：用于将处理后的数据导入EFDC模型；

云服务器分配模块：用于为EFDC模型分配云服务器；

6.如权利要求5所述的基于云计算的EFDC模型的应用装置，其特征在于，所述提取网格模块包括：

7.如权利要求6所述的基于云计算的EFDC模型的应用装置，其特征在于，所述转化子模块一包括：

8.如权利要求5所述的基于云计算的EFDC模型的应用装置，其特征在于，所述云服务器分配模块包括：

计算子模块：用于计算剩余CPU的最大满足值；

释放子模块：用于释放线程，并将其分配给其他EFDC模型。

9.一种基于云计算的EFDC模型的应用***，其特征在于，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求1-4任一所述的基于云计算的EFDC模型的应用方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-4任一所述的基于云计算的EFDC模型的应用方法。