CN109587153A

CN109587153A - 基于数据流定制的通用生态安全监测数据采集方法与装置

Info

Publication number: CN109587153A
Application number: CN201811534512.0A
Authority: CN
Inventors: 陈彬; 杨泽; 宁丹丹; 李祯; 马亮; 朱正秋; 王戎骁; 董健; 张芳
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2018-12-14
Filing date: 2018-12-14
Publication date: 2019-04-05
Anticipated expiration: 2038-12-14
Also published as: CN109587153B

Abstract

本发明公开了一种基于数据流定制的通用生态安全监测数据采集方法与装置，采集方法包括读取数据流定制配置，数据流定制配置包括生态监测设备的设备信息、通信端口信息、数据传输协议、生态监测设备与生态监测数据类型的映射关系以及生态监测数据类型与数据库存储字段的映射关系，基于数据流定制配置对每个生态监测设备开启一个线程采集生态监测数据；根据数据流定制配置解析生态监测数据的字段类型及其数据值、转换为数据库存储字段及其数据值进行存储、生成实时生态安全态势图表输出。本发明具有用户定制能力强、生态监测数据采集的通用性与适应性好，整体生态安全态势表现灵活程度高，能够为更好的为生态安全防护提供辅助决策支持的优点。

Description

基于数据流定制的通用生态安全监测数据采集方法与装置

技术领域

本发明涉及生态监测以及生态安全监测技术，具体涉及一种基于数据流定制的通用生态安全监测数据采集方法与装置。

背景技术

生态监测是采用生态学的各种方法和手段，从不同尺度上对各类生态***结构和功能的时空格局的度量，主要通过测生态***条件、条件变化、对环境压力的反映及其趋势而获得。国内有学者提出“生态监测就是运用可比的方法，在时间和空间上对特定区域范围内生态***或生态***组合体的类型、结构和功能及其组合要素等进行***地测定和观察的过程，监测的结果则用于评价和预测人类活动对生态***的影响，为合理利用资源、改善生态环境和自然保护提供决策依据，这一定义似乎从方法原理、目的、手段、意义等方面作了较全面的阐述。在监测对象上，生态监测既不同于城市环境质量监测，也不同于工业污染源监测。从环境监测发展历程来看，目前所指的生态监测主要侧重于宏观的、大区域的生态破坏问题，它具有反映人类活动对我们所处的生态环境的全貌、有机综合影响的优点。如近年来积极开展的湿地生态环境监测，渔业生态环境监测，海域生态环境监测，以及荒漠生态环境监测。生态监测的对象可分为农田、森林、草原、荒漠、湿地、湖泊、海洋、气象、物候、动植物等。应当看到，生态监测是环境监测的拓宽，除了新的理论、技术和方法外，环境监测的理论和实践必是生态监测得以发展和完善的基本保证。景观生态学、农业生态学、森林生态学、淡水生态学、海洋生态学、荒漠生态学、脆弱带生态学、地球化学、气象学、物候学、水文学、环境经济学、人文物理学等的理论和实践对生态监测更是大有裨益。

生态安全监测是生态监测领域一个组成部分，它分为以下几个步骤：一是，生态监测设备的部署；二是，生态监测数据的采集；三是，解析实时生态数据包，即是解析采集到的实时数据包；四是，存储生态监测数据，存储解析出来的实时数据；五是，生态安全态势图的生成，利用Web或应用软件显示生态安全态势。发明人在进行生态安全监测调研的过程中发现，目前现有的生态安全监测平台解决方案均具有一个重大缺陷——生态安全监测平台与生态监测设备相绑定，不能够适应生态监测设备的变化，在需求变化后不能重用已有平台，必须重新编码构建新的生态安全监测平台，且监测平台往往需要有硬件采集设备支撑，通过硬件平台采集数据后再转发到软件平台，这使得开发成本和开发周期上升。这主要由以下几个原因造成：第一，生态安全监测平台在源代码级与生态监测设备绑定；第二，生态监测平台对于生态监测数据采集的需求在确定后难以改变，当数据采集需求变化时不能主动适应，需要通过对采集接口进行重新编码来适应变化。综上所述，目前现有的生态安全监测解决方案的上述问题对生态安全监测的应用产生了极大的限制。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于数据流定制的通用生态安全监测数据采集方法与装置，本发明具有用户定制能力强、生态监测数据采集的通用性与适应性好，整体生态安全态势表现灵活程度高，能够为更好的为生态安全防护提供辅助决策支持的优点。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于数据流定制的通用生态安全监测数据采集方法，实施步骤包括：

1）读取数据流定制配置，所述数据流定制配置包括生态监测设备的设备信息、生态监测设备的通信端口信息、生态监测设备的数据传输协议、生态监测设备与生态监测数据类型的映射关系以及生态监测数据类型与数据库存储字段的映射关系；

2）根据数据流定制配置生成生态监测设备列表，针对生态监测设备列表中的每一个生态监测设备，开启一个线程并基于该生态监测设备对应的通信端口信息发送采集指令，并获取生态监测设备返回的生态监测数据；

3）针对获得的生态监测数据，获取其对应的生态监测设备在数据流定制配置的数据传输协议，并根据获取的数据传输协议进行逆编码从生态监测数据中解析输出的生态监测数据的字段类型及其数据值；

4）针对获得的生态监测数据的字段类型及其数据值，根据数据流定制配置中生态监测数据类型与数据库存储字段的映射关系转换为数据库存储字段及其数据值，并将数据库存储字段及其数据值存储到数据库；

5）针对获得的生态监测数据的字段类型及其数据值，根据数据流定制配置中生态监测设备与生态监测数据类型的映射关系转换为生态监测数据类型及其数据值，并将生态监测数据类型及其数据值生成实时生态安全态势图表输出。

优选地，步骤2）的详细步骤包括：

2.1）根据数据流定制配置生成生态监测设备列表；

2.2）根据生态监测设备列表初始化线程，使得生态监测设备列表中的每一个生态监测设备对应开启一个线程；

2.3）判断是否开启的所有线程都初始化成功，如果任意线程初始化失败，则关闭该线程；

2.4）运行初始化成功的线程；

2.5）获取预存在数据流定制配置中的轮询指令列表；

2.6）根据预存在数据流定制配置中的轮询生态监测设备信息确定本次轮询需要关闭的线程，释放本次轮询需要关闭的线程对应的通信端口，并退出本次轮询需要关闭的线程；

2.7）初始化本次轮询的查询次数Count值为0；

2.8）未被关闭的线程从轮询指令列表中获取指令，将指令基于该线程对应的生态监测设备的通信端口信息发送给对应的生态监测设备；

2.9）读取对应的生态监测设备输出的生态监测数据；

2.10）将本次轮询的查询次数Count加1，判断本次轮询的查询次数Count是否小于轮询指令列表的长度，如果小于轮询指令列表的长度则跳转执行步骤2.8）；否则，跳转执行步骤2.6）进入下一次轮询。

优选地，步骤3）的详细步骤包括：

3.1）接收生态监测数据，针对获得的生态监测数据，获取其对应的生态监测设备在数据流定制配置的数据传输协议，根据获取的数据传输协议拆分生态监测数据的数据包；

3.2）根据获取的数据传输协议进行逆编码从生态监测数据的数据包中解析输出生态监测数据的字段类型及其数据值。

优选地，步骤4）的详细步骤包括：

4.1）预先打开数据库操作句柄；

4.2）判断打开数据库是否成功，如果不成功则退出；否则，跳转执行下一步；

4.3）等待解析输出的生态监测数据的字段类型及其数据值，当收到解析输出的生态监测数据的字段类型及其数据值时跳转执行下一步；

4.4）将解析输出的生态监测数据的字段类型及其数据值生成SQL***语句；

4.5）执行SQL***语句将解析输出的生态监测数据的字段类型及其数据值***数据库。

优选地，步骤5）的详细步骤包括：

5.1）预先读取预存在数据流定制配置中的生态监测数据安全阈值；当收到生态监测数据的字段类型及其数据值时，跳转执行下一步；

5.2）针对获得的生态监测数据的字段类型及其数据值，根据数据流定制配置中生态监测设备与生态监测数据类型的映射关系转换为生态监测数据类型及其数据值，并将生态监测数据安全阈值、生态监测数据类型及其数据值生成实时生态安全态势图表并刷新显示；

5.3）判断是否收到新的生态监测数据的字段类型及其数据值，如果收到新的生态监测数据的字段类型及其数据值，则跳转执行步骤5.2）。

本发明还提供一种基于数据流定制的通用生态安全监测数据采集***，其特征在于：包括计算机设备，所述计算机设备被编程以执行本发明前述基于数据流定制的通用生态安全监测数据采集方法的步骤。

本发明基于数据流定制的通用生态安全监测数据采集方法具有下述优点：针对现有技术的前述问题，本发明利用数据流定制的方式配置生态监测数据的采集，使得生态监测设备与生态数据采集及存储的方式相分离。在数据流定制配置中包含三类映射关系：第一，生态监测设备和数据采集线程的映射关系，利用多串口服务器和多线程机制实现了对生态监测设备的部署的自适应；第二，生态监测设备的数据传输协议与数据解析的映射关系，利用生态监测设备的数据传输协议对生态数据包进行解析，实现了对多类型生态监测数据包的自适应；第三，生态数据类型与数据存储的映射关系，将解析后的生态监测数据自动上传至云端数据库，实现了多类型生态监测数据存储的自适应。与现有技术相比，本发明基于数据流定制的通用生态安全监测数据采集方法具有下述有益效果：本发明基于数据流定制的通用生态安全监测数据采集方法实现了生态监测设备与生态数据采集和存储的解耦，与生态监测数据采集相关的各类信息均在定制后保存至配置，从而在不用重编码，不改变数据库的前提下实现对生态监测需求变化的自适应，极大地提高了通用性。此外，本发明基于数据流定制的通用生态安全监测数据采集方法利用并行数据采集的方式也优化了采集效率和性能。

本发明基于数据流定制的通用生态安全监测数据采集装置为本发明基于数据流定制的通用生态安全监测数据采集方法对应的装置，因此同样也具有本发明基于数据流定制的通用生态安全监测数据采集方法的前述优点，故在此不再赘述。

附图说明

图1为本发明实施例的基本流程示意图。

图2为本发明实施例装置的逻辑框架结构示意图。

图3为本发明实施例装置中各个模块间信息流，控制流的结构图。

图4为本发明实施例装置中数据流定制模块的工作流程图。

图5为本发明实施例装置中数据采集线程模块的工作流程图。

图6为本发明实施例装置中数据解析模块的工作流程图。

图7为本发明实施例装置中数据存储模块的工作流程图。

图8为本发明实施例装置中生态安全态势显示模块的工作流程图。

图9为本发明实施例装置中数据库交互模块的工作流程图。

具体实施方式

如图1所示，本实施例基于数据流定制的通用生态安全监测数据采集方法的实施步骤包括：

1）读取数据流定制配置，数据流定制配置包括生态监测设备的设备信息、生态监测设备的通信端口信息、生态监测设备的数据传输协议、生态监测设备与生态监测数据类型的映射关系以及生态监测数据类型与数据库存储字段的映射关系；

本实施例方法运作的基础为数据流定制配置：基于数据流定制配置，利用数据流定制的方式配置生态监测数据的采集，使得生态监测设备与生态数据采集及存储的方式相分离；基于数据流定制配置，根据生态监测设备的部署情况配置多线程的采集方式，实现生态监测数据的并行采集，提高采集工作效率；基于数据流定制配置，实现了生态监测设备数据输出端口与数据采集引擎的匹配关系；基于数据流定制配置，提供了对不同生态监测设备数据传输协议的解释机制，实现了从生态数据包到数据库存储的映射，具有用户定制能力强、生态监测数据采集的通用性与适应性好，整体生态安全态势表现灵活程度高，能够为更好的为生态安全防护提供辅助决策支持的优点。

本实施例中，步骤2）的详细步骤包括：

2.1）根据数据流定制配置生成生态监测设备列表；

2.4）运行初始化成功的线程；

2.5）获取预存在数据流定制配置中的轮询指令列表；

2.7）初始化本次轮询的查询次数Count值为0；

2.8）未被关闭的线程从轮询指令列表中获取序号为查询次数Count值的指令，将指令基于该线程对应的生态监测设备的通信端口发送给对应的生态监测设备；

2.9）读取对应的生态监测设备输出的生态监测数据；

本实施例中，步骤3）的详细步骤包括：

本实施例中，步骤4）的详细步骤包括：

4.1）预先打开数据库操作句柄；

本实施例中，步骤5）的详细步骤包括：

本实施例还公开一种基于数据流定制的通用生态安全监测数据采集装置，包括计算机设备，该计算机设备被编程以执行本发明前述基于数据流定制的通用生态安全监测数据采集方法的步骤。

如图2所示，作为一种具体实现，前述通用生态安全监测数据采集装置的计算机设备通过串口服务器和各个生态监测设备相连，串口服务器包含一个网口和多个RS485端口，网口和多个RS485端口之间设有转换器，计算机设备和串口服务器的网口相连、RS485端口则分别与生态监测设备相连，生态监测设备可以根据需要为土壤温度传感器、土壤PH传感器、水质PH传感器、空气温湿传感器、雨量传感器等等。

如图3所示，计算机设备的程序模块包括：

数据流定制模块1，用于生成和读取数据流定制配置，数据流定制配置包括生态监测设备的设备信息（包含描述信息、部署信息）、生态监测设备的通信端口信息、生态监测设备的数据传输协议、生态监测设备与生态监测数据类型的映射关系以及生态监测数据类型与数据库存储字段的映射关系。通过定制数据流定制配置将生态监测设备、数据采集和数据存储关联起来，关联关系的改变就体现为数据流定制配置的改变。

数据采集线程模块2，用于根据数据流定制配置生成生态监测设备列表，针对生态监测设备列表中的每一个生态监测设备，开启一个线程（挂载一个采集器）并基于该生态监测设备对应的通信端口信息发送采集指令，并获取生态监测设备返回的生态监测数据。数据采集线程模块2根据数据流定制配置中的生态监测设备部署情况，利用多串口服务器为每一个设备开启一个线程并挂载一个采集器，采集器首先通过生态监测设备的通信端口对所有挂载的生态监测设备发送采集指令，然后在线程中对所挂载的所有生态监测设备进行遍历，获取实时生态监测数据。

数据解析模块3，用于针对获得的生态监测数据，获取其对应的生态监测设备在数据流定制配置的数据传输协议，并根据获取的数据传输协议进行逆编码从生态监测数据中解析输出的生态监测数据的字段类型及其数据值。数据解析模块3在采集工作线程初始化时主动挂载。

数据存储模块4，用于针对获得的生态监测数据的字段类型及其数据值，根据数据流定制配置中生态监测数据类型与数据库存储字段的映射关系转换为数据库存储字段及其数据值，并将数据库存储字段及其数据值存储到数据库。同样，数据存储模块4在数据采集线程初始化时主动挂载。

生态安全态势显示模块5，用于针对获得的生态监测数据的字段类型及其数据值，根据数据流定制配置中生态监测设备与生态监测数据类型的映射关系转换为生态监测数据类型及其数据值，并将生态监测数据类型及其数据值生成实时生态安全态势图表输出。生态安全态势显示模块5以多种形式的图表形式显示生态监测数据，图表形式包括柱状图，折线图，饼图，雷达图等，在这些显示要素的基础上根据生态数据指标的安全阈值以热力图的模式生成生态安全态势图，并根据实时获取的生态监测数据周期性更新态势图。

数据库交互模块6，用于存储数据流定制配置，以及将数据存储模块输出的数据库存储字段及其数据值存储到云服务器上的云端数据库。数据库交互模块6的交互方式都是以SQL语句的方式执行；通过数据库交互模块6以实现数据库的打开、关闭、查询、***、删除等操作。由于各个数据流定制模块1、数据采集线程模块2、数据解析模块3、数据存储模块4的相关数据都存储在云端数据库，因此数据流定制模块1、数据采集线程模块2、数据解析模块3、数据存储模块4均挂载了数据库交互模块6，且通过数据库交互模块6访问云端数据库。

图3展现了数据流定制模块1、数据采集线程模块2、数据解析模块3、数据存储模块4、生态安全态势显示模块5、数据库交互模块6六者间的控制流、信息流的流动。数据流定制模块1是整个计算机设备的核心，数据库交互模块6是计算机设备正常运行的支撑，所有跟数据库打交道的操作都要经过它来处理，才能与云端数据库进行数据交互，包括数据采集线程模块2、数据解析模块3、数据存储模块4。生态安全态势显示模块5是计算机设备功能交互的集中体现，运行过程中产生的所有数据都由它展示。生态监测设备向计算机设备提供实时的数据输入，计算机设备运行后自动运行数据流定制模块1，自动加载配置并初始化，包括多串口服务器的初始化和数据库的初始化。计算机设备初始化完毕后数据库交互模块6从云端数据库获取设备列表并利用数据采集线程模块2生成采集线程，数据采集线程模块2运行后对设备进行轮询，从而获取实时数据包，然后将数据包交由数据解析模块3进行解析，解析后再将数据交由数据存储模块4进行存储至云端数据库，以及生态安全态势显示模块5进行生态安全态势显示。需要说明的是，上述程序模块中数据流定制模块1和数据库交互模6块为可选模块，例如不需要数据流定制模块1，进而将数据流定制配置采用文件、数据流等形式来进行存储；数据库交互模块6可以集成在数据存储模块4中，访问的云端数据库也可根据需要采用本地数据库等。

如图4所示，数据流定制模块1的工作流程如下：

301.数据流定制模块1的工作流程从进入主程序开始；

302.检测数据流定制配置是否存在；如果检测结果为是，则转至步骤303；如果检测结果为否，则转至步骤304；

303.由于步骤302中检测到了数据流定制配置，打开数据流定制配置；

304. 由于步骤302中没有检测到数据流定制配置，创建数据流定制配置，然后再转到步骤303打开数据流定制配置的文件；

305.读取数据流定制配置中的内容，获取数据流定制配置的数据；

306.用步骤305中读取到的数据来初始化主界面中的配置控件；

307.使用步骤305中读取到的数据来初始化全局变量；

308.手动配置主界面的配置控件，以配置数据流定制配置的相关信息，包括：生态监测设备的设备信息（包含描述信息、部署信息）、生态监测设备的通信端口信息、生态监测设备的数据传输协议、生态监测设备与生态监测数据类型的映射关系以及生态监测数据类型与数据库存储字段的映射关系等；

309.用户执行保存操作；

310.使用配置控件的新配置数据重新初始化全局变量；

311.使用配置控件的新配置数据，更新的数据流定制配置的信息。

如图5所示，数据采集线程模块2的工作流程如下：

401. 数据采集线程模块2的工作流程由用户点击运行开始；

402.从数据库中获取设生态监测设备列表；

403.用步骤402中获取的生态监测设备列表生成并初始化数据采集线程列表；

404.线程初始化是否成功，如果判断结果为是，则转至步骤405；如果判断结果为否，则转至步骤406；

405.步骤404中判断线程初始化成功，然后遍历线程列表，依次运行线程；

406.步骤404中判断线程初始化失败，则屏蔽该生态监测设备的采集线程；

407.从数据库中获取轮询指令列表；

408.采集线程进入轮询循环；

409.判断是否退出线程，如果判断标志为是，则转至步骤411；如果判断标志为否，则转至步骤410；

410.步骤409中判断标志为是，则初始化轮询次数Count为零，即：Count=0；

411.步骤409中判断标志为否，则释放该设备的串口句柄；

412.退出该生态监测设备的采集线程；

413.从轮询指标的指令列表中获取对应指标的采集指令；

414.使用步骤410中获取的采集指令，通过串口发送给采集传感器；

415.获取对应生态监测设备的数据包；

416.将415中获取的生态监测数据包交给解析器；

417.轮询次数累计加1；

418.判断轮询次数Count是否是小于轮询指令列表长度，如果为是则转至步骤413，如果为否则转回步骤408进入下一轮的轮询。

如图6所示，数据解析模块3的工作流程如下：

501.数据解析模块工作流程由生成工作线程开始；

502.初始化解析器；

503.解析器初始化是否成功，如果为是则转至步骤504，如果为否则转到步骤505；

504.解析器初始化准备完成，进入等待数据包输入状态；

505.解析器初始化失败，退出解析器；

506.判断是否有数据输入，如果为是则转至步骤507，如果为否则转回步骤504；

507.接收数据采集模块传输过来的数据包；

508.根据数据传输协议拆分数据包；

509.根据数据传输协议解析数据包，获取实时设备数据；

510.将解析得到的数据包送入存储器中，然后再转回步骤504继续等待数据包的输入。

如图7所示，数据存储模块4的工作流程如下：

601.数据存储模块工作流程由生成工作线程开始；

602.初始化数据存储器；

603.判断初始化数据存储器是否成功，如果判断结果为是则转至步骤604，如果判断结果为否则转至步骤605；

604.使用数据库操作句柄打开云端数据库；

605.退出存储模块；

606.判断打开云端数据库是否成功，如果判断结果为是则转至步骤607，如果判断结果为否则转至步骤608；

607.等待解析模块输入数据；

608.退出存储模块；

609.判断是否有解析数据输入，如果判断结果为是则转至步骤610，如果判断结果为否则转回步骤607；

610.从解析器获取解析后的数据；

611.将解析后的数据组成SQL***（INSERT）语句；

612.执行***语句，实现将实时数据***云端数据库，然后转回步骤607继续等待解析模块输入数据。

如图8所示，生态安全态势显示模块5的工作流程如下：

701.生态安全态势显示模块工作流程由运行装置开始；

702.根据配置从数据获取生态监测数据安全阈值；

703.获取实时生态监测数据；

704.加载生态监测数据图表；

705.根据安全阈值加载生态安全态势图；

706.界面刷新显示；

707.检测是否有生态数据更新，如果有更新则转回步骤704。

如图9所示，数据库交互模块6的工作流程如下：

801.数据库操作模块工作流程由数据库操作模块映射操作句柄开始；

802.用户通过配置模块设置数据库连接属性；

803.连接云端数据库；

804.判断连接云端数据库是否成功，如果判断结果为是则转到步骤805，如果判断结果为否则转至步骤806；

805.生成数据库连接句柄；

806.退出数据库操作模块；

807.创建内部查询量；

808.采集模块等待SQL语句输入；

809.判断是否有SQL语句输入，如果判断结果为是则转至步骤810，如果判断结果为否则转回步骤808；

810.内部查询量执行SQL语句；

811.数据库操作句柄操作云端数据库；

812.获取云端数据库执行SQL语句的结果；

813.判断是否关闭数据库，判断结果为是则转至步骤814，判断结果为否则转回步骤808；

814. 数据库操作模块工作流程以销毁数据库操作句柄结束。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于数据流定制的通用生态安全监测数据采集方法，其特征在于实施步骤包括：

2.根据权利要求1所述的基于数据流定制的通用生态安全监测数据采集方法，其特征在于，步骤2）的详细步骤包括：

2.1）根据数据流定制配置生成生态监测设备列表；

2.4）运行初始化成功的线程；

2.5）获取预存在数据流定制配置中的轮询指令列表；

2.7）初始化本次轮询的查询次数Count值为0；

2.9）读取对应的生态监测设备输出的生态监测数据；

3.根据权利要求1所述的基于数据流定制的通用生态安全监测数据采集方法，其特征在于，步骤3）的详细步骤包括：

4.根据权利要求1所述的基于数据流定制的通用生态安全监测数据采集方法，其特征在于，步骤4）的详细步骤包括：

4.1）预先打开数据库操作句柄；

5.根据权利要求1所述的基于数据流定制的通用生态安全监测数据采集方法，其特征在于，步骤5）的详细步骤包括：

6.一种基于数据流定制的通用生态安全监测数据采集装置，其特征在于：包括计算机设备，所述计算机设备被编程以执行权利要求1～5中任意一项所述基于数据流定制的通用生态安全监测数据采集方法的步骤。