CN103823869A - 一种环境监测的数据抽取和预测模型建立方法 - Google Patents
一种环境监测的数据抽取和预测模型建立方法 Download PDFInfo
- Publication number
- CN103823869A CN103823869A CN201410066745.8A CN201410066745A CN103823869A CN 103823869 A CN103823869 A CN 103823869A CN 201410066745 A CN201410066745 A CN 201410066745A CN 103823869 A CN103823869 A CN 103823869A
- Authority
- CN
- China
- Prior art keywords
- data
- environmental
- etl
- numbers
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种环境监测的数据抽取和预测模型建立方法,包括环境监测数据抽取步骤以及环境预测模型建立步骤。数据抽取逻辑、调度计划可进行客户化定制,方便用户操作。建立了环境数据的标准统一规范,环境数据统一化。抽取过程中具有科学的数据有效性验证,提高了环境数据中心的数据有效性。通过环境监测数据的数据挖掘过程,是数据得到了充分利用。抽取后的数据建立了环境模型可为环保决策提供支持。
Description
技术领域
本发明涉及多源异构数据抽取和模型建立方法,具体而言,涉及一种应用于环境监测的多源异构数据抽取方法,以及在数据抽取的基础上建立环境预测模型,从而为环保决策提供数据支持的技术。
背景技术
随着计算机信息技术的发展,各行各业的信息化***的建立,人类社会进入了信息化时代,信息化***每时每刻都产生大量的数据。特别是随着物联网技术的快速发展大量的实时数据不断产生,海量数据如何得到有效的管理和利用成为当前信息化的重要研究课题。物联网在环境监测方面得到了比较广泛的应用,而基于传感器技术采集的海量环境监测数据不论是在抽取方法、标准统一性、数据有效性、数据挖掘、建立环境模型等方面均存在诸多缺陷和问题,主要体现在以下几个方面:
1、数据抽取逻辑、调度计划固化,不易于维护,对于非IT专业人员很难理解和操作。2、缺乏环境数据的标准统一信息管理,经常出现数据不统一的情况。3、抽取过程中缺乏科学的数据有效性验证,导致大量数据是无效的,严重影响了数据可信赖性。4、环境监测数据只停留在收集和展示阶段,缺乏数据挖掘过程,导致数据没有得到充分利用。5、对于抽取后的数据缺少建立环境模型的步骤,不能为环保决策提供支持。
发明内容
本发明旨在提供一种环境监测的数据抽取和预测模型建立方法,通过数据抽取解决环境监测数据的标准统一性及有效性;在抽取的数据基础上通过数据挖掘建立科学的环境预测模型,为环保决策提供数据支持。
本发明的技术方案如下:
一种环境监测的数据抽取和预测模型建立方法,包括环境监测数据抽取步骤以及环境预测模型建立步骤;
(1)环境监测数据抽取包括如下步骤:
(1-1)组建数据ETL***,***由环境数据中心服务器、ETL服务器、路由器、数据终端及网线组成;ETL服务器作为中间环节通过路由器及网线连接环境数据中心服务器及数据终端;ETL服务器上设置定时器自动判别数据终端数据变更情况,若数据终端数据发生变更且满足用户自定义的调度方案,即调度数据抽取;
(1-2)ETL服务器根据用户配置的验证逻辑进行数据校验,环境监测数据被抽取进入ETL数据筛选单元,***自动将这些数据与用户自定义的包含数据类型、数据格式、数据限值、数据单位、数据精度的数据规范库进行比对筛选合法数据、屏蔽非法或无效数据;并根据用户自定义的数据库规范进行包括数据类型统一化、数据格式统一化、数据单位统一化、数据精度统一化在内的数据处理以实现数据统一;
(1-3)ETL服务器将经过筛选和转换处理过后的数据加载进环境数据中心服务器;
(1-4)环境数据中心服务器的数据库分为四层,包括数据接口层、数据细节层、数据仓库层以及元数据层;
(1-5)经过步骤(1-2)ETL服务器校验的数据首先进入的是数据接口层,该层数据并未按照环境数据中心服务器的数据规范进行存储,该层数据是与原有环境***数据吻合的数据,作为临时存储;
(1-6)ETL服务器调度确认逻辑遍历数据库log日志信息自动判别数据接口层的数据是否已生成,如果生成将启动数据转换过程,将数据接口层的数据按照环境数据中心服务器的数据格式要求进行数据转换加载到数据细节层,数据细节层的数据是满足环境数据中心服务器数据规范的数据;
(1-7)ETL服务器调度确认逻辑遍历数据库log日志信息自动判别数据细节层的数据是否已生成,如果生成将启动通过统计、机器学习和模式识别方法进行搜索隐藏在海量环境监测数据中的信息的数据挖掘过程,生成数据报表及环境数据模型装载到数据仓库层;
元数据层是定义数据的数据,用来描述ETL数据***的所有数据;
(2)环境预测模型建立包括如下步骤:
(2-1)将环境数据中心服务器中准备好的数据生成txt文本表格;表格的列坐标为X1~Xn,代表各环境监测项;表格的行坐标为R1~Rn,代表环境监测项在不同时间的数值;行数和列数用户可自定义;
(2-2)确定参考数列及比较数列,选定X0列为参考数列,Xi列为比较数列;
(2-3)对参考数列和比较数列用min-max标准化方法做无量纲化处理,min-max标准化方法是对原始数据进行线性变换;设minA和maxA分别为属性A的最小值和最大值,将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x',其公式为:
新数据=(原数据-极小值)/(极大值-极小值);
(2-4)求参考数列与比较数列的关联系数ξ(Xi);
ξ(Xi)可由下列公式算出:其中ρ为分辨系数,一般在0~1之间,通常取0.5;
最小差,记为Δmin;最大差,记为Δmax;
各比较数列Xi曲线上的每一个点与参考数列X0曲线上的每一个点的绝对差值,记为Δoi(k);
则关联系数ξ(Xi)可简化如下列公式:
(2-5)求关联度ri;
关联度ri公式如下:
ri为比较数列Xi对参考数列X0的关联度,或称为序列关联度、平均关联度、线关联度;
ri值越接近1,说明相关性越好;
(2-6)选择出比较数列中与参考数列关联度最高的几组数列Xj;
(2-7)以Xj为输入源,X0为输出源。
在X0与Xj之间建立模型:
O(Xj)=f(∑Xij×qp)-E
O代表输出值,f代表函数,q代表阀值,p代表权值,E代表误差;
(2-8)经过建立输入源与输出源的关系,通过回馈误差E不断修正阀值q与权值p,最终达到误差最小化确定模型。
本发明的有益技术效果是:
一、数据抽取逻辑、调度计划可进行客户化定制,方便用户操作。
二、建立了环境数据的标准统一规范,环境数据统一化。
三、抽取过程中具有科学的数据有效性验证,提高了环境数据中心的数据有效性。
四、通过环境监测数据的数据挖掘过程,是数据得到了充分利用。
五、抽取后的数据建立了环境模型可为环保决策提供支持。
附图说明
图1是ETL***的整体结构图。
图2是实施例蓝藻预测模型预测出的数值与时间监测的数值的比较图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
首先,本发明提供一种基于数据触发自动判别的数据抽取方法,包括如下步骤:
(1)组建数据ETL***,***由环境数据中心服务器、ETL服务器、路由器、数据终端及网线组成。ETL服务器作为中间环节通过路由器及网线连接环境数据中心服务器及数据终端;ETL服务器上设置一个定时器自动判别数据终端数据变更情况,若数据终端数据发生变更且满足用户自定义的调度方案(如满足夜晚何时调度),即调度数据抽取;***支持多源异构数据终端不同数据格式的融合。
(2)ETL服务器根据用户配置的验证逻辑进行数据校验,环境监测数据被抽取进入ETL数据筛选单元,***自动将这些数据与用户自定义的数据规范库进行比对,这个数据规范库里包含数据类型、数据格式、数据限值、数据单位、数据精度等。通过与这些规范进行比对筛选合法数据、屏蔽非法或无效数据;并根据用户自定义的数据库规范进行数据处理(数据类型统一化、数据格式统一化,数据单位统一化、数据精度统一化)以实现数据统一。
(3)ETL服务器将经过筛选和转换过后的数据加载进环境数据中心服务器。
(4)环境数据中心服务器数据库分为四层,数据接口层(SSA)、数据细节层(SOR)、数据仓库(DW)、元数据(MDR)。
(5)经过步骤(2)ETL服务器校验的数据首先进入的是SSA层,该层数据并未按照环境数据中心服务器的数据规范进行存储,该层数据是与原有环境***数据较为吻合的数据,一般作为临时存储。
(6)ETL服务器调度确认逻辑遍历数据库log日志信息自动判别SSA层数据是否已生成,如果生成将启动数据转换过程,将SSA层数据按照环境数据中心服务器数据格式要求进行数据转换加载到SOR层,SOR层数据是满足环境数据中心服务器数据规范的数据。
(7)ETL服务器调度确认逻辑遍历数据库log日志信息自动判别SOR层数据是否已生成,如果生成将启动通过统计、机器学习和模式识别方法进行搜索隐藏在海量环境监测数据中的信息的数据挖掘过程,生成数据报表及环境数据模型装载到DW层。
MDR层是元数据层,该层是定义数据的数据,用来描述ETL数据***的所有数据。
ETL***的整体结构如图1所示。
接下来,本发明还提供一种基于多维数据关联分析误差逆向回馈(Multidimensional Data Association Analysis Back Propagation—MDAABP)算法的环境预测模型,包括如下步骤:
(1)将环境数据中心服务器中的准备好的数据生成txt文本。格式如下(X代表各环境监测项,R代表这些监测项在不同时间的数值):
X1 | X2 | X3 | …… | Xn | |
R1 | 0.12 | 0.22 | 0.24 | …… | …… |
R2 | 0.21 | 0.23 | 0.21 | …… | …… |
…… | …… | …… | …… | …… | …… |
Rn | …… | …… | …… | …… | …… |
行数和列数用户可自定义。
(2)确定参考数列及比较数列,如选定Xn为参考数列,X1至Xn-1为比较序列。
(3)对参考数列和比较数列用min-max标准化方法做无量纲化处理。min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值,将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x',其公式为:
新数据=(原数据-极小值)/(极大值-极小值)。
(4)求参考数列与比较数列的关联系数ξ(Xi)
ξ(Xi)可由下列公式算出:其中ρ为分辨系数,一般在0~1之间,通常取0.5。
最小差,记为Δmin。最大差,记为Δmax。
各比较数列Xi曲线上的每一个点与参考数列X0曲线上的每一个点的绝对差值,记为Δoi(k)。
所以关联系数ξ(Xi)可简化如下列公式:
(5)求关联度ri;
关联度ri公式如下:
ri--比较数列Xi对参考数列x0的关联度,或称为序列关联度、平均关联度、线关联度。
ri值越接近1,说明相关性越好。
(6)选择出比较数列中与参考数列关联度最高的几组数列,我们假设为X1至X6。
(7)以X1至X6为输入源,Xn为输出源。
在Xn与X1至X6之间建立模型:
O(Xj)=f(∑Xij×qp)-E
O代表输出值,f代表函数,q代表阀值,p代表权值,E代表误差。
(8)经过建立输入源与输出源的关系,通过回馈误差E不断修正阀值q与权值p,最终达到误差最小化确定模型。
本发明的环境预测模型可以用软件实现,以下是本发明的一个实施例“基于时间维度的高锰酸盐预测模型”的软件源代码:
以水温、溶解氧、pH值、高猛酸盐、氨氮、总磷、总氮、叶绿素a为输入源;以蓝藻为输出源,建立蓝藻预测模型。源代码如下:
将得到的蓝藻预测模型利用到环境数据预测中,用以蓝藻预测,实现效果如图2所示。其中圆点部分为预测出的数值,而星号部分为时间监测的数值,可通过两组数据的差异情况看出模型的准确度。
以上所述的仅是本发明的优选实施方式,本发明不限于以上实施例。可以理解,本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化,均应认为包含在本发明的保护范围之内。
Claims (1)
1.一种环境监测的数据抽取和预测模型建立方法,包括环境监测数据抽取步骤以及环境预测模型建立步骤,其特征在于:
(1)环境监测数据抽取包括如下步骤:
(1-1)组建数据ETL***,***由环境数据中心服务器、ETL服务器、路由器、数据终端及网线组成;ETL服务器作为中间环节通过路由器及网线连接环境数据中心服务器及数据终端;ETL服务器上设置定时器自动判别数据终端数据变更情况,若数据终端数据发生变更且满足用户自定义的调度方案,即调度数据抽取;
(1-2)ETL服务器根据用户配置的验证逻辑进行数据校验,环境监测数据被抽取进入ETL数据筛选单元,***自动将这些数据与用户自定义的包含数据类型、数据格式、数据限值、数据单位、数据精度的数据规范库进行比对筛选合法数据、屏蔽非法或无效数据;并根据用户自定义的数据库规范进行包括数据类型统一化、数据格式统一化、数据单位统一化、数据精度统一化在内的数据处理以实现数据统一;
(1-3)ETL服务器将经过筛选和转换处理过后的数据加载进环境数据中心服务器;
(1-4)环境数据中心服务器的数据库分为四层,包括数据接口层、数据细节层、数据仓库层以及元数据层;
(1-5)经过步骤(1-2)ETL服务器校验的数据首先进入的是数据接口层,该层数据并未按照环境数据中心服务器的数据规范进行存储,该层数据是与原有环境***数据吻合的数据,作为临时存储;
(1-6)ETL服务器调度确认逻辑遍历数据库log日志信息自动判别数据接口层的数据是否已生成,如果生成将启动数据转换过程,将数据接口层的数据按照环境数据中心服务器的数据格式要求进行数据转换加载到数据细节层,数据细节层的数据是满足环境数据中心服务器数据规范的数据;
(1-7)ETL服务器调度确认逻辑遍历数据库log日志信息自动判别数据细节层的数据是否已生成,如果生成将启动通过统计、机器学习和模式识别方法进行搜索隐藏在海量环境监测数据中的信息的数据挖掘过程,生成数据报表及环境数据模型装载到数据仓库层;
元数据层是定义数据的数据,用来描述ETL数据***的所有数据;
(2)环境预测模型建立包括如下步骤:
(2-1)将环境数据中心服务器中准备好的数据生成txt文本表格;表格的列坐标为X1~Xn,代表各环境监测项;表格的行坐标为R1~Rn,代表环境监测项在不同时间的数值;行数和列数用户可自定义;
(2-2)确定参考数列及比较数列,选定X0列为参考数列,Xi列为比较数列;
(2-3)对参考数列和比较数列用min-max标准化方法做无量纲化处理,min-max标准化方法是对原始数据进行线性变换;设minA和maxA分别为属性A的最小值和最大值,将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x',其公式为:
新数据=(原数据-极小值)/(极大值-极小值);
(2-4)求参考数列与比较数列的关联系数ξ(Xi);
ξ(Xi)可由下列公式算出:其中ρ为分辨系数,一般在0~1之间,通常取0.5;
最小差,记为Δmin;最大差,记为Δmax;
各比较数列Xi曲线上的每一个点与参考数列X0曲线上的每一个点的绝对差值,记为Δoi(k);
则关联系数ξ(Xi)可简化如下列公式:
(2-5)求关联度ri;
关联度ri公式如下:
ri为比较数列Xi对参考数列X0的关联度,或称为序列关联度、平均关联度、线关联度;
ri值越接近1,说明相关性越好;
(2-6)选择出比较数列中与参考数列关联度最高的几组数列Xj;
(2-7)以Xj为输入源,X0为输出源。
在X0与Xj之间建立模型:
O(Xj)=f(∑Xij×qp)-E
O代表输出值,f代表函数,q代表阀值,p代表权值,E代表误差;
(2-8)经过建立输入源与输出源的关系,通过回馈误差E不断修正阀值q与权值p,最终达到误差最小化确定模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410066745.8A CN103823869A (zh) | 2014-02-26 | 2014-02-26 | 一种环境监测的数据抽取和预测模型建立方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410066745.8A CN103823869A (zh) | 2014-02-26 | 2014-02-26 | 一种环境监测的数据抽取和预测模型建立方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103823869A true CN103823869A (zh) | 2014-05-28 |
Family
ID=50758933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410066745.8A Pending CN103823869A (zh) | 2014-02-26 | 2014-02-26 | 一种环境监测的数据抽取和预测模型建立方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103823869A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268679A (zh) * | 2014-09-16 | 2015-01-07 | 国家海洋信息中心 | 海洋环境监测数据流程化处理方法及装置 |
CN105787089A (zh) * | 2016-03-15 | 2016-07-20 | 国家电网公司 | 一种配电网规划基础数据集成方法 |
CN105930638A (zh) * | 2016-04-08 | 2016-09-07 | 南京航空航天大学 | 基于退化数据的产品零部件可靠性评估方法 |
CN106156028A (zh) * | 2015-03-24 | 2016-11-23 | ***通信集团重庆有限公司 | 一种数据处理方法和*** |
CN109359145A (zh) * | 2018-09-12 | 2019-02-19 | 国云科技股份有限公司 | 一种多样式数据的标准化处理方法 |
CN109426576A (zh) * | 2017-08-30 | 2019-03-05 | 华为技术有限公司 | 容错处理方法以及容错组件 |
CN110308705A (zh) * | 2019-06-19 | 2019-10-08 | 上海华高汇元工程服务有限公司 | 一种基于大数据和人工智能水质预测的设备控制方法 |
-
2014
- 2014-02-26 CN CN201410066745.8A patent/CN103823869A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268679A (zh) * | 2014-09-16 | 2015-01-07 | 国家海洋信息中心 | 海洋环境监测数据流程化处理方法及装置 |
CN106156028A (zh) * | 2015-03-24 | 2016-11-23 | ***通信集团重庆有限公司 | 一种数据处理方法和*** |
CN105787089A (zh) * | 2016-03-15 | 2016-07-20 | 国家电网公司 | 一种配电网规划基础数据集成方法 |
CN105787089B (zh) * | 2016-03-15 | 2019-02-26 | 国家电网公司 | 一种配电网规划基础数据集成方法 |
CN105930638A (zh) * | 2016-04-08 | 2016-09-07 | 南京航空航天大学 | 基于退化数据的产品零部件可靠性评估方法 |
CN109426576A (zh) * | 2017-08-30 | 2019-03-05 | 华为技术有限公司 | 容错处理方法以及容错组件 |
CN109426576B (zh) * | 2017-08-30 | 2022-03-29 | 华为技术有限公司 | 容错处理方法以及容错组件 |
CN109359145A (zh) * | 2018-09-12 | 2019-02-19 | 国云科技股份有限公司 | 一种多样式数据的标准化处理方法 |
CN110308705A (zh) * | 2019-06-19 | 2019-10-08 | 上海华高汇元工程服务有限公司 | 一种基于大数据和人工智能水质预测的设备控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103823869A (zh) | 一种环境监测的数据抽取和预测模型建立方法 | |
CN101819573A (zh) | 一种自适应的网络舆情识别方法 | |
CN113849542A (zh) | 基于人工智能的区域温室气体排放清单核算***与方法 | |
CN110751317A (zh) | 一种电力负荷预测***及预测方法 | |
CN117556369B (zh) | 一种动态生成的残差图卷积神经网络的窃电检测方法及*** | |
CN112949821A (zh) | 基于双重注意力机制的网络安全态势感知方法 | |
CN106484913A (zh) | 一种目标图片确定的方法以及服务器 | |
CN107832374A (zh) | 标准知识库的构建方法、电子装置及存储介质 | |
CN115879826B (zh) | 一种基于大数据的精细化工工艺质检方法、***及介质 | |
CN116365519A (zh) | 一种电力负荷预测方法、***、存储介质及设备 | |
CN116227989A (zh) | 多维度的业务信息化监督方法及*** | |
CN113642669B (zh) | 基于特征分析的防欺诈检测方法、装置、设备及存储介质 | |
Hirayama et al. | Case Study of Improving Productivity in Warehouse Work | |
CN113220973B (zh) | 一种基于知识推理技术的舆情验真方法 | |
Zhou et al. | An intelligent model validation method based on ECOC SVM | |
CN113742495A (zh) | 基于预测模型的评级特征权重确定方法及装置、电子设备 | |
Tsai et al. | Object architected design and efficient dynamic adjustment mechanism of distributed web crawlers | |
CN107992590B (zh) | 一种有利于信息比对的大数据*** | |
Haber et al. | Implementation of the land reallocation problem using NSGA-II and PESA-II algorithms: a case study in Konya/Turkey | |
CN114611101B (zh) | 一种获取应用软件趋势的数据处理*** | |
EP4339845A1 (en) | Method, apparatus and electronic device for detecting data anomalies, and readable storage medium | |
CN117078441B (zh) | 理赔欺诈识别方法、装置、计算机设备和存储介质 | |
CN116776134B (zh) | 一种基于PCA-SFFS-BiGRU的光伏出力预测方法 | |
CN116340765B (zh) | 一种窃电用户预测方法、装置、存储介质及电子设备 | |
CN114266925B (zh) | 一种基于dlstm-rf的用户窃电检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140528 |
|
WD01 | Invention patent application deemed withdrawn after publication |