CN111752918A - 一种历史数据交互***及其配置方法 - Google Patents
一种历史数据交互***及其配置方法 Download PDFInfo
- Publication number
- CN111752918A CN111752918A CN202010413492.2A CN202010413492A CN111752918A CN 111752918 A CN111752918 A CN 111752918A CN 202010413492 A CN202010413492 A CN 202010413492A CN 111752918 A CN111752918 A CN 111752918A
- Authority
- CN
- China
- Prior art keywords
- data
- configuration
- acquisition
- configuration file
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003993 interaction Effects 0.000 title claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 65
- 230000008859 change Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims 3
- 238000007726 management method Methods 0.000 abstract description 14
- 238000013523 data management Methods 0.000 abstract description 5
- 238000013461 design Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012958 reprocessing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种历史数据交互***及其配置方法,历史数据交互***包括历史服务器、数据监测终端以及数据应用客户端;配置方法包括:配置各历史服务器的唯一引用名,配置数据应用客户端根据引用名访问相应历史服务器;配置和生成开机配置文件,配置内容包括:历史服务名选中状态信息、数据采集标签点信息、以及对应各数据采集标签点的采集参数信息,使历史服务器在根据开机配置文件进行配置后,能够根据采集参数信息向相应采集标签点所对应的数据监测终端发送数据订阅请求,进而接收数据监测终端的推送数据;对历史服务器进行在线管理配置,以修改历史服务器中已配置的采集标签点信息以及采集参数信息。利用本发明可提高历史数据管理的安全性和灵活性。
Description
技术领域
本发明涉及电力***中历史数据管理技术领域,特别是一种历史数据交互***及其配置方法。
背景技术
随着互联网的飞速发展及智能化建设的不断深入,先进信息技术为电力***智能化发展提供了技术支撑,大数据、云计算、物联网、移动互联网等先进信息技术与电力工业深度融合,需要支撑的测点规模变得十分庞大,由此产生的数据量也成指数级增长。
历史库服务器负责从数据源采集数据,然后持久化存储,便于之后对历史数据进行趋势回放、故障分析、各种指标统计分析。但数据量的剧增势必会给历史库服务器带来很大的挑战。面对庞大的测点量及不同的数据变化特性,如何设计配置逻辑才能更有效率且合理的采集数据,如何设计历史库服务器的访问方式才能更加安全的获取数据,如何设计配置文件及选择配置文件的格式才能使得数据管理更安全和通用,成为领域内亟待解决的问题。
在历史数据配置方面,现有技术大多或采用单个配置文件,或采用Access数据库存储配置信息,或在配置文件中直接配置服务器的IP来访问服务器,在灵活性、安全性、跨平台方面考虑不全面。
发明内容
本发明的目的是提供一种历史数据交互***及其配置方法,提高历史数据管理的安全性和灵活性。
本发明采用的技术方案如下:
一方面,本发明提供一种历史数据交互***的配置方法,历史数据交互***包括历史服务器、数据监测终端以及数据应用客户端;配置方法包括:
配置各历史服务器的唯一引用名,以及引用名与历史服务器IP地址之间的映射关系,使得数据应用客户端能够响应于用户指定的引用名访问相应IP地址的历史服务器;
配置和生成供历史服务器开机读取并加载配置的开机配置文件,开机配置文件的配置内容包括:各历史服务器对应的历史服务名选中状态信息,数据采集标签点信息,以及对应各数据采集标签点的采集参数信息,使得历史服务器在根据开机配置文件进行配置后,能够根据采集参数信息向相应采集标签点所对应的数据监测终端发送数据订阅请求,相应数据监测终端根据接收到的数据订阅请求中的采集参数信息向历史服务器推送数据;
对历史服务器进行在线管理配置,以修改历史服务器中已配置的采集标签点信息以及采集参数信息。
可选的,所述数据采集标签点信息包括对应各数据监测终端的标签点名字、标签点属性和标签点工程描述信息;采集参数信息包括最小采集周期、最大采集周期和最小变化量值参数信息;
方法还包括:配置数据监测终端响应于历史服务器的数据订阅请求,获取最小采集周期、最大采集周期和最小变化量值参数,进而:
响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔小于最小采集周期,则不进行变化后监测数据的推送;响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔在最小采集周期与最大采集周期之间,同时监测数据变化量大于最小变化量值,则将变化后的检测数据推送至订阅方历史服务器;响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔大于最大采集周期,则将变化后的检测数据推送至订阅方历史服务器。
通过以上方案设计,使得本发明能够根据不同的应用需求来合理配置最小采集周期、最大采集周期和最小变化量值,既能采集到满足要求的数据,又可以节省资源,提高数据采集的效率。
可选的,开机配置文件的配置过程中,采集参数相同的数据采集标签点通过添加至预设的同一标签点类模板进行配置,所述标签点类模板包括能够预先设置或动态设置的采集参数属性。也即本发明用于开机配置文件生成的配置软件中可设置标签点模板,以方便用户根据需要对标签点进行归类和确定采集参数,如某一标签点需要以一定的采集参数进行数据订阅,只需将该标签点拖入对应采集参数的模板中,即使得相应标签点赋予了该模板的采集参数属性。
可选的,开机配置文件的配置内容还包括:配置历史服务器的预统计规则,所述预统计规则包括需要统计的信息、统计方法以及统计周期。如预先配置某一历史服务器对应的历史服务需要进行相关测点的日报表统计,则相应历史服务器在加载开机配置文件后,将根据预先配置的统计规则以相应的统计周期和统计方法进行相应信息日报表的统计,这种方案设计可使得数据应用客户端能够直接查询统计结果,而无需再进行聚合运算,可提高数据应用客户端的查询和运算效率。
第二方面,本发明提供一种第一方面所述历史数据交互***的配置方法中开机配置文件生成方法,包括:
接收用户输入的各历史服务器的唯一引用名信息,并保存至离线配置文件;
响应于配置用户通过操作界面选中任一历史服务,保存相应历史服务的选中状态信息至离线配置文件,使得历史服务器在开机读取开机配置文件时,能够根据历史服务的选中状态信息启动相应历史服务应用;
接收配置用户输入的采集标签点及采集参数信息,保存相应信息至离线配置文件;
响应于配置用户输入文件同步指令,将离线配置文件中的配置信息同步至预先设置的在线配置文件中;
响应于配置用户输入配置回滚指令,将在线配置文件中的配置信息同步至离线配置文件中;
将在线配置文件作为最终生成的开机配置文件并输出。
通过以上方案设计,离线配置文件与在线配置文件形成了互为备份的机制,能够提高配置的安全性以及误操作情形下的可恢复性。
可选的,所述离线配置文件采用sqlite数据库文件,在线配置文件采用csv文件。Sqlite是一个跨平台的轻量级嵌入式数据库,不需要在***中安装和配置,当***崩溃后不用做任何恢复操作,在使用时不需要任何外部依赖,所有的操作等功能全部都在自身继承,占用资源很少。而csv文件结构简单,类似文本文件,由于其简单的存储方式,可以减少存储信息的空间大小,这样就有利于网络传输以及客户端的再处理。
第三方面,本发明提供一种第一方面所述历史数据交互***的配置方法中开机配置文件生成装置,包括:
引用名配置模块,被配置用于接收用户输入的各历史服务器的唯一引用名信息,并保存至离线配置文件;
历史服务配置模块,被配置用于响应于配置用户通过操作界面选中任一历史服务,保存相应历史服务的选中状态信息至离线配置文件,使得历史服务器在开机读取开机配置文件时,能够根据历史服务的选中状态信息启动相应历史服务应用;
采集标签点配置模块,被配置用于接收配置用户输入的采集标签点及采集参数信息,保存相应信息至离线配置文件;
配置信息同步模块,被配置用于响应于配置用户输入文件同步指令,将离线配置文件中的配置信息同步至预先设置的在线配置文件中;
配置回滚模块,被配置用于响应于配置用户输入配置回滚指令,将在线配置文件中的配置信息同步至离线配置文件中;
开机配置文件生成模块,被配置用于将在线配置文件作为最终生成的开机配置文件并输出。
可选的,所述采集标签点配置模块包括能够显示在操作界面上的标签点模板和标签点类模板;标签点模板包括能够预先设置或动态设置的数据采集标签点属性,标签点模板被配置为可被拖动至任一标签点类模板中;标签点类模板包括能够预先设置或动态设置的采集参数属性,标签点类模板被配置为响应于任一标签点模板被拖动至当前标签点类模板中,则将当前标签点类模板的采集参数属性赋值给相应标签点模板对应的数据采集标签点。
以上方案设计可以方便用户根据需要对标签点进行归类和确定采集参数,如某一标签点需要以一定的采集参数进行数据订阅,只需将该标签点拖入对应采集参数的类模板中,即可使得相应标签点赋予了该模板的采集参数属性,大大提高了配置人员的操作便捷性。
第四方面,本发明还提供一种历史数据交互***,包括历史服务器、数据监测终端以及数据应用客户端;其特征是:
各历史服务器分别被配置有唯一引用名,数据应用客户端中存储有各历史服务器的唯一引用名与IP地址之间的映射关系,数据应用客户端响应于用户指定的引用名访问相应IP地址的历史服务器;
历史服务器在开机时读取预先配置的开机配置文件,开机配置文件的配置信息包括:各历史服务器对应的历史服务名选中状态信息、数据采集标签点信息以及对应各数据采集标签点的采集参数信息;历史服务器根据开机配置文件中的配置信息进行开机配置,使得历史服务器能够:根据历史服务名选中状态信息启动对应的历史服务,以及根据采集参数信息向相应采集标签点所对应的数据监测终端发送数据订阅请求;
数据监测终端根据接收到的数据订阅请求中的采集参数信息向历史服务器推送数据;
历史服务器还设有在线管理配置接口,历史服务器运行历史服务的过程中,通过在线管理配置接口接收用户输入的在线管理配置请求,并响应于所述在线管理配置请求,修改已配置的采集标签点信息以及采集参数信息。
可选的,采集标签点的采集参数信息包括最小采集周期、最大采集周期和最小变化量值参数;
数据监测终端响应于历史服务器的数据订阅请求,获取最小采集周期、最大采集周期和最小变化量值参数,进而:
响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔小于最小采集周期,则不进行变化后监测数据的推送;响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔在最小采集周期与最大采集周期之间,同时监测数据变化量大于最小变化量值,则将变化后的检测数据推送至订阅方历史服务器;响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔大于最大采集周期,则将变化后的检测数据推送至订阅方历史服务器。
有益效果
与现有技术相比,本发明具有以下有点和进步:
1)通过对历史服务器配置唯一引用名实现数据应用客户端对数据的访问,而不是通过历史服务器的计算机名或IP地址来访问服务器,使得只有知晓目标历史服务器引用名的用户才能够进行数据访问,提高了服务器数据的访问安全性;
2)历史服务器采用订阅的方式从数据监测终端采集数据,并设计最小采样周期、最大采样周期和最小变化量值作为订阅参数,既能采集到满足要求的数据,又可以节省资源,提高数据采集的效率;
3)采用通用跨平台sqlite数据库实现离线配置文件,csv文件实现在线配置文件,双配置文件相结合的方式提高了所配置数据的可靠性和可移植性;
4)采集参数配置时,通过类模板抽象出共同的配置参数,能够提高采集标签点的配置效率,简化配置人员的操作;
5)通过预统计的配置设计,能够对应用端利用率高的数据进行提前在历史服务器端的统计,方便数据应用客户端的直接查询,而无需重新聚合计算,提高数据查询和应用的效率。
附图说明
图1所示为本发明历史数据交互***工作原理示意图;
图2所示为历史服务器的开机启动配置流程示意图;
图3所示为数据应用客户端访问历史服务器的流程示意图;
图4所示为开机配置文件的配置流程示意图。
具体实施方式
以下结合附图和具体实施例进一步描述。
实施例1
本实施例介绍一种历史数据交互***,参考图1所示,包括历史服务器、数据监测终端以及数据应用客户端;
各历史服务器分别被配置有唯一引用名,数据应用客户端中存储有各历史服务器的唯一引用名与IP地址之间的映射关系,数据应用客户端响应于用户指定的引用名访问相应IP地址的历史服务器;
历史服务器在开机时读取预先配置的开机配置文件,开机配置文件的配置信息包括:各历史服务器对应的历史服务名选中状态信息、数据采集标签点信息以及对应各数据采集标签点的采集参数信息;历史服务器根据开机配置文件中的配置信息进行开机配置,使得历史服务器能够:根据历史服务名选中状态信息启动对应的历史服务,以及根据采集参数信息向相应采集标签点所对应的数据监测终端发送数据订阅请求;
数据监测终端根据接收到的数据订阅请求中的采集参数信息向历史服务器推送数据;
历史服务器还设有在线管理配置接口,历史服务器运行历史服务的过程中,通过在线管理配置接口接收用户输入的在线管理配置请求,并响应于所述在线管理配置请求,修改已配置的采集标签点信息以及采集参数信息。
本实施例中,数据监测终端可以是RTU,RTU的英文全称Remote Terminal Unit,中文全称为远程终端控制***,负责对现场信号、工业设备进行监测和控制。电力***中的大多数***是以轮询方式采集数据,即RTU仅在接收到主站对其请求后,才把数据传送给主站。轮询的方式就是定时向RTU发送请求,可能在轮询的时间内数据并没有发生变化,但是RTU仍然会将数据发送过来,这就会造成资源的浪费。
而本发明设计历史服务器通过订阅方式向数据监测终端获取监测数据,只需要发送一次请求给RTU,同时考虑需求的复杂性,本发明针对不同测点即数据采集标签点设计了最小采集周期、最大采集周期和最小变化量值参数,由历史服务器在开机时读取配置,并通过数据订阅请求传递至数据检测终端如RTU。参考图3所示,数据监测终端响应于历史服务器的数据订阅请求,获取最小采集周期、最大采集周期和最小变化量值参数,进而:
当监测数据发生变化,且当前时间与前一次数据推送的时间间隔小于最小采集周期,则不进行变化后监测数据的推送;当监测数据发生变化,且当前时间与前一次数据推送的时间间隔在最小采集周期与最大采集周期之间,同时监测数据变化量大于最小变化量值,则将变化后的检测数据推送至订阅方历史服务器;当监测数据发生变化,且当前时间与前一次数据推送的时间间隔大于最大采集周期,则将变化后的检测数据推送至订阅方历史服务器。既能采集到满足要求的数据,又可以节省资源,提高数据采集的效率。
实施例2
与实施例1基于同样的发明构思,本实施例具体介绍一种历史数据交互***的配置方法。
所述历史数据交互***如实施例1所述包括历史服务器、数据监测终端以及数据应用客户端;
配置方法包括:
配置各历史服务器的唯一引用名,以及引用名与历史服务器IP地址之间的映射关系,使得数据应用客户端能够响应于用户指定的引用名访问相应IP地址的历史服务器;
配置和生成供历史服务器开机读取并加载配置的开机配置文件,开机配置文件的配置内容包括:各历史服务器对应的历史服务名选中状态信息,数据采集标签点信息,以及对应各数据采集标签点的采集参数信息,使得历史服务器在根据开机配置文件进行配置后,能够根据采集参数信息向相应采集标签点所对应的数据监测终端发送数据订阅请求,相应数据监测终端根据接收到的数据订阅请求中的采集参数信息向历史服务器推送数据;
对历史服务器进行在线管理配置,以修改历史服务器中已配置的采集标签点信息以及采集参数信息。
参考图3所示,本实施例在应用时,对历史服务器的唯一引用名及其IP地址的映射关系配置需要同步至数据应用客户端,数据应用客户端在访问历史服务器时,客户端只需要通过唯一引用名就可以访问历史服务器,数据应用客户端底层的逻辑是先通过引用名在本地Cache中查找,如果找到则获取到对应的IP地址,否则检查引用名是否拼写错误或者是没有注册,然后再通过IP地址链接到对应的服务器,这样才开始访问服务器中的数据。极大的提高了历史服务器数据访问的安全性。
数据采集标签点信息包括对应各数据监测终端的标签点名字、标签点属性和标签点工程描述信息;采集参数信息包括最小采集周期、最大采集周期和最小变化量值参数信息;
配置方法还包括:配置数据监测终端响应于历史服务器的数据订阅请求,获取最小采集周期、最大采集周期和最小变化量值参数,进而:
响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔小于最小采集周期,则不进行变化后监测数据的推送;响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔在最小采集周期与最大采集周期之间,同时监测数据变化量大于最小变化量值,则将变化后的检测数据推送至订阅方历史服务器;响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔大于最大采集周期,则将变化后的检测数据推送至订阅方历史服务器。
通过以上方案设计,使得本发明能够根据不同的应用需求来合理配置最小采集周期、最大采集周期和最小变化量值,既能采集到满足要求的数据,又可以节省资源,提高数据采集的效率。
本实施例中,考虑到不同测点的数据变化特点可能具有相似性,设计了模板用于采集标签点的分组,方便分类定义。模板需要配置的参数包括模板名字、所属此模板的实际标签点个数、所属此模板的最大标签点个数、最小采集周期、最大采集周期、最小变化量值、数据统计选项和数据清理选项;标签点需要配置的参数包括标签点名、属性、描述和所属的模板名。如果一些标签点的数值变化规律类似,就将它们放置到一个模板下面,不同模板对应的最小采集周期、最大采集周期和最小变化量值可以根据所属标签点的数值变化规律进行不同的设置,这样就极大的提高了配置的灵活度以及数据采集的精确度。标签点名字和属性的组合是向RTU请求的唯一标识,描述里显示的是标签点在工程中的实际含义。
作为一种具体实施方式,开机配置文件的配置过程中,采集参数相同的数据采集标签点通过添加至预设的同一标签点类模板进行配置,所述标签点类模板包括能够预先设置或动态设置的采集参数属性。也即本发明用于开机配置文件生成的配置软件中可设置标签点模板,以方便用户根据需要对标签点进行归类和确定采集参数,如某一标签点需要以一定的采集参数进行数据订阅,只需将该标签点拖入对应采集参数的模板中,即使得相应标签点赋予了该模板的采集参数属性。
开机配置文件的配置内容还包括:配置历史服务器的预统计规则,所述预统计规则包括需要统计的信息、统计方法以及统计周期。如预先配置某一历史服务器对应的历史服务需要进行相关测点的日报表统计,则相应历史服务器在加载开机配置文件后,将根据预先配置的统计规则以相应的统计周期和统计方法进行相应信息日报表的统计,这种方案设计可使得数据应用客户端能够直接查询统计结果,而无需再进行聚合运算,可提高数据应用客户端的查询和运算效率。
通过预统计规则配置,本发明能够实现选择某个标签点后,输入起止时间,可以查看此时间区间的所有历史数据,以了解数据变化的详细信息。还可以根据需要统计日报表、月报表等,为了提高查看统计信息的性能,还可进行预统计设置,数据统计可选择为不统计,也可手动输入统计的周期;输入统计周期时,可先选择一个标签点,同时选择统计函数,统计函数有最小值、最大值和平均值等,数据统计设置好后,在后台定期生成统计信息并持久化。当磁盘的存储空间不足时,就需要清理数据,因此本发明还可进行数据清理设置,这里可以设置数据保留的时间,如果保留时间设置为6个月,那么就会将距离现在超过6个月的数据删除;数据导出的目的是进行数据备份,也可以选择某段时间进行导出,以便于离线分析,导出文件的格式可以是xml或csv。数据导入可以是从其他的xml或csv文件中解析数据并存储到当前***中。
关于历史服务器的在线管理配置,由于开机配置文件的内容只有在历史服务进程启动时才会加载,而历史服务进程在通常情况下是7*24小时不间断运行的,因此必须提供在线增加/删除标签点的功能,在线添加某个标签点后,历史服务进程会立即对其进行数据采集并持久化;在线删除某个标签点后,历史服务进程将不再对其进行数据采集。具体可通过与本发明在线管理配置思路相应的管理工具软件实现,进行在线增加标签点、在线删除标签点、查看原始数据、数据统计设置、数据清理设置、数据导入和导出等数据管理操作,
实施例3
本实施例具体介绍实施例2中所述开机配置文件的配置和生成。
参考图4所示,开机配置文件生成方法,包括:
接收用户输入的各历史服务器的唯一引用名信息,并保存至离线配置文件;
响应于配置用户通过操作界面选中任一历史服务,保存相应历史服务的选中状态信息至离线配置文件,使得历史服务器在开机读取开机配置文件时,能够根据历史服务的选中状态信息启动相应历史服务应用;
接收配置用户输入的采集标签点及采集参数信息,保存相应信息至离线配置文件;
响应于配置用户输入文件同步指令,将离线配置文件中的配置信息同步至预先设置的在线配置文件中;
响应于配置用户输入配置回滚指令,将在线配置文件中的配置信息同步至离线配置文件中;
将在线配置文件作为最终生成的开机配置文件并输出。
通过以上方案设计,离线配置文件与在线配置文件形成了互为备份的机制,能够提高配置的安全性以及误操作情形下的可恢复性。
考虑到采集标签点配置的方便性,本实施例开机文件配置方法可首先配置多个类模板及其参数,然后将相应采集参数的采集标签到直接导入至相应类模板中。或者通过界面上模板的拖拽实现标签点的增加及通过模板的定义。
本实施例中,离线配置文件采用sqlite数据库文件,在线配置文件采用csv文件。Sqlite是一个跨平台的轻量级嵌入式数据库,不需要在***中安装和配置,当***崩溃后不用做任何恢复操作,在使用时不需要任何外部依赖,所有的操作等功能全部都在自身继承,占用资源很少。而csv文件结构简单,类似文本文件,由于其简单的存储方式,可以减少存储信息的空间大小,这样就有利于网络传输以及客户端的再处理。
通过本实施例生成开机配置文件时,可在相应的开机配置工具软件界面上勾选上所需的历史服务进程名,配置完成后,关闭开机配置工具,自动生成一个开机配置文件。参考图2所示,重启历史服务器后,历史服务器读取开机配置文件,如果选中了本机相应历史服务,并且配置了唯一引用名,则会启动历史服务进程,并以引用名映射本机的计算机名字,如果没有配置引用名,则会使用缺省的引用名;如果没有选中历史服务,开机配置文件中就没有此项,也就不会启动历史服务进程。
实施例4
与实施例3基于同样的发明构思,本实施例介绍一种开机配置文件生成装置,包括:
引用名配置模块,被配置用于接收用户输入的各历史服务器的唯一引用名信息,并保存至离线配置文件;
历史服务配置模块,被配置用于响应于配置用户通过操作界面选中任一历史服务,保存相应历史服务的选中状态信息至离线配置文件,使得历史服务器在开机读取开机配置文件时,能够根据历史服务的选中状态信息启动相应历史服务应用;
采集标签点配置模块,被配置用于接收配置用户输入的采集标签点及采集参数信息,保存相应信息至离线配置文件;
配置信息同步模块,被配置用于响应于配置用户输入文件同步指令,将离线配置文件中的配置信息同步至预先设置的在线配置文件中;
配置回滚模块,被配置用于响应于配置用户输入配置回滚指令,将在线配置文件中的配置信息同步至离线配置文件中;
开机配置文件生成模块,被配置用于将在线配置文件作为最终生成的开机配置文件并输出。
本实施例中,采集标签点配置模块包括能够显示在操作界面上的标签点模板和标签点类模板;标签点模板包括能够预先设置或动态设置的数据采集标签点属性,标签点模板被配置为可被拖动至任一标签点类模板中;标签点类模板包括能够预先设置或动态设置的采集参数属性,标签点类模板被配置为响应于任一标签点模板被拖动至当前标签点类模板中,则将当前标签点类模板的采集参数属性赋值给相应标签点模板对应的数据采集标签点。
以上方案设计可以方便用户根据需要对标签点进行归类和确定采集参数,如某一标签点需要以一定的采集参数进行数据订阅,只需将该标签点拖入对应采集参数的类模板中,即可使得相应标签点赋予了该模板的采集参数属性,大大提高了配置人员的操作便捷性。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (10)
1.一种历史数据交互***的配置方法,历史数据交互***包括历史服务器、数据监测终端以及数据应用客户端;其特征是,配置方法包括:
配置各历史服务器的唯一引用名,以及引用名与历史服务器IP地址之间的映射关系,使得数据应用客户端能够响应于用户指定的引用名访问相应IP地址的历史服务器;
配置和生成供历史服务器开机读取并加载配置的开机配置文件,开机配置文件的配置内容包括:各历史服务器对应的历史服务名选中状态信息,数据采集标签点信息,以及对应各数据采集标签点的采集参数信息,使得历史服务器在根据开机配置文件进行配置后,能够根据采集参数信息向相应采集标签点所对应的数据监测终端发送数据订阅请求,相应数据监测终端根据接收到的数据订阅请求中的采集参数信息向历史服务器推送数据;
对历史服务器进行在线管理配置,以修改历史服务器中已配置的采集标签点信息以及采集参数信息。
2.根据权利要求1所述的方法,其特征是,所述数据采集标签点信息包括对应各数据监测终端的标签点名字、标签点属性和标签点工程描述信息;采集参数信息包括最小采集周期、最大采集周期和最小变化量值参数信息;
方法还包括:配置数据监测终端响应于历史服务器的数据订阅请求,获取最小采集周期、最大采集周期和最小变化量值参数,进而:
响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔小于最小采集周期,则不进行变化后监测数据的推送;响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔在最小采集周期与最大采集周期之间,同时监测数据变化量大于最小变化量值,则将变化后的检测数据推送至订阅方历史服务器;响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔大于最大采集周期,则将变化后的检测数据推送至订阅方历史服务器。
3.根据权利要求1所述的方法,其特征是,开机配置文件的配置过程中,采集参数相同的数据采集标签点通过添加至预设的同一标签点类模板进行配置,所述标签点类模板包括能够预先设置或动态设置的采集参数属性。
4.根据权利要求1所述的方法,其特征是,开机配置文件的配置内容还包括:配置历史服务器的预统计规则,所述预统计规则包括需要统计的信息、统计方法以及统计周期。
5.一种权利要求1-4任一项所述历史数据交互***的配置方法中开机配置文件生成方法,其特征是,包括:
接收用户输入的各历史服务器的唯一引用名信息,并保存至离线配置文件;
响应于配置用户通过操作界面选中任一历史服务,保存相应历史服务的选中状态信息至离线配置文件,使得历史服务器在开机读取开机配置文件时,能够根据历史服务的选中状态信息启动相应历史服务应用;
接收配置用户输入的采集标签点及采集参数信息,保存相应信息至离线配置文件;
响应于配置用户输入文件同步指令,将离线配置文件中的配置信息同步至预先设置的在线配置文件中;
响应于配置用户输入配置回滚指令,将在线配置文件中的配置信息同步至离线配置文件中;
将在线配置文件作为最终生成的开机配置文件并输出。
6.根据权利要求5所述的开机配置文件生成方法,其特征是,所述离线配置文件采用sqlite数据库文件,在线配置文件采用csv文件。
7.一种权利要求1-4任一项所述历史数据交互***的配置方法中开机配置文件生成装置,其特征是,包括:
引用名配置模块,被配置用于接收用户输入的各历史服务器的唯一引用名信息,并保存至离线配置文件;
历史服务配置模块,被配置用于响应于配置用户通过操作界面选中任一历史服务,保存相应历史服务的选中状态信息至离线配置文件,使得历史服务器在开机读取开机配置文件时,能够根据历史服务的选中状态信息启动相应历史服务应用;
采集标签点配置模块,被配置用于接收配置用户输入的采集标签点及采集参数信息,保存相应信息至离线配置文件;
配置信息同步模块,被配置用于响应于配置用户输入文件同步指令,将离线配置文件中的配置信息同步至预先设置的在线配置文件中;
配置回滚模块,被配置用于响应于配置用户输入配置回滚指令,将在线配置文件中的配置信息同步至离线配置文件中;
开机配置文件生成模块,被配置用于将在线配置文件作为最终生成的开机配置文件并输出。
8.根据权利要求7所述的开机配置文件生成装置,其特征是,所述采集标签点配置模块包括能够显示在操作界面上的标签点模板和标签点类模板;标签点模板包括能够预先设置或动态设置的数据采集标签点属性,标签点模板被配置为可被拖动至任一标签点类模板中;标签点类模板包括能够预先设置或动态设置的采集参数属性,标签点类模板被配置为响应于任一标签点模板被拖动至当前标签点类模板中,则将当前标签点类模板的采集参数属性赋值给相应标签点模板对应的数据采集标签点。
9.一种历史数据交互***,包括历史服务器、数据监测终端以及数据应用客户端;其特征是:
各历史服务器分别被配置有唯一引用名,数据应用客户端中存储有各历史服务器的唯一引用名与IP地址之间的映射关系,数据应用客户端响应于用户指定的引用名访问相应IP地址的历史服务器;
历史服务器在开机时读取预先配置的开机配置文件,开机配置文件的配置信息包括:各历史服务器对应的历史服务名选中状态信息、数据采集标签点信息以及对应各数据采集标签点的采集参数信息;历史服务器根据开机配置文件中的配置信息进行开机配置,使得历史服务器能够:根据历史服务名选中状态信息启动对应的历史服务,以及根据采集参数信息向相应采集标签点所对应的数据监测终端发送数据订阅请求;
数据监测终端根据接收到的数据订阅请求中的采集参数信息向历史服务器推送数据;
历史服务器还设有在线管理配置接口,历史服务器运行历史服务的过程中,通过在线管理配置接口接收用户输入的在线管理配置请求,并响应于所述在线管理配置请求,修改已配置的采集标签点信息以及采集参数信息。
10.根据权利要求9所述的历史数据交互***,其特征是,采集标签点的采集参数信息包括最小采集周期、最大采集周期和最小变化量值参数;
数据监测终端响应于历史服务器的数据订阅请求,获取最小采集周期、最大采集周期和最小变化量值参数,进而:
响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔小于最小采集周期,则不进行变化后监测数据的推送;响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔在最小采集周期与最大采集周期之间,同时监测数据变化量大于最小变化量值,则将变化后的检测数据推送至订阅方历史服务器;响应于监测数据发生变化,且当前时间与前一次数据推送的时间间隔大于最大采集周期,则将变化后的检测数据推送至订阅方历史服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010413492.2A CN111752918B (zh) | 2020-05-15 | 2020-05-15 | 一种历史数据交互***及其配置方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010413492.2A CN111752918B (zh) | 2020-05-15 | 2020-05-15 | 一种历史数据交互***及其配置方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111752918A true CN111752918A (zh) | 2020-10-09 |
CN111752918B CN111752918B (zh) | 2023-12-22 |
Family
ID=72673413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010413492.2A Active CN111752918B (zh) | 2020-05-15 | 2020-05-15 | 一种历史数据交互***及其配置方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111752918B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112835853A (zh) * | 2020-12-31 | 2021-05-25 | 北京聚云科技有限公司 | 一种数据处理类型确定方法及装置 |
CN114900511A (zh) * | 2022-04-25 | 2022-08-12 | 湖南大学 | 工业机器人数据同步采集加载中间件装置及方法 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1353840A (zh) * | 2000-02-03 | 2002-06-12 | 网派网络公司 | 网页访问***以及使用实名的方法 |
US20070192078A1 (en) * | 2006-02-14 | 2007-08-16 | Edsa Micro Corporation | Systems and methods for real-time system monitoring and predictive analysis |
CN102594826A (zh) * | 2012-02-24 | 2012-07-18 | 清华大学 | 一种适用于电力***终端设备的实时数据压缩通信方法 |
CN103944973A (zh) * | 2014-04-02 | 2014-07-23 | 北京中交兴路车联网科技有限公司 | 一种日志采集方法及装置 |
US20140303808A1 (en) * | 2013-04-05 | 2014-10-09 | Veedims, Llc | System for device control, monitoring, data gathering and data analytics over a network |
US20160254979A1 (en) * | 2013-10-23 | 2016-09-01 | Nec Corporation | Communication system, common service control apparatus, data transmission method, and non-transitory computer readable medium |
CN107895017A (zh) * | 2017-11-14 | 2018-04-10 | 国网江苏省电力公司电力科学研究院 | 一种基于大数据技术的电能质量监测***构建方法 |
US20180130270A1 (en) * | 2016-11-07 | 2018-05-10 | United Technologies Corporation | Vehicle data collection system and method |
US20180225962A1 (en) * | 2015-08-28 | 2018-08-09 | Nissan Motor Co., Ltd. | Probe data collection method and probe data collection device |
JP2019061412A (ja) * | 2017-09-26 | 2019-04-18 | 三菱電機株式会社 | プラント機器監視制御システム |
CN109669406A (zh) * | 2018-11-21 | 2019-04-23 | 上海资鑫机电设备有限公司 | 一种工业设备的远程在线监测***及其工作流程 |
CN109962980A (zh) * | 2019-03-20 | 2019-07-02 | 北京易沃特科技有限公司 | 一种基于物联网的数据上传方法、装置、设备及介质 |
CN110035055A (zh) * | 2019-02-19 | 2019-07-19 | 中国铁建重工集团股份有限公司 | 工业装备远程数据的采集及处理方法、传输方法 |
CN110030700A (zh) * | 2019-04-22 | 2019-07-19 | 珠海格力电器股份有限公司 | 运行参数采集方法、装置、计算机设备及空调器*** |
US20200073906A1 (en) * | 2017-06-15 | 2020-03-05 | Beijing Gridsum Technology Co., Ltd. | Method, Device, Storage Medium and Processor for Data Acquisition and Query |
CN111064402A (zh) * | 2019-12-25 | 2020-04-24 | 孚创动力控制技术(启东)有限公司 | 一种长连接小数据流量的柴油发电机组云通讯模块 |
-
2020
- 2020-05-15 CN CN202010413492.2A patent/CN111752918B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1353840A (zh) * | 2000-02-03 | 2002-06-12 | 网派网络公司 | 网页访问***以及使用实名的方法 |
US20070192078A1 (en) * | 2006-02-14 | 2007-08-16 | Edsa Micro Corporation | Systems and methods for real-time system monitoring and predictive analysis |
CN102594826A (zh) * | 2012-02-24 | 2012-07-18 | 清华大学 | 一种适用于电力***终端设备的实时数据压缩通信方法 |
US20140303808A1 (en) * | 2013-04-05 | 2014-10-09 | Veedims, Llc | System for device control, monitoring, data gathering and data analytics over a network |
US20160254979A1 (en) * | 2013-10-23 | 2016-09-01 | Nec Corporation | Communication system, common service control apparatus, data transmission method, and non-transitory computer readable medium |
CN103944973A (zh) * | 2014-04-02 | 2014-07-23 | 北京中交兴路车联网科技有限公司 | 一种日志采集方法及装置 |
US20180225962A1 (en) * | 2015-08-28 | 2018-08-09 | Nissan Motor Co., Ltd. | Probe data collection method and probe data collection device |
US20180130270A1 (en) * | 2016-11-07 | 2018-05-10 | United Technologies Corporation | Vehicle data collection system and method |
US20200073906A1 (en) * | 2017-06-15 | 2020-03-05 | Beijing Gridsum Technology Co., Ltd. | Method, Device, Storage Medium and Processor for Data Acquisition and Query |
JP2019061412A (ja) * | 2017-09-26 | 2019-04-18 | 三菱電機株式会社 | プラント機器監視制御システム |
CN107895017A (zh) * | 2017-11-14 | 2018-04-10 | 国网江苏省电力公司电力科学研究院 | 一种基于大数据技术的电能质量监测***构建方法 |
CN109669406A (zh) * | 2018-11-21 | 2019-04-23 | 上海资鑫机电设备有限公司 | 一种工业设备的远程在线监测***及其工作流程 |
CN110035055A (zh) * | 2019-02-19 | 2019-07-19 | 中国铁建重工集团股份有限公司 | 工业装备远程数据的采集及处理方法、传输方法 |
CN109962980A (zh) * | 2019-03-20 | 2019-07-02 | 北京易沃特科技有限公司 | 一种基于物联网的数据上传方法、装置、设备及介质 |
CN110030700A (zh) * | 2019-04-22 | 2019-07-19 | 珠海格力电器股份有限公司 | 运行参数采集方法、装置、计算机设备及空调器*** |
CN111064402A (zh) * | 2019-12-25 | 2020-04-24 | 孚创动力控制技术(启东)有限公司 | 一种长连接小数据流量的柴油发电机组云通讯模块 |
Non-Patent Citations (6)
Title |
---|
LUO CHONG等: "Compressive data gathering for large-scale wireless sensor networks", PROCEEDINGS OF THE 15TH ANNUAL INTERNATIONAL CONFERENCE ON MOBILE COMPUTING AND NETWORKING * |
于雪松;王孝良;张雪源;: "具有双机热备功能智能电网数据采集***", 东北电力技术, no. 01 * |
云利军: "网络化运动控制***行为特性的研究", 中国博士学位论文全文数据库 信息科技辑 * |
杨家全;: "基于IEC61850的变电站监测***设计", 云南电力技术, no. 05 * |
葛芝宾;: "SQL Server 2000分布式数据库***的构建", 南京师范大学学报(工程技术版), no. 04 * |
赵莉;何容;蒲箭;赵祥林;郑迎春;: "用电信息采集异常精确定位技术研究", 电气技术, no. 01 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112835853A (zh) * | 2020-12-31 | 2021-05-25 | 北京聚云科技有限公司 | 一种数据处理类型确定方法及装置 |
CN112835853B (zh) * | 2020-12-31 | 2024-03-22 | 北京聚云科技有限公司 | 一种数据处理类型确定方法及装置 |
CN114900511A (zh) * | 2022-04-25 | 2022-08-12 | 湖南大学 | 工业机器人数据同步采集加载中间件装置及方法 |
CN114900511B (zh) * | 2022-04-25 | 2023-02-03 | 湖南大学 | 工业机器人数据同步采集加载中间件装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111752918B (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147411B (zh) | 数据同步方法、装置、计算机设备及存储介质 | |
CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
WO2022126974A1 (zh) | 基于Kafka的增量数据同步方法、装置、设备及介质 | |
EP3318991A1 (en) | Monitoring processes running on a platform as a service architecture | |
CN108958959B (zh) | 检测hive数据表的方法和装置 | |
CN111459698A (zh) | 一种数据库集群故障自愈方法及装置 | |
CN111752918B (zh) | 一种历史数据交互***及其配置方法 | |
CN111339118A (zh) | 基于Kubernetes的资源变更历史记录方法及装置 | |
CN111913933B (zh) | 基于统一支撑平台的电网历史数据管理方法及*** | |
CN114328759A (zh) | 一种数据仓库的数据构建与管理方法及终端 | |
CN112506969A (zh) | 一种bmc地址查询方法、***、设备及可读存储介质 | |
CN113268530A (zh) | 海量异构数据采集方法、***、计算机设备和存储介质 | |
CN107894942B (zh) | 数据表访问量的监控方法和装置 | |
CN111161818A (zh) | 一种基于大数据技术的医疗数据交换共享***及方法 | |
CN115510139A (zh) | 数据查询方法和装置 | |
CN113760856B (zh) | 数据库管理方法及装置、计算机可读存储介质、电子设备 | |
EP4209933A1 (en) | Data processing method and apparatus, and electronic device and storage medium | |
CN115185774A (zh) | 一种基于开源技术的自动化数据库 | |
CN115391286A (zh) | 一种链路追踪数据管理方法、装置、设备及存储介质 | |
CN113656378A (zh) | 一种服务器管理方法、装置、介质 | |
WO2019218677A1 (zh) | 电网仿真分析数据存储方法、装置及电子设备 | |
CN115225345B (zh) | 一种日志下载方法、装置及其介质 | |
CN110727457A (zh) | 组件管理方法、装置、存储介质及电子设备 | |
CN111104558A (zh) | 一种分布式的多源数据处理方法及*** | |
CN111654410B (zh) | 网关请求监控方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |