CN103970903B - 基于Web的大型工业***反馈数据实时处理方法及*** - Google Patents

基于Web的大型工业***反馈数据实时处理方法及*** Download PDF

Info

Publication number
CN103970903B
CN103970903B CN201410228031.2A CN201410228031A CN103970903B CN 103970903 B CN103970903 B CN 103970903B CN 201410228031 A CN201410228031 A CN 201410228031A CN 103970903 B CN103970903 B CN 103970903B
Authority
CN
China
Prior art keywords
data
real
layer
module
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410228031.2A
Other languages
English (en)
Other versions
CN103970903A (zh
Inventor
张可
柴毅
汪嘉文
江聪美
焦春晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201410228031.2A priority Critical patent/CN103970903B/zh
Publication of CN103970903A publication Critical patent/CN103970903A/zh
Application granted granted Critical
Publication of CN103970903B publication Critical patent/CN103970903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种基于Web的大型工业***反馈数据实时处理方法，首先建立用于采集工业现场设备的工业***原始数据的底层数据层；然后建立用于将底层数据层中所采集的工业***原始数据进行分布数据处理的数据处理层，同时建立数据访问与历史数据的时间戳；最后建立对工业***原始数据进行动态分页存储的数据分发层，在数据分发层建立同步更新模块与检索服务模块。本发明将***功能细分化，防止某一个模块出现问题影响所有的服务器运算与用户访问；实现了面向用户定制，提升用户体验；使得大型工业***数据处理***开放性更好、拓展性更高，满足实时数据随需处理。将内存数据库与磁盘数据库高效的结合，提升整个***的实时性并降低***的运行负载。

Description

基于Web的大型工业***反馈数据实时处理方法及***
技术领域
本发明涉及IT领域及***领域的平台构件技术领域，特别涉及一种基于Web的大型工业***反馈数据实时处理平台架构及应用。
背景技术
现有的工业***反馈数据实时处理平台普遍存在数据采集成本高、实时性较低、用户体验度差等问题，同时大部分应用于C/S模式，再将此方法应用于并发性强、实时性要求高的大型工业***中问题就会更加的凸显。大型工业***反馈数据要求采集和处理具有高并发性、高实时性，提取海量数据处理需要花费比较多的资源和时间，并且数据存储效率比较慢，这些都降低了整个***的实时性，同时增大了***的运行负载。
因此急需一种基于Web的大型工业***反馈数据实时处理方法及***。
发明内容
有鉴于此，本发明所要解决的技术问题是提供一种基于Web的大型工业***反馈数据实时处理方法及***。
本发明的目的之一是提出一种基于Web的大型工业***反馈数据实时处理方法；本发明的目的之二是提出一种基于Web的大型工业***反馈数据实时处理***。
本发明的目的之一是通过以下技术方案来实现的：
本发明提供的基于Web的大型工业***反馈数据实时处理方法，包括以下步骤：
S1：建立用于采集工业现场设备的工业***原始数据的底层数据层；
S2：建立用于将底层数据层中所采集的工业***原始数据进行分布数据处理的数据处理层，同时建立用于实时数据访问与历史数据检索优化的时间戳；
S3：建立对工业***原始数据进行动态分页存储的数据分发层，在数据分发层建立同步更新模块与检索服务模块。
进一步，所述数据处理层的建立包括以下步骤：
S21：建立预处理模块，所述预处理模块用于对采集到的工业***原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取和数据格式转换；
S22：建立引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理；
S23：建立分库存储模块，所述分库存储的方式采用分布式内存数据库***和分布式磁盘数据库；
所述分布式内存数据库***用于实现实时数据访问；
所述分布式磁盘数据库包括同步更新模块和检索服务模块；
所述同步更新模块，用于断电时通过实时表来保存内存数据库中的实时数据；
所述检索服务模块，用于保存历史记录数据。
进一步，所述数据分发层的建立包括建立同步更新模块与建立检索服务模块；
所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据引擎模块中的处理标志位来识别原数据源是否被处理过；
所述检索服务模块，实时更新记录来判断经过数据预处理层处理后的表征设备实时状态的数据是否发生变化，如果数据发生变化则存入历史数据表，所述历史数据表存储于分布式磁盘数据库，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张数据表，在数据达到预设规模时对历史数据表进行备份清空。
进一步，所述底层数据层的工业***原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子***、消防子***和电梯子***。
进一步，所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在磁盘数据库中进行。
本发明的目的之二是通过以下技术方案来实现的：
本发明提供的基于Web的大型工业***反馈数据实时处理***，包括底层数据层、数据处理层和数据分发层；
所述底层数据层，用于采集工业现场设备的工业***原始数据的；
所述数据处理层，用于将底层数据层中所采集的工业***原始数据进行分布数据处理，同时建立用于实时数据访问与历史数据检索优化的时间戳；
所述数据分发层，用于对工业***原始数据进行动态分页存储。
进一步，所述数据处理层包括预处理模块、引擎模块、分库存储模块；
所述预处理模块，所述预处理模块用于对采集到的工业***原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取、数据格式转换；
所述引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理；
所述分库存储模块，所述分库存储的方式采用分布式内存数据库***和分布式磁盘数据库；
所述分布式内存数据库***用于实现实时数据访问；
所述分布式磁盘数据库包括同步更新模块和检索服务模块；
所述同步更新模块，用于断电时通过实时表来保存内存数据库中的实时数据；
所述检索服务模块，用于保存历史记录数据。
进一步，所述数据分发层包括同步更新模块与检索服务模块；
所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据引擎模块中的处理标志位来识别原数据源是否被处理过；
所述检索服务模块，实时更新记录来判断数据是否发生变化，如若变化则存入历史数据表，所述历史数据表存储于分布式磁盘数据库，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张数据表，在数据达到预设规模时对历史数据表进行备份清空；
所述映射关系信息为分布在不同子***中的设备信息采集单元读取的设备实时运行状态数据。
进一步，所述底层数据层的工业***原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子***、消防子***、电梯子***。
进一步，所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在磁盘数据库中进行。
本发明的有益效果在于：本发明采用了一种基于Web的大型工业***反馈数据实时处理***，提供的***包括底层数据层、数据处理层、数据分发层三层结构，将***功能细分化，防止某一个模块出现问题影响所有的服务器运算与用户访问；将传统的C/S模式转变为B/S模式，提升了用户体验，实现了面向用户定制；针对高并发性、高实时性的大型工业***反馈数据这一特性，根据提取的逻辑关联将海量数据“分而治之”，使得整个***开放性更好、拓展性更高，满足实时数据随需处理。同时，与常态下反馈数据实时处理模式相比，本发明构建的内存数据库***将内存数据库与磁盘数据库高效的结合，用磁盘数据库弥补内存数据库的不同，同时将两者之间相互关联，提升整个***的实时性并降低***的运行负载。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明实施例提供的实时处理中间件逻辑构架图；
图2为本发明实施例提供的一种基于Web的大型工业***反馈数据实时处理平台体系架构图。
具体实施方式
以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
实施例1
图1为本发明实施例提供的实时处理中间件逻辑构架图；图2为本发明实施例提供的一种基于Web的大型工业***反馈数据实时处理平台体系架构图，如图所示：本发明提供的基于Web的大型工业***反馈数据实时处理方法，包括以下步骤：
S1：建立用于采集工业现场设备的工业***原始数据的底层数据层；
S2：建立用于将底层数据层中所采集的工业***原始数据进行分布数据处理的数据处理层，同时建立用于实时数据访问与历史数据检索优化的时间戳；
S3：建立对工业***原始数据进行动态分页存储的数据分发层，在数据分发层建立同步更新模块与检索服务模块。
所述数据处理层的建立包括以下步骤：
S21：建立预处理模块，所述预处理模块用于对采集到的工业***原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取和数据格式转换；
S22：建立引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理；
S23：建立分库存储模块，所述分库存储的方式采用分布式内存数据库***和分布式磁盘数据库；
所述分布式内存数据库***用于实现实时数据访问；
所述分布式磁盘数据库包括同步更新模块和检索服务模块；
所述同步更新模块，用于断电时通过实时表来保存实时数据的访问；
所述检索服务模块，用于保存历史记录数据，并提供最优检索方案。
所述数据分发层的建立包括建立同步更新模块与检索服务模块；
所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据引擎模块中的处理标志位来识别原数据源是否被处理过；
所述检索服务模块，实时更新记录来判断经过数据预处理层处理后的表征设备实时状态的数据是否发生变化，如果数据发生变化则存入历史数据表，所述历史数据表存储于分布式磁盘数据库Oracle，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张历史数据表，在数据达到预设规模时对历史数据表进行备份清空。
所述底层数据层的工业***原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子***、消防子***和电梯子***。
所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在分布式磁盘数据库Oracle中进行。
本实施例还提供了一种基于Web的大型工业***反馈数据实时处理***，包括底层数据层、数据处理层和数据分发层；
所述底层数据层，用于采集工业现场设备的工业***的原始数据；
所述数据处理层，用于将底层数据层中所采集的工业***原始数据进行分布数据处理，同时建立用于实时数据访问与历史数据检索优化的时间戳；
所述数据分发层，用于对工业***原始数据进行动态分页存储。
所述数据处理层包括预处理模块、引擎模块、分库存储模块；
所述预处理模块，所述预处理模块用于对采集到的工业***原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取、数据格式转换；
所述引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理；
所述分库存储模块，所述分库存储的方式采用分布式内存数据库Oracle和分布式磁盘数据库；
所述分布式内存数据库***用于实现实时数据访问；
所述分布式磁盘数据库包括同步更新模块和检索服务模块；
所述同步更新模块，用于断电时通过实时表来保存内存数据库中的实时数据；
所述检索服务模块，用于保存历史记录数据。
所述数据分发层包括同步更新模块与检索服务模块；
所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据引擎模块中的处理标志位来识别原数据源是否被处理过；
所述检索服务模块，实时更新记录来判断数据是否发生变化，如若变化则存入历史数据表，所述历史数据表分布式磁盘数据库，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张数据表，在数据达到预设规模时对历史数据表进行备份清空；
所述映射关系信息为分布在不同子***中的设备信息采集单元读取的设备实时运行状态数据。
所述底层数据层的工业***原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子***、消防子***、电梯子***。
所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在磁盘数据库中进行。
实施例2
本发明实施例2详细陈述的基于Web的大型工业***反馈数据实时处理方法过程和***结构。
本实施例提供的基于Web的大型工业***反馈数据实时处理方法的建立步骤如下：
通过对大型工业***中分布在不同子***中的不同设备单元的海量底层数据进行实时采集，再通过数据预处理层进行海量数据的筛选，提供给内存数据库的同时建立时间戳，用于实时的数据访问与历史数据的检索优化，最后在数据分发层对筛选后的数据进行数据动态分页存储，保证数据实时性的同时提供高效的历史数据检索策略。这一系列的操作均基于实时的数据采集过程同步展开，以达到整个实时处理平台的基于用户定制的数据处理流程。
具体如下：
1.首先建立底层数据层，将物理上分散而逻辑上集中的海量分布式数据进行实时的存储，这里不区分数据的关联，只针对高并发性、高实时性的大型工业***反馈数据进行采集，为后面的数据处理层与数据分发层提供最原始的工业现场海量数据，这里有几点需要进行说明：
a.所谓的物理上分散而逻辑上集中的海量分布式数据是指工业现场的所有设备的原始数据；
b.这里的原始数据是分布在不同的设备(传感器)当中，每个设备(传感器)单元的数据均根据现场的情况进行实时读取，能够表征这个单元的运行情况与实时参数值。其中，所有的设备又归属于不同的子***中，例如：供电子***、消防子***、电梯子***等等。每个子***代表整个大型工业***中的子模块，由不同的子***最终构成一个整体的大型工业***。
c.整个底层数据的传输过程基于TCP/IP(或UDP)协议来进行数据的传输，而数据的采集过程则由socket技术完成，以数据包的形式进行采集，这里的数据包是通过数据包格式，包含除了各个设备(传感器)数据的实体的同时，还包含其他的相关信息，如：信源、新宿、接收时间、转换编码等等。
d.其中底层数据层所提到的数据采集的作用是：将物理上分散而逻辑上集中的分布式海量信息进行采集，这里不做其他复杂操作(剩余的数据实时处理会在数据预处理层、数据分发层中进行)。
e.上一步中提到的物理上分散而逻辑上关联指的是：不同的设备的分布是无规律的，但我们可以设定其逻辑关联，即所属子***的不同，以达到优化处理数据的过程，为下一步的数据处理做准备。
2.第二步建立数据处理层，将底层数据层中所采集的海量分布数据进行“加工”，其中数据预处理层又包含三个不同的模块：预处理模块、引擎模块、分库存储模块。每个不同的模块对应其不同的任务与功能，同时每个不同的模块之间也是相互关联相互作用的，下面对三个模块做几点说明：
a.预处理模块：包括对第一步中采集到的海量数据包进行拆分、数据包的合法性验证、不同数据逻辑关联的提取(所属子***)、数据格式的转换等等。这里说到的数据包的拆分包含有效数据提取与相关信息提取两部分内容，所有的提取规则均按照配置进行；数据包的合法性验证是指对数据包的格式进行验证，根据有效信息中包含的包括信源、新宿、所属标志位进行验证，以判断此次数据包的格式是否正确，如不正确则视为“废包”，进行删除，不进行下一步处理，满足高实时性；不同数据逻辑关联的提取与数据格式的转换指的是将相关信息中的映射关系进行提取，为下一步分布存储做准备，同时将有效数据进行数据格式转换，得到真实数据。
b.引擎模块：包括调度处理线程、分配线程与各个模块之间的功能控制管理。调度处理线程、分配线程的主要作用是达到接收数据的最优化，首先在线程的开始设置标志位(ON)，此标志位控制一个线程的执行与否，在每个线程对有效数据接收完毕的后改变标志位(OFF)，将结果进行反馈。针对高并发的大型工业***，会出现每秒钟成千上万的数据的接收，设置标志位的作用是防止数据的重复接收，减低***的整体消耗。各模块之间的功能控制管理在d中有详细说明。
c.分库存储模块：分库存储的目的是为了满足高实时性的要求，同时大大减少数据库的I/O访问，降低服务器的消耗。这里的分库存储主要的意思是建立分布式内存数据库***，分布式内存数据库***主要包括两个部分：
c1.分布式内存数据库(在本层中有所体现)：按消息报文为单位，解析报文后的数据包相关信息按数据包的逻辑关联存入内存共享区中对应的链表(内存块)中，根据用户定制的要求，使得用户在查询实时数据时不用通过磁盘数据库I/O操作而是直接访问内存数据库中的数据内容，提升实时效率。每个内存数据库与配置信息相关联，即将海量有效数据进行优化管理，这一部分有效数据同时会根据时间戳进入数据分发层，用于数据的检索与用户定制的查询。
c2.分布式磁盘数据库(在下一层中有所体现)：分布式磁盘数据库选取Oracle数据库，主要提供两种功能。首先，在服务器出现断开时，内存数据库中的事实推送数据会被清除，这时我们通过分布式磁盘数据库Oracle来访问最近时间点的实时参数数据；其次，提供检索功能，即通过Oracle数据库中的存储过程对历史数据表按照上层中提取的映射关系信息进行动态分表，根据磁盘数据库Oracle处理每张表的优化比选择每张表的最优记录数，通过映射信息中的参数个数与发送频率来确定此类映射关系信息下所需的分表时间，最大限度是实现检索的最优化。
d.各个模块之间存在依托的关联控制：预处理模块负责数据的处理、引擎模块负责数据的接收与高效管理、分库存储模块是根据数据的“用途”不同在最大化降低磁盘数据库I/O操作的同时满足整个实时处理数据流的数据传输、入库、查询的同步性。
其中的引擎模块是整个数据预处理层的核心部分，它根据预处理模块得到的信源新宿等信息来确定是否开启线程、根据逻辑关联信息来确定开启哪个线程，在接收到数据的同时，来确定存入哪个分布式数据库。
3.第三步建立数据分发层：数据分发层分同步更新模块与检索服务模块，下面对数据分发层进行说明：
a.同步更新模块：按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录。如果大量关键资料暂存在内存中，一旦断电、CPU或内存等故障之一发生，首先丢失的是内存数据，实时更新记录的作用在于在发生上述故障时对用户的查询数据进行保障。同时，我们可以根据引擎模块中的处理标志位来识别原数据源是否被处理过。
b.检索服务模块：实时更新记录来判断数据是否发生变化，如若变化则存入历史数据表，此历史数据表均存储在分布式磁盘数据库中，每张历史数据表的表名由两部分构成，即：对应实时表的映射关系信息加表的可变个数，如：1000_1、1000_2等等，历史数据表的分类均根据数据处理层中提取出的映射关系信息进行分类，此历史数据表为动态分表，即当记录数达到50-100万条时(也可采用当记录数达到一定规模时，根据服务器性能来决定)同步建立第二张相关数据表，在数据达到一定规模时对此表进行备份清空，达到减轻整个***负载的目的。
c.数据处理层中的分布式内存数据库与数据分发层中的分布式磁盘数据库一同构成整个内存数据库***。仅将数据存储到内存数据库无法实现数据全局分布的要求，需要借助于分布式磁盘数据库Oracle这样的外部数据库，在满足出现服务器断开等极端情况下的实时数据查询的同时，满足历史数据检索的高效优化，对分布式内存数据库进行保障。由于报文基本是密集型，而对报文的处理效率略低于报文的载入效率，因此在内存数据库中可保证处理实务操作的有效性，解决内存数据库与磁盘数据库的平衡，保证实时处理程序在内存数据中完成各种事务处理。
d.同步更新模块与检索服务模块的所有操作均在磁盘数据库中进行，不影响整个反馈数据实时处理平台的执行效率，同步更新模块在出现故障的时候对用户的访问进行保障；检索服务模块则在用户对设备数据进行历史记录查询时最大限度的满足数据检索的实时性要求，为用户的数据分析、数据展示等做实时性保障。
4.最后，通过三层结构的建立，构建一种基于Web的大型工业***反馈数据实时处理平台，在有限的资源内达到预期的效果，以达到提高主内存使用率并有效减少I/O读写的效果，同时实现C/S到B/S模式的转变，在提升用户体验的同时，提升平台处理高并发性、高实时性的大型工业***反馈数据实时处理的能力。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离所附权利要求书所限定的本实用新型的精神和范围。

Claims (6)

1.基于Web的大型工业***反馈数据实时处理方法，其特征在于：包括以下步骤：
S1：建立用于采集工业现场设备的工业***原始数据的底层数据层；
S2：建立用于将底层数据层中所采集的工业***原始数据进行分布数据处理的数据处理层，同时建立用于实时数据访问与历史数据检索优化的时间戳；
S3：建立对工业***原始数据进行动态分页存储的数据分发层，在数据分发层建立同步更新模块与检索服务模块；
所述数据处理层的建立包括以下步骤：
S21：建立预处理模块，所述预处理模块用于对采集到的工业***原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取和数据格式转换；
S22：建立引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理；
S23：建立分库存储模块，所述分库存储的方式采用分布式内存数据库***和分布式磁盘数据库；
所述分布式内存数据库***用于实现实时数据访问；
所述分布式磁盘数据库包括同步更新模块和检索服务模块；
所述同步更新模块，用于断电时通过实时表来保存内存数据库中的实时数据；
所述检索服务模块，用于保存历史记录数据；
所述数据分发层的建立包括建立同步更新模块与建立检索服务模块；
所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据引擎模块中的处理标志位来识别原数据源是否被处理过；
所述检索服务模块，实时更新记录来判断经过数据预处理层处理后的表征设备实时状态的数据是否发生变化，如果数据发生变化则存入历史数据表，所述历史数据表存储于分布式磁盘数据库，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张数据表，在数据达到预设规模时对历史数据表进行备份清空。
2.根据权利要求1所述的基于Web的大型工业***反馈数据实时处理方法，其特征在于：所述底层数据层的工业***原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子***、消防子***和电梯子***。
3.根据权利要求2所述的基于Web的大型工业***反馈数据实时处理方法，其特征在于：所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在磁盘数据库中进行。
4.基于Web的大型工业***反馈数据实时处理***，其特征在于：包括底层数据层、数据处理层和数据分发层；
所述底层数据层，用于采集工业现场设备的工业***原始数据的；
所述数据处理层，用于将底层数据层中所采集的工业***原始数据进行分布数据处理，同时建立用于实时数据访问与历史数据检索优化的时间戳；
所述数据分发层，用于对工业***原始数据进行动态分页存储；
所述数据处理层包括预处理模块、引擎模块、分库存储模块；
所述预处理模块，所述预处理模块用于对采集到的工业***原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取、数据格式转换；
所述引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理；
所述分库存储模块，所述分库存储的方式采用分布式内存数据库***和分布式磁盘数据库；
所述分布式内存数据库***用于实现实时数据访问；
所述分布式磁盘数据库包括同步更新模块和检索服务模块；
所述同步更新模块，用于断电时通过实时表来保存内存数据库中的实时数据；
所述检索服务模块，用于保存历史记录数据；
所述数据分发层包括同步更新模块与检索服务模块；
所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据引擎模块中的处理标志位来识别原数据源是否被处理过；
所述检索服务模块，实时更新记录来判断数据是否发生变化，如若变化则存入历史数据表，所述历史数据表存储于分布式磁盘数据库，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张数据表，在数据达到预设规模时对历史数据表进行备份清空；
所述映射关系信息为分布在不同子***中的设备信息采集单元读取的设备实时运行状态数据。
5.根据权利要求4所述的基于Web的大型工业***反馈数据实时处理***，其特征在于：所述底层数据层的工业***原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子***、消防子***、电梯子***。
6.根据权利要求5所述的基于Web的大型工业***反馈数据实时处理***，其特征在于：所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在磁盘数据库中进行。
CN201410228031.2A 2014-05-27 2014-05-27 基于Web的大型工业***反馈数据实时处理方法及*** Active CN103970903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410228031.2A CN103970903B (zh) 2014-05-27 2014-05-27 基于Web的大型工业***反馈数据实时处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410228031.2A CN103970903B (zh) 2014-05-27 2014-05-27 基于Web的大型工业***反馈数据实时处理方法及***

Publications (2)

Publication Number Publication Date
CN103970903A CN103970903A (zh) 2014-08-06
CN103970903B true CN103970903B (zh) 2017-05-24

Family

ID=51240401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410228031.2A Active CN103970903B (zh) 2014-05-27 2014-05-27 基于Web的大型工业***反馈数据实时处理方法及***

Country Status (1)

Country Link
CN (1) CN103970903B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368606A (zh) * 2017-07-31 2017-11-21 北京中科金马科技股份有限公司 数据分类方法、装置及数据分类***

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589884B (zh) * 2014-10-24 2020-11-03 腾讯科技（深圳）有限公司 数据处理方法及装置
CN104408054B (zh) * 2014-10-29 2017-10-31 深圳市金证科技股份有限公司 一种数据库管理***
CN104598623A (zh) * 2015-02-03 2015-05-06 东南大学 综合传感网分层数据管理***
CN104657462B (zh) * 2015-02-10 2017-12-22 北京宇航***工程研究所 一种海量测量数据准实时入库方法
CN105224658B (zh) * 2015-09-30 2018-11-30 北京京东尚科信息技术有限公司 一种大数据的实时查询方法和***
CN106230599A (zh) * 2016-08-02 2016-12-14 浪潮集团有限公司 一种基于云计算的可信时间戳***及实现方法
CN107315769B (zh) * 2017-05-18 2021-03-12 北京安点科技有限责任公司 结合多因子分析技术和MapReduce技术的海量数据简化及处理***
CN107391192B (zh) * 2017-07-21 2020-07-10 苏州浪潮智能科技有限公司 一种数据库服务器升级方法和装置
CN107992949A (zh) * 2017-11-09 2018-05-04 北京许继电气有限公司 工业数据分析方法和***
CN110019345A (zh) * 2017-12-28 2019-07-16 北京京东尚科信息技术有限公司 数据处理方法、装置、***及介质
CN109344199A (zh) * 2018-09-20 2019-02-15 普元信息技术股份有限公司 云计算平台中实现大数据量分布式处理的***及方法
CN109345377B (zh) * 2018-09-28 2020-03-27 北京九章云极科技有限公司 一种数据实时处理***及数据实时处理方法
CN109245310A (zh) * 2018-11-13 2019-01-18 北京工业大学 一种基于实时数据库的电力监控***
CN109787972A (zh) * 2019-01-08 2019-05-21 上海因致信息科技有限公司 工业数据采集引擎***及方法
CN110222100B (zh) * 2019-04-26 2023-04-07 广州明珞装备股份有限公司 基于大数据显示工艺时序图的处理方法、***及存储介质
CN111221820A (zh) * 2019-12-30 2020-06-02 武汉益模科技股份有限公司 一种设备联网数据的存储及实时读取的方法
CN114116731B (zh) * 2022-01-24 2022-04-22 北京智象信息技术有限公司 一种基于indexedDB存储的数据分离存储展示方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096684A (zh) * 2009-12-11 2011-06-15 华大天元(北京)电力科技有限公司 电网实时数据集成与共享平台
CN202058147U (zh) * 2011-05-23 2011-11-30 北京六所和瑞科技发展有限公司 分布式实时数据库管理***
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学（保定） 一种状态监测数据的分布式存储与并行挖掘方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104769582B (zh) * 2012-11-02 2018-11-02 埃森哲环球服务有限公司 针对电网的实时数据管理

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096684A (zh) * 2009-12-11 2011-06-15 华大天元(北京)电力科技有限公司 电网实时数据集成与共享平台
CN202058147U (zh) * 2011-05-23 2011-11-30 北京六所和瑞科技发展有限公司 分布式实时数据库管理***
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学（保定） 一种状态监测数据的分布式存储与并行挖掘方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于WEB的企业电网实时监控***的开发技术研究》;第09期;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20080915(第09期);正文第2.2-2.4节 *
《基于分布式内存数据库的HIRFL-CSR真空监控***》;苟世哲等;《基于分布式内存数据库的HIRFL-CSR真空监控***》;20090131;第29卷(第1期);第150-153页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368606A (zh) * 2017-07-31 2017-11-21 北京中科金马科技股份有限公司 数据分类方法、装置及数据分类***

Also Published As

Publication number Publication date
CN103970903A (zh) 2014-08-06

Similar Documents

Publication Publication Date Title
CN103970903B (zh) 基于Web的大型工业***反馈数据实时处理方法及***
CN108804630B (zh) 一种面向行业应用的大数据智能分析服务***
CN103164323A (zh) 数据自动生成方法以及数据自动生成***
CN102508919B (zh) 数据处理方法及***
CN110489407A (zh) 数据补采方法、装置、计算机设备及存储介质
CN107103064A (zh) 数据统计方法及装置
CN113242159B (zh) 应用访问关系确定方法及装置
CN104050193B (zh) 生成报文的方法和实现该方法的数据处理***
CN107015850A (zh) 线程调度方法和装置
CN108681598A (zh) 任务自动重跑方法、***、计算机设备和存储介质
CN105653401A (zh) 应用***灾备、运维、监控和应急启停调度方法及装置
CN103679349A (zh) 基于安卓***的手机巡检终端***
CN103544060A (zh) 一种基于webservice的服务调度***及方法
CN104516953B (zh) 一种用于电力调度自动化海量报文的黑匣子***
CN110187895A (zh) 操作***部署方法、装置、设备及计算机可读存储介质
CN101286903B (zh) 一种网络审计领域提高会话完整性的方法
CN102855297A (zh) 一种控制数据传输的方法和连接器
CN206975698U (zh) 一种基于ar的输变电线路设备巡检***
CN105354891A (zh) 一种考勤管理的方法及***
CN103294774B (zh) 基于多时区的对数据仓库进行批量加载的装置及方法
CN201400195Y (zh) 一种轨道交通***配置器
CN109754131B (zh) 一种基于nxd的scd文件配置方法及装置
CN112612841A (zh) 一种知识抽取构建方法、装置、设备及存储介质
CN101830241B (zh) 一种轨道交通***配置器及其方法
CN107968355A (zh) 一种基于全球定位的智能电力线路巡检管理***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant