CN112559536B - 一种工业设备数据的处理方法及*** - Google Patents

一种工业设备数据的处理方法及*** Download PDF

Info

Publication number
CN112559536B
CN112559536B CN202110190981.0A CN202110190981A CN112559536B CN 112559536 B CN112559536 B CN 112559536B CN 202110190981 A CN202110190981 A CN 202110190981A CN 112559536 B CN112559536 B CN 112559536B
Authority
CN
China
Prior art keywords
data
access data
statistical
access
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110190981.0A
Other languages
English (en)
Other versions
CN112559536A (zh
Inventor
蒋绵
张硕
李振兴
孟越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Innovation Center For Industrial Big Data Co ltd
Original Assignee
Beijing Innovation Center For Industrial Big Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Innovation Center For Industrial Big Data Co ltd filed Critical Beijing Innovation Center For Industrial Big Data Co ltd
Priority to CN202110190981.0A priority Critical patent/CN112559536B/zh
Publication of CN112559536A publication Critical patent/CN112559536A/zh
Application granted granted Critical
Publication of CN112559536B publication Critical patent/CN112559536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种工业设备数据的处理方法及***，所述方法包括：获取接入数据的元数据信息；根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；将所述统计结果储存到关系数据库中。本发明的技术方案，将关系数据库与工业数据湖融合，提高了数据的检索效率。

Description

一种工业设备数据的处理方法及***
技术领域
本发明涉及工业设备数据处理技术领域，尤其涉及一种工业设备数据的处理方法及***。
背景技术
关系数据库具有结构化关系数据存储区，工业数据湖具有非结构化的数据存储区，基于对象存储的一体化时间序列与非结构化工业数据湖***中的数据量庞大，该***每日都有新的数据接入，该***有特定的接入索引数据区，但是，现有技术中，查看该***中的庞大数据信息的方法复杂，耗时较长。
发明内容
本发明的实施例提供一种工业设备数据的处理方法及***，用于解决现有技术中查询***中的庞大数据信息的方法复杂、耗时较长的问题。
为了解决上述技术问题，本发明提供如下技术方案：
一种工业设备数据的处理方法，包括：
获取接入数据的元数据信息；
根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；
将所述统计结果储存到关系数据库中。
可选的，获取接入数据的元数据信息，包括：
根据检索日期及检索目标，从关系数据库及工业数据湖中，获取接入数据的元数据信息。
可选的，所述元数据信息包括以下至少一项：
本次接入数据的每个测点的名称、数据类型、数据的最小时间戳、最大时间戳及存储位置，
本次接入数据的时间戳；接入数据的真实日期。
可选的，根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果，包括：
通过增量式统计的方式，对所述元数据信息进行统计，获得元数据统计结果；
根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
可选的，对所述元数据信息进行统计，获得元数据统计结果，包括：
直接按接入日期对多个接入数据的元数据信息进行统计，获得元数据统计结果；和/或
根据所述接入数据的接入日期、接入次数、接入时间间隔，对接入频率及每个测点的接入频率中的至少一项，通过增量式统计的方式，对多个接入数据的元数据信息进行统计，获得元数据统计结果。
可选的，根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
根据所述元数据统计结果，通过增量式统计的方式，直接对所述接入数据进行统计，获取接入数据的统计结果；和/或根据所述元数据统计结果，使用插值算法和/或相关性算法对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
可选的，使用插值算法,对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果,包括：
根据每日数据的接入次数、每次接入的时间范围、接入数据量以及多日数据信息的对比结果，计算出测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复；
根据测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复，获得接入数据统计结果。
可选的，使用相关性算法对每个测点，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
获取每日测点的采样周期频率或开关量的开关频率；
根据所述每日测点的采样周期频率或开关量的开关频率，计算出不同测点之间的相关性；
根据所述不同测点之间的相关性，对所述接入数据进行统计，获得接入数据统计结果。
可选的，所述增量式统计的方式包括：将不同日期的新增数据的条数求和进行统计。
本发明的实施例还提供一种工业设备数据的处理***，包括：
获取模块，用于获取接入数据的元数据信息；
统计模块，用于根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；
存储模块，用于将所述统计结果储存到关系数据库中。
本发明的实施例，具有如下技术效果：
本发明的上述技术方案，基于自动检索、数据索引的统计方式、增量式的统计方式、可定制的统计内容、快速查看统计结果以及多种触发统计方式，实现了庞大数据接入信息的快速预览。
附图说明
图1为本发明实施例提供的一种工业设备数据的处理方法的流程示意图；
图2为本发明实施例提供的一种工业设备数据的处理方法的工作原理图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，本发明的实施例提供一种工业设备数据的处理方法，包括：
S1:获取接入数据的元数据信息；
S2:根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；
S3:将所述统计结果储存到关系数据库中。
其中，接入数据按照次接入；
具体的，所述关系数据库中的统计结果包括：
1）目录表(dirs)
目录信息，对应存储***的真实目录，每次接入只针对某一个目录操作
核心字段：Id serial PRIMARY KEY,Name character varing(255)unique
2）测点表(points)
测点信息，关联目录表，可以查看每个目录的所有测点信息
核心字段：Id serial primary key,Name character varing(255),Dir_id intreferences dirs(id),
Date_type character varing(255),Data_days date[], Data_start_timetimestamp without time zone,
Data_end_time timestamp without time zone。
3）测点日统计信息的真实表
测点的每日数据的详细信息表，记录每个测点每天数据的详细信息
为了提高查找性能对该表按point_id创建1024个分区
核心字段：Point_id int references points(id),data_date DATE,value_count int,
Data_types character varing(255)。
本发明的该实施例，将关系数据库于工业数据湖的融合，提高了数据的检索效率，根据工业数据湖中工业数据特定定制统计内容，统计结果精确到日；根据接入数据时产生的元数据进行统计（在接入数据时产生了元数据信息，可以实现根据***定制是否根据真实数据先产生元数据）。
本发明一可选的实施例，步骤S1中，获取接入数据的元数据信息，包括：
根据检索日期及检索目标，从关系数据库及工业数据湖中，获取接入数据的元数据信息。
本发明一可选的实施例，步骤S1中，所述元数据信息包括以下至少一项：
本次接入数据的每个测点的名称、数据类型、数据的最小时间戳、最大时间戳及存储位置，
本次接入数据的时间戳；接入数据的真实日期。
具体的，基于元数据信息（索引数据文件）的增量式的统计方式包括：
1）只读取索引文件，不读取数据文件
索引数据文件，其实记录的就是一次接入的详细信息：本次接入数据的每个测点的名称、数据类型、数据的最小最大时间戳及存储位置，该索引数据文件的生成日期即本次接入数据的时间戳；
索引文件所在的存储路径即接入数据的真实日期；
根据这些信息，统计出该目录，此次接入数据的每个测点的本次接入数据日期的详细信息；
不解析压缩的数据文件，这样统计效率更高。
2）对指定日期产生的索引数据文件进行统计，不进行全量统计
每次统计按给定的起止日期进行索引文件的扫描；
索引文件按生成日期分组；
每次对相同生成日期的索引数据文件进行解析统计,统计出每个测点每个数据日期的信息；
同样增加了统计效率。
3）接入数据的统计结果按索引文件产生的日期存储，增量式的更新
统计结果，按索引数据文件产生的日期存储；
跨月后生成月统计结果；
跨年后生成年统计结果；
同时更新数据库中的测点表、测点每日信息的真实表。
其中，增量式统计的方式的触发方式包括：
1）每次接入任务完成后，触发统计，索引数据文件的过滤条件为：只统计当天产生的索引文件；
2）定时触发，索引数据文件的过滤条件为：昨天及今天产生的索引文件；
3）应用场景：每天指定时间进行数据接入，那么期望当天或次日指定时间进行统计更新；
4）每次删除或回退任务完成后，触发统计，索引数据文件的过滤条件为：被删除的索引文件所涉及到的日期。
如下为增量式统计的方式的示例：
1）已经存在的索引文件
Dir_1/0/ctl/2020/01/01/1604102400000_***.idx:(2020-10-3108:00:00生成的索引文件)
文件内容：
[{"pointName":"W3_AB1","dataType":"double","count":288,"minTimestamp":1577836800000,"maxTimestamp":1577844000000,"filePath":"/dir_1/0/dat/2020/01/01/***/****.parquet"}]
2）已经存在的统计文件
Dir_1/0/stats/2020/10/31/20201031.stats
文件内容:dirName.pointName,dataType,dataDate,vaIueCount.dataStartTime.dataEndTime
dir_1.W3_AB1.double,2020-01-01,288.1577836800000.1577844000000
3）2020-12-09日新增统计文件
Dir_1/0/ctl/2020/01/01/1607479200000_***.idx:(2020-12-0910:00:00生成的索引文件)
文件内容：
[{"pointName":"W3_AB1","dataType":"double","count":400,"minTimestamp":1577854800000,"maxTimestamp":1577890800000,"filePath":"/dir_1/0/dat/2020/01/01/***/****.parquet"}]
Dir_1/0/ctl/2020/01/02/1607490000000_***.idx:(2020-12-1013:00:00生成的索引文件)
文件内容：
[{"pointName":"W3_AB1","dataType":"double","count":1000,"minTimestamp":1577898000000,"maxTimestamp":1577930400000,"filePath":"/dir_1/0/dat/2020/01/02/***/****.parquet"}]
4）触发统计，过去日期start_date>=“2020-12-09” end_data<“2020-12-10”
新增统计文件：dir_1/0/stats/2020/12/09/20201209.stats
文件内容：
dirName.pointName,dataType.dataDate,vaIueCount.dataStartTime,dataEndTime
dir_1.W3_AB1.double.2020-01-01.400.1577854800000.1577890800000
dir_1.W3_AB1.double.2020-01-02.1000.1577898000000.1577930400000
5）最终统计结果，如下表：
Figure DEST_PATH_IMAGE002A
本发明一可选的实施例，步骤S2中，根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果，包括：
通过增量式统计的方式，对所述元数据信息进行统计，获得元数据统计结果；
根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
具体的，对接入的测点量；每个测点的数据类型；每个测点的数据量；每个测点的数据日期最小最大值进行直接统计；
根据接入日期、接入次数、接入时间间隔，估算出接入频率（单次、多次、几日、几月等不同的级别，给出相应的标签），对接入频率及每个测点的接入频率进行分析统计，便于对工业数据接入***的监测。
本发明一可选的实施例，对所述元数据信息进行统计，获得元数据统计结果，包括：
直接按接入日期对多个接入数据的元数据信息进行统计，获得元数据统计结果；和/或
根据所述接入数据的接入日期、接入次数、接入时间间隔，对接入频率及每个测点的接入频率中的至少一项，通过增量式统计的方式，对多个接入数据的元数据信息进行统计，获得元数据统计结果。
本发明一可选的实施例，步骤S2中，根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
根据所述元数据统计结果，通过增量式统计的方式，直接对所述接入数据进行统计，获取接入数据的统计结果；和/或根据所述元数据统计结果，使用插值算法和/或相关性算法对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
本发明一可选的实施例，步骤S2中，使用插值算法,对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果,包括：
根据每日数据的接入次数、每次接入的时间范围、接入数据量以及多日数据信息的对比结果，计算出测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复；
根据测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复，获得接入数据统计结果。
本发明一可选的实施例，步骤S2中，使用相关性算法对每个测点，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
获取每日测点的采样周期频率或开关量的开关频率；
根据所述每日测点的采样周期频率或开关量的开关频率，计算出不同测点之间的相关性；
根据所述不同测点之间的相关性，对所述接入数据进行统计，获得接入数据统计结果。
具体的，使用相关性算法对多个测点之间的相关性，相关系数开关型测点数据的开关频率等，同类型测点的相关性、相关系数等进行统计，根据每日测点的采样周期频率，或开关量的开关频率等计算不同测点之间的相关性：正相关、反相关，及相关系数等。
本发明一可选的实施例，步骤S2中，所述增量式统计的方式包括：将不同日期的新增数据的条数求和进行统计。
本发明实施例的上述技术方案，可以通过如下实现方式实现：
如图2所示，包括如下步骤：
（1）判断是否启动统计，若否，则返回重新判断是否启动统计，若是，则执行步骤（2）；
（2）判断是否使用默认检索日期，若否，则直接执行步骤（3）；若是，则使用默认地检索日期，然后执行步骤（3）；
（3）判断是否生成接入数据的元数据信息，若是，则根据检索日期及检索目标从关系数据库及工业数据湖中获取相关的元数据信息；根据相关的元数据信息解析出相关的接入数据的元数据信息：即接入索引数据文件；然后执行步骤（4）；若否，则直接执行步骤（4）；
（4）获取定制的统计内容，按接入日期完成统计：接入数据日期，基本信息等；按数据日期进行信息汇总，更新相关数据日期的统计结果到关系数据库；返回步骤（1）。
本发明的上述实施例，能方便、快速的查看该***中的庞大数据信息。
本发明的实施例还提供一种工业设备数据的处理***，包括：
获取模块，用于获取接入数据的元数据信息；
统计模块，用于根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；
存储模块，用于将所述统计结果储存到关系数据库中。
可选的，获取接入数据的元数据信息，包括：根据检索日期及检索目标，从关系数据库及工业数据湖中，获取接入数据的元数据信息。
可选的，所述元数据信息包括以下至少一项：本次接入数据的每个测点的名称、数据类型、数据的最小时间戳、最大时间戳及存储位置，本次接入数据的时间戳；
接入数据的真实日期。
可选的，根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果，包括：通过增量式统计的方式，对所述元数据信息进行统计，获得元数据统计结果；根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
可选的，对所述元数据信息进行统计，获得元数据统计结果，包括：
直接按接入日期对多个接入数据的元数据信息进行统计，获得元数据统计结果；和/或
根据所述接入数据的接入日期、接入次数、接入时间间隔，对接入频率及每个测点的接入频率中的至少一项，通过增量式统计的方式，对多个接入数据的元数据信息进行统计，获得元数据统计结果。
可选的，根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：根据所述元数据统计结果，通过增量式统计的方式，直接对所述接入数据进行统计，获取接入数据的统计结果；和/或根据所述元数据统计结果，使用插值算法和/或相关性算法对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
可选的，使用插值算法,对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果,包括：根据每日数据的接入次数、每次接入的时间范围、接入数据量以及多日数据信息的对比结果，计算出测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复；根据测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复，获得接入数据统计结果。
可选的，使用相关性算法对每个测点，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：获取每日测点的采样周期频率或开关量的开关频率；
根据所述每日测点的采样周期频率或开关量的开关频率，计算出不同测点之间的相关性；根据所述不同测点之间的相关性，对所述接入数据进行统计，获得接入数据统计结果。
可选的，所述增量式统计的方式包括：将不同日期的新增数据的条数求和进行统计。
需要说明的是，该***是与上述图1所示方法的实施例对应的***，上述方法实施例中的所有实现方式均适用于该***的实施例中，也能达到相同的技术效果。
本发明的上述技术方案，针对工业数据湖所特有的存储结构、特定的时序数据的索引数据而设计出来的只读取索引数据的高效的增量式的工业数据湖接入数据的统计方法，专门适用于工业场景工业数据湖接入数据；融合了关系数据库与工业数据湖；依赖可定制的工业数据湖元数据；依赖数据接入的元数据信息；按接入日期进行增量式统计出，按数据日期进行统计结果的更新，大大地提高了检索效率。
本发明的实施例，还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该***的实施例中，也能达到相同的技术效果。
此外，需要指出的是，在本发明的***和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和***的全部或者任何步骤或者部件，可以在任何计算***（包括处理器、存储介质等）或者计算***的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算***上运行一个程序或者一组程序来实现。所述计算***可以是公知的通用***。因此，本发明的目的也可 以仅仅通过提供包含实现所述方法或者***的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的***和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种工业设备数据的处理方法，其特征在于，包括：
获取按次进行接入的接入数据的元数据信息；
根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；所述元数据信息包括以下至少一项：本次接入数据的每个测点的名称、数据类型、数据的最小时间戳、最大时间戳及存储位置；本次接入数据的时间戳；接入数据的真实日期；
将所述统计结果储存到关系数据库中，所述统计结果包括：目录表、测点表以及真实表，所述测点表与所述目录表关联，所述真实表记录测点数据的详细信息；所述目录表包括目录信息；所述测点表包括测点信息；
其中，根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果，包括：
通过增量式统计的方式，对所述元数据信息进行统计，获得元数据统计结果；
根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
2.根据权利要求1所述的工业设备数据的处理方法，其特征在于，获取接入数据的元数据信息，包括：
根据检索日期及检索目标，从关系数据库及工业数据湖中，获取接入数据的元数据信息。
3.根据权利要求1所述的工业设备数据的处理方法，其特征在于，对所述元数据信息进行统计，获得元数据统计结果，包括：
直接按接入日期对多个接入数据的元数据信息进行统计，获得元数据统计结果；和/或
根据所述接入数据的接入日期、接入次数、接入时间间隔，对接入频率及每个测点的接入频率中的至少一项，通过增量式统计的方式，对多个接入数据的元数据信息进行统计，获得元数据统计结果。
4.根据权利要求1所述的工业设备数据的处理方法，其特征在于，根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
根据所述元数据统计结果，通过增量式统计的方式，直接对所述接入数据进行统计，获取接入数据的统计结果；和/或
根据所述元数据统计结果，使用插值算法和/或相关性算法对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
5.根据权利要求4所述的工业设备数据的处理方法，其特征在于，使用插值算法,对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果,包括：
根据每日数据的接入次数、每次接入的时间范围、接入数据量以及多日数据信息的对比结果，计算出测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复；
根据测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复，获得接入数据统计结果。
6.根据权利要求4所述的工业设备数据的处理方法，其特征在于，使用相关性算法对每个测点，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
获取每日测点的采样周期频率或开关量的开关频率；
根据所述每日测点的采样周期频率或开关量的开关频率，计算出不同测点之间的相关性；
根据所述不同测点之间的相关性，对所述接入数据进行统计，获得接入数据统计结果。
7.根据权利要求1至6任一项所述的工业设备数据的处理方法，其特征在于，所述增量式统计的方式包括：
将不同日期的新增数据的条数求和进行统计。
8.一种工业设备数据的处理***，其特征在于，包括：
获取模块，用于获取按次进行接入的接入数据的元数据信息；
统计模块，用于根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；所述元数据信息包括以下至少一项：本次接入数据的每个测点的名称、数据类型、数据的最小时间戳、最大时间戳及存储位置；本次接入数据的时间戳；接入数据的真实日期；
存储模块，用于将所述统计结果储存到关系数据库中，所述统计结果包括：目录表、测点表以及真实表，所述测点表与所述目录表关联，所述真实表记录测点数据的详细信息；所述目录表包括目录信息；所述测点表包括测点信息；
其中，根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果，包括：
通过增量式统计的方式，对所述元数据信息进行统计，获得元数据统计结果；
根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
CN202110190981.0A 2021-02-20 2021-02-20 一种工业设备数据的处理方法及*** Active CN112559536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110190981.0A CN112559536B (zh) 2021-02-20 2021-02-20 一种工业设备数据的处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110190981.0A CN112559536B (zh) 2021-02-20 2021-02-20 一种工业设备数据的处理方法及***

Publications (2)

Publication Number Publication Date
CN112559536A CN112559536A (zh) 2021-03-26
CN112559536B true CN112559536B (zh) 2021-06-01

Family

ID=75034385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110190981.0A Active CN112559536B (zh) 2021-02-20 2021-02-20 一种工业设备数据的处理方法及***

Country Status (1)

Country Link
CN (1) CN112559536B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116521092B (zh) * 2023-06-30 2023-09-05 昆山工业大数据创新中心有限公司 一种工业设备数据的存储方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572975A (zh) * 2014-12-31 2015-04-29 中国石油天然气股份有限公司 一种实时数据处理分析***
CN109558443A (zh) * 2018-11-29 2019-04-02 北京数聚鑫云信息技术有限公司 一种整合数据源中的数据的方法及装置
CN111767318A (zh) * 2019-04-01 2020-10-13 广州精选速购网络科技有限公司 一种数据统计方法、装置、电子设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100562874C (zh) * 2007-12-14 2009-11-25 东软集团股份有限公司 一种增量数据捕获方法和***
CN102521225B (zh) * 2011-09-29 2013-09-11 用友软件股份有限公司 增量数据抽取装置和增量数据抽取方法
US10135705B2 (en) * 2016-06-30 2018-11-20 Rockwell Automation Technologies, Inc. Industrial internet of things data pipeline for a data lake
CN106547918B (zh) * 2016-11-30 2020-06-09 长城计算机软件与***有限公司 一种统计数据的整合方法及***
CN109213760B (zh) * 2018-08-02 2021-10-22 南瑞集团有限公司 非关系数据存储的高负载业务存储及检索方法
CN111427920B (zh) * 2020-03-16 2023-08-11 深圳市腾讯计算机***有限公司 数据采集方法、装置、***、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572975A (zh) * 2014-12-31 2015-04-29 中国石油天然气股份有限公司 一种实时数据处理分析***
CN109558443A (zh) * 2018-11-29 2019-04-02 北京数聚鑫云信息技术有限公司 一种整合数据源中的数据的方法及装置
CN111767318A (zh) * 2019-04-01 2020-10-13 广州精选速购网络科技有限公司 一种数据统计方法、装置、电子设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
非结构化数据的ETL设计;曹金山等;《现代电子技术》;20110515;第34卷(第10期);第3节 *

Also Published As

Publication number Publication date
CN112559536A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
US7783679B2 (en) Efficient processing of time series data
CN110879813A (zh) 一种基于二进制日志解析的MySQL数据库增量同步实现方法
US20040111668A1 (en) Annotation validity using partial checksums
CN105630934A (zh) 一种数据统计方法及***
CN112559536B (zh) 一种工业设备数据的处理方法及***
CN114579408A (zh) 一种实时数据库实时方程式的解析***及方法
CN111125109A (zh) 一种基于时间分组累计算法的实时统计报表***
CN112800016A (zh) 一种日志数据分类排序方法及装置
CN104933105A (zh) 数据库访问请求的分析方法和装置
US10713232B2 (en) Efficient data processing
CN110580253A (zh) 时序数据组的加载方法、装置、存储介质及电子设备
CN115640158A (zh) 一种基于数据库的检测分析方法及装置
CN108140047B (zh) 数据处理装置和方法以及数据容器结构
CN113868283A (zh) 数据测试方法、装置、设备及计算机存储介质
Colosi et al. Time series data management optimized for smart city policy decision
CN112651840A (zh) 基于区块链和数字金融的业务数据日志处理方法及***
US20230315682A1 (en) Long term and short term data management of a file based time series database populated with data collected by an energy sensor for a power generating device or from another data source
CN116010668B (zh) 一种应用于数据库的快速检索方法及***
CN113868301B (zh) 一种工业设备数据抽取的方法、装置及设备
CN113783849B (zh) 一种敏感信息的检测方法及终端
CN113220530B (zh) 数据质量监控方法及平台
CN113553320B (zh) 数据质量监控方法及装置
CN115578080B (zh) 基于信息化***造价基准库工作量核定方法
CN117591577B (zh) 一种基于文件存储的核电历史数据对比方法及***
KR102075540B1 (ko) 센서 태그 데이터의 실시간 생성 및 검색 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant