CN114780614A - 一种时序数据全流程管理***、方法、设备及介质 - Google Patents
一种时序数据全流程管理***、方法、设备及介质 Download PDFInfo
- Publication number
- CN114780614A CN114780614A CN202210448236.6A CN202210448236A CN114780614A CN 114780614 A CN114780614 A CN 114780614A CN 202210448236 A CN202210448236 A CN 202210448236A CN 114780614 A CN114780614 A CN 114780614A
- Authority
- CN
- China
- Prior art keywords
- data
- time sequence
- data acquisition
- analysis
- sequence data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000007405 data analysis Methods 0.000 claims abstract description 42
- 239000008280 blood Substances 0.000 claims abstract description 40
- 210000004369 blood Anatomy 0.000 claims abstract description 40
- 238000003860 storage Methods 0.000 claims abstract description 37
- 238000007726 management method Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 27
- 230000007704 transition Effects 0.000 claims abstract description 18
- 238000013500 data storage Methods 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims description 87
- 238000013144 data compression Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 238000013480 data collection Methods 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 12
- 239000012634 fragment Substances 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000007429 general method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种时序数据全流程管理***、方法、设备及介质，对数据采集对象的层级、模型和属性进行定义，并对数据采集对象的模型进行层次分类，记录数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；按照预先定义的协议采集框架、数据采集对象的层级、数据采集对象的模型和数据采集对象的属性，采集数据采集对象产生的时序数据；对采集到的时序数据进行分布式存储和读取；根据数据细粒度血缘及关系图来对存储的时序数据进行分析。本发明提供了一套从数据定义、数据采集、数据存储以及到数据分析使用的全流程一站式方案，解决了现有技术中无法对时序数据进行全流程管理的问题，可以让用户有效的使用时序数据，挖掘时序数据的价值。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种时序数据全流程管理***、方法、设备及介质。
背景技术
随着智能制造及5G技术的普及，催生出千万级设备和应用的实时数据采集及智能网联场景，其核心关键基础共性技术之一为时序数据***，时序数据***是工业软件、大数据、人工智能技术的基石，是企业当今从局部数字化向全要素深层次数字化的转型升级的基础性***。而时序数据的价值挖掘涉及到数据的定义、采集、存储及分析，每个环节对企业生产运营来说都非常重要。
在现有技术中，企业对时序数据的应用一般停留在存取阶段，即用程序将时序数据写入数据库中，需要的时候将时序数据从数据库中查询出来，而这个过程仅是时序数据管理整个生命周期的存取过程，关于数据的定义、采集、分析却没有成体系的***支持，另外各个企业并不擅长该领域，导致存储了大量历史数据，却不知道如何使用，反而因存储了大量数据浪费了企业的IT资源。即目前对于整个时序数据管理，没有一套全流程的从数据定义到分析使用的一站式***，导致用户无法有效的使用时序数据。因此，亟需一种时序数据定义、采集、存储及库内库外分析***来对数据进行有效的全流程管理，以解决上述问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种时序数据全流程管理***、方法、设备及介质，用于解决现有技术中无法对时序数据进行全流程管理的问题。
为实现上述目的及其他相关目的，本发明提供一种时序数据全流程管理***，所述***包括有：
数据定义模块，用于定义数据采集对象的层级、模型和属性，并对所述数据采集对象的模型进行层次分类，记录所述数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；
数据采集模块，用于按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型和所述数据采集对象的属性，采集所述数据采集对象产生的时序数据；
数据存取模块，用于对采集到的时序数据进行分布式存储和读取；
数据分析模块，用于根据数据细粒度血缘及关系图来对存储的时序数据进行分析。
可选地，所述数据定义模块包括有：
数据处理流程定义单元，用于定义时序数据处理流程，所述时序数据处理流程至少包括：数据定义、数据采集、数据存储和数据使用的优先级处理流程；
层次模块单元，用于选择合适的模板对所述数据采集对象进行分层分类，定义所述数据采集对象的层级；
元数据定义单元，用于对所述数据采集对象的元数据进行定义，以及变更所述数据采集对象的属性；
数据记录单元，用于记录所述数据采集对象的属性版本及变迁过程，并根据记录结果形成数据细粒度血缘及关系图。
可选地，所述数据采集模块包括有：
协议单元，用于预先定义协议采集框架，对协议进行扩展，以及定义所有协议的实现方法；
链路跟踪单元，用于定义数据采集源及目的地链路跟踪；
数据采集单元，用于按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型、所述数据采集对象的属性以及所有协议的实现方法，从数据采集源中采集所述数据采集对象产生的时序数据，对所采集的时序数据进行目的地链路跟踪。
可选地，所述数据存取模块包括有：
数据格式单元，用于定义时序数据的存储格式；
数据压缩单元，用于获取数据压缩引擎，并利用所述数据压缩引擎对时序数据进行压缩；其中，所述数据压缩引擎内部预先编写有多种数据压缩方式；
数据格式转换单元，用于对压缩后的时序数据进行格式转换；
数据存取单元，用于对压缩前的时序数据、压缩后的时序数据以及格式转换后的时序数据，按照定义的存储格式进行分布式存储和读取。
可选地，所述数据分析模块包括有：
库内分析引擎，用于根据数据细粒度血缘及关系图来对存储的时序数据进行实时数据分析和离线数据分析，生成对应的分析结果；
库外分析引擎，用于集成外部分析工具，并将所述数据存取模块中存储的时序数据分发给所述外部分析工具进行分析，获取对应的分析结果。
可选地，所述数据分析模块包括有：数据分析编辑器，用于根据库内分析引擎和库外分析引擎的分析结果生成语义分析片段，并对所述语义分析片段进行组合。
可选地，所述***还包括有：
数据血缘模块，用于记录时序数据在采集、存储、分析及使用过程中的全生命周期数据关系；
分布式运维监控模块，用于对时序数据的集群进行运营维护及监控，以及对时序数据进行备份；
数据质量画像模块，用于对时序数据进行质量监控及质量分析。
本发明还提供一种时序数据全流程管理方法，所述方法包括以下步骤：
对数据采集对象的层级、模型和属性进行定义，并对所述数据采集对象的模型进行层次分类，记录所述数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；
按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型和所述数据采集对象的属性，采集所述数据采集对象产生的时序数据；
对采集到的时序数据进行分布式存储和读取；
根据数据细粒度血缘及关系图来对存储的时序数据进行分析。
本发明还提供一种计算机设备，包括：
处理器；和
存储有指令的计算机可读介质，当所述处理器执行所述指令时，使得所述设备执行如上述中的方法。
本发明还提供一种计算机可读介质，其上存储有指令，所述指令由处理器加载并执行如上述中的方法。
如上所述，本发明提供一种时序数据全流程管理***、方法、设备及介质，具有以下有益效果：本发明首先对数据采集对象的层级、模型和属性进行定义，并对数据采集对象的模型进行层次分类，记录数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；然后按照预先定义的协议采集框架、数据采集对象的层级、数据采集对象的模型和数据采集对象的属性，采集数据采集对象产生的时序数据；再对采集到的时序数据进行分布式存储和读取；最后根据数据细粒度血缘及关系图来对存储的时序数据进行分析。本发明提供了一套从数据定义、数据采集、数据存储以及到数据分析使用的全流程一站式方案，解决了现有技术中无法对时序数据进行全流程管理的问题，从而可以让用户有效的使用时序数据，挖掘时序数据的价值。
附图说明
图1为一实施例提供的时序数据全流程管理***的软件结构示意图；
图2为另一实施例提供的时序数据全流程管理***的软件结构示意图；
图3为一实施例提供时序数据全流程管理方法的流程示意图；
图4为一实施例提供的计算机设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1所示，本发明提供一种时序数据全流程管理***，该***包括有：
数据定义模块M10，用于定义数据采集对象的层级、模型和属性，并对所述数据采集对象的模型进行层次分类，记录所述数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图。作为示例，本实施例中的数据定义模块可以用于定义数据采集对象的层级、模型，并对数据采集对象模型进行层次分类，对数据采集对象的属性进行详细定义，严格记录对象的属性版本及变迁过程，形成数据细粒度血缘及关系图。具体地，所述数据定义模块包括有：数据处理流程定义单元、层次模块单元、元数据定义单元和数据记录单元。其中，数据处理流程定义单元用于定义时序数据处理流程，所述时序数据处理流程至少包括：数据定义、数据采集、数据存储和数据使用的优先级处理流程，该优先级处理流程可以是：先进行数据定义，再进行数据采集，再其次进行数据存储，最后进行数据使用。层次模块单元用于选择合适的模板对所述数据采集对象进行分层分类，定义所述数据采集对象的层级。元数据定义单元用于对所述数据采集对象的元数据进行定义，以及变更所述数据采集对象的属性。数据记录单元用于记录所述数据采集对象的属性版本及变迁过程，并根据记录结果形成数据细粒度血缘及关系图。其中，本实施例中的数据采集对象包括但不限于：传感器、PLC(Programmable Logic Controller，简称PLC)、数据库、文件***等；数据采集对象的模型主要用于确定从数据采集对象中需要采集的数据属性。
数据采集模块M20，用于按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型和所述数据采集对象的属性，采集所述数据采集对象产生的时序数据。作为示例，本实施例中的数据采集模块可以用于定义协议采集框架，灵活扩展多种协议，并定义实现所有协议的通用方法及特殊方法，以及采集所述定义的时序数据。具体地，所述数据采集模块包括有：协议单元、链路跟踪单元和数据采集单元。其中，协议单元用于预先定义协议采集框架，对协议进行扩展，以及定义所有协议的实现方法。链路跟踪单元用于定义数据采集源及目的地链路跟踪。数据采集单元用于按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型、所述数据采集对象的属性以及所有协议的实现方法，从数据采集源中采集所述数据采集对象产生的时序数据，对所采集的时序数据进行目的地链路跟踪。其中，本实施例中扩展的协议包括但不限于：OPC、Modbus、RS232、MQTT、TCP/IP、UDP等常用数据采集协议。
数据存取模块M30，用于对采集到的时序数据进行分布式存储和读取。作为示例，本实施例中的数据存取模块可以用于存取时序数据，定义数据存储格式和数据格式转换框架，采用支持多种数据压缩方式，可自定义数据转换读写器，支持第三方大数据分析工具对数据进行解码并分析。具体地，所述数据存取模块包括有：数据格式单元、数据压缩单元、数据格式转换单元和数据存取单元。其中，数据格式单元用于定义时序数据的存储格式。数据压缩单元用于获取数据压缩引擎，并利用所述数据压缩引擎对时序数据进行压缩，所述数据压缩引擎内部预先编写有多种数据压缩方式。数据格式转换单元用于对压缩后的时序数据进行格式转换。数据存取单元用于对压缩前的时序数据、压缩后的时序数据以及格式转换后的时序数据，按照定义的存储格式进行分布式存储和读取。
数据分析模块M40，用于根据数据细粒度血缘及关系图来对存储的时序数据进行分析。作为示例，本实施例中的数据分析模块可以用于对时序数据进行分析处理，且能够即时地在数据库内分析时序数据，同时可以集成多种分析语言，以及扩展其他语言，支持HTAP技术。具体地，所述数据分析模块包括有：库内分析引擎、库外分析引擎和数据分析编辑器。其中，库内分析引擎用于根据数据细粒度血缘及关系图来对存储的时序数据进行实时数据分析和离线数据分析，生成对应的分析结果。库外分析引擎用于集成外部分析工具，并将所述数据存取模块中存储的时序数据分发给所述外部分析工具进行分析，获取对应的分析结果。数据分析编辑器用于根据库内分析引擎和库外分析引擎的分析结果生成语义分析片段，并对所述语义分析片段进行组合。
根据上述记载，在一示例性实施例中，时序数据全流程管理***还包括有：数据血缘模块、分布式运维监控模块和数据质量画像模块；其中，数据血缘模块用于记录时序数据在采集、存储、分析及使用过程中的全生命周期数据关系；分布式运维监控模块用于对时序数据的集群进行运营维护及监控，以及对时序数据进行备份；数据质量画像模块用于对时序数据进行质量监控及质量分析。
如图2所示，在另一实施例中，还提供一种时序数据全流程管理***，该***包括有：时序数据元定义模块、时序数据采集模块、时序数据存取模块、时序数据库内库外分析模块、数据血缘模块、云原生分布式运维监控模块以及数据质量画像模块。
其中，时序数据元数据定义模块，用于定义数据采集对象的层级、模型，并对数据采集对象模型进行层次分类，对数据采集对象的属性进行详细定义，严格记录对象的属性版本及变迁过程，形成数据细粒度血缘及关系图。具体地，时序数据元数据定义模块可以定义一种时序数据处理流程，所述流程为数据须先定义、次采集、后存储、再使用，并严格遵守这个流程保证数据的质量。同时时序数据元数据定义模块内置了数据采集对象的层次模板，可以选择合适的模板对数据采集对象进行分层分类，支持新经验形成新层次模板；以及内置了数据采集对象模板，便于对数据采集对象的元数据进行快速定义，以及支持数据采集对象的属性变更。数据采集对象的属性版本及变迁过程记录，通过记录形成对象级及属性级的数据血缘及关系图；数据版本记录了数据属性的各特性变化细节，变化细节组成数据血缘图谱；数据血缘图谱可供库内库外分析模块使用，辅助用户分析数据，提升数据质量及利用率。在本实施例中，必须先对数据采集对象进行定义，每一个数据采集对象都有对应的层级、模型。本实施例中的数据采集对象包括但不限于：传感器、PLC、数据库、文件***等；数据采集对象的模型主要用于确定从数据采集对象中需要采集的数据属性。
时序数据采集模块，用于采集所述定义的时序数据，定义协议采集框架，可灵活扩展以支持各种协议，定义实现协议的通用方法及特殊方法。具体地，时序数据采集模块定义了一种协议采集框架，所述框架能连接不同协议的采集设备及***，支持不同速率、大小数据的采集，具有横向扩展的能力。同时，时序数据采集模块内置了常用数据采集协议；可以定义数据采集源及目的地链路跟踪，增加了数据血缘的维度；所述协议采集框架支持自定义及其他协议的接入，便于实现协议的通用方法及特殊方法。本实施例中扩展的协议包括但不限于：OPC、Modbus、RS232、MQTT、TCP/IP、UDP等常用数据采集协议。
时序数据存取模块，用于存取时序数据，定义数据存储格式，支持多种数据压缩方式，定义数据格式转换框架，可自定义数据转换读写器，支持第三方大数据分析工具对数据进行解码并分析。具体地，时序数据存取模块定义了一种时序数据存储格式，包括元数据和数据部分，并且通过列式文件格式存储，可以将文件中分为数据区和索引区。可以定义数据压缩引擎，便于编写多种数据压缩方式来对时序数据进行压缩。可以定义数据格式转换框架，以及可自定义数据转换读写器，数据转换器能将数据读取到第三方大数据分析工具中进行分析，避免数据迁移，重复存储。并且支持数据分布式存储、读取；以及支持分布式数据存储，边云端数据同步。例如，可以支持数据分布式存储、读取，采用multi-raft一致性算法，支持边云端数据同步。时序数据存取模块还具有数据格式转换框架，可自定义数据转换读写器，数据转换器能将数据读取到Hadoop等第三方大数据分析工具中进行分析，避免数据迁移，重复存储。
时序数据库内库外分析模块，能够即时地在数据库内分析时序数据，用于大数据的分析处理，集成了多种分析语言，可扩展其他语言，支持HTAP(Hybrid TransactionAnalytical Processing，简称HTAP)技术。具体地，库内分析引擎包含实时数据分析和离线数据分析，实时数据分析基于当前最新数据进行计算；离线数据分析基于数据快照进行超大规模数据分析。库外分析引擎支持外部分析工具集成，库外分析引擎将数据分发给库外分析工具，并接收分析结果。其中，库内分析引擎内置了常用时序数据预处理、后处理方法，支持自定义方法编写。库内分析引擎的数据分析仍然在***内部，不需要复制数据到***外部，避免数据存储在不同的***导致存储浪费及不一致，做到统一存储。数据分析语言，集成多种分析语言，并可插拔新的分析语言；库内分析编辑器，用于支持分析语言的编写、调试、发布、资源调度。库内分析编辑器具有智能分析语言提示功能，能自动提示数据的元信息，包括所在库、表、含义、关联信息、数据类型、数据质量；同时还能生成语义分析片段，具备语义编排功能，能组合语义片段形成新的语言功能及片段。此外，库内分析引擎内置了常用时序数据预处理、后处理方法，包括数据过滤、缺失值补充、聚合统计、降采样等，同时也支持自定义方法编写。库内分析编辑器还支持分析语言的编写、调试、发布、资源调度。
综上所述，本发明提供一种时序数据全流程管理***，首先利用数据定义模块对数据采集对象的层级、模型和属性进行定义，并对数据采集对象的模型进行层次分类，记录数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；然后利用数据采集模块按照预先定义的协议采集框架、数据采集对象的层级、数据采集对象的模型和数据采集对象的属性，采集数据采集对象产生的时序数据；再通过数据存取模块对采集到的时序数据进行分布式存储和读取；最后通过数据分析模块根据数据细粒度血缘及关系图来对存储的时序数据进行分析。本***提供了一套从数据定义、数据采集、数据存储以及到数据分析使用的全流程一站式方案，解决了现有技术中无法对时序数据进行全流程管理的问题，从而可以让用户有效的使用时序数据，挖掘时序数据的价值。
如图3所示，本发明还提供一种时序数据全流程管理方法，所述方法包括以下步骤：
S100，对数据采集对象的层级、模型和属性进行定义，并对所述数据采集对象的模型进行层次分类，记录所述数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图。作为示例，本实施例可以利用上述***中的数据定义模块来定义数据采集对象的层级、模型，并对数据采集对象模型进行层次分类，对数据采集对象的属性进行详细定义，严格记录对象的属性版本及变迁过程，形成数据细粒度血缘及关系图。具体地，所述数据定义模块包括有：数据处理流程定义单元、层次模块单元、元数据定义单元和数据记录单元。其中，数据处理流程定义单元用于定义时序数据处理流程，所述时序数据处理流程至少包括：数据定义、数据采集、数据存储和数据使用的优先级处理流程，该优先级处理流程可以是：先进行数据定义，再进行数据采集，再其次进行数据存储，最后进行数据使用。层次模块单元用于选择合适的模板对所述数据采集对象进行分层分类，定义所述数据采集对象的层级。元数据定义单元用于对所述数据采集对象的元数据进行定义，以及变更所述数据采集对象的属性。数据记录单元用于记录所述数据采集对象的属性版本及变迁过程，并根据记录结果形成数据细粒度血缘及关系图。其中，本实施例中的数据采集对象包括但不限于：传感器、PLC(Programmable Logic Controller，简称PLC)、数据库、文件***等；数据采集对象的模型主要用于确定从数据采集对象中需要采集的数据属性。
S200，按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型和所述数据采集对象的属性，采集所述数据采集对象产生的时序数据。作为示例，本实施例可以利用上述***中的数据采集模块来定义协议采集框架，灵活扩展多种协议，并定义实现所有协议的通用方法及特殊方法，以及采集所述定义的时序数据。具体地，所述数据采集模块包括有：协议单元、链路跟踪单元和数据采集单元。其中，协议单元用于预先定义协议采集框架，对协议进行扩展，以及定义所有协议的实现方法。链路跟踪单元用于定义数据采集源及目的地链路跟踪。数据采集单元用于按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型、所述数据采集对象的属性以及所有协议的实现方法，从数据采集源中采集所述数据采集对象产生的时序数据，对所采集的时序数据进行目的地链路跟踪。其中，本实施例中扩展的协议包括但不限于：OPC、Modbus、RS232、MQTT、TCP/IP、UDP等常用数据采集协议。
S300，对采集到的时序数据进行分布式存储和读取。作为示例，本实施例中可以利用上述***中的数据存取模块来存取时序数据，定义数据存储格式和数据格式转换框架，采用支持多种数据压缩方式，可自定义数据转换读写器，支持第三方大数据分析工具对数据进行解码并分析。具体地，所述数据存取模块包括有：数据格式单元、数据压缩单元、数据格式转换单元和数据存取单元。其中，数据格式单元用于定义时序数据的存储格式。数据压缩单元用于获取数据压缩引擎，并利用所述数据压缩引擎对时序数据进行压缩，所述数据压缩引擎内部预先编写有多种数据压缩方式。数据格式转换单元用于对压缩后的时序数据进行格式转换。数据存取单元用于对压缩前的时序数据、压缩后的时序数据以及格式转换后的时序数据，按照定义的存储格式进行分布式存储和读取。
S400，根据数据细粒度血缘及关系图来对存储的时序数据进行分析。作为示例，本实施例可以利用上述***中的数据分析模块来对时序数据进行分析处理，且能够即时地在数据库内分析时序数据，同时可以集成多种分析语言，以及扩展其他语言，支持HTAP技术。具体地，所述数据分析模块包括有：库内分析引擎、库外分析引擎和数据分析编辑器。其中，库内分析引擎用于根据数据细粒度血缘及关系图来对存储的时序数据进行实时数据分析和离线数据分析，生成对应的分析结果。库外分析引擎用于集成外部分析工具，并将所述数据存取模块中存储的时序数据分发给所述外部分析工具进行分析，获取对应的分析结果。数据分析编辑器用于根据库内分析引擎和库外分析引擎的分析结果生成语义分析片段，并对所述语义分析片段进行组合。
本实施例中的方法用于执行上述***，对应的技术效果及功能请参见上述***，本实施例不再进行赘述。
综上所述，本发明提供一种时序数据全流程管理方法，首先对数据采集对象的层级、模型和属性进行定义，并对数据采集对象的模型进行层次分类，记录数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；然后按照预先定义的协议采集框架、数据采集对象的层级、数据采集对象的模型和数据采集对象的属性，采集数据采集对象产生的时序数据；再对采集到的时序数据进行分布式存储和读取；最后根据数据细粒度血缘及关系图来对存储的时序数据进行分析。本方法提供了一套从数据定义、数据采集、数据存储以及到数据分析使用的全流程一站式方案，解决了现有技术中无法对时序数据进行全流程管理的问题，从而可以让用户有效的使用时序数据，挖掘时序数据的价值。
本申请实施例还提供了一种计算机设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图3所述的方法。图4示出了一种计算机设备1000的结构示意图。参阅图4所示，计算机设备1000包括：处理器1010、存储器1020、电源1030、显示单元1040、输入单元1060。
处理器1010是计算机设备1000的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器1020内的软件程序和/或数据，执行计算机设备1000的各种功能，从而对计算机设备1000进行整体监控。本申请实施例中，处理器1010调用存储器1020中存储的计算机程序时执行如图3所述的方法。可选的，处理器1010可包括一个或多个处理单元；优选的，处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用等，调制解调处理器主要处理无线通信。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、各种应用等；存储数据区可存储根据计算机设备1000的使用所创建的数据等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。
计算机设备1000还包括给各个部件供电的电源1030(比如电池)，电源可以通过电源管理***与处理器1010逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗等功能。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及计算机设备1000的各种菜单等，本发明实施例中主要用于显示计算机设备1000中各应用的显示界面以及显示界面中显示的文本、图片等对象。显示单元1040可以包括显示面板1050。显示面板1050可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(OrganicLight-Emitting Diode，OLED)等形式来配置。
输入单元1060可用于接收用户输入的数字或字符等信息。输入单元1060可包括触控面板1070以及其他输入设备1080。其中，触控面板1070，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板1070上或在触控面板1070附近的操作)。
具体的，触控面板1070可以检测用户的触摸操作，并检测触摸操作带来的信号，将这些信号转换成触点坐标，发送给处理器1010，并接收处理器1010发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1070。其他输入设备1080可以包括但不限于物理键盘、功能键(比如音量控制按键、开关机按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
当然，触控面板1070可覆盖显示面板1050，当触控面板1070检测到在其上或附近的触摸操作后，传送给处理器1010以确定触摸事件的类型，随后处理器1010根据触摸事件的类型在显示面板1050上提供相应的视觉输出。虽然在图4中，触控面板1070与显示面板1050是作为两个独立的部件来实现计算机设备1000的输入和输出功能，但是在某些实施例中，可以将触控面板1070与显示面板1050集成而实现计算机设备1000的输入和输出功能。
计算机设备1000还可包括一个或多个传感器，例如压力传感器、重力加速度传感器、接近光传感器等。当然，根据具体应用中的需要，上述计算机设备1000还可以包括摄像头等其它部件。
本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有指令，当一个或多个处理器执行所述指令时，使得上述设备能够执行本申请中如图3所述的方法。
本领域技术人员可以理解的是，图4仅仅是计算机设备的举例，并不构成对该设备的限定，该设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时，可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的，应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可应用至通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器中以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种时序数据全流程管理***，其特征在于，所述***包括有：
数据定义模块，用于定义数据采集对象的层级、模型和属性，并对所述数据采集对象的模型进行层次分类，记录所述数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；
数据采集模块，用于按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型和所述数据采集对象的属性，采集所述数据采集对象产生的时序数据；
数据存取模块，用于对采集到的时序数据进行分布式存储和读取；
数据分析模块，用于根据数据细粒度血缘及关系图来对存储的时序数据进行分析。
2.根据权利要求1所述的时序数据全流程管理***，其特征在于，所述数据定义模块包括有：
数据处理流程定义单元，用于定义时序数据处理流程，所述时序数据处理流程至少包括：数据定义、数据采集、数据存储和数据使用的优先级处理流程；
层次模块单元，用于选择合适的模板对所述数据采集对象进行分层分类，定义所述数据采集对象的层级；
元数据定义单元，用于对所述数据采集对象的元数据进行定义，以及变更所述数据采集对象的属性；
数据记录单元，用于记录所述数据采集对象的属性版本及变迁过程，并根据记录结果形成数据细粒度血缘及关系图。
3.根据权利要求1或2所述的时序数据全流程管理***，其特征在于，所述数据采集模块包括有：
协议单元，用于预先定义协议采集框架，对协议进行扩展，以及定义所有协议的实现方法；
链路跟踪单元，用于定义数据采集源及目的地链路跟踪；
数据采集单元，用于按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型、所述数据采集对象的属性以及所有协议的实现方法，从数据采集源中采集所述数据采集对象产生的时序数据，对所采集的时序数据进行目的地链路跟踪。
4.根据权利要求1所述的时序数据全流程管理***，其特征在于，所述数据存取模块包括有：
数据格式单元，用于定义时序数据的存储格式；
数据压缩单元，用于获取数据压缩引擎，并利用所述数据压缩引擎对时序数据进行压缩；其中，所述数据压缩引擎内部预先编写有多种数据压缩方式；
数据格式转换单元，用于对压缩后的时序数据进行格式转换；
数据存取单元，用于对压缩前的时序数据、压缩后的时序数据以及格式转换后的时序数据，按照定义的存储格式进行分布式存储和读取。
5.根据权利要求1或4所述的时序数据全流程管理***，其特征在于，所述数据分析模块包括有：
库内分析引擎，用于根据数据细粒度血缘及关系图来对存储的时序数据进行实时数据分析和离线数据分析，生成对应的分析结果；
库外分析引擎，用于集成外部分析工具，并将所述数据存取模块中存储的时序数据分发给所述外部分析工具进行分析，获取对应的分析结果。
6.根据权利要求5所述的时序数据全流程管理***，其特征在于，所述数据分析模块包括有：数据分析编辑器，用于根据库内分析引擎和库外分析引擎的分析结果生成语义分析片段，并对所述语义分析片段进行组合。
7.根据权利要求1所述的时序数据全流程管理***，其特征在于，所述***还包括有：
数据血缘模块，用于记录时序数据在采集、存储、分析及使用过程中的全生命周期数据关系；
分布式运维监控模块，用于对时序数据的集群进行运营维护及监控，以及对时序数据进行备份；
数据质量画像模块，用于对时序数据进行质量监控及质量分析。
8.一种时序数据全流程管理方法，其特征在于，所述方法包括以下步骤：
对数据采集对象的层级、模型和属性进行定义，并对所述数据采集对象的模型进行层次分类，记录所述数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；
按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型和所述数据采集对象的属性，采集所述数据采集对象产生的时序数据；
对采集到的时序数据进行分布式存储和读取；
根据数据细粒度血缘及关系图来对存储的时序数据进行分析。
9.一种计算机设备，其特征在于，包括：
处理器；和
存储有指令的计算机可读介质，当所述处理器执行所述指令时，使得所述设备执行如权利要求8所述的方法。
10.一种计算机可读介质，其特征在于，其上存储有指令，所述指令由处理器加载并执行如权利要求8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210448236.6A CN114780614B (zh) | 2022-04-24 | 2022-04-24 | 一种时序数据全流程管理***、方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210448236.6A CN114780614B (zh) | 2022-04-24 | 2022-04-24 | 一种时序数据全流程管理***、方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114780614A true CN114780614A (zh) | 2022-07-22 |
| CN114780614B CN114780614B (zh) | 2024-06-11 |
Family
ID=82432525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210448236.6A Active CN114780614B (zh) | 2022-04-24 | 2022-04-24 | 一种时序数据全流程管理***、方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114780614B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102033910A (zh) * | 2010-11-19 | 2011-04-27 | 福建富士通信息软件有限公司 | 一种基于多数据源的企业搜索引擎技术 |
| CN105183610A (zh) * | 2015-09-22 | 2015-12-23 | 浪潮集团有限公司 | 一种基于资源依赖关系的云数据中心业务监控***及方法 |
| CN107391744A (zh) * | 2017-08-10 | 2017-11-24 | 东软集团股份有限公司 | 数据存储、读取方法、装置及其设备 |
| CN111324648A (zh) * | 2020-01-21 | 2020-06-23 | 北京工业大数据创新中心有限公司 | 一种时序数据的处理方法及装置 |
| CN112163015A (zh) * | 2020-09-22 | 2021-01-01 | 南京信息职业技术学院 | 一种物联网时序数据实时监控方法、装置和*** |
| CN112199421A (zh) * | 2020-12-04 | 2021-01-08 | 中国电力科学研究院有限公司 | 一种多源异构数据融合和量测数据多源互校验方法及*** |
| WO2021108680A1 (en) * | 2019-11-25 | 2021-06-03 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
| CN114036130A (zh) * | 2021-11-09 | 2022-02-11 | 中国建设银行股份有限公司 | 一种元数据分析处理方法及装置 |
-
2022
- 2022-04-24 CN CN202210448236.6A patent/CN114780614B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102033910A (zh) * | 2010-11-19 | 2011-04-27 | 福建富士通信息软件有限公司 | 一种基于多数据源的企业搜索引擎技术 |
| CN105183610A (zh) * | 2015-09-22 | 2015-12-23 | 浪潮集团有限公司 | 一种基于资源依赖关系的云数据中心业务监控***及方法 |
| CN107391744A (zh) * | 2017-08-10 | 2017-11-24 | 东软集团股份有限公司 | 数据存储、读取方法、装置及其设备 |
| WO2021108680A1 (en) * | 2019-11-25 | 2021-06-03 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
| CN111324648A (zh) * | 2020-01-21 | 2020-06-23 | 北京工业大数据创新中心有限公司 | 一种时序数据的处理方法及装置 |
| CN112163015A (zh) * | 2020-09-22 | 2021-01-01 | 南京信息职业技术学院 | 一种物联网时序数据实时监控方法、装置和*** |
| CN112199421A (zh) * | 2020-12-04 | 2021-01-08 | 中国电力科学研究院有限公司 | 一种多源异构数据融合和量测数据多源互校验方法及*** |
| CN114036130A (zh) * | 2021-11-09 | 2022-02-11 | 中国建设银行股份有限公司 | 一种元数据分析处理方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| JASON LINES ET AL.: "Time Series Classification with HIVE-COTE: The Hierarchical Vote Collective of Transformation-Based Ensembles", 《ACM TRANSACTIONS ON KNOWLEDGE DISCOVERY FROM DATA》, vol. 12, no. 5, 5 July 2018 (2018-07-05), pages 1 - 35 * |
| 王国法 等: "智能化煤矿数据模型及复杂巨***耦合技术体系", 《煤炭学报》, vol. 47, no. 1, 15 January 2022 (2022-01-15), pages 61 - 74 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114780614B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107533453B (zh) | 用于生成数据可视化应用的***和方法 | |
| CN110007913A (zh) | 可视化的数据处理流程设置方法、装置、设备及存储介质 | |
| CN110178149A (zh) | 数字双胞胎图 | |
| Davis | HIPO (hierarchy plus input-process-output) | |
| CN108885634A (zh) | 一种基于时空数据库的对数据对象的检索方法 | |
| CN112199433A (zh) | 一种用于城市级数据中台的数据治理*** | |
| Rind et al. | Timebench: A data model and software library for visual analytics of time-oriented data | |
| Lo Turco et al. | Data modeling for museum collections | |
| Wood et al. | A multimedia approach to requirements capture and modeling | |
| CN104899258A (zh) | 面向海量文献信息可交互可视化分析***架构 | |
| CN102012861A (zh) | 一种实时嵌入式软件测试结果数据分析的方法及*** | |
| CN111736821A (zh) | 可视化建模分析方法、***、计算机设备和可读存储介质 | |
| CN118339569A (zh) | 人工智能应用程序的表示、组编与执行的方法和*** | |
| Shin et al. | An energy-efficient process planning system using machine-monitoring data: A data analytics approach | |
| CN116662441A (zh) | 一种分布式数据血缘构建及展现方法 | |
| CN112487036A (zh) | 数据处理方法及装置 | |
| CN108875087B (zh) | 一种描述事物空间属性并基于所述描述进行查找的方法 | |
| CN106780157B (zh) | 基于Ceph的电网多时态模型存储与管理***及方法 | |
| Zhang et al. | DataLab: a version data management and analytics system | |
| CN110007905A (zh) | 一种基于大数据的软件开发方案的生成方法及*** | |
| CN103559675A (zh) | 病历录入装置和病历录入方法 | |
| CN107423035B (zh) | 一种软件开发过程产品数据管理*** | |
| CN114780614B (zh) | 一种时序数据全流程管理***、方法、设备及介质 | |
| CN114925054A (zh) | 一种基于元模型的元数据管理***及方法 | |
| CN114971547A (zh) | 一种零部件产品级借用分析方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information |
Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd. Address before: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |