CN116521092A - 一种工业设备数据的存储方法和装置 - Google Patents

一种工业设备数据的存储方法和装置 Download PDF

Info

Publication number
CN116521092A
CN116521092A CN202310787171.2A CN202310787171A CN116521092A CN 116521092 A CN116521092 A CN 116521092A CN 202310787171 A CN202310787171 A CN 202310787171A CN 116521092 A CN116521092 A CN 116521092A
Authority
CN
China
Prior art keywords
data
mode
batch
verification
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310787171.2A
Other languages
English (en)
Other versions
CN116521092B (zh
Inventor
张硕
田春华
徐地
胡坤
秦世峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Industrial Big Data Innovation Center Co ltd
Original Assignee
Kunshan Industrial Big Data Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Industrial Big Data Innovation Center Co ltd filed Critical Kunshan Industrial Big Data Innovation Center Co ltd
Priority to CN202310787171.2A priority Critical patent/CN116521092B/zh
Publication of CN116521092A publication Critical patent/CN116521092A/zh
Application granted granted Critical
Publication of CN116521092B publication Critical patent/CN116521092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种工业设备数据的存储方法和装置，所述方法包括：获取工业设备的分批数据；对所述分批数据进行模式提取处理，得到所述分批数据对应的数据模式；所述数据模式是根据分批数据的数据形式确定的；所述数据模式为属性序列或树形结构；对所述数据模式进行校验处理，得到校验结果；根据所述校验结果，将所述分批数据写入目标存储器；本发明的方案保证了接入数据的完整性，实现了对数据情况的及时统计。

Description

一种工业设备数据的存储方法和装置
技术领域
本发明涉及数据存储技术领域，特别是一种工业设备数据的存储方法和装置。
背景技术
在工业时代，企业数据智能化转型的主要途径是基于工业企业研发、生产、服务等业务活动相关的大量数据进行数据接入、存储、分析和智能化应用，从而提升企业智能化水平，提高企业业务能力和水平。
工业设备数据是工业企业数据智能化过程中相关数据的最重要组成之一，相比于企业在传统信息化过程中产生和积累的业务数据，例如ERP（Enterprise ResourcePlanning，企业资源计划、PLM（Product Lifecycle Management，产品生命周期管理）等，大量工业设备数据的存储和分析是在工业时代新增的内容；而存储和分析的前提是将在工业现场侧所产生的工业设备数据源源不断的接入到工业大数据平台或***中来。
由于工业设备上经常发生加装或减少传感器、传感器替换以及升级、使用实验传感器等事件；与传统的基于关系表的固定表结构的数据源不同，设备感知数据往往没有固定数据模式（呈现“无模式”特点），其模式经常变化；且数据源类型多样，数据源可以是上游自定义数据服务（如REST接口）、上位机、设备网关、文件服务器、机台文件等；
因此，对于工业设备感知数据（如加装、卸载传感器）的工业设备数据模式变化，存在无模式或模型不稳定的问题，难以对数据模式变化及时发现和获知。
另外，基于工业现场到大数据平台之间的网络特点，工业现场距离大数据平台或***往往距离遥远，涉及多种网络条件，涉及多种安全设备来交换数据等，因此，存在数据传输链路非长久稳定的问题。
发明内容
本发明要解决的技术问题是提供一种工业设备数据的存储方法和装置，解决了数据传输链路不长久稳定的问题。
为解决上述技术问题，本发明的技术方案如下：
一种工业设备数据的存储方法，包括：
获取工业设备的分批数据；
对所述分批数据进行模式提取处理，得到所述分批数据对应的数据模式；所述数据模式是根据分批数据的数据形式确定的；所述数据模式为属性序列或树形结构；
对所述数据模式进行校验处理，得到校验结果；
根据所述校验结果，将所述分批数据写入目标存储器。
可选的，对所述数据模式进行校验处理，得到校验结果，包括：
基于预设模式，对所述数据模式进行校验，得到校验结果；其中，当所述预设模式与所述数据模式完全相符，和/或所述数据模式为所述预设模式的超集时，则所述校验结果为校验成功，反之，则所述校验结果为校验失败。
可选的，工业设备数据的存储方法，还包括：
当所述校验结果为校验失败时，进行校验失败注册，得到第一通知内容；所述第一通知内容包括：设备，模式提取时间，校验失败对应的数据时间以及错误信息；
将所述第一通知内容发送至所述校验结果对应的所述设备。
可选的，根据所述校验结果，将所述分批数据写入目标存储器，包括：
将所述校验结果为校验成功的所述分批数据写入测点数据存储器，得到存储结果；所述存储结果用于指示所述分批数据写入测点数据存储器成功与否；
将所述校验结果为校验失败以及所述存储结果为写入失败的分批数据写入异常数据存储器。
可选的，工业设备数据的存储方法，还包括：
按照设备维度和/或时间维度，将所述分批数据写入至目标存储器的写入情况存储至写入审计存储器。
可选的，工业设备数据的存储方法，还包括：
对所述数据模式进行分析处理，得到变更分析结果。
可选的，对所述数据模式进行分析处理，得到变更分析结果，包括：
将所述数据模式与最新的历史模式进行变更分析，得到变更分析结果；其中，当所述预设模式与所述最新的历史模式完全相同时，所述变更分析结果为未变更，反之，则所述变更分析结果为已变更。
可选的，工业设备数据的存储方法，还包括：
当所述变更分析结果为已变更时，进行变更注册，得到第二通知内容；所述第二通知内容包括：数据模式变更的设备，时间，属性；
将所述第二通知内容发送至所述变更分析结果对应的所述设备。
可选的，工业设备数据的存储方法，还包括：
根据所述校验结果和变更分析结果，存储所述分批数据对应的数据模式信息；所述数据模式信息包括属性信息、各属性之间的关系、每个数据模式的开始时间以及结束时间中的至少一个。
本发明还提供一种工业设备数据的存储装置，包括：
获取模块，用于获取工业设备的分批数据；
处理模块，用于对所述分批数据进行模式提取处理，得到所述分批数据对应的数据模式；所述数据模式是根据分批数据的数据形式确定的；所述数据模式为属性序列或树形结构；对所述数据模式进行校验处理，得到校验结果；根据所述校验结果，将所述分批数据写入目标存储器。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过获取工业设备的分批数据；对所述分批数据进行模式提取处理，得到所述分批数据对应的数据模式；所述数据模式是根据分批数据的数据形式确定的；所述数据模式为属性序列或树形结构；对所述数据模式进行校验处理，得到校验结果；根据所述校验结果，将所述分批数据写入目标存储器；解决了数据传输链路不长久稳定的问题，保证了接入数据的完整性，实现了对数据情况的及时统计。
附图说明
图1是本发明实施例的工业设备数据的存储方法的流程示意图；
图2是本发明提供的具体的实施例中分批数据存储至目标存储器的时间段的示意图；
图3是本发明提供的具体的实施例中工业设备数据的存储过程的示意图；
图4是本发明提供的具体的实施例中工业设备数据的存储过程的流程示意图；
图5是本发明提供的具体的实施例中工业设备数据的存储***的结构示意图；
图6是本发明实施例的工业设备数据的存储装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提出一种工业设备数据的存储方法，包括：
步骤11，获取工业设备的分批数据；
步骤12，对所述分批数据进行模式提取处理，得到所述分批数据对应的数据模式；所述数据模式是根据分批数据的数据形式确定的；所述数据模式为属性序列或树形结构；
步骤13，对所述数据模式进行校验处理，得到校验结果；
步骤14，根据所述校验结果，将所述分批数据写入目标存储器。
该实施例中，通过从数据源获取工业设备的分批数据，对分批数据进行模式提取处理，确定分批数据对应的数据模式，对数据模式进行校验处理，得到校验结果，该校验结果确定了该分批数据为正常数据或异常数据，根据该校验结果，将分批数据写入目标存储器，此时，不论分批数据是否校验成功均被写入不同的目标存储器，以此保证了接入数据的完整性，解决了数据传输链路不长久稳定的问题。
本发明一可选的实施例中，步骤11包括：
步骤111，从数据源***中获取工业设备数据（即工业设备的源数据）；
步骤112，通过数据提取器（Data Extractor）对所述工业设备数据进行数据提取处理，得到分批数据。
本实施例中，数据提取器包括接口适配器、提取调度器以及提取执行器，其中，接口适配器用于检测数据源***与数据接口类型；提取调度器用于对工业设备数据的提取进行调度；提取执行器用于按照提取调度器的调度结果进行数据提取；
关于接口适配器，检测数据源***与数据接口类型可以包括检查元数据、检查连接字符串以及执行测试查询中的至少一种；
其中，检查源数据是由于数据库（数据源***）通常存储有关于数据库结构及其内容的元数据，因而检查数据库元数据可实现检测与识别源数据库类型，其具体可以包括检查***表和***视图，识别特定数据库类型特有的表或列；
检查连接字符串指的是可以根据连接字符串包含的数据库类型信息来检测和识别源数据库类型，该数据库类型信息包括供应商名称或表明数据库类型的驱动程序名称等；
执行测试查询指的是对数据库（数据源***）进行测试查询，根据其响应方式和结果来检测与识别源数据库类型；该执行测试查询可以是执行SQL（Structured QueryLanguage，结构化查询语言数据库）语句（如：SQL语句:“SELECT VERSION()”），以检索数据库中表的列表，根据数据库类型的预期格式和内容来检测和识别源数据库类型。
关于提取调度器，对工业设备数据的提取进行调度具体指的是以“流批一体”的方式对数据提取进行调度，该流批一体指的是同时支持批处理和流式处理两种数据处理模式；其中，批处理模式和流式处理模式的适用场景不同，批处理模式适用于数据规模较大，数据处理过程中需要进行聚合、排序等复杂计算的场景；流式处理模式适用于数据实时性要求高，需对数据进行快速响应和实时处理的场景；
具体的，“流批一体”的调度方式包括事件驱动的流式提取调度、流式数据窗口化调度、定时提取调度中的至少一个；可以基于在同时支持批处理和流式处理两种数据处理模式的流批一体框架下，根据业务需求和数据特性选择调度方式；
其中，事件驱动的流式提取调度是按照工业设备数据提取的原有的顺序（可以是获取时的顺序），逐数据条目进行提取与传输，以保证数据处理的实时性和准确性；一个具体的实现实例中，当事件触发时，将会调度相应的数据处理任务，该事件可以是一个数据条目抵达事件、一个任务完成事件等。
流式数据窗口化调度指的是按照工业设备数据提取的原有的顺序（可以是获取时的顺序），将落在时间窗口内的数据积攒后，成批进行提取与传输，从而提升工业设备数据提取和传输的吞吐量；一个具体的实现实例中，当事件触发时，将会调度相应的数据处理任务，该事件可以是窗口闭合事件、一个任务完成事件等，窗口类型包括时间窗口、计数窗口等。
值得说明的是，时间窗口是根据时间维度来对流进行划分的，可以是预设固定时间长度的窗口（如，每10秒作为一个时间窗口，基于该时间窗口可以实现将连续10秒内的工业设备数据聚合后再处理），也可以是滑动时间窗口（如，每5秒滑动作为一个时间窗口，基于该时间窗口可以将5秒内的工业设备数据聚合一次，每5秒滑动一次，以充分利用流数据的实时性，提高效率）。
定时提取调度指的是在指定时间间隔内周期性地触发调度，具体的，在一定时间间隔内对数据源***进行轮询，从中获取最新的工业设备数据，该周期性所对应的时间是以工业设备数据源***中与时间相关的字段属性作为提取的迭代参考变量。
关于提取执行器，按照提取调度器的调度结果，执行关于工业设备数据的数据提取任务，该数据提取任务需要具有保证容错、故障转移、吞吐量可扩展等能力，常用的框架如Apache Flink、Apache Spark、DataX等，本申请不以此为限制；提取执行器的提取结果是数据项的一个有序集合，被称作分批数据（即一个批次数据）。
本发明一可选的实施例中，步骤12，包括：
根据分批数据的数据形式，对其进行模式提取处理，得到数据模式。
本实施例中，适配和定期读取分批数据相关的全部数据加工任务信息，得到数据模式；其中，该数据加工任务信息包括数据处理任务的全部数据输入信息（数据源）、输出信息（数据目的地）以及任务的定时运行周期等；数据加工任务包括数据接入与ETL（Extract,transform,load，抽取、清洗、转换、装载）任务、分层数据加工、数据处理与分析等；该数据加工任务的来源***包括数据处理与加工任务管理***（服务集成接口）、数据分析任务管理***、大数据平台元数据***、数据血缘分析子***、数据影响分析子***等；
需要说明的是，模式提取存在提取失败的情况，如属性名不存在、属性名为不可识别型等情况下，分批数据的模式提取为失败。
其中，由于分批数据指的是数据项的有序集合，因而基于元素的结果不同，分批数据存在以下至少两种数据形式：一是分批数据的集合内每个元素是属性列表，即分批数据集合中每个项是一个层级的属性-值序对；而是分批数据的集合内每个元素是一个嵌套结构（如，JS对象简谱JSON），即分批数据集合中每个项是多个层级的复合属性-值序对（树形嵌套结构）；
提取得到的数据模式包括以下至少两种：一是属性序列，其中每个属性由属性名、数据类型构成；而是树形结构，其中每个结点由属性名、数据类型构成，每个结点可以有0至多个孩子结点。
本发明一可选的实施例中，步骤13，包括：
步骤131，基于预设模式，对所述数据模式进行校验，得到校验结果；其中，当所述预设模式与所述数据模式完全相符，和/或所述数据模式为所述预设模式的超集时，则所述校验结果为校验成功，反之，则所述校验结果为校验失败。
本发明的实施例中，将数据模式与预设模式进行校验，得到校验结果，这里，校验结果与校验规范定义相关，校验规范定义用于评判是否校验成功；
若校验规范定义为预设模式与数据模式完全相符，要求提取出数据模式与预设模式完全相同，该校验结果为校验成功，反之则校验失败；
若校验规范定义为以预设模式为规范子集，要求提取出数据模式必须是预设模式的超集，该校验结果为校验成功，反之则校验失败；
需要说明的是，两属性匹配是指属性名完全相同、提取出的数据类型完全兼容预先设置模式中的数据类型。
本发明一可选的实施例中，步骤13还包括：
步骤132，当所述校验结果为校验失败时，进行校验失败注册，得到第一通知内容；所述第一通知内容包括：设备，模式提取时间，校验失败对应的数据时间以及错误信息；
步骤133，将所述第一通知内容发送至所述校验结果对应的所述设备。
本发明的实施例中，当校验结果为失败（和/或，模式提取时提取失败）的情况下，进行校验失败注册，这里的注册具体是指对哪些工业设备（即出问题的工业设备，下文用第一问题设备指代）、在哪些时间段（即出问题的时间段，下文用第一问题时间段指代）内，对其数据模式与预设模式不符、模式提取出错的情况进行注册，得到第一通知内容；该第一通知内容包括当校验结果为失败（和/或，模式提取时提取失败）的情况时，将这些情况通知给注册了第一问题设备、第一问题时间段等信息所对应的用户。
本发明一可选的实施例中，步骤14包括：
步骤141，将所述校验结果为校验成功的所述分批数据写入测点数据存储器，得到存储结果；所述存储结果用于指示所述分批数据写入测点数据存储器成功与否；
步骤142，将所述校验结果为校验失败以及所述存储结果为写入失败的分批数据写入异常数据存储器。
本发明的实施例中，存储指的是将分批数据依据校验结果、存储结果等存储至正常的测点数据存储器，或者异常的异常数据存储器；
具体的，对于校验结果为校验成功的所述分批数据（即判断与预设模式相符合的分批数据），将这些分批数据存储入测点数据存储器中（该存储器内表示分批数据处于正常状态）；该测点数据存储器用于时间序列数据的存储，例如具有弱模式特点的时间序列数据库（如InfluxDB、Apache IoTDB等）；
对于校验结果为校验成功的所述分批数据以及在步骤141中未正常存储至测点数据存储器中的分批数据，将其存储入异常数据存储器（该存储器内表示分批数据处于异常状态）；该异常数据存储器的存储过程中以设备、时间段为维度进行组织，以使得通过数据处理框架对异常数据进行高效选择，例如，基于对象存储的对象组织等。该过程实现了对存在异常情况的分批数据的高效存储。
本发明一可选的实施例中，步骤14还包括：
步骤143，按照设备维度和/或时间维度，将所述分批数据写入至目标存储器的写入情况存储至写入审计存储器。
本发明的实施例中，面向分批数据的写入情况，还包括基于设备维度和/或时间维度在写入审计存储器中记录写入情况，即写入情况包括存储分批数据的目的存储器、分批数据的数据起止时间、操作起止时间、设备信息等。
其中，按照设备维度所对应的分批数据的写入情况包括以下至少一项：
按照时间倒序（一种可选的实现实例中，也可以是按照第一预设时间顺序）排列的数据接入情况（即写入情况），每个返回的数据接入条目（即写入情况的条目）包括该分批数据接入的数据开始时间、数据结束时间、操作时间；
按照周期性（如，年、月、日）的时间粒度，查询该分批数据写入的这项任务的成功、失败执行的时间段情况；
按照定时调度模式，查询未将该分批数据写入的任务对应的时间段，以了解可能的数据接入的空洞时间窗。
按照工业设备的设备维度所对应的分批数据的写入情况包括以下至少一项：
指定的工业设备的分批数据的数据接入情况（即写入情况）的统计，该统计结果包括：按周期性（如，年、月、日）的时间粒度，查询该分批数据写入的这项任务的成功、失败执行的时间段情况；
查询指定的工业设备对应的没有分批数据存储至目标存储器的时间段，以了解该工业设备可能出现的数据接入的空洞时间窗。
一个具体的实施例中，分批数据的写入情况如下：
编号 此次开始时刻（data_time_local_start） 此次结束时刻（data_time_local_end） 其他属性
1 2023-05-01 00:00:00 '2023-05-01 01:00:00' …
2 2023-05-01 01:00:00 '2023-05-01 02:00:00' …
3 2023-05-01 03:00:00 '2023-05-01 04:00:00 …
4 2023-05-01 04:00:00 '2023-05-01 05:00:00 …
5 2023-05-01 06:00:00 '2023-05-01 07:00:00 …
... ... ... ...
如图2所示，上述表格中所记录的5行数据中每一行记录对应图2中的实线部分（即1st、2nd、3rd、4th以及5th），每条实线的端点表示起止时刻；
通过下面的代码部分对查询未将该分批数据写入的任务对应的时间段，以了解可能的数据接入的空洞时间窗的过程进行说明，该过程对应于图2指的是找出接入数据的空洞时间窗（即图2中的空洞时间窗1和空洞时间窗2）；
具体的，通过PostgreSQL的对未有数据接入任务执行的时段的查询过程为（符号“//”后为对前一句代码的解释）：
“SELECT
to_timestamp(prev_data_time_local_end)::timestamp,
//将上一条记录的结束时刻（prev_data_time_local_end）转换为timestamp类型，以便于展示；
to_timestamp(data_time_local_start)::timestamp
//将当前记录的开始时刻（data_time_local_start）转换为timestamp类型，以便于展示；
FROM
(
SELECT data_time_local_start,
//视图，这个视图是由每次导入数据的开始时刻、前一次导入批次数据的结束时刻、当前导入开始与前一次导入的结束时刻的插值（名为diff）这3个属性构成的所有情况；
LAG(data_time_local_end, 1)
OVER(
ORDER BY
data_time_local_start,
data_time_local_end
) prev_data_time_local_end,
//获取前一次导入批次数据的结束时刻（data_time_local_end），并将结果命名为prev_data_time_local_end；
data_time_local_start - lag(data_time_local_end, 1)
OVER(
ORDER BY
data_time_local_start,
data_time_local_end
) diff
//计算当前导入批次数据的开始时刻（data_time_local_start）与前一次导入批次数据的结束时刻（data_time_local_end）之间的时刻差，并将结果命名为diff；
FROM
ingestion_logging_history
) t
WHERE
diff > 0;
//筛选出时刻差（diff）大于0的记录，即找出和输出空洞时间窗”。
通过上述步骤141至步骤143可见，无论分批数据的校验结果如何，均会被存储至目的存储器中，这样可以保证了接入数据的完整性，在工业设备数据的实际采集过程中，通常会由于其数据量巨大，从全量数据中进行统计消耗巨大（计算资源、服务时间），而这样的分批数据的存储方式可以随时获知分批数据的情况，可以随时对正常或异常接入时段进行统计，避免了在大量的工业设备数据接入后，对数据量巨大的存量数据进行统计而带来的计算资源、服务时间等的大量无谓消耗。
本发明一可选的实施例中，工业设备数据的存储方法，还包括：
步骤15，对所述数据模式进行分析处理，得到变更分析结果。
本实施例中，该分析处理优选在对数据模式进行校验的同时进行；
具体的，步骤15包括：
步骤151，将所述数据模式与最新的历史模式进行变更分析，得到变更分析结果；其中，当所述预设模式与所述最新的历史模式完全相同时，所述变更分析结果为未变更，反之，则所述变更分析结果为已变更。
本实施例中，对于当前的工业设备A，令其距当前最近的（即最新的）历史模式为 ，检验并对比提取得到的数据模式与该历史模式是否相同，这里的相同是指在不要求属 性顺序的情况下，每个属性的属性名完全相同、提取出的数据类型完全相同；当预设模式与 历史模式完全相同时，该变更分析结果为未变更，反之，则为已变更。
本发明一可选的实施例中，步骤15还包括：
步骤151，当所述变更分析结果为已变更时，进行变更注册，得到第二通知内容；所述第二通知内容包括：数据模式变更的设备，时间，属性；
步骤152，将所述第二通知内容发送至所述变更分析结果对应的所述设备。
本实施例中，当变更分析结果为已变更时，进行变更注册，这里的注册指的是对哪些工业设备（即出问题的工业设备，下文用第二问题设备指代）、在哪些时间段（即出问题的时间段，下文用第二问题时间段指代）以及模式中的哪些属性等，对其数据模式发生变更进行注册；第二通知内容指的是关于变更的通知，通知的对象为发生了某数据模式的变更时，将变更通知给注册后第二问题设备、第二问题时间段、相关属性等信息的用户；第二通知内容包括：数据模式变更的设备，时间，属性（包括：名称、数据类型等）；还可以包括发生数据模式不符的数据时间、错误信息等，可根据实际情况进行调整。
本发明一可选的实施例中，工业设备数据的存储方法，还包括：
步骤16，根据所述校验结果和所述变更分析结果，存储所述分批数据对应的数据模式信息；所述数据模式信息包括属性信息、各属性之间的关系、每个数据模式的开始时间以及结束时间中的至少一个。
本实施例中，对每个工业设备，根据该工业设备对应的工业设备数据的校验结果和变更分析结果，存储其沿时间线的数据模式信息，该数据模式信息包括每个属性信息（由属性名、数据类型构成）、属性间的父子关系（对于树形结构）、开始时间、结束时间等。
进一步的，在存储有数据模式信息的基础上，还包括模式统计服务，该模式统计服务指的是对数据模式信息进行统计，具体可以被分为按照设备维度的模式统计和按照时间维度的模式统计；
其中，按照工业设备的设备维度的模式统计包括以下至少一项：
指定的工业设备的数据模式概况信息，该数据模式概况信息包括不同数据模式的数据总量、模式变化情况、模式时间跨度排序以及模式频繁变化的时间段中的至少一项；其中，模式频繁变化指的是数据模式在预设变化时间段内发生了变化；
指定的工业设备的每个数据模式的具体信息，该具体信息包括：该数据模式的开始时间、结束时间、模式中的属性信息（每个属性由属性名、数据类型的信息构成）、属性间的父子关系（对于树形结构）中的至少一项；
指定的工业设备中指定属性（对应于设置于工业设备上用于采集工业设备数据的传感器）的变化情况，该变化情况包括指定属性的起止时间。
其中，按照时间维度的模式统计包括以下至少一项：
按照时间倒序（一种可选的实现实例中，也可以是按照第二预设时间顺序）排列的数据模式列表，数据模式列表中的每个数据模式包括模式的开始时间、结束时间、模式中的属性信息（每个属性由属性名、数据类型的信息构成）、属性间的父子关系（对于树形结构）中的至少一项；
指定的时间段内发生模式变化的工业设备列表，该工业设备列表包括数据模式高频变化的设备、高频变化的属性列表等。
通过上述的步骤132、133、151、152，实现了对数据模式变化及时发现和获知（通知），帮助数据使用方和管理方及时得知源数据模式变化，为数据的查询、抽取和使用数据提供数据模式信息（即关键信息指导）。
如图3和4所示，一个具体的实现实例中，对于多工业设备的、多网络条件的、工业现场距离大数据平台或***的距离遥远的工业设备数据的存储过程为：
步骤31，远程调用数据源***的源端端口得到工业设备数据；
步骤32，通过数据提取器对工业设备数据进行数据提取处理，得到流批一体的分批数据；
具体的，步骤321，通过接口适配器检测数据源***与数据接口类型；
步骤322，通过提取调度器对工业设备数据的提取进行调度；
步骤323，通过提取执行器按照提取调度器的调度结果进行数据提取；
步骤33，通过数据提取器对分批数据进行模式提取处理（得到分批数据对应的数据模式）和校验（得到校验结果）；
具体的，步骤33包括：
步骤331，根据分批数据的数据形式，对其进行模式提取处理，得到数据模式；
步骤3321，对数据模式进行校验处理，得到校验结果，即校验返回的分批数据（也可以称作批次数据）的合法性（即是否满足数据库对象的集合Schema）；对数据模式进行分析处理，得到变更分析结果；
步骤3322，当校验结果为校验失败时，进行校验失败注册，得到第一通知内容，并将第一通知内容发送至校验结果对应的设备；还可以用于当变更分析结果为已变更时，进行变更注册，得到第二通知内容，并将第二通知内容发送至变更分析结果对应的设备；
步骤33331，根据校验结果和变更分析结果，通过历史模式存储器存储该分批数据对应的数据模式信息；
步骤33332，在存储有数据模式信息的基础上对数据模式信息进行统计；
步骤34，通过数据写入器存储分批数据；
步骤35，根据校验结果和存储过程中的存储结果，将分批数据写入目标存储器；
具体的，步骤351，将校验结果为校验成功（即分批数据为合法的）的分批数据写入测点数据存储器（IoTDB），得到存储结果；
步骤352，将校验结果为校验失败（即分批数据为不合法的）以及存储结果为写入失败（即写入不成功）的分批数据写入异常数据存储器；值得说明的是，若分批数据存储至测点数据存储器和异常数据存储器均失败，也继续执行后续的步骤；
步骤361，按照设备维度和/或时间维度，将分批数据写入至目标存储器的写入情况（还包括调度信号）存储至写入审计存储器；
步骤362，对存储至写入审计存储器的写入情况按照设备维度和/或时间维度进行统计（即分批数据的接入情况统计服务）；值得说明的是，若存储至写入审计存储器出现失败的情况，也继续迭代执行后续的步骤。
通过上述步骤31至步骤36，利用数据提取器提取数据源***中的工业设备数据，利用模式提取器和校验器识别模式变化情况；基于历史模式存储器存储信息并提供模式统计服务，同时将模式提取器和模式校验器判断确定的异常的分批数据存储进异常数据存储器，保证了接入数据的完整性；将数据的写入情况存储于写入审计存储器，基于写入审计存储器内的审计记录提供了接入情况与异常统计服务；从而解决了数据传输链路不长久稳定的问题，保证了接入数据的完整性，实现了对数据情况的及时统计。
如图5所示，又一具体的实现实例中，用于执行工业设备数据的存储方法的***包括：
工业设备数据源***，用于采集并提供工业设备数据；
提取执行器，用于按照提取调度器的调度结果进行数据提取；
提取调度器，用于对工业设备数据的提取进行调度；
接口适配器，用于检测数据源***与数据接口类型；
经过上述提取执行器、提取调度器以及接口适配器处理后的工业设备数据为分批数据；
模式提取器，用于对分批数据进行模式提取处理，得到该分批数据对应的数据模式；
模式校验器，用于对数据模式进行校验处理，得到校验结果；还可以用于对数据模式进行分析处理，得到变更分析结果；
数据写入器，用于根据模式校验器得到的校验结果，将分批数据写入目标存储器；
目标数据***，用于确定分批数据需要存储的目标存储器；
该目标数据***包括测点数据存储器和异常数据存储器，其中，测点数据存储器用于写入校验结果为校验成功的分批数据，异常数据存储器用于写入校验结果为校验失败以及存储结果为写入失败的分批数据；
历史模式存储器，用于根据校验结果和变更分析结果，存储该分批数据对应的数据模式信息；
写入审计存储器，用于按照设备维度和/或时间维度，存储分批数据写入至目标存储器的写入情况；
模式变更通知，用于当校验结果为校验失败时，进行校验失败注册，得到第一通知内容，并将第一通知内容发送至校验结果对应的设备；还可以用于当变更分析结果为已变更时，进行变更注册，得到第二通知内容，并将第二通知内容发送至变更分析结果对应的设备；
模式统计服务，用于在存储有数据模式信息的基础上对数据模式信息进行统计；
接入情况统计服务，用于对存储至写入审计存储器的写入情况按照设备维度和/或时间维度进行统计。
本发明的实施例通过获取工业设备的分批数据；对所述分批数据进行模式提取处理，得到所述分批数据对应的数据模式；所述数据模式是根据分批数据的数据形式确定的；所述数据模式为属性序列或树形结构；对所述数据模式进行校验处理，得到校验结果；根据所述校验结果，将所述分批数据写入目标存储器，从而解决了数据传输链路不长久稳定的问题，保证了接入数据的完整性，实现了对数据情况的及时统计。
如图6所示，本发明的实施例还提供一种工业设备数据的存储装置60，包括：
获取模块61，用于获取工业设备的分批数据；
处理模块62，用于对所述分批数据进行模式提取处理，得到所述分批数据对应的数据模式；所述数据模式是根据分批数据的数据形式确定的；所述数据模式为属性序列或树形结构；对所述数据模式进行校验处理，得到校验结果；根据所述校验结果，将所述分批数据写入目标存储器。
可选的，对所述数据模式进行校验处理，得到校验结果，包括：
基于预设模式，对所述数据模式进行校验，得到校验结果；其中，当所述预设模式与所述数据模式完全相符，和/或所述数据模式为所述预设模式的超集时，则所述校验结果为校验成功，反之，则所述校验结果为校验失败。
可选的，所述处理模块62还用于：
当所述校验结果为校验失败时，进行校验失败注册，得到第一通知内容；所述第一通知内容包括：设备，模式提取时间，校验失败对应的数据时间以及错误信息；
将所述第一通知内容发送至所述校验结果对应的所述设备。
可选的，根据所述校验结果，将所述分批数据写入目标存储器，包括：
将所述校验结果为校验成功的所述分批数据写入测点数据存储器，得到存储结果；所述存储结果用于指示所述分批数据写入测点数据存储器成功与否；
将所述校验结果为校验失败以及所述存储结果为写入失败的分批数据写入异常数据存储器。
可选的，所述处理模块62还用于：
按照设备维度和/或时间维度，将所述分批数据写入至目标存储器的写入情况存储至写入审计存储器。
可选的，所述处理模块62还用于：
对所述数据模式进行分析处理，得到变更分析结果。
可选的，对所述数据模式进行分析处理，得到变更分析结果，包括：
将所述数据模式与最新的历史模式进行变更分析，得到变更分析结果；其中，当所述预设模式与所述最新的历史模式完全相同时，所述变更分析结果为未变更，反之，则所述变更分析结果为已变更。
可选的，所述处理模块62还用于：
当所述变更分析结果为已变更时，进行变更注册，得到第二通知内容；所述第二通知内容包括：数据模式变更的设备，时间，属性；
将所述第二通知内容发送至所述变更分析结果对应的所述设备。
可选的，所述处理模块62还用于：
根据所述校验结果和所述变更分析结果，存储所述分批数据对应的数据模式信息；所述数据模式信息包括属性信息、各属性之间的关系、每个数据模式的开始时间以及结束时间中的至少一个。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种工业设备数据的存储方法，其特征在于，包括：
获取工业设备的分批数据；
对所述分批数据进行模式提取处理，得到所述分批数据对应的数据模式；所述数据模式是根据分批数据的数据形式确定的；所述数据模式为属性序列或树形结构；
对所述数据模式进行校验处理，得到校验结果；
根据所述校验结果，将所述分批数据写入目标存储器。
2.根据权利要求1所述的工业设备数据的存储方法，其特征在于，对所述数据模式进行校验处理，得到校验结果，包括：
基于预设模式，对所述数据模式进行校验，得到校验结果；其中，当所述预设模式与所述数据模式完全相符，和/或所述数据模式为所述预设模式的超集时，则所述校验结果为校验成功，反之，则所述校验结果为校验失败。
3.根据权利要求2所述的工业设备数据的存储方法，其特征在于，还包括：
当所述校验结果为校验失败时，进行校验失败注册，得到第一通知内容；所述第一通知内容包括：设备，模式提取时间，校验失败对应的数据时间以及错误信息；
将所述第一通知内容发送至所述校验结果对应的所述设备。
4.根据权利要求2所述的工业设备数据的存储方法，其特征在于，根据所述校验结果，将所述分批数据写入目标存储器，包括：
将所述校验结果为校验成功的所述分批数据写入测点数据存储器，得到存储结果；所述存储结果用于指示所述分批数据写入测点数据存储器成功与否；
将所述校验结果为校验失败以及所述存储结果为写入失败的分批数据写入异常数据存储器。
5.根据权利要求1所述的工业设备数据的存储方法，其特征在于，还包括：
按照设备维度和/或时间维度，将所述分批数据写入至目标存储器的写入情况存储至写入审计存储器。
6.根据权利要求1所述的工业设备数据的存储方法，其特征在于，还包括：
对所述数据模式进行分析处理，得到变更分析结果。
7.根据权利要求2所述的工业设备数据的存储方法，其特征在于，对所述数据模式进行分析处理，得到变更分析结果，包括：
将所述数据模式与最新的历史模式进行变更分析，得到变更分析结果；其中，当所述预设模式与所述最新的历史模式完全相同时，所述变更分析结果为未变更，反之，则所述变更分析结果为已变更。
8.根据权利要求7所述的工业设备数据的存储方法，其特征在于，还包括：
当所述变更分析结果为已变更时，进行变更注册，得到第二通知内容；所述第二通知内容包括：数据模式变更的设备，时间，属性；
将所述第二通知内容发送至所述变更分析结果对应的所述设备。
9.根据权利要求1或6所述的工业设备数据的存储方法，其特征在于，还包括：
根据所述校验结果和变更分析结果，存储所述分批数据对应的数据模式信息；所述数据模式信息包括属性信息、各属性之间的关系、每个数据模式的开始时间以及结束时间中的至少一个。
10.一种工业设备数据的存储装置，其特征在于，包括：
获取模块，用于获取工业设备的分批数据；
处理模块，用于对所述分批数据进行模式提取处理，得到所述分批数据对应的数据模式；所述数据模式是根据分批数据的数据形式确定的；所述数据模式为属性序列或树形结构；对所述数据模式进行校验处理，得到校验结果；根据所述校验结果，将所述分批数据写入目标存储器。
CN202310787171.2A 2023-06-30 2023-06-30 一种工业设备数据的存储方法和装置 Active CN116521092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310787171.2A CN116521092B (zh) 2023-06-30 2023-06-30 一种工业设备数据的存储方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310787171.2A CN116521092B (zh) 2023-06-30 2023-06-30 一种工业设备数据的存储方法和装置

Publications (2)

Publication Number Publication Date
CN116521092A true CN116521092A (zh) 2023-08-01
CN116521092B CN116521092B (zh) 2023-09-05

Family

ID=87403237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310787171.2A Active CN116521092B (zh) 2023-06-30 2023-06-30 一种工业设备数据的存储方法和装置

Country Status (1)

Country Link
CN (1) CN116521092B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116662351A (zh) * 2023-08-01 2023-08-29 佳瑛科技有限公司 一种银行数据采集方法以及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880780A (zh) * 2011-06-07 2013-01-16 波音公司 产生用于分析数据的直观背景的***和方法
CN107783725A (zh) * 2016-08-30 2018-03-09 南京中兴新软件有限责任公司 数据存储的方法、装置以及非易失性存储器
US20180095952A1 (en) * 2016-09-15 2018-04-05 Gb Gas Holdings Limited System for data management in a large scale data repository
CN108491475A (zh) * 2018-03-08 2018-09-04 平安科技（深圳）有限公司 数据快速批量导入方法、电子装置及计算机可读存储介质
EP3652662A1 (en) * 2017-08-11 2020-05-20 ALTR Solutions, Inc. Immutable datastore for low-latency reading and writing of large data sets
CN112559536A (zh) * 2021-02-20 2021-03-26 北京工业大数据创新中心有限公司 一种工业设备数据的处理方法及***
WO2021238902A1 (zh) * 2020-05-25 2021-12-02 中兴通讯股份有限公司 数据导入方法、装置、服务平台及存储介质
WO2023051308A1 (zh) * 2021-09-29 2023-04-06 华为技术有限公司 数据校验方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880780A (zh) * 2011-06-07 2013-01-16 波音公司 产生用于分析数据的直观背景的***和方法
CN107783725A (zh) * 2016-08-30 2018-03-09 南京中兴新软件有限责任公司 数据存储的方法、装置以及非易失性存储器
US20180095952A1 (en) * 2016-09-15 2018-04-05 Gb Gas Holdings Limited System for data management in a large scale data repository
CN110300963A (zh) * 2016-09-15 2019-10-01 英国天然气控股有限公司 大规模数据储存库中的数据管理***
EP3652662A1 (en) * 2017-08-11 2020-05-20 ALTR Solutions, Inc. Immutable datastore for low-latency reading and writing of large data sets
CN111201519A (zh) * 2017-08-11 2020-05-26 Altr解决方案公司 用于低时延读取和写入大型数据集的不可变数据存储
CN108491475A (zh) * 2018-03-08 2018-09-04 平安科技（深圳）有限公司 数据快速批量导入方法、电子装置及计算机可读存储介质
WO2021238902A1 (zh) * 2020-05-25 2021-12-02 中兴通讯股份有限公司 数据导入方法、装置、服务平台及存储介质
CN112559536A (zh) * 2021-02-20 2021-03-26 北京工业大数据创新中心有限公司 一种工业设备数据的处理方法及***
WO2023051308A1 (zh) * 2021-09-29 2023-04-06 华为技术有限公司 数据校验方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116662351A (zh) * 2023-08-01 2023-08-29 佳瑛科技有限公司 一种银行数据采集方法以及***

Also Published As

Publication number Publication date
CN116521092B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN109947746B (zh) 一种基于etl流程的数据质量管控方法和***
US10031829B2 (en) Method and system for it resources performance analysis
KR101611166B1 (ko) 빅데이터 분석 기반의 위크시그널 도출 시스템 및 그 방법
CN116521092B (zh) 一种工业设备数据的存储方法和装置
CN109934268B (zh) 异常交易检测方法及***
US20220188280A1 (en) Machine learning based process and quality monitoring system
US10210227B2 (en) Processing a data set
WO2017020725A1 (zh) 一种数据检测方法及装置
US10909109B1 (en) Quality control test transactions for shared databases of a collaboration tool
CN111159272A (zh) 基于数据仓库及etl的数据质量监控及预警方法和***
CN111177134A (zh) 适用于海量数据的数据质量分析方法、装置、终端及介质
CN111177139A (zh) 基于数据质量体系的数据质量验证监控及预警方法和***
CN112926852A (zh) 一种基于数据融合的大气生态环境分析方法
CN114880405A (zh) 一种基于数据湖的数据处理方法及***
US11954945B2 (en) Systems and methods for analyzing machine performance
US20170039235A1 (en) Air quality metrology system
CN113806343B (zh) 一种车联网数据质量的评估方法和***
CN113742118B (zh) 对数据管道中的异常进行检测的方法和***
US11308104B2 (en) Knowledge graph-based lineage tracking
CN112486841A (zh) 埋点采集数据校验的方法及装置
CN111400122B (zh) 一种硬盘健康度评估方法及装置
US20230099164A1 (en) Systems and methods for automated data quality semantic constraint identification using rich data type inferences
CN117112656A (zh) 一种科技志愿服务管理的一体化信息智能管理***及方法
CN114493159B (zh) 一种基于mes***的节点位置校验方法和装置
CN115525575A (zh) 一种基于Dataworks平台的数据自动化测试方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant