CN114580982B - 一种工业设备的数据质量的评估方法、装置及设备 - Google Patents
一种工业设备的数据质量的评估方法、装置及设备 Download PDFInfo
- Publication number
- CN114580982B CN114580982B CN202210491936.3A CN202210491936A CN114580982B CN 114580982 B CN114580982 B CN 114580982B CN 202210491936 A CN202210491936 A CN 202210491936A CN 114580982 B CN114580982 B CN 114580982B
- Authority
- CN
- China
- Prior art keywords
- time sequence
- sequence data
- evaluated
- similarity
- curves
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000011156 evaluation Methods 0.000 claims abstract description 192
- 230000002159 abnormal effect Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Fuzzy Systems (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- General Factory Administration (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种工业设备的数据质量的评估方法、装置及设备，所述方法包括：获取工业设备时序数据的至少两条待评估时序数据曲线；获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性；根据至少一个所述评价指标下的相对波动性，确定至少一个评价指标中的至少一个目标评价指标；根据至少一个所述目标评价指标，获取至少两条所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度；根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果。本发明的方案可以提高工业设备时序数据质量评估的准确性与效率。
Description
技术领域
本发明涉及工业设备数据处理技术领域，特别是指一种工业设备的数据质量的评估方法、装置及设备。
背景技术
在工业设备时序数据的处理过程中，时序数据的质量很重要；由于不同工业设备的案例产生的时序数据数量多、类型繁杂，且数据间差异较大，对于时序数据质量问题缺少通用的研判逻辑，不能够及时有效的对时序数据的质量进行评估分析；对于缺乏经验的数据分析师数据异常分析主观性较强，并不能够准确分析出时序数据是否存在质量问题。
发明内容
本发明要解决的技术问题是如何提供一种工业设备的数据质量的评估方法、装置及设备，以克服现有技术中存在的问题。
为解决上述技术问题，本发明的实施例提供一种工业设备的数据质量的评估方法，所述方法包括：
获取工业设备时序数据的至少两条待评估时序数据曲线；
获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性；
根据至少一个所述评价指标下的相对波动性，确定至少一个所述评价指标中的至少一个目标评价指标；
根据至少一个所述目标评价指标，获取至少两条所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度；
根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果。
可选的，获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性，包括：
获取在至少一个评价指标下的至少两条所述待评估时序数据曲线之间的第一相似度；
获取在至少一个评价指标下的至少两条所述待评估时序数据曲线中任一待评估时序数据曲线与预设案例库中的正常时序数据曲线之间的第二相似度；
根据所述第一相似度的指标值和所述第二相似度的指标值，获得所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性；所述指标值包括：相似度的均值与方差。
可选的，根据所述第一相似度的指标值和所述第二相似度的指标值，获得所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性，包括：
根据公式，相对波动性=(第二相似度的均值/第二相似度的方差)/(第一相似度的均值/第一相似度的方差)，获得所述相对波动性。
可选的，根据至少一个所述评价指标下的相对波动性，确定至少一个所述评价指标中的至少一个目标评价指标，包括：
根据至少一个所述评价指标下的相对波动性和一预设波动性阈值，确定至少一个所述评价指标中的至少一个目标评价指标。
可选的，根据至少一个所述评价指标下的相对波动性和一预设波动性阈值，确定至少一个所述评价指标中的至少一个目标评价指标，包括：将所述至少一评价指标下的相对波动性大于第一预设波动性阈值时，对应的待评估时序数据曲线滤除，获得剩余的待评估时序数据曲线；
将所述剩余的待评估时序数据曲线中，相对波动性小于第二预设波动性阈值时，对应的至少一个评价指标，确定为目标评价指标。
可选的，根据至少一个所述目标评价指标，获取至少两条所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度，包括：
获取至少一个所述目标评价指标下，所述预设案例库中的异常时序数据曲线与至少两个所述待评估时序数据曲线，在至少一个所述目标评价指标下的第三相似度。
可选的，根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果，包括：
对所述第三相似度进行归一化处理，获得所述第三相似度的归一化相似度指数；
当所述归一化相似度指数大于或等于一预设相似度指数阈值时，获得对应的至少两条所述待评估时序数据曲线中的任一待评估时序数据曲线，为具有与所述异常时序数据曲线相同或者相似质量问题的时序数据曲线的评估结果；
当所述归一化相似度指数小于一预设相似度指数阈值时，获得对应的至少两条所述待评估时序数据曲线中的任一待评估时序数据曲线，为正常时序数据曲线的评估结果。
本发明的实施例还提供一种工业设备的数据质量的评估装置，所述装置包括：
获取模块，获取工业设备时序数据的至少两条待评估时序数据曲线；
处理模块，用于根据至少一个评价指标下，获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性；根据至少一个所述评价指标下的相对波动性，确定至少一个评价指标中的至少一个目标评价指标；根据至少一个所述目标评价指标，获取至少两条所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度；根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果。
本发明的实施例还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上述任一项所述的方法。
本发明的实施例还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上述任一项所述的方法。
本发明的上述方案至少包括以下有益效果：
通过获取工业设备时序数据的至少两条待评估时序数据曲线；获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性；根据至少一个所述评价指标下的相对波动性，确定至少一个评价指标中的至少一个目标评价指标；根据至少一个所述目标评价指标，获取至少两条所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度；根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果；提高了工业设备时序数据质量问题分析的准确性和及时性。
附图说明
图1是本发明实施例提供的工业设备的数据质量的评估方法流程示意图；
图2是本发明实施例提供的不同评价指标下的时序数据曲线图；
图3是本发明实施例提供的工业设备的数据质量的评估方法具体实现流程示意图；
图4是本发明实施例提供的工业设备的数据质量的评估方法具体应用示意图；
图5是本发明实施例提供的工业设备的数据质量的评估装置的模块框示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提供一种工业设备的数据质量的评估方法，所述方法包括：
步骤11，获取工业设备时序数据的至少两条待评估时序数据曲线；
步骤12，获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性；
步骤13，根据至少一个所述评价指标下的相对波动性，确定至少一个所述评价指标中的至少一个目标评价指标；
步骤14，根据至少一个所述目标评价指标，获取至少两条所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度；
步骤15，根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果。
该实施例中，所述工业设备时序数据的待评估时序数据曲线，可以是对所述工业设备的原始时序数据进行处理得到的，例如具有经验的数据分析师根据工业设备的原始时序数据按照时间顺序将各数据点标记成相应的时序数据曲线；形成所述待评估时序数据曲线的时序数据可以是长时序数据，也可以是短时序数据；当为长时序数据时，可以设置滑动窗口将其分切为短时序数据；形成所述待评估时序数据曲线的时序数据可以时单一变量时序数据，也可以是多变量的时序数据；
所述预设案例库中存储的是历史工业设备时序数据被确定为正常时序数据曲线或者异常时序数据曲线形成的案例，其中包含多个不同的案例；同时所述预设案例库中的异常时序数据曲线案例都对应有各自的标签，以区别各自不同的异常问题；
所述评价指标可以是从不同的维度去评价两时序数据曲线间关联特性的指标，所述评价指标可以是多个，可以通过枚举的方法列举出来，如频域、时域等评价指标；在至少一个评价指标下获取至少两条所述待评估时序数据曲线中的每一条时序数据曲线，与所述预设案例库中的至少一条正常曲线的相对波动性；应当知道当评价指标不同时，获得的相对波动性也不同，因此评价指标与相对波动性是一一对应的；当至少一个所述评价指标的对应的相对波动性的实际值满足预设条件之后，确定该相对波动性对应的评价指标为目标评价指标，后续基于至少一个所述目标评价指标，获取至少两条所述待评估时序数据曲线中的每一条时序数据曲线，与所述预设案例库中的至少一条异常曲线，在所述目标评价指标下的相似度；根据所述相似度，得到至少两条所述待评估时序数据曲线中的每一条时序数据曲线中时序数据质量的评估结果；以快速准确的定位工业设备的时序数据的质量问题，进而可以优化工业设备的工作流程；
通过计算工业设备的待评估时序数据曲线与所述预设案例库中的正常时序数据曲线，在不同指标下的相似波动性，并通过所述相对波动性确定目标评价指标，保证后续基于目标评价指标进行质量评估的准确性，通过目标评价指标，将所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线进行评估，可以快速定位所述待评估时序数据曲线的质量问题。
本发明的一可选实施例中，所述步骤12，可以包括：
步骤121，获取在至少一个评价指标下的至少两条所述待评估时序数据曲线之间的第一相似度；
步骤122，获取在至少一个评价指标下的至少两条所述待评估时序数据曲线中任一待评估时序数据曲线与预设案例库中的正常时序数据曲线之间的第二相似度；
步骤123，根据所述第一相似度的指标值和所述第二相似度的指标值，获得所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性；所述指标值包括：相似度的均值与方差。
该实施例中，所述第一相似度以及所述第二相似度均可以通过欧氏距离或Dtw等方法计算得到；如图2所示，由于不同评价指标的侧重性质不同，所以在不同评价指标下对应计算得到的相似度也不同；应当知道的是，同一评价指标下，不同时序数据曲线间计算的相似度也应当不同；
所述第一相似度可以反映出在同一评价指标下，至少两条所述待评估时序数据曲线中任意两条待评估时序数据曲线间的相似程度，所以所述第一相似度实则为同一指标下的至少两条所述待评估时序数据曲线中不同的待评估时序数据曲线间的相似度的集合；
所述第二相似度可以反映出在同一评价指标下，至少两条所述待评估时序数据曲线与所述预设案例库中的正常时序数据曲线间的相似程度，所以所述第二相似度实则为同一指标下的待评估时序数据曲线与所述预设案例库中的正常时序数据曲线间的相似度的集合；
通过分别计算所述第一相似度与所述第二相似度的指标值，并根据指标值获得任一评价指标下的所述相对波动性；所述指标值可以是相似度的均值和方差，应当知道指标值不仅限于均值和方差。
进一步的，所述相对波动性可以通过公式，相对波动性=(第二相似度的均值/第二相似度的方差)/(第一相似度的均值/第一相似度的方差)得到；
该实施例中，应当知道，一个评价指标对应一个相对波动性；通过所述相对波动性可以反映出在对应的评价指标下，至少两条所述待评估时序数据曲线与所述预设案例库中的正常时序数据曲线相似程度的波动性。
本发明的一可选实施例中，所述步骤13，可以包括：
步骤131，根据至少一个所述评价指标下的相对波动性和一预设波动性阈值，确定至少一个评价指标中的至少一个目标评价指标。
该实施例中，所述预设波动性阈值可以根据实际工业设备的需要进行设定，通过比较至少一个所述评价指标下的所述相对波动性，与所述预设波动性阈值的大小，确定至少一个所述评价指标中的至少一个目标评价指标；通过所述相对波动性确定所述目标评价指标，保证后续基于所述目标评价指标对所述时序数据曲线进行评估的准确性。
本发明的一可选实施例中，所述步骤131，可以包括：
步骤1311，将至少一个所述评价指标下的相对波动性大于第一预设波动性阈值时，对应的待评估时序数据曲线滤除，获得剩余的待评估时序数据曲线；
步骤1312，将所述剩余的待评估时序数据曲线中，相对波动性小于第二预设波动性阈值时，对应的至少一个评价指标，确定为目标评价指标。
该实施例中，所述第一预设波动性阈值以及所述第二预设波动性阈值均可以根据实际需要进行设定，应当知道的是所述第一波动性阈值大于所述第二波动性阈值；
当至少一个评价指标下的所述相对波动性大于所述第一预设波动性阈值时，说明在对应的评价指标下，至少两条所述待评估时序数据曲线与所述预设案例库中的正常时序数据曲线相似程度的波动性大，进一步说明曲线相似度低，则应当过滤出该评价指标下的样本；
在剩余的待评估时序数据曲线中，当至少一个评价指标下的相对波动性小于所述第二预设波动性阈值时，说明在该评价指标下，剩余的待评估时序数据曲线与预设案例库中的正常时序数据曲线相似程度的波动性小，进一步说明曲线相似度高，则应当确认剩余的待评估时序数据曲线中，所述相对波动性小于所述第二预设波动性阈值对应的评价值指标为目标评价指标；通过筛选过滤出目标评价指标，进一步提高后续待评估时序数据曲线质量评估的准确性。
本发明的一可选实施例中，所述步骤14，可以包括：
步骤141，获取至少一个所述目标评价指标下，所述预设案例库中的异常时序数据曲线与至少两条所述待评估时序数据曲线，在至少一个所述目标评价指标下的第三相似度。
该实施例中，所述第三相似度也可以通过欧氏距离或Dtw等方法计算得到；此时的所述第三相似度是在多个不同的目标评价指标下，计算得到的至少两条所述待评估时序数据曲线中的每一条时序数据曲线，与所述预设案例库中的异常时序数据曲线的相似度；依据至少一个所述目标评价指标，依次循环计算每一个目标评价指标下，对应的待评估的时序数据曲线与所述预设案例库中的异常时序数据曲线的第三相似度，并获得不同多个不同的目标评价指标下的同一待评估时序数据曲线的第三相似度集合；同理，分别得到相应不同待评估时序数据曲线的第三相似度集合。
本发明的一可选实施例中，所述步骤15，可以包括：
步骤151，对所述第三相似度进行归一化处理，获得所述第三相似度的归一化相似度指数；
步骤152a，当所述归一化相似度指数大于或等于一预设相似度指数阈值时，获得对应的至少两个所述待评估时序数据曲线中的任一待评估时序数据曲线，为具有与所述异常时序数据曲线相同或者相似质量问题的时序数据曲线的评估结果；
步骤152b，当所述归一化相似度指数小于一预设相似度指数阈值时，获得对应的至少两个所述待评估时序数据曲线中的任一待评估时序数据曲线，为正常时序数据曲线的评估结果。
该实施例中，由于不同目标评价指标下计算得到的第三相似度的值不同，通过对不同所述目标评价指标下的，计算得到的不同第三相似度进行归一化处理，得到所述第三相似度的归一化相似度指数，以便于以统一指标真实、准确和及时的反映出待评估时序数据去向的质量问题；优选的，所述归一化相似度指数可以通过公式：归一化相似度指数=第三相似度/第三相似度绝对值的均值，计算得到；
当所述归一化相似度指数大于或等于所述预设相似度指数阈值时，说明待评估的时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度高，此时说明待评估的时序数据曲线与所述异常时序数据曲线具有相同或者相似质量问题；当所述预设案例库中的案例的足够大时，且每个案例的异常曲线都具备有对应的质量问题的标签，进一步可以得出待评估时序数据曲线的实际质量问题，并针对该问题采取相应措施；
当所述归一化相似度指数小于所述预设相似度指数阈值时，说明待评估的时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度低，此时说明待评估的时序数据曲线与所述异常时序数据曲线不相似，则为正常的时序数据曲线。
以下将以一具体示例对上述方法进行说明，如图3所示，具体流程如下，
步骤31，获取多评价指标下的待评估时序数据曲线与预设案例库中正常时序数据曲线的相对波动性；
步骤32，根据所述相对波动性，确定多评价指标中目标评价指标；
步骤33，根据所述目标评价指标，获取待评估时序数据曲线与预设案例库中异常时序数据曲线的相对度；
步骤34，根据所述相似度，获得待评估时序数据曲线为正常或异常时序数据曲线的评估结果。
本发明的上述实施例中，通过将待评估时序数据曲线与预设案例库中的正常时序数据曲线，筛选出多个评价指标中的目标评价指标，进一步依据目标评价指标，对待评估时序数据曲线与预设案例库中的异常时序数据曲线进行评估，获得待评估时序数据曲线的评估结果；在工业设备的大量时序数据的质量问题检测时，通过上述方法，可以快速准确的定位工业设备时序数据的质量问题。
在实际应用中，如图4所示，可以将获取的工业设备时序数据的至少两条待评估时序数据曲线、质量评价指标集合、预设案例库中的正常时序数据曲线以及异常时序数据曲线输入一质量问题识别函数代码生成器，再通过不同的编程语言、代码模板，以及时序数据曲线的相似波动性函数包和相似度函数包，在所述质量问题识别函数代码生成器中，生成质量问题函数识别代码，通过生成的所述识别函数代码，以便于后续能够快速的识别新时序数据中存在的质量问题；所述代码模板可以以不同的程序语言进行编辑，如R语言，，当然其他可实现的程序语言亦可。
本发明的上述实施例，根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果；若所述待评估时序数据曲线与案例库的异常时序数据曲线的相似度大于一预设值，说明该待评估时序数据曲线存在与该案例库中的异常时序数据曲线相同的质量问题，在针对大量的工业设备时序数据进行检测分析时，该方法可以实现自动检测，同时提高了工业设备时序数据质量问题分析的准确性和及时性。
如图5所示，本发明的实施例还提供一种工业设备的数据质量的评估装置50，所述装置50包括：
获取模块51，获取工业设备时序数据的至少两条待评估时序数据曲线；
处理模块52，用于根据至少一个评价指标下，获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性；根据至少一个所述评价指标下的相对波动性，确定至少一个评价指标中的至少一个目标评价指标；根据至少一个所述目标评价指标，获取至少两条所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度；根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果。
可选的，所述处理模块52，用于获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性，包括：
获取在至少一个评价指标下的至少两条所述待评估时序数据曲线之间的第一相似度；
获取在至少一个评价指标下的至少两条所述待评估时序数据曲线中任一待评估时序数据曲线与预设案例库中的正常时序数据曲线之间的第二相似度；
根据所述第一相似度的指标值和所述第二相似度的指标值，获得所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性；所述指标值包括：相似度的均值与方差。
可选的，所述处理模块52，用于根据所述第一相似度的指标值和所述第二相似度的指标值，获得所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少一个评价指标下的相对波动性，包括：
根据公式，相对波动性=(第二相似度的均值/第二相似度的方差)/(第一相似度的均值/第一相似度的方差)，获得所述相对波动性。
可选的，所述处理模块52，用于根据至少一个所述评价指标下的相对波动性，确定至少一个所述评价指标中的至少一个目标评价指标，包括：
根据至少一个所述评价指标下的相对波动性和一预设波动性阈值，确定至少一个所述评价指标中的至少一个目标评价指标。
可选的，所述处理模块52，用于根据至少一个所述评价指标下的相对波动性和一预设波动性阈值，确定至少一个评价指标中的至少一个目标评价指标，包括：将至少一个所述评价指标下的相对波动性大于第一预设波动性阈值时，对应的待评估时序数据曲线滤除，获得剩余的待评估时序数据曲线；
将所述剩余的待评估时序数据曲线中，相对波动性小于第二预设波动性阈值时，对应的至少一个评价指标，确定为目标评价指标。
可选的，所述处理模块52，用于根据至少一个所述目标评价指标，获取至少两个所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度，包括：
获取至少一个所述目标评价指标下，所述预设案例库中的异常时序数据曲线与至少两条所述待评估时序数据曲线，在至少一个所述目标评价指标下的第三相似度。
可选的，所述处理模块52，用于根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果，包括：
对所述第三相似度进行归一化处理，获得所述第三相似度的归一化相似度指数；
当所述归一化相似度指数大于或等于一预设相似度指数阈值时，获得对应的至少两条所述待评估时序数据曲线中的任一待评估时序数据曲线，为具有与所述异常时序数据曲线相同或者相似质量问题的时序数据曲线的评估结果；
当所述归一化相似度指数小于一预设相似度指数阈值时，获得对应的至少两条所述待评估时序数据曲线中的任一待评估时序数据曲线，为正常时序数据曲线的评估结果。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种工业设备的数据质量的评估方法，其特征在于，所述方法包括：
获取工业设备时序数据的至少两条待评估时序数据曲线；
获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少两个评价指标下的相对波动性；
根据至少两个所述评价指标下的相对波动性，确定至少两个所述评价指标中的至少一个目标评价指标；
根据至少一个所述目标评价指标，获取至少两条所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度；
根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果；
其中，获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少两个评价指标下的相对波动性，包括：
获取在至少两个评价指标下的至少两条所述待评估时序数据曲线之间的第一相似度；所述第一相似度为在同一评价指标下，至少两条所述待评估时序数据曲线中任意两条待评估时序数据曲线间的相似程度；
获取在至少两个评价指标下的至少两条所述待评估时序数据曲线中任一待评估时序数据曲线与预设案例库中的正常时序数据曲线之间的第二相似度；所述第二相似度为在同一评价指标下，至少两条所述待评估时序数据曲线与所述预设案例库中的正常时序数据曲线间的相似程度；
根据所述第一相似度的指标值和所述第二相似度的指标值，获得所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少两个评价指标下的相对波动性；所述指标值包括：相似度的均值与方差。
2.根据权利要求1所述的工业设备的数据质量的评估方法，其特征在于，根据所述第一相似度的指标值和所述第二相似度的指标值，获得所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少两个评价指标下的相对波动性，包括：
根据公式，相对波动性=(第二相似度的均值/第二相似度的方差)/(第一相似度的均值/第一相似度的方差)，获得所述相对波动性。
3.根据权利要求1所述的工业设备的数据质量的评估方法，其特征在于，根据至少两个所述评价指标下的相对波动性，确定至少两个所述评价指标中的至少一个目标评价指标，包括：
根据至少两个所述评价指标下的相对波动性和一预设波动性阈值，确定至少一个所述评价指标中的至少一个目标评价指标。
4.根据权利要求3所述的工业设备的数据质量的评估方法，其特征在于，根据至少两个所述评价指标下的相对波动性和一预设波动性阈值，确定至少两个所述评价指标中的至少一个目标评价指标，包括：
将至少两个所述评价指标下的相对波动性大于第一预设波动性阈值时，对应的待评估时序数据曲线滤除，获得剩余的待评估时序数据曲线；
将所述剩余的待评估时序数据曲线中，相对波动性小于第二预设波动性阈值时，对应的至少一个评价指标，确定为目标评价指标。
5.根据权利要求1所述的工业设备的数据质量的评估方法，其特征在于，根据至少一个所述目标评价指标，获取至少两条所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度，包括：
获取至少一个所述目标评价指标下，所述预设案例库中的异常时序数据曲线与至少两条所述待评估时序数据曲线，在至少一个所述目标评价指标下的第三相似度。
6.根据权利要求5所述的工业设备的数据质量的评估方法，其特征在于，根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果，包括：
对所述第三相似度进行归一化处理，获得所述第三相似度的归一化相似度指数；
当所述归一化相似度指数大于或等于一预设相似度指数阈值时，获得对应的至少两条所述待评估时序数据曲线中的任一待评估时序数据曲线，为具有与所述异常时序数据曲线相同或者相似质量问题的时序数据曲线的评估结果；
当所述归一化相似度指数小于一预设相似度指数阈值时，获得对应的至少两条所述待评估时序数据曲线中的任一待评估时序数据曲线，为正常时序数据曲线的评估结果。
7.一种工业设备的数据质量的评估装置，其特征在于，所述装置包括：
获取模块，获取工业设备时序数据的至少两条待评估时序数据曲线；
处理模块，用于根据至少两个评价指标下，获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少两个评价指标下的相对波动性；根据至少两个所述评价指标下的相对波动性，确定至少一个所述评价指标中的至少两个目标评价指标；根据至少一个所述目标评价指标，获取至少两条所述待评估时序数据曲线与所述预设案例库中的异常时序数据曲线的相似度；根据所述相似度，获得至少两条所述待评估时序数据曲线的数据质量的评估结果；
其中，获取至少两条所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少两个评价指标下的相对波动性，包括：
获取在至少两个评价指标下的至少两条所述待评估时序数据曲线之间的第一相似度；所述第一相似度为在同一评价指标下，至少两条所述待评估时序数据曲线中任意两条待评估时序数据曲线间的相似程度；
获取在至少两个评价指标下的至少两条所述待评估时序数据曲线中任一待评估时序数据曲线与预设案例库中的正常时序数据曲线之间的第二相似度；所述第二相似度为在同一评价指标下，至少两条所述待评估时序数据曲线与所述预设案例库中的正常时序数据曲线间的相似程度；
根据所述第一相似度的指标值和所述第二相似度的指标值，获得所述待评估时序数据曲线与预设案例库中的正常时序数据曲线在至少两个评价指标下的相对波动性；所述指标值包括：相似度的均值与方差。
8.一种计算设备，其特征在于，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，存储指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210491936.3A CN114580982B (zh) | 2022-05-07 | 2022-05-07 | 一种工业设备的数据质量的评估方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210491936.3A CN114580982B (zh) | 2022-05-07 | 2022-05-07 | 一种工业设备的数据质量的评估方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114580982A CN114580982A (zh) | 2022-06-03 |
| CN114580982B true CN114580982B (zh) | 2022-08-05 |
Family
ID=81769267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210491936.3A Active CN114580982B (zh) | 2022-05-07 | 2022-05-07 | 一种工业设备的数据质量的评估方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114580982B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434970A (zh) * | 2021-06-01 | 2021-09-24 | 北京交通大学 | 一种机械设备的健康指标曲线提取和寿命预测方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9600776B1 (en) * | 2013-11-22 | 2017-03-21 | Groupon, Inc. | Automated adaptive data analysis using dynamic data quality assessment |
| JP6661839B1 (ja) * | 2018-07-23 | 2020-03-11 | 三菱電機株式会社 | 時系列データ診断装置、追加学習方法およびプログラム |
| CN110188090B (zh) * | 2019-06-17 | 2022-12-16 | 合肥优尔电子科技有限公司 | 一种基于数据挖掘的配网拓扑数据质量评估方法及装置 |
| CN111679949A (zh) * | 2020-04-23 | 2020-09-18 | 平安科技（深圳）有限公司 | 基于设备指标数据的异常检测方法及相关设备 |
| CN111898903A (zh) * | 2020-07-28 | 2020-11-06 | 北京科技大学 | 一种钢铁产品均匀性和综合质量评估方法及*** |
| CN112800116B (zh) * | 2021-04-08 | 2021-07-09 | 腾讯科技（深圳）有限公司 | 一种业务数据的异常检测方法及装置 |
| CN113468034A (zh) * | 2021-07-07 | 2021-10-01 | 浙江大华技术股份有限公司 | 数据质量评估方法、装置、存储介质和电子设备 |
| CN114153926A (zh) * | 2021-11-26 | 2022-03-08 | 中国船级社 | 一种数据质量评估方法、装置、计算机设备及存储介质 |
| CN113986908B (zh) * | 2021-12-24 | 2022-04-15 | 昆仑智汇数据科技(北京)有限公司 | 一种工业设备数据的处理方法、装置及设备 |
| CN114331195A (zh) * | 2021-12-27 | 2022-04-12 | 北京科技大学 | 一种影响热轧带钢全长质量的过程曲线风险评价方法 |
| CN114444608B (zh) * | 2022-02-08 | 2024-03-29 | 中国电信股份有限公司 | 数据集质量评估方法及装置、电子设备及存储介质 |
-
2022
- 2022-05-07 CN CN202210491936.3A patent/CN114580982B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434970A (zh) * | 2021-06-01 | 2021-09-24 | 北京交通大学 | 一种机械设备的健康指标曲线提取和寿命预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114580982A (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113792825B (zh) | 一种用电信息采集设备故障分类模型训练方法及装置 | |
| CN109934268B (zh) | 异常交易检测方法及*** | |
| CN108009740B (zh) | 一种烟用香精香料智能化精细识别***及方法 | |
| CN105630656A (zh) | 基于日志模型的***健壮性分析方法及装置 | |
| CN111133396B (zh) | 生产设备监视装置、生产设备监视方法以及记录介质 | |
| CN115280334A (zh) | 错误原因的推定装置以及推定方法 | |
| TWI493168B (zh) | 分析質譜的方法、電腦程式及系統 | |
| CN114580982B (zh) | 一种工业设备的数据质量的评估方法、装置及设备 | |
| CN107067034B (zh) | 一种快速识别红外光谱数据分类的方法及*** | |
| CN108763092B (zh) | 一种基于交叉验证的代码缺陷检测方法及装置 | |
| CN116559619A (zh) | 半导体器件的测试方法及相关装置 | |
| CN115659271A (zh) | 传感器异常检测方法、模型训练方法、***、设备及介质 | |
| CN116187861A (zh) | 基于同位素的水质溯源监测方法及相关装置 | |
| CN113127342B (zh) | 基于电网信息***特征选择的缺陷预测方法及装置 | |
| CN111382052A (zh) | 代码质量评价方法、装置及电子设备 | |
| US8027764B2 (en) | Method and system for automatic test data generation for lookup tables | |
| CN111984515A (zh) | 多源异构日志分析方法 | |
| CN110516659A (zh) | 滚珠丝杠退化阶段识别方法、装置、设备及存储介质 | |
| US20180137270A1 (en) | Method and apparatus for non-intrusive program tracing for embedded computing systems | |
| CN117826771B (zh) | 基于ai分析的冷轧机控制***异常检测方法及*** | |
| CN117250942B (zh) | 故障预测方法、模型的确定方法、装置、设备及存储介质 | |
| CN116067618B (zh) | 一种800g高速光模块的自动化生产及调测方法 | |
| Yunita | Volatility Modeling Using ARCH/GARCH Method: Aplication on Asia Pasific Index | |
| CN115758101A (zh) | 一种变压器故障类型的判断方法、***、设备和介质 | |
| CN118229056A (zh) | 一种概率安全分析最小割集自动识别对比方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |