CN111859056B - 数据处理方法、装置、电子设备和介质 - Google Patents
数据处理方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN111859056B CN111859056B CN202010764615.7A CN202010764615A CN111859056B CN 111859056 B CN111859056 B CN 111859056B CN 202010764615 A CN202010764615 A CN 202010764615A CN 111859056 B CN111859056 B CN 111859056B
- Authority
- CN
- China
- Prior art keywords
- index data
- standard
- data range
- current
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Databases & Information Systems (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开提供了一种数据处理方法,可用于金融领域或其他领域,该方法包括:实时获取目标设备的当前指标数据;以及在实时获取的当前指标数据与标准指标数据范围集不匹配的情况下,确定实时获取的当前指标数据异常;其中,标准指标数据范围集通过以下操作确定:获取目标设备的多个历史指标数据;以及利用基于密度的聚类算法训练多个历史指标数据以得到针对目标设备的标准指标数据范围集。本公开还提供了一种数据处理装置、一种电子设备以及一种计算机可读存储介质。
Description
技术领域
本公开涉及计算机技术领域,特别是涉及一种数据处理方法、装置、电子设备和介质。
背景技术
随着业务的发展,企业对数据处理能力的需求日益增长,为了满足对数据处理能力的需求,越来越多的企业开始建设和使用数据中心,对数据中心依赖程度越来越高。而位于数据中心垂直运维体系底层的基础设施(例如包括供配电、空调等设备)平稳运行与否,直接决定着数据中心能否正常发挥功能、对外提供服务。
为了保证数据中心的基础设施保持平稳运行,相关技术建立了针对基础设施运行状态的监控***,基于人工经验,在监控***中预设专家规则,通过将获取的数据中心基础设施的指标数值与专家规则进行对比从而得出判定结果,以确定基础设施是否异常。
在实现本公开构思的过程中,发明人发现现有技术中至少存在如下问题:专家规则的制定需要依赖于运维人员的工作经验。当设备规模逐渐扩大时,指标种类也随之增大,相关技术需要制定大量的专家规则并对根据这些专家规则对***进行配置,所耗时间及工作量较大,从而导致维护时效性较差。
发明内容
本公开的一个方面提供了一种数据处理方法,包括:实时获取目标设备的当前指标数据;以及在实时获取的当前指标数据与标准指标数据范围集不匹配的情况下,确定所述实时获取的当前指标数据异常;其中,所述标准指标数据范围集通过以下操作确定:获取所述目标设备的多个历史指标数据;以及利用基于密度的聚类算法训练所述多个历史指标数据以得到针对所述目标设备的标准指标数据范围集。
可选地,所述标准指标数据范围集包括至少一个标准指标数据范围;所述在实时获取的当前指标数据与标准指标数据范围集不匹配的情况下,确定所述实时获取的当前指标数据异常,包括:针对标准指标数据范围集中的每个标准指标数据范围,判断所述当前指标数据是否落在所述标准指标数据范围内;以及若所述当前指标数据落在所述标准指标数据范围内,则确定所述实时获取的当前指标数据异常。
可选地,其中:每个历史指标数据具有各自的时间属性;所述方法还包括:确定所述多个历史指标数据中落在所述至少一个标准指标数据范围内的指标数据;以及基于落在每个标准指标数据范围内的指标数据的时间属性,从所述至少一个标准指标数据范围中选定一个目标指标数据范围,以用于确定针对所述目标设备的当前指标数据是否异常。
可选地,所述基于落在每个标准指标数据范围内的指标数据的时间属性,从所述至少一个标准指标数据范围中选定一个目标指标数据范围,包括:基于时间属性,为每个历史指标数据配置对应的权重,其中,时间属性所表征的历史时间与当前时间越接近,对应的历史指标数据被分配的权重值越大;计算落在每个标准指标数据范围内的所有历史指标数据的权重值之和;以及将权重值之和最大的历史指标数据所在的标准指标数据范围选定为所述目标指标数据范围。
可选地,所述方法还包括:针对所述目标指标数据范围设置对应有效期,使得所述目标指标数据范围在所述有效期内用于确定针对所述目标设备的当前指标数据是否异常。
可选地,所述方法还包括:在确定针对所述目标设备的当前指标数据是否异常的过程中,如果针对所述目标指标数据范围设置的有效期已过期,则针对所述目标设备训练新的标准指标数据范围并保存为判断标准。
可选地,所述方法还包括:在确定针对所述目标设备的当前指标数据是否异常的过程中,如果针对所述目标指标数据范围设置的有效期已过期,则确定所述目标设备的指标数据在指定时间段内的波动是否稳定,其中,所述指定时间段为与当前时间邻近的历史时间段;以及如果稳定,则对所述有效期进行延期处理。
本公开的另一个方面提供了一种数据处理装置,包括:第一获取模块,用于实时获取目标设备的当前指标数据;异常判断模块,用于在实时获取的当前指标数据与标准指标数据范围集不匹配的情况下,确定所述实时获取的当前指标数据异常;第二获取模块,用于获取所述目标设备的多个历史指标数据;以及训练模块,用于利用基于密度的聚类算法训练所述多个历史指标数据以得到针对所述目标设备的标准指标数据范围集。
本公开的另一方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现本公开实施例的方法。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现本公开实施例的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现本公开实施例的方法。
根据本公开的实施例,判断标准选取操作不依赖于人工经验,从而解决判断标准的选取需要依赖于人工经验的问题。并且通过获取目标设备的历史指标数据,利用基于密度的聚类算法训练历史指标数据,从而得到判断标准,实现了自主学习样本并生成判断标准,有效避免人工选择学习参数对计算结果的干扰。另外,样本学习和监控标准生成速度较快,从而可以降低运维人员工作负荷,提高监控***维护效率和准确率。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开实施例的可以应用数据处理方法的示例性***架构构;
图2示意性示出了根据本公开实施例的数据处理方法的流程图;
图3示意性示出了根据本公开实施例的标准指标数据范围集的确定方法的流程图;
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图5示意性示出了根据本公开实施例的基于落在每个标准指标数据范围内的指标数据的时间属性,从至少一个标准指标数据范围中选定一个目标指标数据范围的流程图;
图6示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图7示意性示出了根据本公开实施例的数据处理装置的框图;以及
图8示意性示出了根据本公开实施例的电子设备的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式,该计算机程序产品可供指令执行***使用或者结合指令执行***使用。
本公开的实施例提供了一种数据处理方法以及能够应用该方法的装置。该方法包括获取目标设备的多个历史指标数据,其中,多个历史指标数据为指定时间范围内的指标数据;利用基于密度的聚类算法训练多个历史指标数据以得到针对目标设备的至少一个标准指标数据范围;以及将至少一个标准指标数据范围保存为至少一个判断标准,以用于确定针对目标设备的当前指标数据是否异常。
需要说明的是,本公开数据处理方法和装置可用于金融领域,也可用于除金融领域之外的任意领域,本公开数据处理方法和装置的应用领域不做限定。
图1示意性示出了根据本公开实施例的可以应用数据处理方法的示例性***架构。需要注意的是,图1所示仅为可以应用本公开实施例的***架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示,该***架构100包括:接入与预处理模块100,包括:指标输入接口101,用于接收来自于基础设施的各项指标数据(例如动力或环境指标数据);指标预处理单元102,用于将接收到的指标数据进行数据清洗、时间轴归一化等处理;采集任务调度单元103,用于调度从基础设施设备读取指标数据、执行数据预处理等任务。
数据管理模块200,包括:数据存储单元201,用于将指标数据存储至存储器中;数据维护单元202,用于执行对数据压缩、转存、清理等日常维护操作。
波动学习与异常判别模块300,包括:波动学习单元301,用于从指标数据存储单元中选取历史指标数据,并以此使用聚类算法(例如OPTICS算法)自主学习指标数据,从而得到异常指标的特征;异常判别单元302,用于将实时指标数据与波动学习单元的计算结果进行对比,以识别异常指标;学习调度单元303,用于管理和控制波动学习单元301,并将波动学习单元301得到的学习结果加注到异常判别单元302中。
展示与告警模块400,包括:指标展示单元401,用于向用户实时展示基础设施的各项指标;指标告警输出接口402,用于将被识别出的异常指标输出至其他***(例如告警接收***)。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示,该方法可以包括操作S210~S220。
在操作S210,实时获取目标设备的当前指标数据。
在操作S220,在实时获取的当前指标数据与标准指标数据范围集不匹配的情况下,确定实时获取的当前指标数据异常。
其中,标准指标数据范围集包括至少一个标准指标数据范围;
根据本公开的实施例,若目标设备的当前指标数据的数值处于某个标准指标数据范围中,则当前指标数据与该标准指标数据范围匹配,即确定当前指标数据正常。若所有标准指标数据范围均不包含目标设备的当前指标数据的数值,则当前指标数据与任何一个标准指标数据范围均不匹配,即确定当前指标数据异常。
图3示意性示出了根据本公开实施例的标准指标数据范围集的确定方法的流程图。
如图3所示,标准指标数据范围集可以通过以下操作S310~S320确定。
在操作S310,获取目标设备的多个历史指标数据。其中,多个历史指标数据为指定时间范围内的指标数据。
根据本公开的实施例,目标数据例如可以为数据中心的基础设施,例如配供电设备、空调设备等。
根据本公开的实施例,指标数据例如可以为目标设备自身的指标数据,以及目标设备所处环境的指标数据。其中,目标设备自身的指标数据例如包括电量、电压、电流等,目标设备所处环境的指标数据例如包括温度、湿度、空气质量、光照度、粉尘含量等。需要说明的是,上述指标数据仅为示例,在实际应用中,指标数据还可以是其他与目标设备相关的指标数据。
根据本公开的实施例,指定时间范围可以根据实际所需要的历史指标数据的数量来设置,以使指定时间范围内的指标数据与所需要的历史指标数据的数量相适应。示例性地,本实施例中,以与当前时间邻近的7天作为指定时间范围。
根据本公开另一实施例,为满足入库和后续处理的要求,在获取目标设备的多个历史指标数据之后,还可以对所获取的历史指标数据进行据清洗、时间轴归一化等预处理操作。
在操作S320,利用基于密度的聚类算法训练多个历史指标数据以得到针对目标设备的至少一个标准指标数据范围。
根据本公开的实施例,基于密度的聚类算法例如可以为OPTICS算法。作为优化后的基于密度的算法,OPTICS算法不显示地产生数据聚类,而只是对数据对象集中的对象进行排序,输出一个有序的对象列表(Cluster-Ordering)。根据对象列表可以得到邻域半径和密度阈值,从而对对象进行分类。
由于OPTICS算法对输入参数不敏感,因此通过采用OPTICS算法训练历史指标数据时,即使历史指标数据波动较大也不会对训练得到的标准指标数据范围产生较大影响,从而使每次得到的标准指标数据范围更稳定。另外,与普通聚类算法相比,OPTICS算法降低了时间复杂度,并进一步消除了人为干扰。
根据本公开的实施例,判断标准选取操作不依赖于人工经验,从而解决判断标准的选取需要依赖于人工经验的问题。并且通过获取目标设备的历史指标数据,利用基于密度的聚类算法训练历史指标数据,从而得到判断标准,实现了自主学习样本并生成判断标准,有效避免人工选择学习参数对计算结果的干扰。另外,样本学习和监控标准生成速度较快,从而可以降低运维人员工作负荷,提高监控***维护效率和准确率。
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图4所示,除了操作S210~S220之外,该方法还包括操作S410~S420。
在操作S410,确定多个历史指标数据中落在至少一个标准指标数据范围内的指标数据。
在操作S420,基于落在每个标准指标数据范围内的指标数据的时间属性,从至少一个标准指标数据范围中选定一个目标指标数据范围,以用于确定针对目标设备的当前指标数据是否异常。
根据本公开的实施例,指标数据的时间属性例如可以为生成该指标数据时的历史时间。可以基于生成该指标数据时的历史时间,从至少一个标准指标数据范围中选定一个目标指标数据范围。
图5示意性示出了根据本公开实施例的基于落在每个标准指标数据范围内的指标数据的时间属性,从至少一个标准指标数据范围中选定一个目标指标数据范围的流程图。
如图5所示,操作S420例如可以包括操作S521~S523。
在操作S521,基于时间属性,为每个历史指标数据配置对应的权重。
其中,时间属性所表征的历史时间与当前时间越接近,对应的历史指标数据被分配的权重值越大。
根据本公开的实施例,权重的具体计算方法可以根据实际需要确定,示例性地,本实施例中,可以针对生成该指标数据时的历史时间与当前时间的差值进行倒数运算,以得到该指标数据的权重值。
在操作S522,计算落在每个标准指标数据范围内的所有历史指标数据的权重值之和。
根据本公开的实施例,可以将每个标准指标数据范围内的所有历史指标数据的权重值相加,得到权重值之和,将该权重值之和作为该标准指标数据范围的权重。
在操作S523,将权重值之和最大的历史指标数据所在的标准指标数据范围选定为目标指标数据范围。
根据本公开的实施例,可以通过比较所有标准指标数据范围的权重,从所有标准指标数据范围中确定权重最大的标准指标数据范围,将该权重最大的标准指标数据范围作为目标指标数据范围。
根据本公开的另一实施例,还可以针对目标指标数据范围设置对应有效期,使得目标指标数据范围在有效期内用于确定针对目标设备的当前指标数据是否异常。
根据本公开的实施例,可以为目标指标数据范围配置时间戳,用于记录目标指标数据范围的有效期。可以通过检查目标指标数据范围的时间戳,确定目标指标数据范围是否处于有效期内。
根据本公开的又一实施例,在确定针对目标设备的当前指标数据是否异常的过程中,如果针对目标指标数据范围设置的有效期已过期,则针对目标设备训练新的标准指标数据范围并保存为判断标准。其中,训练新的标准指标数据范围的方法可以参考上文关于操作S310~S320的描述,在此不再赘述。
根据本公开的再一实施例,在确定针对目标设备的当前指标数据是否异常的过程中,如果针对目标指标数据范围设置的有效期已过期,则确定目标设备的指标数据在指定时间段内的波动是否稳定,如果稳定,则对有效期进行延期处理。
其中,指定时间段为与当前时间邻近的历史时间段。示例性地,本实施例中,指定时间段为与当前时间邻近的24小时。有效期可以根据实际需要进行设置,有效期越短,则更新目标指标数据范围的频率越高,相应的***运算量越大,但目标指标数据范围的时效性越好。
下面参考图6,结合具体实施例对图2至图5所示的方法做进一步说明。本领域技术人员可以理解,以下示例实施例仅用于理解本公开,本公开并不局限于此。
图6示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图6所示,该方法包括步骤S101~S114。
在步骤S101,接收来自于基础设施设备的指标数据。
在步骤S102,对接收到的指标数据实施数据清洗、时间轴归一化等预处理操作,以满足入库和后续处理要求。
在步骤S103,将经过步骤S102处理的数据存入数据管理模块200的数据存储单元201。
在步骤S104,检查***中是否已有用于判别异常的判断标准。
在步骤S105,检查判断标准的时间戳是否处于有效期内。
在步骤S106,当***中不存在判断标准或判断标准已过期,则从数据管理模块200的数据存储单元201中按照时间窗口要求选取适量的近期历史指标数据。
在步骤S107,以步骤S106选取的历史指标数据作为学习对象集,使用OPTICS算法学习并生成判断标准。
在步骤S108,将步骤S107生成的判断标准存入数据管理模块200的数据存储单元201中。
在步骤S109,从数据管理模块200的数据存储单元201读取判断标准。
在步骤S110,从数据管理模块200的数据存储单元201读取最新入库未经过判别的指标数据。
在步骤S111,使用步骤109获取的判断标准对步骤S110获取的指标数据进行分析,挑出其中的异常指标,得到的判别结果。
在步骤S112,将步骤S111得到的判别结果存入数据管理模块200的数据存储单元201。
在步骤S113,将步骤S111处理后的指标数据通过交互界面展示。
在步骤S114,将步骤S111得到的判别结果发送至展示与告警模块400的指标告警输出接口402。
图7示意性示出了根据本公开实施例的数据处理装置的框图。
如图7所示,数据处理装置700包括第一获取模块710、异常判断模块720、第二获取模块730和训练模块740。该处理装置700可以执行上面参考方法实施例部分描述的方法,在此不再赘述。
具体地,第一获取模块710,可以用于实时获取目标设备的当前指标数据。
异常判断模块720,可以用于在实时获取的当前指标数据与标准指标数据范围集不匹配的情况下,确定实时获取的当前指标数据异常。
第二获取模块730,可以用于获取目标设备的多个历史指标数据。
训练模块740,可以用于利用基于密度的聚类算法训练多个历史指标数据以得到针对目标设备的标准指标数据范围集。
需要说明的是,装置部分的实施例方式与方法部分的实施例方式对应类似,并且所达到的技术效果也对应类似,在此不再赘述。
根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块710、异常判断模块720、第二获取模块730和训练模块740中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一获取模块710、异常判断模块720、第二获取模块730和训练模块740中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块710、异常判断模块720、第二获取模块730和训练模块740中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图8示意性示出了根据本公开实施例的电子设备的框图。图8示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示,电子设备800包括处理器810、计算机可读存储介质820。该电子设备800可以执行根据本公开实施例的方法。
具体地,处理器810例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器810还可以包括用于缓存用途的板载存储器。处理器810可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质820,例如可以是非易失性的计算机可读存储介质,具体示例包括但不限于:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;等等。
计算机可读存储介质820可以包括计算机程序821,该计算机程序821可以包括代码/计算机可执行指令,其在由处理器810执行时使得处理器810执行根据本公开实施例的方法或其任何变形。
计算机程序821可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序821中的代码可以包括一个或多个程序模块,例如包括821A、模块821B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器810执行时,使得处理器810可以执行根据本公开实施例的方法或其任何变形。
根据本公开的实施例,第一获取模块710、异常判断模块720、第二获取模块730和训练模块740中的至少一个可以实现为参考图8描述的计算机程序模块,其在被处理器810执行时,可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的;也可以是单独存在,而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。
Claims (7)
1.一种数据处理方法,包括:
实时获取目标设备的当前指标数据;以及
在实时获取的当前指标数据与标准指标数据范围集不匹配的情况下,确定所述实时获取的当前指标数据异常;
其中,所述标准指标数据范围集通过以下操作确定:
获取所述目标设备的多个历史指标数据;以及
利用基于密度的聚类算法训练所述多个历史指标数据以得到针对所述目标设备的标准指标数据范围集;
所述标准指标数据范围集包括至少一个标准指标数据范围;
所述在实时获取的当前指标数据与标准指标数据范围集不匹配的情况下,确定所述实时获取的当前指标数据异常,包括:
针对标准指标数据范围集中的每个标准指标数据范围,判断所述当前指标数据是否落在所述标准指标数据范围内;以及
若所述当前指标数据落在所述标准指标数据范围内,则确定所述实时获取的当前指标数据正常,若所述当前指标数据与任何一个所述标准指标数据范围均不匹配,则确定所述当前指标数据异常;
每个历史指标数据具有各自的时间属性;
所述方法还包括:
确定所述多个历史指标数据中落在所述至少一个标准指标数据范围内的指标数据;以及
基于落在每个标准指标数据范围内的指标数据的时间属性,从所述至少一个标准指标数据范围中选定一个目标指标数据范围,以用于确定针对所述目标设备的当前指标数据是否异常;
所述基于落在每个标准指标数据范围内的指标数据的时间属性,从所述至少一个标准指标数据范围中选定一个目标指标数据范围,包括:
基于时间属性,为每个历史指标数据配置对应的权重,其中,时间属性所表征的历史时间与当前时间越接近,对应的历史指标数据被分配的权重值越大;
计算落在每个标准指标数据范围内的所有历史指标数据的权重值之和;以及
将权重值之和最大的历史指标数据所在的标准指标数据范围选定为所述目标指标数据范围。
2.根据权利要求1所述的方法,还包括:
针对所述目标指标数据范围设置对应有效期,使得所述目标指标数据范围在所述有效期内用于确定针对所述目标设备的当前指标数据是否异常。
3.根据权利要求2所述的方法,还包括:在确定针对所述目标设备的当前指标数据是否异常的过程中,
如果针对所述目标指标数据范围设置的有效期已过期,则针对所述目标设备训练新的标准指标数据范围。
4.根据权利要求2所述的方法,还包括:在确定针对所述目标设备的当前指标数据是否异常的过程中,
如果针对所述目标指标数据范围设置的有效期已过期,则确定所述目标设备的指标数据在指定时间段内的波动是否稳定,其中,所述指定时间段为与当前时间邻近的历史时间段;以及
如果稳定,则对所述有效期进行延期处理。
5.一种数据处理装置,包括:
第一获取模块,用于实时获取目标设备的当前指标数据;
异常判断模块,用于在实时获取的当前指标数据与标准指标数据范围集不匹配的情况下,确定所述实时获取的当前指标数据异常;
第二获取模块,用于获取所述目标设备的多个历史指标数据;以及
训练模块,用于利用基于密度的聚类算法训练所述多个历史指标数据以得到针对所述目标设备的标准指标数据范围集;
其中,所述标准指标数据范围集包括至少一个标准指标数据范围;
所述在实时获取的当前指标数据与标准指标数据范围集不匹配的情况下,确定所述实时获取的当前指标数据异常,包括:
针对标准指标数据范围集中的每个标准指标数据范围,判断所述当前指标数据是否落在所述标准指标数据范围内;以及
若所述当前指标数据落在所述标准指标数据范围内,则确定所述实时获取的当前指标数据正常,若所述当前指标数据与任何一个所述标准指标数据范围均不匹配,则确定所述当前指标数据异常;
其中,每个历史指标数据具有各自的时间属性;还包括:
确定所述多个历史指标数据中落在所述至少一个标准指标数据范围内的指标数据;以及
基于落在每个标准指标数据范围内的指标数据的时间属性,从所述至少一个标准指标数据范围中选定一个目标指标数据范围,以用于确定针对所述目标设备的当前指标数据是否异常;
所述基于落在每个标准指标数据范围内的指标数据的时间属性,从所述至少一个标准指标数据范围中选定一个目标指标数据范围,包括:
基于时间属性,为每个历史指标数据配置对应的权重,其中,时间属性所表征的历史时间与当前时间越接近,对应的历史指标数据被分配的权重值越大;
计算落在每个标准指标数据范围内的所有历史指标数据的权重值之和;以及
将权重值之和最大的历史指标数据所在的标准指标数据范围选定为所述目标指标数据范围。
6.一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至4中任一项所述的方法。
7.一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被处理器执行时用于实现权利要求1至4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010764615.7A CN111859056B (zh) | 2020-07-31 | 2020-07-31 | 数据处理方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010764615.7A CN111859056B (zh) | 2020-07-31 | 2020-07-31 | 数据处理方法、装置、电子设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111859056A CN111859056A (zh) | 2020-10-30 |
CN111859056B true CN111859056B (zh) | 2023-08-29 |
Family
ID=72954331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010764615.7A Active CN111859056B (zh) | 2020-07-31 | 2020-07-31 | 数据处理方法、装置、电子设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111859056B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114467530B (zh) * | 2022-01-25 | 2023-06-20 | 深圳市五谷网络科技有限公司 | 果树环割方法、装置、终端设备及计算机可读存储介质 |
CN114881709B (zh) * | 2022-06-09 | 2024-06-14 | 北京有竹居网络技术有限公司 | 一种数据处理方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509327A (zh) * | 2018-10-31 | 2019-03-22 | 武汉烽火众智数字技术有限责任公司 | 一种异常行为预警方法及装置 |
CN109815084A (zh) * | 2018-12-29 | 2019-05-28 | 北京城市网邻信息技术有限公司 | 异常识别方法、装置和电子设备及存储介质 |
CN110032490A (zh) * | 2018-12-28 | 2019-07-19 | ***股份有限公司 | 用于检测***异常的方法及其装置 |
CN110489306A (zh) * | 2019-08-26 | 2019-11-22 | 北京博睿宏远数据科技股份有限公司 | 一种报警阈值确定方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7840377B2 (en) * | 2006-12-12 | 2010-11-23 | International Business Machines Corporation | Detecting trends in real time analytics |
-
2020
- 2020-07-31 CN CN202010764615.7A patent/CN111859056B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509327A (zh) * | 2018-10-31 | 2019-03-22 | 武汉烽火众智数字技术有限责任公司 | 一种异常行为预警方法及装置 |
CN110032490A (zh) * | 2018-12-28 | 2019-07-19 | ***股份有限公司 | 用于检测***异常的方法及其装置 |
CN109815084A (zh) * | 2018-12-29 | 2019-05-28 | 北京城市网邻信息技术有限公司 | 异常识别方法、装置和电子设备及存储介质 |
CN110489306A (zh) * | 2019-08-26 | 2019-11-22 | 北京博睿宏远数据科技股份有限公司 | 一种报警阈值确定方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111859056A (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3640870A1 (en) | Asset performance manager | |
RU2540830C2 (ru) | Адаптивное дистанционное обслуживание подвижных составов | |
CN111859056B (zh) | 数据处理方法、装置、电子设备和介质 | |
CN114648267B (zh) | 一种自动化立体仓库调度路径的优化方法及*** | |
Srinivasan et al. | Explainable AI for chiller fault-detection systems: gaining human trust | |
CN112884325A (zh) | 一种客站设备应用分析及健康状况评价方法及*** | |
CN112150237B (zh) | 多模型融合的订单逾期预警方法、装置、设备及存储介质 | |
CN113837596B (zh) | 一种故障确定方法、装置、电子设备及存储介质 | |
KR102220712B1 (ko) | 공장의 실시간 상황 변화에 대응하기 위한 동적 상황 관리 장치 및 방법 | |
US20180158015A1 (en) | Inventory management system and inventory management method | |
Steclik et al. | Automatic grouping of production data in Industry 4.0: The use case of internal logistics systems based on Automated Guided Vehicles | |
CN111738409B (zh) | 一种资源调度的方法及其相关设备 | |
CN102947829A (zh) | 数据处理装置、数据处理方法以及程序 | |
US20230281563A1 (en) | Earning code classification | |
CN113448808B (zh) | 一种批处理任务中单任务时间的预测方法、***及存储介质 | |
EP4220495A1 (en) | Task learning system and method, and related device | |
CN110413482B (zh) | 检测方法和装置 | |
US20230267400A1 (en) | Artificially intelligent warehouse management system | |
Rabbani et al. | A novel bi-level hierarchy towards available-to-promise in mixed-model assembly line sequencing problems | |
CN111127114A (zh) | 一种电力负荷申报数据的确定方法以及装置 | |
Andreacchio et al. | Assessing cyber‐physical systems to balance maintenance replacement policies and optimise long‐run average costs for aircraft assets | |
US11961046B2 (en) | Automatic selection of request handler using trained classification model | |
CN112308344A (zh) | 一种未离港航班订座值预测方法、装置及电子设备 | |
US20150149239A1 (en) | Technology Element Risk Analysis | |
Sanaei et al. | Toward ATM Resiliency: A Deep CNN to Predict Number of Delayed Flights and ATFM Delay. Aerospace 2021, 8, 28 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |