CN115018106A - 异常分析方法、装置、设备及计算机可读存储介质 - Google Patents
异常分析方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115018106A CN115018106A CN202110239967.5A CN202110239967A CN115018106A CN 115018106 A CN115018106 A CN 115018106A CN 202110239967 A CN202110239967 A CN 202110239967A CN 115018106 A CN115018106 A CN 115018106A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- index
- dimension
- factor
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0247—Calculate past, present or future revenues
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种异常分析方法、装置、设备及计算机可读存储介质;其中,方法包括:获取待分析业务的异常指标;基于待分析业务的指标因子拆解规则,确定异常指标的多个因子指标;分别确定异常指标和每一因子指标在同一时间范围内的变化信息;基于异常指标以及每一因子指标在该时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重;基于至少一个候选异常因子指标的异常权重,从至少一个候选异常因子指标中确定至少一个异常因子指标;针对每一异常因子指标,基于待分析的维度列表对异常因子指标进行多维度下钻分析,得到异常指标的异常根因结果。通过本申请,能够提高异常指标根因定位的准确性和定位效率。
Description
技术领域
本申请涉及但不限于信息技术领域,尤其涉及一种异常分析方法、装置、设备及计算机可读存储介质。
背景技术
在对业务的运营情况进行分析时,通常需要重点分析业务各项指标的异常波动现象,特别是关键业务指标(Key Performance Indicator,KPI)的异常波动现象,以找到异常波动的原因所在。相关技术中,可以通过对异常业务指标进行多维度分析,实现异常业务指标的根因定位。但是,相关技术中对异常指标的多维度分析中,是通过分别判断业务指标在不同维度上是否异常,从而筛选和定位出异常根因。在判断业务指标在每一维度上是否异常时,只考虑了单维度上对业务的影响,而未考虑业务在多维度上的关联关系,导致异常根因定位的准确度并不高。
发明内容
本申请实施例提供一种异常分析方法、装置、设备及计算机可读存储介质,能够提高业务异常指标的根因定位的准确性,并能极大地缩短异常根因定位的时间。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种异常分析方法,包括:
获取待分析业务的异常指标;
基于所述待分析业务的指标因子拆解规则,确定所述异常指标的多个因子指标;
分别确定所述异常指标和每一所述因子指标在同一时间范围内的变化信息;
基于所述异常指标在所述时间范围内的变化信息,以及每一因子指标在所述时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重;
基于所述至少一个候选异常因子指标的异常权重,从所述至少一个候选异常因子指标中,确定至少一个异常因子指标;
针对每一异常因子指标,基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果。
在一些实施例中,所述变化信息包括变化趋势和变化量,所述基于所述异常指标在所述时间范围内的变化信息,以及每一因子指标在所述时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重,包括:基于所述异常指标在所述时间范围内的变化趋势,以及每一因子指标在所述时间范围内的变化趋势,从所述多个因子指标中确定与所述异常指标变化趋势相同的至少一个候选异常因子指标;基于每一候选异常因子指标在所述时间范围内的变化量,确定每一候选异常因子指标的异常权重。
在一些实施例中,所述基于每一候选异常因子指标在所述时间范围内的变化量,确定每一候选异常因子指标的异常权重,包括:对每一候选异常因子指标在所述时间范围内的变化量进行求和,得到异常变化总量;针对每一候选异常因子指标,将所述候选异常因子指标在所述时间范围内的变化量在所述异常变化总量中的占比,确定为所述候选异常因子指标的异常权重。
在一些实施例中,所述方法还包括:在根据所述指标因子拆解规则确定所述异常指标不可拆解的情况下,根据所述待分析业务的指标关联规则,确定与所述异常指标关联的至少一个关联指标;根据每一所述关联指标与所述异常指标的关联类型以及每一所述关联指标在所述时间范围内的变化趋势,从所述至少一个关联指标中确定所述异常指标的异常根因结果。
在一些实施例中,所述异常根因结果包括至少一个异常关联指标,所述根据每一所述关联指标与所述异常指标的关联类型以及每一所述关联指标在所述时间范围内的变化趋势,从所述至少一个关联指标中确定所述异常指标的异常根因结果,包括:针对所述至少一个关联指标中的每一关联指标,在所述关联指标与所述异常指标的关联类型以及所述关联指标在所述时间范围内的变化趋势满足特定条件的情况下,将所述关联指标确定为异常关联指标;其中,所述特定条件包括以下之一:所述关联指标与所述异常指标的关联类型为正向关联,且所述关联指标与所述异常指标在所述时间范围内的变化趋势相同;所述关联指标与所述异常指标的关联类型为反向关联,且所述关联指标与所述异常指标在所述时间范围内的变化趋势相反。
在一些实施例中,所述异常根因结果包括异常维度组合以及所述异常维度组合中每一异常维度的异常维度取值,所述基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果,包括:基于所述时间范围内所述异常因子指标在所述维度列表中每一维度下的变化均匀程度,从所述维度列表中确定至少一个异常维度;针对每一异常维度,基于所述时间范围内所述异常因子指标在所述异常维度的各个维度取值下的变化信息,确定所述异常维度的每一维度取值对应的异常权重;基于每一异常维度中每一维度取值对应的异常权重,确定每一异常维度的异常维度取值,并将每一所述异常维度添加至所述异常维度组合中。
在一些实施例中,所述基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果,还包括:确定所述异常维度组合对应的累积异常权重;在所述累积异常权重大于权重阈值的情况下,将每一所述异常维度从所述维度列表中排除,得到更新后的所述维度列表;基于所述时间范围内所述异常因子指标在更新后的所述维度列表中的每一维度下的变化均匀程度,从所述维度列表中确定至少一个异常维度;针对所述至少一个异常维度中的每一异常维度,基于所述时间范围内所述异常因子指标在所述异常维度的各个维度取值下的变化信息和所述累积异常权重,确定所述异常维度的每一维度取值对应的异常权重;基于每一所述异常维度中每一维度取值对应的异常权重,确定每一所述异常维度的异常维度取值,并将每一所述异常维度添加至所述异常维度组合中。
本申请实施例提供一种异常分析装置,包括:
获取模块,用于获取待分析业务的异常指标;
第一确定模块,用于基于所述待分析业务的指标因子拆解规则,确定所述异常指标的多个因子指标;
第二确定模块,用于分别确定所述异常指标和每一所述因子指标在同一时间范围内的变化信息;
第三确定模块,用于基于所述异常指标在所述时间范围内的变化信息,以及每一因子指标在所述时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重;
第四确定模块,用于基于所述至少一个候选异常因子指标的异常权重,从所述至少一个候选异常因子指标中,确定至少一个异常因子指标;
下钻分析模块,用于针对每一异常因子指标,基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果。
在一些实施例中,所述变化信息包括变化趋势和变化量,所述第三确定模块还用于:基于所述异常指标在所述时间范围内的变化趋势,以及每一因子指标在所述时间范围内的变化趋势,从所述多个因子指标中确定与所述异常指标变化趋势相同的至少一个候选异常因子指标;基于每一候选异常因子指标在所述时间范围内的变化量,确定每一候选异常因子指标的异常权重。
在一些实施例中,所述第三确定模块还用于:对每一候选异常因子指标在所述时间范围内的变化量进行求和,得到异常变化总量;针对每一候选异常因子指标,将所述候选异常因子指标在所述时间范围内的变化量在所述异常变化总量中的占比,确定为所述候选异常因子指标的异常权重。
在一些实施例中,所述装置还包括:第五确定模块,用于在根据所述指标因子拆解规则确定所述异常指标不可拆解的情况下,根据所述待分析业务的指标关联规则,确定与所述异常指标关联的至少一个关联指标;第六确定模块,用于根据每一所述关联指标与所述异常指标的关联类型以及每一所述关联指标在所述时间范围内的变化趋势,从所述至少一个关联指标中确定所述异常指标的异常根因结果。
在一些实施例中,所述异常根因结果包括至少一个异常关联指标,所述第六确定模块还用于:针对所述至少一个关联指标中的每一关联指标,在所述关联指标与所述异常指标的关联类型以及所述关联指标在所述时间范围内的变化趋势满足特定条件的情况下,将所述关联指标确定为异常关联指标;其中,所述特定条件包括以下之一:所述关联指标与所述异常指标的关联类型为正向关联,且所述关联指标与所述异常指标在所述时间范围内的变化趋势相同;所述关联指标与所述异常指标的关联类型为反向关联,且所述关联指标与所述异常指标在所述时间范围内的变化趋势相反。
在一些实施例中,所述异常根因结果包括异常维度组合以及所述异常维度组合中每一异常维度的异常维度取值,所述下钻分析模块还用于:基于所述时间范围内所述异常因子指标在所述维度列表中每一维度下的变化均匀程度,从所述维度列表中确定至少一个异常维度;针对每一异常维度,基于所述时间范围内所述异常因子指标在所述异常维度的各个维度取值下的变化信息,确定所述异常维度的每一维度取值对应的异常权重;基于每一异常维度中每一维度取值对应的异常权重,确定每一异常维度的异常维度取值,并将每一所述异常维度添加至所述异常维度组合中。
在一些实施例中,所述下钻分析模块还用于:确定所述异常维度组合对应的累积异常权重;在所述累积异常权重大于权重阈值的情况下,将每一所述异常维度从所述维度列表中排除,得到更新后的所述维度列表;基于所述时间范围内所述异常因子指标在更新后的所述维度列表中的每一维度下的变化均匀程度,从所述维度列表中确定至少一个异常维度;针对所述至少一个异常维度中的每一异常维度,基于所述时间范围内所述异常因子指标在所述异常维度的各个维度取值下的变化信息和所述累积异常权重,确定所述异常维度的每一维度取值对应的异常权重;基于每一所述异常维度中每一维度取值对应的异常权重,确定每一所述异常维度的异常维度取值,并将每一所述异常维度添加至所述异常维度组合中。
本申请实施例提供一种异常分析设备,包括:存储器,用于存储可执行指令;处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的方法。
本申请实施例具有以下有益效果:
首先,基于待分析业务的指标因子拆解规则,确定待分析业务的异常指标的多个因子指标,并分别确定异常指标和每一因子指标在同一时间范围内的变化信息;其次,基于异常指标在该时间范围内的变化信息,以及每一因子指标在该时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重;然后,基于至少一个候选异常因子指标的异常权重,从至少一个候选异常因子指标中确定至少一个异常因子指标;最后,对每一异常因子指标进行分维度下钻分析,得到异常指标的异常根因结果。这样,在进行根因分析时联合考虑了异常指标的多个因子指标的变化信息及每一候选异常因子指标的异常权重,并进一步对异常因子指标进行多维下钻分析,能够提高业务异常指标的根因定位的准确性。此外,由于能够自动进行多维度下钻分析,无需人工下钻排查,并且基于每一候选异常因子指标的异常权重确定至少一个异常因子指标,仅对异常因子指标进行多维下钻分析,能够缩小下钻分析的范围,从而能够极大地缩短异常根因定位的时间。
附图说明
图1A是相关技术中多维根因分析方法的实现流程示意图;
图1B是本申请实施例提供的异常分析***的一个可选的架构示意图;
图2是本申请实施例提供的异常分析设备的一个可选的结构示意图;
图3是本申请实施例提供的异常分析方法的一个可选的流程示意图;
图4是本申请实施例提供的异常分析方法的一个可选的流程示意图;
图5是本申请实施例提供的异常分析方法的一个可选的流程示意图;
图6A是本申请实施例提供的异常分析方法的一个可选的流程示意图;
图6B是本申请实施例提供的异常分析方法的一个可选的流程示意图;
图7A是本申请实施例提供的一种报表***的指标分析页面的示意图;
图7B是基于本申请实施例提供的异常分析方法实现的分析模块在报表***中的一种应用场景示意图;
图7C是本申请实施例提供的一种对广告收入指标进行拆解的拆解规则示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明,在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)归因:找到异动发生的原因;
2)异动贡献度:细分场景下的异动对整体异动的贡献比例,如收入下跌100w,其中微信广告流量下跌50w,那么贡献度为50%。
为了更好地理解本申请实施例提供的异常分析方法,下面先对相关技术中的异常根因分析方案进行说明。
相关技术中,可以采用微软的Adtributor***对异常业务指标进行多维根因分析。参见图1A,图1A为相关技术中多维根因分析方法的实现流程示意图,该方法包括如下步骤S11至步骤S14:
步骤S11,数据收集:收集指标的多维时间序列数据,包含时间戳、指标、维度、元素等记录。这里,对于缺失值、无效值等可以进行初步预处理,提升数据质量。
步骤S12,异常检测:采用自回归滑动平均(Auto Regressive Moving Average,ARMA)时间序列模型对指标进行实时预测,并将指标的预测值和真实值对比,判断指标是否发生异常。这里,预测值和真实值将用于Adtributor***的根因分析。
步骤S13,根因分析:采用Adtributor***对异常指标的所有维度和元素计算概率P值、期望E值和标准差S值,并进行阈值比对分析,筛选和定位出异常根因。这里,可以利用全要素生产率(Total factor productivity,TEP)、产能利用率(Total EffectiveEfficiency of Production,TEEP)阈值进行比对分析。
步骤S14,结果输出:输出多维根因分析结果,结果可视化反馈给运维工程师。
上述相关技术中的异常根因分析方案中,在判断业务指标在每一维度上是否异常时,只考虑了单维度上对业务的影响,而未考虑业务在多维度上的关联关系。但是,在实际的业务场景中,一个复杂的综合指标不会只由各个单独的维度独立影响。因此,上述相关技术中的异常根因分析方案中,异常根因定位的准确度并不高。
本申请实施例提供一种异常分析方法、装置、设备和计算机可读存储介质,能够提高业务异常指标的根因定位的准确性,并能极大地缩短异常根因定位的时间。下面说明本申请实施例提供的异常分析设备的示例性应用,本申请实施例提供的异常分析设备可以实施为笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。下面,将说明设备实施为服务器时的示例性应用。
参见图1B,图1B是本申请实施例提供的异常分析***100的一个可选的架构示意图,可以对业务的异常指标进行根因分析,终端(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。
终端用于:在图形界面(示例性示出了图形界面410-1和图形界面410-2)显示用户进行业务异常指标分析的交互界面,接收用户的输入的待分析业务的异常指标,向服务器200发送异常分析请求,并显示从服务器200获取的异常根因结果。
服务器200用于:获取待分析业务的异常指标;基于所述待分析业务的指标因子拆解规则,确定所述异常指标的多个因子指标;分别确定所述异常指标和每一所述因子指标在同一时间范围内的变化信息;基于所述异常指标在所述时间范围内的变化信息,以及每一因子指标在所述时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重;基于所述至少一个候选异常因子指标的异常权重,从所述至少一个候选异常因子指标中,确定至少一个异常因子指标;针对每一异常因子指标,基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果。
在一些实施例中,服务器200可以是独立的物理服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本发明实施例中不做限制。
在一些实施例中,服务器200也可以是区块链***中的节点,其中,区块链***可以是由多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)和客户端形成的分布式节点,节点之间形成组成的点对点(P2P,Peer To Peer)网络,P2P协议是一个运行在传输控制协议(TCP,Transmission Control Protocol)之上的应用层协议。在区块链***中,任何机器如服务器、终端都可以加入而成为节点。
参见图2,图2是本申请实施例提供的异常分析设备200的结构示意图,图2所示的异常分析设备200包括:至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。异常分析设备200中的各个组件通过总线***240耦合在一起。可理解,总线***240用于实现这些组件之间的连接通信。总线***240除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线***240。
处理器210可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中,存储器250能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作***251,包括用于处理各种基本***服务和执行硬件相关任务的***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块252,用于经由一个或多个(有线或无线)网络接口220到达其他计算设备,示例性的网络接口220包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块253,用于经由一个或多个与用户接口230相关联的输出装置231(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作***设备和显示内容和信息的用户接口);
输入处理模块254,用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的异常分析装置可以采用软件方式实现,图2示出了存储在存储器250中的异常分析装置255,其可以是程序和插件等形式的软件,包括以下软件模块:获取模块2551、第一确定模块2552、第二确定模块2553、第三确定模块2554、第四确定模块2555和下钻分析模块2556,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的异常分析装置可以采用硬件方式实现,作为示例,本申请实施例提供的异常分析装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的那件存储方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
下面将结合本申请实施例提供的终端或服务器的示例性应用和实施,说明本申请实施例提供的异常分析方法。
参见图3,图3是本申请实施例提供的异常分析方法的一个可选的流程示意图,下面将结合图3示出的步骤进行说明,下述步骤的执行主体可以是前文的终端或服务器。
在步骤S101中,获取待分析业务的异常指标;
这里,异常指标为待分析业务中发生异常波动的指标,可以是通过监控***自动识别得到的,也可以是人工发现后由用户输入的。异常指标可以为数值型的指标,例如广告收入、曝光量、访问量等,也可以为比例型的指标,例如转化率、成功率、失败率等。
在步骤S102中,基于所述待分析业务的指标因子拆解规则,确定所述异常指标的多个因子指标;
这里,指标因子拆解规则为针对待分析业务中的指标进行因子拆解的规则,可以是预先基于待分析业务中各指标之间的关联关系确定的。在实施时,待分析业务的指标因子拆解规则可以是基于专家经验由人工梳理得到的,也可以根据指标之间的数值关系通过数据挖掘自动得到的,这里并不限定。
异常指标的因子指标为组成该异常指标的因子或元素对应的指标,可以包括但不限于乘法因子指标、加法因子指标等。通过查询待分析业务的指标因子拆解规则,可以确定异常指标的多个因子指标,这里的多个因子指标可以是异常指标的部分因子指标也可以是异常因子指标的全部因子指标,本申请实施例对此并不限定。例如,对于广告业务,若异常指标为广告收入,由于广告收入可以通过广告请求量、曝光率、填充率、千次展示收入的乘积确定,则可以将广告收入指标拆解为广告请求量指标、曝光率指标、填充率指标、千次展示收入指标,广告请求量指标、曝光率指标、填充率指标、千次展示收入指标即为广告收入指标的四个因子指标。
在一些实施例中,因子指标还可以进行进一步拆解,得到该因子指标的因子指标。
在步骤S103中,分别确定所述异常指标和每一所述因子指标在同一时间范围内的变化信息;
这里,时间范围可以是用户输入的,也可以是默认的。指标的变化信息可以包括但不限于指标的变化量、变化趋势、变化持续时长等中的一种或多种。指标在时间范围内的变化信息可以是指标在该时间范围内取值的环比变化信息,也可以是指标在该时间范围内的取值相对于特定的对比时间范围内的取值的变化信息,这里并不限定。在实施时,可以分别获取异常指标和每一因子指标在同一时间范围内的取值,根据异常指标和每一因子指标在该时间范围内的取值确定异常指标和每一因子指标在该时间范围内的变化信息。
在步骤S104中,基于所述异常指标在所述时间范围内的变化信息,以及每一因子指标在所述时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重。
这里,候选异常因子指标为多个因子指标中可能异常的因子指标。在实施时,本领域技术人员可以根据实际情况采用合适的方式确定多个因子指标中的候选异常因子指标,这里并不限定。例如,可以基于异常指标和每一因子指标在时间范围内的变化信息,确定异常指标和每一因子指标在该时间范围内的变化趋势,将变化趋势与异常指标的变化趋势相同的因子指标确定为候选异常因子指标,也可以基于异常指标和每一因子指标在时间范围内的变化信息确定异常指标和每一因子指标在该时间范围内的变化量,将变化量超过特定阈值的因子指标确定为候选异常因子指标,还可以通过计算在该时间范围内每一因子指标的取值曲线与异常指标的取值曲线之间的相似度,将相似度大于特定的相似度阈值的因子指标确定为候选异常因子指标。
候选异常因子指标的异常权重为表征候选异常因子指标的变化相对异常指标的整体变化的贡献度的权值,可以是候选异常因子指标的变化量在异常指标的整体变化量中的权重,也可以是候选异常因子指标的变化率在异常指标的整体变化率中的权重,这里并不限定。
在步骤S105中,基于所述至少一个候选异常因子指标的异常权重,从所述至少一个候选异常因子指标中,确定至少一个异常因子指标。
这里,根据每一候选异常因子指标的异常权重,可以确定各候选异常因子指标的变化相对异常指标的整体变化的贡献度,从而可以确定各候选异常因子指标中的异常因子指标。在实施时,可以将至少一个候选异常因子指标中异常权重超过特定权重阈值的候选异常因子指标确定为异常因子指标,也可以将各候选异常因子指标中异常权重最大的特定数量的候选异常因子指标确定为异常因子指标。
在步骤S106中,针对每一异常因子指标,基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果。
这里,待分析的维度列表中包括需要进行多维度下钻分析的至少一个维度,待分析的维度列表中的维度可以是用户输入的,也可以是预先设定的,还可以是根据待分析业务或异常因子指标自动确定的,这里并不限定。例如,对于广告业务,待分析的维度列表中可以包括但不限于流量维度、平台维度、行业维度、客户维度等。在一些实施例中,对于每一维度,在该维度下可以包括至少一个维度取值,例如,对于流量维度,可以包括微信流量、QQ流量等维度取值,对于平台维度,可以包括安卓平台、苹果操作***平台、Windows平台等维度取值,对于行业维度,可以包括游戏行业、教育行业、电商行业等维度取值。
异常指标的异常根因结果可以包括但不限于导致异常指标出现异常波动的异常维度、异常维度取值、异常事件等中的一种或多种。在实施时,待分析的维度列表中的各维度在下钻分析时可以处于同一层,也可以处于不同层,通过遍历待分析的维度列表,对异常因子指标进行多维度逐层下钻分析,在每一层下钻分析时确定当前层中的异常维度、异常维度取值、异常事件等,最终在下钻分析完成时,可以将各层中确定的异常维度、异常维度取值、异常事件等作为异常指标的异常根因结果。
本申请实施例中,首先,基于待分析业务的指标因子拆解规则,确定待分析业务的异常指标的多个因子指标,并分别确定异常指标和每一因子指标在同一时间范围内的变化信息;其次,基于异常指标在该时间范围内的变化信息,以及每一因子指标在该时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重;然后,基于至少一个候选异常因子指标的异常权重,从至少一个候选异常因子指标中确定至少一个异常因子指标;最后,对每一异常因子指标进行分维度下钻分析,得到异常指标的异常根因结果。这样,在进行根因分析时联合考虑了异常指标的多个因子指标的变化信息及每一候选异常因子指标的异常权重,并进一步对异常因子指标进行多维下钻分析,能够提高业务异常指标的根因定位的准确性。此外,由于能够自动进行多维度下钻分析,无需人工下钻排查,并且基于每一候选异常因子指标的异常权重确定至少一个异常因子指标,仅对异常因子指标进行多维下钻分析,能够缩小下钻分析的范围,从而能够极大地缩短异常根因定位的时间。
在一些实施例中,参见图4,图4是本申请实施例提供的异常分析方法的一个可选的流程示意图,基于图3,所述变化信息包括变化趋势和变化量,步骤S104可以通过如下步骤S401至步骤S402实现。下面将结合各步骤进行说明,下述步骤的执行主体可以是前文的终端或服务器。
在步骤S401中,基于所述异常指标在所述时间范围内的变化趋势,以及每一因子指标在所述时间范围内的变化趋势,从所述多个因子指标中确定与所述异常指标变化趋势相同的至少一个候选异常因子指标。
这里,指标的变化趋势可以包括但不限于上涨、下跌、振动、持平等中的一种,还可以包括指标在时间范围内上涨或下跌的速率、振动的频率等。在实施时,若异常指标在时间范围内出现上涨,则可以将在同一时间范围内同样出现上涨的因子指标确定的候选异常因子指标,若异常指标在时间范围内出现下跌,则可以将在同一时间范围内同样出现下跌的因子指标确定的候选异常因子指标。在一些实施例中,还可以分别对异常指标和每一因子指标在同一时间范围内的取值进行拟合,得到异常指标和每一因子指标的取值曲线,通过对比较每一因子指标的取值曲线与异常指标的取值曲线之间的相似度,确定各因子指标中与异常指标在同一时间范围内的变化趋势是否相同,从而可以将相似度小于特定相似度阈值的因子指标确定为候选异常因子指标。
在步骤S402中,基于每一候选异常因子指标在所述时间范围内的变化量,确定每一候选异常因子指标的异常权重。
这里,候选异常因子指标的异常权重可以是表征候选异常因子指标的变化量相对异常指标的整体变化量的贡献度的权值。在实施时,将候选异常因子指标的变化量与异常指标的整体变化量之比确定为该候选异常因子指标的异常权重,也可以对每一候选异常因子指标的变化量进行求和,得到各候选异常因子指标的变化量之和,将每一候选异常因子指标的变化量与该变化量之和的比值确定为该候选异常因子指标的异常权重。
在一些实施例中,上述步骤S402可以通过如下步骤S421至步骤S422实现:步骤S421,对每一候选异常因子指标在所述时间范围内的变化量进行求和,得到异常变化总量;步骤S422,针对每一候选异常因子指标,将所述候选异常因子指标在所述时间范围内的变化量在所述异常变化总量中的占比,确定为所述候选异常因子指标的异常权重。
本申请实施例中,基于异常指标以及每一因子指标在同一时间范围内的变化趋势,从多个因子指标中确定与异常指标变化趋势相同的至少一个候选异常因子指标,基于每一候选异常因子指标在所述时间范围内的变化量,确定每一候选异常因子指标的异常权重。这样,可以快速且准确地确定候选异常因子指标,以及每一候选异常因子指标的异常权重,从而可以提升异常根因定位的效率。
在一些实施例中,参见图5,图5是本申请实施例提供的异常分析方法的一个可选的流程示意图,基于图3,该方法还可以执行如下步骤S501至步骤S502。下面将结合各步骤进行说明,下述步骤的执行主体可以是前文的终端或服务器。
在步骤S501中,在根据所述指标因子拆解规则确定所述异常指标不可拆解的情况下,根据所述待分析业务的指标关联规则,确定与所述异常指标关联的至少一个关联指标。
这里,可以通过匹配指标因子拆解规则确定异常指标是否可拆解,对于不可拆解的异常指标,可以根据待分析业务的指标关联规则,确定与该异常指标关联的至少一个关联指标。待分析业务的指标关联规则中可以包括待分析业务中各指标之间的关联关系。在实施时,待分析业务的指标关联规则可以是基于专家经验由人工梳理得到的,也可以根据指标之间的数值关系通过数据挖掘自动得到的,这里并不限定。
在步骤S502中,根据每一所述关联指标与所述异常指标的关联类型以及每一所述关联指标在所述时间范围内的变化趋势,从所述至少一个关联指标中确定所述异常指标的异常根因结果。
这里,关联指标与异常指标之间的关联类型可以包括但不限于正向关联、反向关联等,这里并不限定。异常指标的异常根因结果为导致该异常指标发生异常波动的根本原因,可以包括导致该异常指标发生异常波动的至少一个关联指标。在实施时,可以根据实际情况,将至少一个关联指标中与异常指标之间的关联类型以及变化趋势满足设定条件的管关联指标确定为导致该异常指标发生异常波动的关联指标。
在一些实施例中,所述异常根因结果包括至少一个异常关联指标。对应地,上述步骤S502可以通过如下步骤S521实现:
步骤S521,针对所述至少一个关联指标中的每一关联指标,在所述关联指标与所述异常指标的关联类型以及所述关联指标在所述时间范围内的变化趋势满足特定条件的情况下,将所述关联指标确定为异常关联指标;其中,所述特定条件包括以下之一:
所述关联指标与所述异常指标的关联类型为正向关联,且所述关联指标与所述异常指标在所述时间范围内的变化趋势相同;
所述关联指标与所述异常指标的关联类型为反向关联,且所述关联指标与所述异常指标在所述时间范围内的变化趋势相反。
本申请实施例中,对于不可拆解的异常指标,根据待分析业务的指标关联规则,确定与异常指标关联的至少一个关联指标,并根据每一关联指标与异常指标的关联类型以及每一关联指标的变化趋势,从至少一个关联指标中确定异常指标的异常根因结果。这样,对于不可拆解的异常指标也可以分析出异常根因结果,从而可以提高异常分析方法的通用性,并且由于确定异常根因结果时综合考虑了关联指标与异常指标的关联类型以及关联指标的变化趋势,可以进一步提升根因结果的准确性。
在一些实施例中,参见图6A,图6A是本申请实施例提供的异常分析方法的一个可选的流程示意图,基于图3,所述异常根因结果包括异常维度组合以及所述异常维度组合中每一异常维度的异常维度取值,步骤S106中基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果,可以通过如下步骤S601至步骤S603实现。下面将结合各步骤进行说明,下述步骤的执行主体可以是前文的终端或服务器。
在步骤S601中,基于所述时间范围内所述异常因子指标在所述维度列表中每一维度下的变化均匀程度,从所述维度列表中确定至少一个异常维度;
这里,在一定时间范围内异常因子指标在一个维度下的变化均匀程度可以为该异常因子指标在该时间范围内在该维度各维度取值下的值的变化分布的均匀程度,该变化分布越不均匀,表明异常因子指标的值在该维度下越有可能发生异常。在实施时,该变化均匀程度可以通过能够表征该异常因子指标在该时间范围内在该维度各维度取值下的值的变化分布的均匀程度的统计指标来反映,可以包括但不限于变化量的基尼系数、变化量的标准差、方差等中的一种或多种。
在一些实施例中,所述时间范围内所述异常因子指标在所述维度列表中每一维度下的变化均匀程度包括所述时间范围内所述异常因子指标在所述维度列表中每一维度的各个维度取值下的变化量的基尼系数。由于基尼系数越大,表明变化分布越不均匀,因此,在实施时,可以将对应的基尼系数最大的至少一个维度确定为异常维度,还可以将基尼系数大于特定的基尼系数阈值的维度确定为异常维度,这里并不限定。
在步骤S602中,针对每一异常维度,基于所述时间范围内所述异常因子指标在所述异常维度的各个维度取值下的变化信息,确定所述异常维度的每一维度取值对应的异常权重;
这里,异常维度的每一维度取值对应的异常权重为表征异常因子指标在异常维度的每一维度取值下的变化相对异常因子指标的整体变化的贡献度的权值,可以是异常因子指标在异常维度的每一维度取值下的变化量在异常因子指标的整体变化量中的权重,也可以是异常因子指标在异常维度的每一维度取值下的变化率在异常因子指标的整体变化率中的权重,这里并不限定。在实施时,本领域技术人员可以根据实际情况采用合适的方式确定异常维度的每一维度取值对应的异常权重。例如,对于数值型指标,维度1为取值1时对应的异常权重:Contri(维度1=取值1)=维度1为取值1对应的变化量/异常指标的整体变化量;对于比例型指标,以千次展示收入指标为例,千次展示收入=收入/曝光量,维度1为取值1时对应的异常权重:Contri(维度1=取值1)=(当前时刻维度1为取值1对应的收入/当前时刻维度1为取值1对应的曝光量-对比时刻维度1为取值1对应的收入/对比时刻维度1为取值1对应的曝光量)/(当前时刻总千次展示收入-对比时刻总千次展示收入)。
在步骤S603中,基于每一异常维度中每一维度取值对应的异常权重,确定每一异常维度的异常维度取值,并将每一所述异常维度添加至所述异常维度组合中。
这里,根据每一异常维度中每一维度取值对应的异常权重,可以确定异常因子指标在异常维度的每一维度取值下的变化相对异常因子指标的整体变化的贡献度,从而可以确定每一异常维度的异常维度取值。在实施时,可以将异常权重超过特定权重阈值的异常维度取值确定为异常因子指标,也可以将异常维度的各维度取值中异常权重最大的特定数量的维度取值确定为异常维度取值,这里并不限定。
本申请实施例中,基于异常因子指标在维度列表中每一维度下的变化均匀程度,确定至少一个异常维度,针对每一异常维度,基于异常因子指标在该异常维度的各个维度取值下的变化信息,确定该异常维度的每一维度取值对应的异常权重,并基于每一维度取值对应的异常权重,确定该异常维度的异常维度取值。这样,可以简单准确地判断异常因子指标在各维度下是否存在异常,并且在定位异常维度时综合考虑了异常因子指标在维度列表中每一维度下的变化情况,从而可以有效提升异常维度定位的准确性,进而可以提升异常维度取值定位的准确性。
在一些实施例中,参见图6B,图6B是本申请实施例提供的异常分析方法的一个可选的流程示意图,基于图6A,在步骤S106中,在步骤S603之后还可以执行如下步骤S611至步骤S615实现。下面将结合各步骤进行说明,下述步骤的执行主体可以是前文的终端或服务器。
在步骤S611中,确定所述异常维度组合对应的累积异常权重;
这里,异常维度组合为多维度下钻分析中已分析的各维度中选中的异常维度的每一异常维度取值的组合。异常维度组合的累积异常权重可以表征异常因子指标在满足异常维度组合中每一异常维度的异常维度取值下的值的变化相对异常因子指标整体变化的权值。在实施时,可以将异常因子指标在满足异常维度组合中每一异常维度的异常维度取值下的值的变化量与异常因子指标整体变化量之间的比值确定为异常维度组合的累积异常权重,也可以将异常因子指标在满足异常维度组合中每一异常维度的异常维度取值下的值的变化率与异常因子指标整体变化率之间的比值确定为异常维度组合的累积异常权重,这里并不限定。例如,异常维度组合中包括异常维度1和异常维度2,异常维度1下有异常维度取值1,异常维度2下有异常维度取值2,则该异常维度组合对应的累积异常权重可以是该异常因子指标在异常维度1取异常维度取值1且异常维度2取异常维度取值2时对应的值的变化量在该异常因子指标的整体变化量中的占比。
在步骤S612中,在所述累积异常权重大于权重阈值的情况下,将每一所述异常维度从所述维度列表中排除,得到更新后的所述维度列表;
这里,权重阈值可以是用户设定的,也可以是默认的,这里并不限定。
在步骤S613中,基于所述时间范围内所述异常因子指标在更新后的所述维度列表中的每一维度下的变化均匀程度,从所述维度列表中确定至少一个异常维度;
这里,步骤S613对应于前述步骤S601,在实施时,可以参照前述步骤S601的具体实施方式。
在步骤S614中,针对所述至少一个异常维度中的每一异常维度,基于所述时间范围内所述异常因子指标在所述异常维度的各个维度取值下的变化信息和所述累积异常权重,确定所述异常维度的每一维度取值对应的异常权重;
这里,在多维度下钻分析的过程中,在对每一异常维度进行分析时,可以联合考虑当前异常维度组合对应的累积异常权重,确定当前异常维度的每一维度取值对应的异常权重。在实施时,异常维度的每一维度取值对应的异常权重可以是通过异常因子指标在该异常维度的每一维度取值下的变化相对异常因子指标的整体变化的贡献度与累积异常权重的乘积确定的。例如,异常维度的每一维度取值对应的异常权重可以是异常因子指标在异常维度的每一维度取值下的变化量在异常因子指标的整体变化量中的贡献度与累积异常权重的乘积,也可以是异常因子指标在异常维度的每一维度取值下的变化率在异常因子指标的整体变化率中的贡献度与累积异常权重的乘积。
在步骤S615中,基于每一所述异常维度中每一维度取值对应的异常权重,确定每一所述异常维度的异常维度取值,并将每一所述异常维度添加至所述异常维度组合中。
这里,步骤S615对应于前述步骤S603,在实施时,可以参照前述步骤S603的具体实施方式。
本申请实施例中,通过确定异常维度组合对应的累积异常权重,在累积异常权重大于权重阈值的情况下,不断对异常因子指标进行多维度下钻分析,并且针对每一异常维度,基于异常因子指标在该异常维度的各个维度取值下的变化信息和累积异常权重,确定该异常维度的每一维度取值对应的异常权重,基于每一异常维度中每一维度取值对应的异常权重,确定每一异常维度的异常维度取值。这样,在多维度下钻分析的过程中,在对每一层维度进行分析时,联合考虑了当前已选中的各异常维度以及每一异常维度的异常维度取值下的变化量对异常因子指标变化的影响,逐步确定组成异常根因结果的各异常维度以及每一异常维度的异常维度取值,从而可以进一步提升异常维度定位的准确性以及异常维度取值定位的准确性。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。以广告业务的异常指标分析为例,在实际的业务中,一个复杂的综合指标不会只由各个单独维度独立影响,且一个综合指标往往可以进一步拆解到各个因子指标,如对于广告收入而言,可以拆解为请求量、曝光量、千次展示收入(Effective Cost Per Mile,eCPM)等指标,这样通过进一步分析各个因子指标的异动原因,才能为解决广告收入下降问题给出更切实的建议。在此基础上,本申请实施例提供一种异常分析方法,针对广告业务的核心指标出现的异常波动现象,可以通过多维联合归因和指标关联的方式找到波动的原因所在。该方法可以用于实现报表***的分析模块,应用于报表***中广告业务收入指标的异常波动分析场景中,为报表***提供业务指标的异常分析功能,分析得到的异常根因数据可以作为报表的一部分展示在指标分析页面。
参见图7A,图7A为本申请实施例提供的一种报表***的指标分析页面的示意图,指标分析页面70中可以包括指标列表区域71、筛选输入区域72和结果展示区域73,用户可以在指标列表区域71选择需要进行分析的业务指标,在筛选输入区域72可以进行维度筛选操作,对要分析的维度进行筛选,通过点击筛选输入区域72中的查询按钮721,可以查询对选择的业务指标在筛选的维度上进行异常波动的根因分析结果,并在结果展示区域73中对根因分析的结果进行展示。
参见图7B,图7B为基于本申请实施例提供的异常分析方法实现的分析模块在报表***中的应用场景示意图,分析模块710可以通过Nginx服务接入层720接收待分析的异常业务指标,并通过查询代理730从MySQL数据库740或Druid***750中获取格式化后的异常业务指标、关联指标、指标因子拆解规则、因子指标等用于异常分析的数据,异常业务指标、关联指标、指标因子拆解规则、因子指标等用于异常分析的数据可以是统一调度(UnifiedScheduler,US)模块760对原始数据进行预处理后存储至MySQL数据库740或Druid***750中的。分析模块710通过查询代理730查询到用于异常分析的数据后,对待分析的异常业务指标进行异常分析,可以得到并输出异常波动的根因结果。此外,BlackBox模块770也可以基于存储的业务指标分析计划调用分析模块710执行异常业务指标分析,并对执行的明细信息进行记录。
在实施时,用于进行异常业务指标分析的数据可以是根据实际业务场景确定的。例如,对广告收入波动的分析可以基于广告效果数据和竞争数据进行分析,指标数据可以存储在支持联机分析处理(On-Line Analytical Processing,OLAP)的多维分析***Druid中,指标数据的维度可以覆盖但不限于广告属性、广告主属性、行业属性、投放组合策略、商品属性、播放中状态等维度中的一种或多种,指标可以覆盖但不限于展现、点击、消费、转化、行为、预测转化率(predicted Conversion Rate,pCVR)、预测点击通过率(predictedClick-Through-Rate,pCTR)、出价均值、调价因子等基础指标中的一种或多种。在一些实施例中,指标数据还可以采用其他合适的存储***进行存储,例如Clickhouse、腾讯的Hermes***等。
本申请实施例提供一种异常分析方法,对于待分析业务的异常指标,若该异常指标可以进行拆解,则可对该异常指标进行乘法因子拆解分析,若该异常指标不可拆解,则可对该异常指标采用正负相关性关联分析。在实施时,可以根据设定的拆解规则判断异常指标是否可以拆解,并对可拆解的异常指标进行不断拆解。拆解规则可以是根据专家经验预先对业务进行分析后设定的,参见图7C,图7C为本申请实施例提供的一种对广告收入指标进行拆解的拆解规则示意图。如图7C所示,广告业务中的收入可以拆解为四个因子指标:请求量、填充率、曝光率和eCPM,其中,请求量、填充率、曝光率和eCPM分别还可以进行进一步因子拆解,对于拆解后的因子指标,可以进行分维度下钻分析或者其他进一步地定制化分析。例如,请求量可以进一步拆解为发起请求量、请求失败率和流量策略,其中,发起请求量可以进一步进行流量维度下钻分析或事件关联分析,请求失败率可以进一步进行流量维度下钻分析或后台服务等级协议分析。
对于乘法因子拆解分析,可以通过计算各因子指标的异动贡献度分析出异常因子指标,这里的异动贡献度可以是因子指标的异常权重;对于正负相关性关联分析,可以使用简单的正负向定性关联,分析出与异常指标波动相匹配的关联指标,例如,可以通过预设的正负相关关联规则确定与异常指标正向关联或负向关联的关联指标,可以将与异常指标正向关联的关联指标中波动趋势与异常指标相同的指标确定为与异常指标波动相匹配的关联指标,将与异常指标负向关联的关联指标中波动趋势与异常指标相反的指标确定为与异常指标波动相匹配的关联指标。
在对收入指标进行分析时,可以采用如下步骤S711至步骤S714计算各因子指标的异动贡献度:
步骤S711,将收入指标分解为多个因子指标的乘积。例如,可以采用如下公式1-1对收入指标进行乘法因子拆解:
收入=请求量*曝光率*填充率*eCPM(1-1);
步骤S712,分别计算收入指标在时间段i和时间段j的取值之间的比值,以及各个因子指标的乘积在时间段i和时间段j的取值之间的比值。例如,可以采用如下公式1-2对收入指标和各个因子指标在时间段i和时间段j的取值进行比较:
步骤S713,分别收入指标在时间段i和时间段j的取值之间的比值,以及各个因子指标的乘积在时间段i和时间段j的取值之间的比值取对数,将多个乘法因子指标的乘积转化为多个子项之和。例如,可以采用如下公式1-3将多个乘法因子指标的乘积转化为多个子项之和:
步骤S714,若各子项之和大于0,则针对各子项中每一大于0的子项,将该子项在各大于0的子项之和中的占比作为该子项对应的因子指标的异动贡献度,并取异动贡献度最高一个或者多个因子指标进行进一步分析;若各子项之和小于0,则针对各子项中每一小于0的子项,将该子项在各小于0的子项之和中的占比作为该子项对应的因子指标的异动贡献度,并取异动贡献度最高一个或者多个因子指标进行进一步分析。这里,对因子指标的进一步分析可以包括但不限于多维度下钻分析、指标定制化分析等。
在一些实施例中,对因子指标进行多维度下钻分析时,可以遍历待分析的维度列表中的每一维度,在对每一维度进行遍历访问时,可以基于前一访问确定的异常维度组合以及该异常维度组合中每一异常维度的维度取值,对该因子指标在当前访问的维度下进行分析,确定当前的异常维度组合以及当前异常维度组合中每一异常维度的异常维度取值。在实施时,对于当前遍历访问的维度d,可以采用如下步骤S721至步骤S725进行分析:
步骤S721,计算得到因子指标在维度d下各维度取值对应的维度分析向量数组V=[V1,V2,……Vn],其中n为维度d下维度取值的数量。针对维度d下的维度取值i,对应的维度分析向量Vi=(value_now,value_cmp,base,diff,scale),其中,i为大于等于1且小于等于n的整数;value_now为在维度d为维度取值i的情况下因子指标当前时刻的值;value_cmp为在维度d为维度取值i的情况下因子指标在对比时刻的值;base为因子指标为比例值时对应的基数,若因子指标为比例值,则基数为该比例值的分母对应的指标在当前时刻的值,可以根据因子指标的定义确定因子指标的分母对应的指标;diff为value_now与value_cmp的差值;scale为value_now相对value_cmp的变化比率。
步骤S722,分别计算维度分析向量数组V中各维度分析向量的diff和scale的基尼系数gini_diff和gini_scale。
步骤S723,在gini_diff和gini_scale中至少之一大于对应的基尼系数阈值的情况下,将维度d作为异常维度candidate_dim加入异常维度组合。由于基尼系数gini_diff和gini_scale可以反映因子指标的值在维度d下的变化分布的均匀程度,gini_diff和gini_scale越大,表示因子指标的值在维度d下的变化分布越不均匀,进而因子指标的值在维度d下越有可能发生异常。
步骤S724,从candidate_dim的各维度取值中选择diff最大的维度取值作为candidate_dim的异常维度取值,其中,该异常维度取值的变化对整体变化的贡献度为diff/root_diff。root_diff为因子指标的整体变化量。
步骤S725,如果该异常维度取值的变化对整体变化的贡献度低于阈值T,则将当前的异常维度组合以及当前异常维度组合中每一异常维度的异常维度取值作为归因结果输出,否则,继续访问下一维度进行下钻分析。
在一些实施例中,还可以采用如下步骤S731至步骤S739对因子指标进行多维度下钻分析:
步骤S731,确定所有分析维度dims_all;
步骤S732,初始化的维度取值树dim_value_tree=[];
步骤S733,遍历所有分析维度中的每一维度,确定维度取值树中已选中的维度取值数组dims_value_selected;
这里,dims_value_selected中的每一元素中包括当前已选择的维度、该维度的维度取值以及该维度取值的异常权重;
步骤S734,确定该维度取值数组dims_value_selected对应的过滤条件:filters=getFilters(dims_value_selected);
这里,过滤条件为与dims_value_selected中各维度的维度取值匹配的维度的取值条件,例如,dims_value_selected为[[维度1=取值1,维度2=取值2]],则对应的过滤条件就是“维度1=取值1and维度2=取值2”;
步骤S735,基于dims_value_selected,计算剩余候选维度列表:dim_left=dims_all-getDims(dims_value_selected);若dim_left为空,则结束遍历,否则进入步骤S736;其中,getDims()为获取当前已选中的各维度;
步骤S736,获取满足过滤条件中已经选中的维度取值的情况下,剩余候选维度列表中每一维度的各维度取值下因子指标的变化量对应的基尼系数:dim_gini_list=[(dim,getGini(dim,filters,DIFF))for dim in dims_left];
步骤S737,筛选剩余候选维度列表中基尼系数最高的N=2个维度进一步分析:dim_candidate=[x[0]for x in topN_GINI(dim_gini_list,2)if gini>GINI_THRESHOLD];如果dim_candidate为空,则结束遍历;否则,获取当前过滤条件下对应的累积贡献值:acc_contribution=getAccContribution(dims_value_selected);
这里,当前过滤条件下的累积贡献值为因子指标在满足过滤条件中每一维度的维度取值的条件下的取值变化相对因子指标整体变化的贡献度。例如,对于过滤条件“维度1=取值1and维度2=取值2”,累积贡献值=Contri(维度1=取值1)*Contri(维度2=取值2|维度1=取值1),其中Contri(维度1=取值1)为因子指标在维度1的维度取值1下的变化相对因子指标整体变化的贡献度,Contri(维度2=取值2|维度1=取值1)为因子指标在维度1的维度取值1且维度2的维度取值2的条件下的变化相对因子指标在维度2的维度取值2下的变化的贡献度。在进行贡献度计算时,对于数值型指标:
Contri(维度1=取值1)=维度1为取值1对应的diff/总diff;
Contri(维度2=取值2|维度1=取值1)=维度1为取值1且维度2为取值2对应的diff/维度1为取值1对应的diff。
对于比例型指标,以eCPM指标为例,eCPM=收入/曝光量:
Contri(维度1=取值1)=(当前时刻维度1为取值1对应的收入/当前时刻维度1为取值1对应的曝光量-对比时刻维度1为取值1对应的收入/对比时刻维度1为取值1对应的曝光量)/(当前时刻总eCPM-对比时刻总eCPM);
Contri(维度2=取值2|维度1=取值1)=(当前时刻维度1为取值1且维度2为取值2对应的收入/当前时刻维度1为取值1且维度2为取值2对应的曝光量-对比时刻维度1为取值1且维度2为取值2对应的收入/对比时刻维度1为取值1且维度2为取值2对应的曝光量)/(当前时刻维度1为取值1对应的eCPM-对比时刻维度1为取值1对应的总eCPM)。
步骤S738,获取dim_candidate中每一维度的异动贡献度最大的维度取值:dim_value_candidate=[(dim,value,acc_contribution*getMostContribution(dim))fordim in dim_cadidate];
这里,getMostContribution(dim)为获取维度dim中各维度取值的异动贡献度中的最大值。
步骤S739,从dim_value_candidate中,筛选出异动贡献度大于贡献度阈值的维度取值:dim_value_final=[(dim,value,acc_contribution)for dim in dim_value_candidate if acc_contribution>CONTRIBUTION_THRESHOLD];如果dim_value_final为空,则结束遍历;否则,更新dims_value_selected=dims_value_selected+dim_value_final,并将更新后的dims_value_selected更新至dim_value_tree中。
这里,在遍历结束后,dims_value_selected中选中的维度及维度取值即可作为因子指标的异常根因结果。
下面结合实际业务场景中的应用说明本申请实施例提供的异常分析方法的有益效果。例如,2020年9月26日的广告oCPX出价模型(一种以转化成本为优化目的出价模型)收入相对于一周前(2020年9月19日)有12%左右的提升。
采用本申请实施例提供的异常分析方法对该指标波动进行根因分析,可以输入如下查询条件:
{“interval”:“2020-09-26/2020-09-26”,“interval_cmp”:“2020-09-19/2020-09-19”,“filters”:[“is_ocpx=1”],“metric”:“cost”};
其中,interval为待分析的时间,interval_cmp为对比时间,filters为待分析指标的筛选条件,metric为待分析指标。
针对上述输入的查询条件,可以得到如下输出结果:
在进行上述广告oCPX出价模型收入指标的异常分析时,该方法的运行耗时59秒,能有效缩短异动定位的时间。由上述输出结果可以看出,通过因子分解确定平均出价指标对收入提升的贡献度最高,达到56.769%,因此,可以将平均出价指标确定为异常因子指标;通过对平均出价指标进行多维度下钻分析,确定“优化目标”维度中的维度取值“104”以及“客户”维度中的维度取值“莉莉丝”对收入提升的贡献度最高,均达到了近50%,因此,可以将“优化目标”维度和“客户”维度确定为异常维度,“优化目标”维度中的维度取值“104”以及“客户”维度中的维度取值“莉莉丝”确定为异常维度取值。
本申请实施例提供的异常分析方法,可以通过多维联合归因和指标关联的方式找到指标异常波动的原因所在,能够有效提高根因定位的准确性,并能有效缩短异动定位的时间,从小时级人工耗时缩减到分钟级耗时。
下面继续说明本申请实施例提供的异常分析装置255的实施为软件模块的示例性结构,在一些实施例中,如图2所示,存储在存储器250的异常分析装置255中的软件模块可以包括:
获取模块2551,用于获取待分析业务的异常指标;
第一确定模块2552,用于基于所述待分析业务的指标因子拆解规则,确定所述异常指标的多个因子指标;
第二确定模块2553,用于分别确定所述异常指标和每一所述因子指标在同一时间范围内的变化信息;
第三确定模块2554,用于基于所述异常指标在所述时间范围内的变化信息,以及每一因子指标在所述时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重;
第四确定模块2555,用于基于所述至少一个候选异常因子指标的异常权重,从所述至少一个候选异常因子指标中,确定至少一个异常因子指标;
下钻分析模块2556,用于针对每一异常因子指标,基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果。
在一些实施例中,所述变化信息包括变化趋势和变化量,所述第三确定模块还用于:基于所述异常指标在所述时间范围内的变化趋势,以及每一因子指标在所述时间范围内的变化趋势,从所述多个因子指标中确定与所述异常指标变化趋势相同的至少一个候选异常因子指标;基于每一候选异常因子指标在所述时间范围内的变化量,确定每一候选异常因子指标的异常权重。
在一些实施例中,所述第三确定模块还用于:对每一候选异常因子指标在所述时间范围内的变化量进行求和,得到异常变化总量;针对每一候选异常因子指标,将所述候选异常因子指标在所述时间范围内的变化量在所述异常变化总量中的占比,确定为所述候选异常因子指标的异常权重。
在一些实施例中,所述装置还包括:第五确定模块,用于在根据所述指标因子拆解规则确定所述异常指标不可拆解的情况下,根据所述待分析业务的指标关联规则,确定与所述异常指标关联的至少一个关联指标;第六确定模块,用于根据每一所述关联指标与所述异常指标的关联类型以及每一所述关联指标在所述时间范围内的变化趋势,从所述至少一个关联指标中确定所述异常指标的异常根因结果。
在一些实施例中,所述异常根因结果包括至少一个异常关联指标,所述第六确定模块还用于:针对所述至少一个关联指标中的每一关联指标,在所述关联指标与所述异常指标的关联类型以及所述关联指标在所述时间范围内的变化趋势满足特定条件的情况下,将所述关联指标确定为异常关联指标;其中,所述特定条件包括以下之一:所述关联指标与所述异常指标的关联类型为正向关联,且所述关联指标与所述异常指标在所述时间范围内的变化趋势相同;所述关联指标与所述异常指标的关联类型为反向关联,且所述关联指标与所述异常指标在所述时间范围内的变化趋势相反。
在一些实施例中,所述异常根因结果包括异常维度组合以及所述异常维度组合中每一异常维度的异常维度取值,所述下钻分析模块还用于:基于所述时间范围内所述异常因子指标在所述维度列表中每一维度下的变化均匀程度,从所述维度列表中确定至少一个异常维度;针对每一异常维度,基于所述时间范围内所述异常因子指标在所述异常维度的各个维度取值下的变化信息,确定所述异常维度的每一维度取值对应的异常权重;基于每一异常维度中每一维度取值对应的异常权重,确定每一异常维度的异常维度取值,并将每一所述异常维度添加至所述异常维度组合中。
在一些实施例中,所述下钻分析模块还用于:确定所述异常维度组合对应的累积异常权重;在所述累积异常权重大于权重阈值的情况下,将每一所述异常维度从所述维度列表中排除,得到更新后的所述维度列表;基于所述时间范围内所述异常因子指标在更新后的所述维度列表中的每一维度下的变化均匀程度,从所述维度列表中确定至少一个异常维度;针对所述至少一个异常维度中的每一异常维度,基于所述时间范围内所述异常因子指标在所述异常维度的各个维度取值下的变化信息和所述累积异常权重,确定所述异常维度的每一维度取值对应的异常权重;基于每一所述异常维度中每一维度取值对应的异常权重,确定每一所述异常维度的异常维度取值,并将每一所述异常维度添加至所述异常维度组合中。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例上述的异常分析方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的异常分析方法,例如,如图3示出的方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EP-ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件***中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述,通过本申请实施例能够提高业务异常指标的根因定位的准确性,并能极大地缩短异常根因定位的时间。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (10)
1.一种异常分析方法,其特征在于,包括:
获取待分析业务的异常指标;
基于所述待分析业务的指标因子拆解规则,确定所述异常指标的多个因子指标;
分别确定所述异常指标和每一所述因子指标在同一时间范围内的变化信息;
基于所述异常指标在所述时间范围内的变化信息,以及每一因子指标在所述时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重;
基于所述至少一个候选异常因子指标的异常权重,从所述至少一个候选异常因子指标中,确定至少一个异常因子指标;
针对每一异常因子指标,基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果。
2.根据权利要求1所述的方法,其特征在于,所述变化信息包括变化趋势和变化量,所述基于所述异常指标在所述时间范围内的变化信息,以及每一因子指标在所述时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重,包括:
基于所述异常指标在所述时间范围内的变化趋势,以及每一因子指标在所述时间范围内的变化趋势,从所述多个因子指标中确定与所述异常指标变化趋势相同的至少一个候选异常因子指标;
基于每一候选异常因子指标在所述时间范围内的变化量,确定每一候选异常因子指标的异常权重。
3.根据权利要求2所述的方法,其特征在于,所述基于每一候选异常因子指标在所述时间范围内的变化量,确定每一候选异常因子指标的异常权重,包括:
对每一候选异常因子指标在所述时间范围内的变化量进行求和,得到异常变化总量;
针对每一候选异常因子指标,将所述候选异常因子指标在所述时间范围内的变化量在所述异常变化总量中的占比,确定为所述候选异常因子指标的异常权重。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在根据所述指标因子拆解规则确定所述异常指标不可拆解的情况下,根据所述待分析业务的指标关联规则,确定与所述异常指标关联的至少一个关联指标;
根据每一所述关联指标与所述异常指标的关联类型以及每一所述关联指标在所述时间范围内的变化趋势,从所述至少一个关联指标中确定所述异常指标的异常根因结果。
5.根据权利要求4所述的方法,其特征在于,所述异常根因结果包括至少一个异常关联指标,所述根据每一所述关联指标与所述异常指标的关联类型以及每一所述关联指标在所述时间范围内的变化趋势,从所述至少一个关联指标中确定所述异常指标的异常根因结果,包括:
针对所述至少一个关联指标中的每一关联指标,在所述关联指标与所述异常指标的关联类型以及所述关联指标在所述时间范围内的变化趋势满足特定条件的情况下,将所述关联指标确定为异常关联指标;其中,所述特定条件包括以下之一:
所述关联指标与所述异常指标的关联类型为正向关联,且所述关联指标与所述异常指标在所述时间范围内的变化趋势相同;
所述关联指标与所述异常指标的关联类型为反向关联,且所述关联指标与所述异常指标在所述时间范围内的变化趋势相反。
6.根据权利要求1所述的方法,其特征在于,所述异常根因结果包括异常维度组合以及所述异常维度组合中每一异常维度的异常维度取值,所述基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果,包括:
基于所述时间范围内所述异常因子指标在所述维度列表中每一维度下的变化均匀程度,从所述维度列表中确定至少一个异常维度;
针对每一异常维度,基于所述时间范围内所述异常因子指标在所述异常维度的各个维度取值下的变化信息,确定所述异常维度的每一维度取值对应的异常权重;
基于每一异常维度中每一维度取值对应的异常权重,确定每一异常维度的异常维度取值,并将每一所述异常维度添加至所述异常维度组合中。
7.根据权利要求6所述的方法,其特征在于,所述基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果,还包括:
确定所述异常维度组合对应的累积异常权重;
在所述累积异常权重大于权重阈值的情况下,将每一所述异常维度从所述维度列表中排除,得到更新后的所述维度列表;
基于所述时间范围内所述异常因子指标在更新后的所述维度列表中的每一维度下的变化均匀程度,从所述维度列表中确定至少一个异常维度;
针对所述至少一个异常维度中的每一异常维度,基于所述时间范围内所述异常因子指标在所述异常维度的各个维度取值下的变化信息和所述累积异常权重,确定所述异常维度的每一维度取值对应的异常权重;
基于每一所述异常维度中每一维度取值对应的异常权重,确定每一所述异常维度的异常维度取值,并将每一所述异常维度添加至所述异常维度组合中。
8.一种异常分析装置,其特征在于,包括:
获取模块,用于获取待分析业务的异常指标;
第一确定模块,用于基于所述待分析业务的指标因子拆解规则,确定所述异常指标的多个因子指标;
第二确定模块,用于分别确定所述异常指标和每一所述因子指标在同一时间范围内的变化信息;
第三确定模块,用于基于所述异常指标在所述时间范围内的变化信息,以及每一因子指标在所述时间范围内的变化信息,确定至少一个候选异常因子指标以及每一候选异常因子指标的异常权重;
第四确定模块,用于基于所述至少一个候选异常因子指标的异常权重,从所述至少一个候选异常因子指标中,确定至少一个异常因子指标;
下钻分析模块,用于针对每一异常因子指标,基于待分析的维度列表,对所述异常因子指标进行多维度下钻分析,得到所述异常指标的异常根因结果。
9.一种异常分析设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110239967.5A CN115018106A (zh) | 2021-03-04 | 2021-03-04 | 异常分析方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110239967.5A CN115018106A (zh) | 2021-03-04 | 2021-03-04 | 异常分析方法、装置、设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115018106A true CN115018106A (zh) | 2022-09-06 |
Family
ID=83064844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110239967.5A Pending CN115018106A (zh) | 2021-03-04 | 2021-03-04 | 异常分析方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115018106A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116227995A (zh) * | 2023-02-06 | 2023-06-06 | 北京三维天地科技股份有限公司 | 一种基于机器学习的指标分析方法及*** |
WO2024093256A1 (zh) * | 2022-10-31 | 2024-05-10 | 成都飞机工业(集团)有限责任公司 | 一种异常根因定位方法、装置、设备及介质 |
-
2021
- 2021-03-04 CN CN202110239967.5A patent/CN115018106A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024093256A1 (zh) * | 2022-10-31 | 2024-05-10 | 成都飞机工业(集团)有限责任公司 | 一种异常根因定位方法、装置、设备及介质 |
CN116227995A (zh) * | 2023-02-06 | 2023-06-06 | 北京三维天地科技股份有限公司 | 一种基于机器学习的指标分析方法及*** |
CN116227995B (zh) * | 2023-02-06 | 2023-09-12 | 北京三维天地科技股份有限公司 | 一种基于机器学习的指标分析方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107810500B (zh) | 数据质量分析 | |
US11995062B2 (en) | System and method for improved data consistency in data systems including dependent algorithms | |
US12002063B2 (en) | Method and system for generating ensemble demand forecasts | |
US11170391B2 (en) | Method and system for validating ensemble demand forecasts | |
US20100318408A1 (en) | Method and system for generating quantitative indicators | |
US10614495B2 (en) | Adaptive and tunable risk processing system and method | |
CA2471294A1 (en) | Sales optimization | |
US10592472B1 (en) | Database system for dynamic and automated access and storage of data items from multiple data sources | |
US20200134641A1 (en) | Method and system for generating disaggregated demand forecasts from ensemble demand forecasts | |
US11062250B1 (en) | System and method for database architecture for electronic data optimization and management | |
CN115018106A (zh) | 异常分析方法、装置、设备及计算机可读存储介质 | |
US20150120370A1 (en) | Advanced planning in a rapidly changing high technology electronics and computer industry through massively parallel processing of data using a distributed computing environment | |
CN110866698A (zh) | 用于评定服务提供方的服务分值的装置 | |
WO2020086872A1 (en) | Method and system for generating ensemble demand forecasts | |
US11348146B2 (en) | Item-specific value optimization tool | |
CN112258220B (zh) | 信息采集及分析方法、***、电子设备和计算机可读介质 | |
US20230418563A1 (en) | Dynamic application builder for multidimensional database environments | |
CN112102099B (zh) | 保单数据处理方法、装置、电子设备及存储介质 | |
US11227288B1 (en) | Systems and methods for integration of disparate data feeds for unified data monitoring | |
US11182833B2 (en) | Estimating annual cost reduction when pricing information technology (IT) service deals | |
CN114385121B (zh) | 一种基于业务分层的软件设计建模方法及*** | |
US20130090987A1 (en) | Methods and system for workflow management of sales opportunities | |
CN112529456A (zh) | 一种供应商评价***、方法、后台设备及存储介质 | |
JP2021515291A (ja) | 安全在庫モデリングのための視覚的対話型アプリケーション | |
US12003427B2 (en) | Integrated environment monitor for distributed resources |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |