CN113450000B - 一种指标数据异常检测方法和装置 - Google Patents

一种指标数据异常检测方法和装置 Download PDF

Info

Publication number
CN113450000B
CN113450000B CN202110746990.3A CN202110746990A CN113450000B CN 113450000 B CN113450000 B CN 113450000B CN 202110746990 A CN202110746990 A CN 202110746990A CN 113450000 B CN113450000 B CN 113450000B
Authority
CN
China
Prior art keywords
data
type
fluctuation
index
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110746990.3A
Other languages
English (en)
Other versions
CN113450000A (zh
Inventor
程鹏
任政
郑凯
吴庭栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110746990.3A priority Critical patent/CN113450000B/zh
Publication of CN113450000A publication Critical patent/CN113450000A/zh
Application granted granted Critical
Publication of CN113450000B publication Critical patent/CN113450000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Technology Law (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Complex Calculations (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种指标数据异常检测方法和装置，属于大数据技术，该方法包括：获取待检测的指标数据；根据待检测的指标数据，确定关键指标；将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据；将波动型数据分为周期型波动型数据和非周期变化波动型数据；将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测；将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测。

Description

一种指标数据异常检测方法和装置
技术领域
本发明涉及计算机数据处理技术领域，属于大数据技术，尤其涉及一种指标数据异常检测方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
在互联网金融时代，各大银行业务量呈爆发性增长，业务模式更新迭代频繁。云计算以其弹性计算、随用随取、快速迭代等新特性完美地契合了新形势下金融业IT***的要求，和分布式等新技术体系一同支撑起了互联网金融业务的快速发展。但是云计算体系下IT环境和故障处理变得更加错综复杂，传统基于固定阈值的应用故障检测越来越难以满足复杂场景的需求。
传统基于固定阈值的故障检测,基于简单规则或者人为评估设定，对于一个复杂的应用来说，往往需要针对不同的指标设定多个不同的阈值，一方面这些阈值靠人为评估有较大误差，另外一方面固定的阈值无法做到根据不同的时间和场景进行自适应的改变，容易导致大量的误报和漏报警，给生产运维带来了较大的挑战。
因此，如何提供一种新的方案，其能够解决上述技术问题是本领域亟待解决的技术难题。
发明内容
本发明实施例提供一种指标数据异常检测方法，可以提高指标数据异常检测的精度，该方法包括：
获取待检测的指标数据；
根据待检测的指标数据，确定关键指标；
将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据；
将波动型数据分为周期型波动型数据和非周期变化波动型数据；
将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测；
将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测。
本发明实施例还提供一种指标数据异常检测装置，包括：
指标数据获取模块，用于获取待检测的指标数据；
关键指标确定模块，用于根据待检测的指标数据，确定关键指标；
关键指标分类模块，用于将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据；
波动型数据分类模块，用于将波动型数据分为周期型波动型数据和非周期变化波动型数据；
非特殊类型关键指标数据异常检测模块，用于将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测；
特殊类型关键指标数据异常检测模块，用于将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种指标数据异常检测方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述一种指标数据异常检测方法的计算机程序。
本发明实施例提供的一种指标数据异常检测方法和装置，包括：首先获取待检测的指标数据；然后根据待检测的指标数据，确定关键指标；接着将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据；继续将波动型数据分为周期型波动型数据和非周期变化波动型数据；下一步将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测；最后将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测。本发明实施例提出了一种可以自适应不同特性数据的指标数据异常检测方法，该方法在将指标数据区分为平稳型、突刺型、波动型三种类型中的一种，如果是波动型的会继续将波动型数据分为周期型波动型数据和非周期变化波动型数据，分别用不同的算法进行异常检测，从而提高指标数据异常检测的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例一种指标数据异常检测方法示意图。
图2为本发明实施例一种指标数据异常检测方法的流程图。
图3为本发明实施例一种指标数据异常检测方法的关键指标分类过程示意图。
图4为本发明实施例一种指标数据异常检测方法的波动型数据分类过程示意图。
图5为本发明实施例一种指标数据异常检测方法的非周期变化波动型数据分类过程示意图。
图6为运行本发明实施的一种指标数据异常检测方法的计算机装置示意图。
图7为本发明实施例一种指标数据异常检测装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
本发明属于大数据技术。图1为本发明实施例一种指标数据异常检测方法示意图，如图1所示，本发明实施例提供一种指标数据异常检测方法，可以提高指标数据异常检测的精度，该方法包括：
步骤101：获取待检测的指标数据；
步骤102：根据待检测的指标数据，确定关键指标；
步骤103：将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据；
步骤104：将波动型数据分为周期型波动型数据和非周期变化波动型数据；
步骤105：将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测；
步骤106：将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测。
本发明实施例提供的一种指标数据异常检测方法，包括：首先获取待检测的指标数据；然后根据待检测的指标数据，确定关键指标；接着将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据；继续将波动型数据分为周期型波动型数据和非周期变化波动型数据；下一步将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测；最后将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测。本发明实施例提出了一种可以自适应不同特性数据的指标数据异常检测方法，该方法在将指标数据区分为平稳型、突刺型、波动型三种类型中的一种，如果是波动型的会继续将波动型数据分为周期型波动型数据和非周期变化波动型数据，分别用不同的算法进行异常检测，从而提高指标数据异常检测的精度。
在本发明实施例中，交易模式，是指用运维数据来刻画交易的基本模式，比如某类交易的日志可以用某些字段进行表征。
图2为本发明实施例一种指标数据异常检测方法的流程图，如图2所示，具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，可以包括：
获取待检测的指标数据；
根据待检测的指标数据，确定关键指标；
将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据；
将波动型数据分为周期型波动型数据和非周期变化波动型数据；
将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测；
将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测。
本发明实施例将指标数据区分为平稳型、突刺型、波动型三种类型中的一种，如果是波动型的会继续将波动型数据分为周期型波动型数据和非周期变化波动型数据，分别用不同的算法进行异常检测，从而提高指标数据异常检测的精度。
具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，在将关键指标按照数据类型进行分类之前，还包括：对关键指标数据进行预处理，去除空值和干扰数据，提高本发明实施对指标数据异常检测的精度。
具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，首先，从互联网金融业务的云计算体系下获取待检测的指标数据。
具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，根据待检测的指标数据，确定关键指标，包括：
根据待检测的指标数据，按照设定时长维度，统计构成金融应用每个节点的成功率、响应时间和交易量作为关键指标。
实施例中，选取关键指标的过程，主要包括：根据待检测的指标数据，按照设定时长维度，统计构成金融应用每个节点的成功率、响应时间和交易量作为关键指标。
从云计算角度来说，金融应用是由多个节点构成的，每个节点都能统计到成功率、响应时间、交易量等关键指标，各个节点的健康度就是由这些关键指标来评判，在本实施例中，涉及的关键指标采用1分钟维度的统计值，即每分钟定时统计一次各个指标的平均值，关键指标的指用多天的分钟级数据做后续的检测，如用一个月的数据做检测，这些数据每分钟都有一条。
图3为本发明实施例一种指标数据异常检测方法的关键指标分类过程示意图，如图3所示，具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据，包括：
步骤301：将关键指标按照数据类型进行分析；
步骤302：若关键指标符合单根检验判定，则划分为平稳型数据；
步骤303：若关键指标采用箱线图算法分析，剔除箱线图上下边缘之外的数据后，使用单根检验判定数据是否平稳，如果数据是平稳的，则判定对应关键指标划分为突刺型数据；
步骤304：将关键指标除平稳型数据和突刺型数据的其他数据，归为波动型数据。
实施例中，对关键指标进行分类的主要过程，包括：首先，将关键指标按照数据类型进行分析；然后，若关键指标符合单根检验判定，则划分为平稳型数据；下一步，若关键指标采用箱线图算法分析，剔除箱线图上下边缘之外的数据后，使用单根检验判定数据是否平稳，如果数据是平稳的，则判定对应关键指标划分为突刺型数据；最后，将关键指标除平稳型数据和突刺型数据的其他数据，归为波动型数据。
根据对生产数据关键指标的分析，关键指标数据基本可以归于平稳型、突刺型、波动型三种类型中的一种。平稳型数据可以直接用统计方法中的单根检验判定；突刺型数据在剔除少部分数据后可以使用单根检验判定是否平稳，可选的是采用用箱线图算法，剔除箱线图上下边缘之外的数据，如果是平稳的数据则说明原关键指标数据是突刺型数据；排除数据是平稳型和突刺型的数据都归为波动型数据。如果关键指标中含有非上述三种类型数据，则不做检测或者检测精度较低，额外输出为特例数据，保存至特例数据表。
图4为本发明实施例一种指标数据异常检测方法的波动型数据分类过程示意图，如图4所示，具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，目前有些技术研究用的是将待检测的指标数据根据数据的波动特性分为平稳型数据、突刺型数据和波动型数据，然后针对不通的波动数据使用不同的算法进行检测。但波动型数据要求是具有周期型的，对于没有周期型的数据则检测精度较低。为了解决对没有周期型的数据检测精度较低的问题，将波动型数据分为周期型波动型数据和非周期变化波动型数据，包括：
步骤401：对波动型数据进行差分处理；
步骤402：若差分后的数据是平稳型的数据，则判定该波动型数据为周期型波动型数据；
步骤403：若差分后的数据不是平稳型的数据，则判定该波动型数据为非周期变化波动型数据。
实施例中，波动型数据分类的主要过程，包括：首先，对波动型数据进行以小时、天、月为周期的差分处理；然后，若差分后的数据是平稳型的数据，则判定该波动型数据为周期型波动型数据；最后，若差分后的数据不是平稳型的数据，则判定该波动型数据为非周期变化波动型数据。
在将波动型数据细分子类型时，先对数据使用差分(小时、天、月为周期)，差分后的数据如果是平稳型的数据，则原数据是周期型波动型数据，如果差分后不是平稳型数据，则说明原数据是无序数据，则判定该波动型数据为非周期变化波动型数据。关于非周期变化波动型数据，则需要判定数据是冲高型、趋势抬升型、频率变化型三种子类型(特殊类型)中的一种。
本发明实施例通过将波动型数据分为周期型波动型数据和非周期变化波动型数据，然后再将非周期变化波动型数据划分为冲高型、趋势抬升型、频率变化型三种子类型，对待检测指标数据做了一个更精细化的区分和算法适配，能够提供更高的检测精度。
具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，由于平稳型数据、突刺型数据和周期型波动型数据属于具备波动特性的数据，因此可以按照非特殊类型关键指标数据进行异常检测，具体的是：将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测。
具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，将平稳型数据作为非特殊类型关键指标数据进行异常检测，包括：
将平稳型数据在数据归一化后按照值域计算偏离度，将满足动态标准差阈值的指标值标记为异常。
具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，将突刺型数据作为非特殊类型关键指标数据进行异常检测，包括：
对突刺型数据使用秩和检验和箱线图算法集成检验，将满足假设检验显著性水平的指标标记为异常点。
具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，将周期型波动型数据作为非特殊类型关键指标数据进行异常检测，包括：
将周期型波动型数据在归一化后按照滑窗计算波动值，并基于时间序列异常检测算法S-H-ESD做异常检测，将检测值为1的指标标记为异常。
实施例中，对非特殊类型关键指标数据进行异常检测时，平稳型数据在数据归一化后按照值域计算偏离度，将满足动态标准差阈值的指标值标记为异常。突刺型数据不做归一化，使用秩和检验和箱线图算法集成检验，将满足假设检验显著性水平的指标标记为异常点。呈周期的波动型数据在归一化后按照滑窗计算波动值，并基于时间序列异常检测算法S-H-ESD做异常检测，将检测值为1的指标标记为异常。
具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测，包括：
将非周期变化波动型数据的待检测点分为冲高型数据、趋势抬升型数据和频率变化型数据；
对冲高型数据、趋势抬升型数据和频率变化型数据进行异常检测。
实施例中，由于非周期变化波动型数据不具备波动特征，因此归类为特殊类型关键指标数据进行异常检测，主要过程包括：首先将非周期变化波动型数据的待检测点分为冲高型数据、趋势抬升型数据和频率变化型数据；然后对冲高型数据、趋势抬升型数据和频率变化型数据进行异常检测。通过将波动型数据分为周期型波动型数据和非周期变化波动型数据，然后再将非周期变化波动型数据划分为冲高型、趋势抬升型、频率变化型三种子类型，对待检测指标数据做了一个更精细化的区分和算法适配，能够提供更高的检测精度。
图5为本发明实施例一种指标数据异常检测方法的非周期变化波动型数据分类过程示意图，如图5所示，具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，将非周期变化波动型数据的待检测点分为冲高型数据、趋势抬升型数据和频率变化型数据，包括：
步骤501：分析非周期变化波动型数据；
步骤502：若非周期变化波动型数据在待检测点某时刻突然出现一个极值，该极值远大于或者远小于前一时刻的值，则判定该非周期变化波动型数据为冲高型数据；
步骤503：若非周期变化波动型数据为波动缓慢上升，且无周期变化，则判定该非周期变化波动型数据为趋势抬升型数据；
步骤504：若非周期变化波动型数据的波形波动较为剧烈，且无周期规律，则判定该非周期变化波动型数据为频率变化型数据。
实施例中，对非周期变化波动型数据进行分类的过程，主要包括：首先分析非周期变化波动型数据；若非周期变化波动型数据在待检测点某时刻突然出现一个极值，该极值远大于或者远小于前一时刻的值，则判定该非周期变化波动型数据为冲高型数据；若非周期变化波动型数据为波动缓慢上升，且无周期变化，则判定该非周期变化波动型数据为趋势抬升型数据；若非周期变化波动型数据的波形波动较为剧烈，且无周期规律，则判定该非周期变化波动型数据为频率变化型数据。
特殊类型指非周期变化的波动型数据，可以将待检测点分为冲高型、趋势抬升型、频率变化型三种类型。
具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，对冲高型数据进行异常检测，包括：
对冲高型数据进行差分法检测，用当前值减去上一个时刻的值，查看是否超过设定的阈值，并且计算昨天同一时刻是否也出现该情况，如果是则不判定为异常，如果不是则判定该时刻为异常点。
具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，对趋势抬升型数据进行异常检测，包括：
对趋势抬升型数据采用箱线图进行异常检测。
具体实施本发明实施例提供的一种指标数据异常检测方法时，在一个实施例中，对频率变化型数据进行异常检测，包括：
对频率变化型数据使用该时刻历史数据的均值基础上上下浮动一个sigma的值作为上下限，如果该时刻的值超过了这个上下限，则检测为异常。
实施例中，冲高型是某时刻突然出现一个极值(在待检测点出现极值)，即当前值远大于或者小于前一时刻的值，该类型点的数据适合用差分法检测，即用当前值减去上一个时刻的值，查看是否超过设定的阈值(例如设定为20％)，并且计算昨天同一时刻是否也出现该情况，如果是则不判定为异常，如果不是则判定该时刻为异常点；趋势抬升型为波动缓慢上升，且无周期变化，则直接使用箱线图进行检测；频率变化型是波形波动较为剧烈，且无周期规律，这种类型数据直接使用该时刻历史数据的均值基础上上下浮动一个sigma的值作为上下限，如果该时刻的值超过了这个上下限，则检测为异常。
另一个实施例中，实际在线检测时，对于特殊类型的关键指标数据，不具体判定属于冲高型、趋势抬升型、频率变化型三种类型的哪种，直接使用三种算法进行检测，如果三种检测方法中有一种检测为异常，则该点为异常点。
本发明针对将待检测的指标数据根据数据的波动特性分为平稳型数据、突刺型数据和波动型数据然后进行检测，波动型数据要求是具有周期型的，对于没有周期型的数据则检测精度较低，提出了一种可以自适应不同特性数据的指标异常检测方法，该方法在将关键指标区分为平稳型、突刺型、波动型三种类型中的一种，如果是波动型的会继续将波动型数据分为周期型波动型数据和非周期变化波动型数据，再将非周期变化波动型数据分为冲高型、趋势抬升型、频率变化型三种子类型，针对这三种子类型分别用不同的算法进行检测，从而提高检测的精度。
下面结合具体场景，对本发明实施例提供的一种指标数据异常检测方法进行简要描述：
本发明针对将待检测的指标数据根据数据的波动特性分为平稳型数据、突刺型数据和波动型数据然后进行检测的做法存在的缺点，即波动型数据要求是具有周期型的，对于没有周期型的数据则检测精度较低，提出了一种可以自适应不同特性数据的指标异常检测方法，该方法在将指标数据区分为平稳型、突刺型、波动型三种类型中的一种，如果是波动型的会继续将波动型数据分为冲高型、趋势抬升型、频率变化型三种类型，针对这三种类型分别用不同的算法进行检测，从而提高检测的精度。
本发明提供的一种自适应不同特性数据的指标异常检测方法，主要包括如下步骤：
关键指标选取。从云计算角度来说，金融应用是由多个节点构成的，每个节点都能统计到成功率、响应时间、交易量等关键指标，各个节点的健康度就是由这些关键指标来评判(本专利涉及的指标采用1分钟维度的统计值，即每分钟定时统计一次各个指标的平均值，关键指标的指用多天的分钟级数据做后续的检测，如用一个月的数据做检测，这些数据每分钟都有一条)。
关键指标数据类型判定。根据对生产数据的分析，关键指标数据基本可以归于平稳型、突刺型、波动型三种类型(非该三种类型数据不做检测或者检测精度较低)中的一种。平稳型数据可以直接用单根检验判定(统计方法)；突刺型数据在剔除少部分数据(用箱线图算法，剔除箱线图上下边缘之外的数据)后可以使用单根检验判定是否平稳，如果是平稳的数据则说明原关键指标数据是突刺型数据；排除数据是平稳型和突刺型的数据都归为波动型数据。
波动型数据类型细分子类型。先对数据使用差分(小时、天、月为周期)，差分后的数据如果是平稳型的数据，则原数据是周期型数据，如果差分后不是平稳型数据，则说明原数据是无序数据，这时候要判定数据是冲高型、趋势抬升型、频率变化型三种子类型(特殊类型)中的一种，具体判定方法看后续的“特殊类型关键指标检测”。
非特殊类型关键指标检测。平稳型数据在数据归一化后按照值域计算偏离度，将满足动态标准差阈值的指标值标记为异常。突刺型数据不做归一化，使用秩和检验和箱线图算法集成检验，将满足假设检验显著性水平的指标标记为异常点。呈周期的波动型数据在归一化后按照滑窗计算波动值，并基于时间序列异常检测算法S-H-ESD做异常检测，将检测值为1的指标标记为异常。
特殊类型关键指标检测。特殊类型指非周期变化的波动型数据，可以将待检测点分为冲高型、趋势抬升型、频率变化型三种类型；冲高型是某时刻突然出现一个极值(在待检测点出现极值)，即当前值远大于或者小于前一时刻的值，该类型点的数据适合用差分法检测，即用当前值减去上一个时刻的值，查看是否超过设定的阈值(20％)，并且计算昨天同一时刻是否也出现该情况，如果是则不判定为异常，如果不是则判定该时刻为异常点；趋势抬升型为波动缓慢上升，且无周期变化，则直接使用箱线图进行检测；频率变化型是波形波动较为剧烈，且无周期规律，这种类型数据直接使用该时刻历史数据的均值基础上上下浮动一个sigma的值作为上下限，如果该时刻的值超过了这个上下限，则检测为异常。实际在线检测时，对于特殊类型的关键指标数据，不具体判定属于三种子类型的哪种，直接使用三种算法进行检测，如果三种检测方法中有一种检测为异常，则该点为异常点。
图6为运行本发明实施的一种指标数据异常检测方法的计算机装置示意图，如图6所示，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种指标数据异常检测方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行实现上述一种指标数据异常检测方法的计算机程序。
本发明实施例中还提供了一种指标数据异常检测装置，如下面的实施例所述。由于该装置解决问题的原理与一种指标数据异常检测方法相似，因此该装置的实施可以参见一种指标数据异常检测方法的实施，重复之处不再赘述。
图7为本发明实施例一种指标数据异常检测装置示意图，如图7所示，本发明实施例还提供一种指标数据异常检测装置，具体实施时可以包括：
指标数据获取模块701，用于获取待检测的指标数据；
关键指标确定模块702，用于根据待检测的指标数据，确定关键指标；
关键指标分类模块703，用于将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据；
波动型数据分类模块704，用于将波动型数据分为周期型波动型数据和非周期变化波动型数据；
非特殊类型关键指标数据异常检测模块705，用于将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测；
特殊类型关键指标数据异常检测模块706，用于将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测。
具体实施本发明实施例提供的一种指标数据异常检测装置时，在一个实施例中，非特殊类型关键指标数据异常检测模块，具体用于：
将平稳型数据在数据归一化后按照值域计算偏离度，将满足动态标准差阈值的指标值标记为异常。
具体实施本发明实施例提供的一种指标数据异常检测装置时，在一个实施例中，非特殊类型关键指标数据异常检测模块，具体用于：
对突刺型数据使用秩和检验和箱线图算法集成检验，将满足假设检验显著性水平的指标标记为异常点。
具体实施本发明实施例提供的一种指标数据异常检测装置时，在一个实施例中，非特殊类型关键指标数据异常检测模块，具体用于：
将周期型波动型数据在归一化后按照滑窗计算波动值，并基于时间序列异常检测算法S-H-ESD做异常检测，将检测值为1的指标标记为异常。
综上，本发明实施例提供的一种指标数据异常检测方法和装置，包括：首先获取待检测的指标数据；然后根据待检测的指标数据，确定关键指标；接着将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据；继续将波动型数据分为周期型波动型数据和非周期变化波动型数据；下一步将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测；最后将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测。本发明实施例提出了一种可以自适应不同特性数据的指标数据异常检测方法，该方法在将指标数据区分为平稳型、突刺型、波动型三种类型中的一种，如果是波动型的会继续将波动型数据分为周期型波动型数据和非周期变化波动型数据，分别用不同的算法进行异常检测，从而提高指标数据异常检测的精度。
本发明针对将待检测的指标数据根据数据的波动特性分为平稳型数据、突刺型数据和波动型数据然后进行检测，波动型数据要求是具有周期型的，对于没有周期型的数据则检测精度较低，提出了一种可以自适应不同特性数据的指标异常检测方法，该方法在将关键指标区分为平稳型、突刺型、波动型三种类型中的一种，如果是波动型的会继续将波动型数据分为周期型波动型数据和非周期变化波动型数据，再将非周期变化波动型数据分为冲高型、趋势抬升型、频率变化型三种子类型，针对这三种子类型分别用不同的算法进行检测，从而提高检测的精度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种指标数据异常检测方法，其特征在于，包括：
获取待检测的指标数据；
根据待检测的指标数据，确定关键指标；
将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据；
将波动型数据分为周期型波动型数据和非周期变化波动型数据；
将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测；
将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测；
其中，将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据，包括：
将关键指标按照数据类型进行分析；若关键指标符合单根检验判定，则划分为平稳型数据；若关键指标采用箱线图算法分析，剔除箱线图上下边缘之外的数据后，使用单根检验判定数据是否平稳，如果数据是平稳的，则判定对应关键指标划分为突刺型数据；将关键指标除平稳型数据和突刺型数据的其他数据，归为波动型数据；
其中，将波动型数据分为周期型波动型数据和非周期变化波动型数据，包括：
对波动型数据进行差分处理；若差分后的数据是平稳型的数据，则判定该波动型数据为周期型波动型数据；若差分后的数据不是平稳型的数据，则判定该波动型数据为非周期变化波动型数据；
其中，将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测，包括：
将非周期变化波动型数据的待检测点分为冲高型数据、趋势抬升型数据和频率变化型数据；对冲高型数据、趋势抬升型数据和频率变化型数据进行异常检测。
2.如权利要求1所述的方法，其特征在于，将平稳型数据作为非特殊类型关键指标数据进行异常检测，包括：
将平稳型数据在数据归一化后按照值域计算偏离度，将满足动态标准差阈值的指标值标记为异常。
3.如权利要求1所述的方法，其特征在于，将突刺型数据作为非特殊类型关键指标数据进行异常检测，包括：
对突刺型数据使用秩和检验和箱线图算法集成检验，将满足假设检验显著性水平的指标标记为异常点。
4.如权利要求1所述的方法，其特征在于，将周期型波动型数据作为非特殊类型关键指标数据进行异常检测，包括：
将周期型波动型数据在归一化后按照滑窗计算波动值，并基于时间序列异常检测算法S-H-ESD做异常检测，将检测值为1的指标标记为异常。
5.一种指标数据异常检测装置，其特征在于，包括：
指标数据获取模块，用于获取待检测的指标数据；
关键指标确定模块，用于根据待检测的指标数据，确定关键指标；
关键指标分类模块，用于将关键指标按照数据类型，分为平稳型数据、突刺型数据和波动型数据；
波动型数据分类模块，用于将波动型数据分为周期型波动型数据和非周期变化波动型数据；
非特殊类型关键指标数据异常检测模块，用于将平稳型数据、突刺型数据和周期型波动型数据，作为非特殊类型关键指标数据进行异常检测；
特殊类型关键指标数据异常检测模块，用于将非周期变化波动型数据作为特殊类型关键指标数据进行异常检测；
其中，关键指标分类模块，具体用于：
将关键指标按照数据类型进行分析；若关键指标符合单根检验判定，则划分为平稳型数据；若关键指标采用箱线图算法分析，剔除箱线图上下边缘之外的数据后，使用单根检验判定数据是否平稳，如果数据是平稳的，则判定对应关键指标划分为突刺型数据；将关键指标除平稳型数据和突刺型数据的其他数据，归为波动型数据；
其中，波动型数据分类模块，具体用于：
对波动型数据进行差分处理；若差分后的数据是平稳型的数据，则判定该波动型数据为周期型波动型数据；若差分后的数据不是平稳型的数据，则判定该波动型数据为非周期变化波动型数据；
其中，特殊类型关键指标数据异常检测模块，具体用于：
将非周期变化波动型数据的待检测点分为冲高型数据、趋势抬升型数据和频率变化型数据；对冲高型数据、趋势抬升型数据和频率变化型数据进行异常检测。
6.如权利要求5所述的装置，其特征在于，非特殊类型关键指标数据异常检测模块，具体用于：
将平稳型数据在数据归一化后按照值域计算偏离度，将满足动态标准差阈值的指标值标记为异常。
7.如权利要求6所述的装置，其特征在于，非特殊类型关键指标数据异常检测模块，具体用于：
对突刺型数据使用秩和检验和箱线图算法集成检验，将满足假设检验显著性水平的指标标记为异常点。
8.如权利要求7所述的装置，其特征在于，非特殊类型关键指标数据异常检测模块，具体用于：
将周期型波动型数据在归一化后按照滑窗计算波动值，并基于时间序列异常检测算法S-H-ESD做异常检测，将检测值为1的指标标记为异常。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法。
CN202110746990.3A 2021-07-01 2021-07-01 一种指标数据异常检测方法和装置 Active CN113450000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110746990.3A CN113450000B (zh) 2021-07-01 2021-07-01 一种指标数据异常检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110746990.3A CN113450000B (zh) 2021-07-01 2021-07-01 一种指标数据异常检测方法和装置

Publications (2)

Publication Number Publication Date
CN113450000A CN113450000A (zh) 2021-09-28
CN113450000B true CN113450000B (zh) 2024-06-14

Family

ID=77814797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110746990.3A Active CN113450000B (zh) 2021-07-01 2021-07-01 一种指标数据异常检测方法和装置

Country Status (1)

Country Link
CN (1) CN113450000B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083507A (zh) * 2019-04-19 2019-08-02 中国科学院信息工程研究所 关键性能指标分类方法及装置
CN112860524A (zh) * 2021-03-31 2021-05-28 中国工商银行股份有限公司 异常行为检测方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8738652B2 (en) * 2008-03-11 2014-05-27 Paragon Science, Inc. Systems and methods for dynamic anomaly detection
CN110851338B (zh) * 2019-09-23 2022-06-24 平安科技（深圳）有限公司 异常检测方法、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083507A (zh) * 2019-04-19 2019-08-02 中国科学院信息工程研究所 关键性能指标分类方法及装置
CN112860524A (zh) * 2021-03-31 2021-05-28 中国工商银行股份有限公司 异常行为检测方法、装置及设备

Also Published As

Publication number Publication date
CN113450000A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
Di Nucci et al. Detecting code smells using machine learning techniques: Are we there yet?
CN109558295B (zh) 一种性能指标异常检测方法及装置
CN111798312B (zh) 一种基于孤立森林算法的金融交易***异常识别方法
CN111506637B (zh) 一种基于kpi指标的多维异常检测方法、装置及存储介质
CN105808923A (zh) 一种数据序列的异常检测方法和装置
CN110083507B (zh) 关键性能指标分类方法及装置
CN113518011A (zh) 异常检测方法和装置、电子设备及计算机可读存储介质
EP2916260A1 (en) Time series analytics
CN110263229B (zh) 一种基于数据湖的数据治理方法及装置
Weiß Continuously monitoring categorical processes
CN112131249A (zh) 一种攻击意图识别方法及装置
CN111768287A (zh) 周期识别方法、装置、服务器及可读存储介质
CN110598959A (zh) 一种资产风险评估方法、装置、电子设备及存储介质
CN113779590B (zh) 一种基于多维度表征的源代码漏洞检测方法
CN114285587B (zh) 域名鉴别方法和装置、域名分类模型的获取方法和装置
CN113450000B (zh) 一种指标数据异常检测方法和装置
CN113670611A (zh) 一种轴承早期退化评估方法、***、介质及电子设备
CN111863151B (zh) 基于高斯过程回归的聚合物分子量分布的预测方法
CN112102087A (zh) 一种交易异常检测方法及装置
CN108229586B (zh) 一种数据中的异常数据点的检测方法及***
CN116756659A (zh) 智能运维管理方法、装置、设备及存储介质
CN109409091B (zh) 检测Web页面的方法、装置、设备以及计算机存储介质
CN116955059A (zh) 根因定位方法、装置、计算设备及计算机存储介质
CN115510998A (zh) 交易异常值检测方法及装置
CN111382052A (zh) 代码质量评价方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant