CN113822366A - 业务指标异常检测方法及装置、电子设备、存储介质 - Google Patents

业务指标异常检测方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN113822366A
CN113822366A CN202111148654.5A CN202111148654A CN113822366A CN 113822366 A CN113822366 A CN 113822366A CN 202111148654 A CN202111148654 A CN 202111148654A CN 113822366 A CN113822366 A CN 113822366A
Authority
CN
China
Prior art keywords
index
time sequence
service
model
sequence data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111148654.5A
Other languages
English (en)
Inventor
王辉
樊双贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ping An Medical Health Technology Service Co Ltd
Original Assignee
Ping An Medical and Healthcare Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Medical and Healthcare Management Co Ltd filed Critical Ping An Medical and Healthcare Management Co Ltd
Priority to CN202111148654.5A priority Critical patent/CN113822366A/zh
Publication of CN113822366A publication Critical patent/CN113822366A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及人工智能与智慧医疗领域，公开了一种业务指标异常检测方法及装置、电子设备、存储介质，该方法包括：获取目标业务指标对应的时序数据；其中，所述时序数据包括所述目标业务指标在当前评估周期内的多个时刻对应的指标值；将所述时序数据输入预先训练至收敛状态的指标异常检测模型进行特征学习，得到所述目标业务指标对应的异常检测结果；其中，所述指标异常检测模型为利用多个业务指标训练聚类模型和多个长短期记忆模型得到。通过本发明，解决了相关技术中业务指标检测方法存在检测效率及检测准确率较低的技术问题。

Description

业务指标异常检测方法及装置、电子设备、存储介质
技术领域
本发明涉及人工智能与智慧医疗领域，具体而言，涉及一种业务指标异常检测方法及装置、电子设备、存储介质。
背景技术
随着公司业务的高速发展，各种业务***之间的交互越来越复杂，加上越来越多的业务***采用微服务架构的模式部署，不仅单一业务***出现的异常业务难以及时感知，跨多个业务***出现的异常业务行为更是难以发现和定位，以致于不能及时对异常业务做出及时反馈。为了解决此问题，目前采用的是业务指标阈值检测方法，然而，该检测方法比较繁琐，不太适用在复杂的微服务业务场景下中，且检测准确率低。
发明内容
本发明实施例提供了一种业务指标异常检测方法及装置、电子设备、存储介质，以至少解决相关技术中业务指标检测方法存在检测效率及检测准确率较低的技术问题。
根据本发明的一个实施例，提供了一种业务指标异常检测方法，该方法包括：获取目标业务指标对应的时序数据；其中，所述时序数据包括所述目标业务指标在当前评估周期内的多个时刻对应的指标值；将所述时序数据输入预先训练至收敛状态的指标异常检测模型进行特征学习，得到所述目标业务指标对应的异常检测结果；其中，所述指标异常检测模型为利用多个业务指标训练聚类模型和多个长短期记忆模型得到。
可选的，在将所述时序数据输入预先训练的指标异常检测模型进行特征学习之前，所述方法还包括：从预设时序数据库中提取所述多个业务指标对应的多个历史时序数据；其中，每个历史时序数据包括对应的业务指标在历史评估周期内的多个历史时刻对应的指标值；将所述多个历史时序数据输入指标异常检测基础模型；利用所述指标异常检测基础模型中的聚类模型对多个历史时序数据进行聚类，得到业务类型不同的多个类别簇；将所述多个类别簇分别输入与所述多个类别簇个数相同的多个长短期记忆模型进行训练，生成所述指标异常检测模型；其中，每个类别簇关联一个长短期记忆模型。
可选的，在从预设时序数据库中提取所述多个业务指标对应的多个历史时序数据之后，所述方法还包括：利用数据清洗规则对所述历史时序数据进行数据清洗；将清洗后的历史时序数据输入所述指标异常检测基础模型。
可选的，所述将所述时序数据输入预先训练的指标异常检测模型进行特征学习，得到所述目标业务指标对应的异常检测结果包括：利用所述聚类模型对所述时序数据进行业务类型分析，确定所述时序数据对应的目标业务类型；确定与所述目标业务类型对应的目标长短期记忆模型；利用所述目标长短期记忆模型对所述时序数据进行指标值检测，得到所述目标业务指标对应的异常检测结果。
可选的，所述利用所述目标长短期记忆模型对所述时序数据进行指标值检测包括：将所述时序数据输入所述目标长短期记忆模型，以提取所述时序数据对应的时间序列；利用训练所述目标长短期记忆模型的历史时序数据预测所述历史时序数据对应的参考时间序列；根据所述时间序列与所述参考时间序列之间的差值判断所述目标业务指标是否异常。
可选的，所述根据所述时间序列与所述参考时间序列之间的差值判断所述目标业务指标是否异常包括：利用K最近邻算法原理计算所述时间序列与所述参考时间序列之间的差值；将所述差值与预设范围进行比较；若所述差值位于所述预设范围内，则确定所述目标业务指标为正常业务指标；若所述差值不在所述预设范围内，则确定所述目标业务指标为异常业务指标。
可选的，在得到所述目标业务指标对应的异常检测结果之后，所述方法还包括：若所述目标业务指标为异常业务指标，则对所述异常业务指标进行标记；输出标记后的异常业务指标以及异常告警信息。
根据本发明的一个实施例，提供了一种业务指标异常检测装置，包括：获取模块，用于获取目标业务指标对应的时序数据；其中，所述时序数据包括所述目标业务指标在当前评估周期内的多个时刻对应的指标值；学习模块，用于将所述时序数据输入预先训练至收敛状态的指标异常检测模型进行特征学习，得到所述目标业务指标对应的异常检测结果；其中，所述指标异常检测模型为利用多个业务指标训练聚类模型和多个长短期记忆模型得到。
可选的，所述装置还包括：提取模块，用于在所述学习模块将所述时序数据输入预先训练的指标异常检测模型进行特征学习之前，从预设时序数据库中提取所述多个业务指标对应的多个历史时序数据；其中，每个历史时序数据包括对应的业务指标在历史评估周期内的多个历史时刻对应的指标值；第一输入模块，用于将所述多个历史时序数据输入指标异常检测基础模型；聚类模块，用于利用所述指标异常检测基础模型中的聚类模型对多个历史时序数据进行聚类，得到业务类型不同的多个类别簇；生成模块，用于将所述多个类别簇分别输入与所述多个类别簇个数相同的多个长短期记忆模型进行训练，生成所述指标异常检测模型；其中，每个类别簇关联一个长短期记忆模型。
可选的，所述装置还包括：清洗模块，用于在所述提取模块从预设时序数据库中提取所述多个业务指标对应的多个历史时序数据之后，利用数据清洗规则对所述历史时序数据进行数据清洗；第二输入模块，用于将清洗后的历史时序数据输入所述指标异常检测基础模型。
可选的，所述学习模块包括：分析单元，用于利用所述聚类模型对所述时序数据进行业务类型分析，确定所述时序数据对应的目标业务类型；确定单元，用于确定与所述目标业务类型对应的目标长短期记忆模型；检测单元，用于利用所述目标长短期记忆模型对所述时序数据进行指标值检测，得到所述目标业务指标对应的异常检测结果。
可选的，所述检测单元包括：提取子单元，用于将所述时序数据输入所述目标长短期记忆模型，以提取所述时序数据对应的时间序列；预测子单元，用于利用训练所述目标长短期记忆模型的历史时序数据预测所述历史时序数据对应的参考时间序列；判断子单元，用于根据所述时间序列与所述参考时间序列之间的差值判断所述目标业务指标是否异常。
可选的，所述判断子单元用于：利用K最近邻算法原理计算所述时间序列与所述参考时间序列之间的差值；将所述差值与预设范围进行比较；若所述差值位于所述预设范围内，则确定所述目标业务指标为正常业务指标；若所述差值不在所述预设范围内，则确定所述目标业务指标为异常业务指标。
可选的，所述装置还包括：标记模块，用于在所述学习模块得到所述目标业务指标对应的异常检测结果之后，当所述目标业务指标为异常业务指标时，对所述异常业务指标进行标记；输出模块，用于输出标记后的异常业务指标以及异常告警信息。
根据本发明的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项装置实施例中的步骤。
本发明提供的业务指标异常检测方法，本发明实施例提供的业务指标异常检测方法，预先利用多个业务指标训练聚类模型和多个长短期记忆模型至收敛状态，得到业务指标异常检测模型，可利用聚类模型对目标业务指标进行业务类型分类，然后利用长短期记忆模型能够准确地识别出异常的业务指标，操作简单，还能够分布式处理多维业务指标，提高业务指标检测效率，从而解决了相关技术中业务指标检测方法存在检测效率及检测准确率较低的技术问题，以便及时了解对业务的异常情况。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例提供的一种业务指标异常检测方法应用于计算机终端的硬件结构框图；
图2是根据本发明实施例提供的一种业务指标异常检测方法的流程图；
图3是根据本发明实施例提供的一种业务指标异常检测装置的结构框图；
图4是根据本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在移动终端、服务器、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例提供的一种业务指标异常检测方法应用于计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的业务指标异常检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器，也可以包括易失性存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
图2是根据本发明实施例提供的一种业务指标异常检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取目标业务指标对应的时序数据；其中，时序数据包括目标业务指标在当前评估周期内的多个时刻对应的指标值；
在本实施例的一个示例中，通过部署在主机终端的分布式代理获取网站上的日志数据并存储至时序数据库中，然后从时序数据库中提取指定的时序化业务指标(即上述业务指标对应的时序数据)。
步骤S204，将时序数据输入预先训练至收敛状态的指标异常检测模型进行特征学习，得到目标业务指标对应的异常检测结果；其中，指标异常检测模型为利用多个业务指标训练聚类模型和多个长短期记忆模型得到；
在本实施例的一个可能实现方式中，在将时序数据输入预先训练的指标异常检测模型进行特征学习之前，从预设时序数据库中提取多个业务指标对应的多个历史时序数据；其中，每个历史时序数据包括对应的业务指标在历史评估周期内的多个历史时刻对应的指标值；
在本示例中，优选多个业务指标在历史评估周期内的业务指标，以便通过长短期记忆模型预测多个业务指标对应的时间序列，作为目标业务指标参考的时序数据。
其中，多个业务指标包括与目标业务指标业务类型相同的业务指标或者与目标业务指标业务类型相关的业务指标。
在一个示例中，通过部署在各主机终端的分布式代理进行收集日志数据，通过特定的数据库采集工具收集数据库数据，之后再根据分析需求对收集的业务数据(日志数据+DB数据)进行清洗，完成时序化业务指标信息的处理。
例如，通过分布式爬虫从各主机终端上的网站上收集日志数据存储至时序数据库；然后通过kafka等消息队列实时从时间序列数据库中采集数据；然后，从时序数据库数据中，提取业务数据对应的时序化业务指标；接着，对时序化业务指标进行数据清洗，从而完成业务时序化业务指标的采集和标准化操作。
在本发明的另一个可选的实施例中，可以基于人工智能技术对上述多个业务指标进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
进一步地，将多个历史时序数据输入指标异常检测基础模型；可利用指标异常检测基础模型中的聚类模型对多个历史时序数据进行聚类，得到业务类型不同的多个类别簇；将多个类别簇分别输入与多个类别簇个数相同的多个长短期记忆模型进行训练，生成指标异常检测模型；其中，每个类别簇关联一个长短期记忆模型。
在本实施例的一个示例中，根据不同业务场景选择不同的业务***部署模式(例如公有云、私有云、混合云，自建IDC等)，抽取特定的业务指标变化轨迹序列(即上述时序数据)，按照n-中心点算法(即聚类模型)进行聚类，将其分类n个不同类型的业务指标序列，可以削弱异常值影响。对于需要进行业务情况异常检测的业务***，将其业务指标序列与n个不同类别的业务指标序列的簇中心点进行相似度量，取其最相似的一类作为待检测业务***业务指标序列的类别。
其中，业务类型包括：交易、订单、金额、用户等。可应用于业务四大黄金指标设计智能曲线异常检测***的场景中，其中，四大黄金指标包括交易量(业务实时产生的交易量)、业务成功率(业务成功量/交易量)、***成功率(***成功量/交易量)，平均延时(交易的平均延时)；数据采集可以做到秒级别的，只要影响到业务层面的故障，都能从这四个黄金指标中体现出来。
具体地，聚类操作具体包括以下步骤：
步骤A，针对含有M个样本点的总集合(即上述特定的业务指标变化轨迹序列)，从总集合中任选n个点作为中心点；
步骤B，按照与中心点最近的原则，将剩余M-n个点分配到n个中心点代表的类中；
步骤C，对于第i个类中(表示n个类中的任一个类)除对应中心点外的其他所有点，按顺序计算当其为新的中心点时，准则函数的值(该类中除原中心点外的所有点到中心点距离之和)，遍历所有可能，选取准则函数(到中心点距离之和)最小时对应的点作为新的中心点；
迭代执行上述步骤B和步骤C，直到所有的中心点均不再发生变化或已达到设定的最大迭代次数；
将最终确定的n个中心点对应的n个类，作为特定的业务指标变化轨迹序列基于时间的分类结果。
进一步地，将分类后的业务指标输入长短期记忆模型进行训练。在本实施例中利用了LSTM模型(全称为Long Short-Term Memory，即长短期记忆网络)，是一种基于循环神经网络RNN的时间递归深圳网络，适用于时间序列的分析拟合。在通过对业务指标进行分类后，结合LSTM神经网络模型检测异常指标，不仅准确率得到了提高，还提升对业务异常情况检测的效率。
优选地，在从预设时序数据库中提取多个业务指标对应的多个历史时序数据之后，还包括：利用数据清洗规则对历史时序数据进行数据清洗；将清洗后的历史时序数据输入指标异常检测基础模型。
在一个示例中，时序化业务指标(即上述历史时序数据)的数据清洗具体包括以下步骤：通过将时序化业务指标打上标签，利用特征值代替时序化业务指标信息；对各个时序化业务指标对应的特征值进行异常值处理(删除修正差异化较大的数据，或者修正明显错误的特征值)，缺失值处理(信息遗漏)，特征值标准化处理(利用正则表达式进行格式化统一)等，得到标准化的业务时序指标。
通过上述实施例，使用特定的无业务代码侵入的代理工具，来收集各种业务指标数据，并实时传输、清洗、存储到时序大数据中，能够高效地处理海量的业务指标。
本发明实施例提供的业务指标异常检测方法，预先利用多个业务指标训练聚类模型和多个长短期记忆模型至收敛状态，得到业务指标异常检测模型，可利用聚类模型对目标业务指标进行业务类型分类，然后利用长短期记忆模型能够准确地识别出异常的业务指标，操作简单，还能够分布式处理多维业务指标，提高业务指标检测效率，从而解决了相关技术中业务指标检测方法存在检测效率及检测准确率较低的技术问题，以便及时了解对业务的异常情况。
在本案的一个可选的实施例中，将时序数据输入预先训练的指标异常检测模型进行特征学习，得到目标业务指标对应的异常检测结果包括：利用聚类模型对时序数据进行业务类型分析，确定时序数据对应的目标业务类型；确定与目标业务类型对应的目标长短期记忆模型；利用目标长短期记忆模型对时序数据进行指标值检测，得到目标业务指标对应的异常检测结果。
在本实施例中，将待检测的业务指标(即上述目标业务指标)对应的时序化数据输入聚类模型，比如n-中心点算法，能够输出与待检测的业务指标相似度最高的一个类别簇，从而明确了该待检测业务指标的业务类型。
进一步地，将上述得到的N类业务指标序列数据(业务指标变化轨迹序列)输入到N个LSTM神经网络进行训练，生成N个针对不同业务类型的LSTM神经网络，用于提取特征数据集合。不管是单一业务指标还是多维业务指标都可进行异常指标检测，类似个人身体内各项指标的体检，对单业务指标、多维度业务指标进行时序维度的检测，识别出特定时间点异常的数据并输出。
可选的，利用目标长短期记忆模型对时序数据进行指标值检测包括：将时序数据输入目标长短期记忆模型，以提取时序数据对应的时间序列；利用训练目标长短期记忆模型的历史时序数据预测历史时序数据对应的参考时间序列；根据时间序列与参考时间序列之间的差值判断目标业务指标是否异常。
在本实施例中，利用长短期记忆模型对历史时序数据进行预测，得到历史评估周期内的多个历史时刻对应的指标值(即上述参考时间序列)，基于预测的参考时间序列检测当前评估周期内的时间序列是否异常。
可选的，根据时间序列与参考时间序列之间的差值判断目标业务指标是否异常包括：利用K最近邻算法原理计算时间序列与参考时间序列之间的差值；将差值与预设范围进行比较；若差值位于预设范围内，则确定目标业务指标为正常业务指标；若差值不在预设范围内，则确定目标业务指标为异常业务指标。
在本实施例中，利用k个最近邻原理估计密度，通过将当前评估周期内的时间序列的局部密度与历史时间序列的局部密度进行比较，可以识别出密度相似的区域，以及密度较远的点集，从而计算出上述差值；然后将差值与预设范围(即偏差可允许的范围)进行比较，若在差值在可允许的范围内，则说明目标业务指标属于正常业务指标，若差值不在可允许的范围内，说明业务指标异常。
可选的，在得到目标业务指标对应的异常检测结果之后，还包括：若目标业务指标为异常业务指标，则对异常业务指标进行标记；输出标记后的异常业务指标以及异常告警信息。
在检查出异常指标后，还可通过打标机制对异常指标进行标记，输出该异常指标以及告警信息，从而实现业务指标异常检测的效果。
在本案的一个示例中，针对单业务指标，根据单业务指标的固定阈值设置，检测时序维度下单指标的值变化是否存在剧烈波动以及异常变化。
在本案的一个示例中，针对多维度业务指标，同时对多个业务指标如(下单量、成功率、用户量)等进行时序检测，判断统一时间点或时间段下多个业务指标同时出现异常波动的情况。
以医疗***中支付业务指标为例，通过统计历史下单量的变化情况，对比当前同一时间点下单量，判断下单量变化的范围，如下单量较历史同期，连续三个时间维度都低于50％，则判断为支付业务指标存在异常。
基于上述实施例提出的检测业务异常行为的方法，通过对业务数据进行分类，并结合LSTM神经网络模型和标注机制，可以显著提升对业务异常情况检测的准确率；本发明实施例提供的异常指标检测的准确率高，利用无监督深度学习，在海量业务数据集上应用时间序列异常检测，达到实时感知业务异常的目的；本发明实施例基于LSTM集合高斯分布的检测，用于业务交易量和时延的检测；基于概率密度的检测，用于业务成功率和***成功率的曲线检测；通过多种算法结合，在无监督的背景下，把业务指标异常检测转换为如何衡量当前的情况是否“少见”的问题。
基于上文各个实施例提供的业务指标异常检测方法，基于同一发明构思，在本实施例中还提供了一种业务指标异常检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例提供的一种业务指标异常检测装置的结构框图，如图3所示，该装置包括：获取模块30，用于获取目标业务指标对应的时序数据；其中，时序数据包括目标业务指标在当前评估周期内的多个时刻对应的指标值；学习模块32，连接至上述获取模块30，用于将时序数据输入预先训练至收敛状态的指标异常检测模型进行特征学习，得到目标业务指标对应的异常检测结果；其中，指标异常检测模型为利用多个业务指标训练聚类模型和多个长短期记忆模型得到。
可选的，上述装置还包括：提取模块，用于在学习模块将时序数据输入预先训练的指标异常检测模型进行特征学习之前，从预设时序数据库中提取多个业务指标对应的多个历史时序数据；其中，每个历史时序数据包括对应的业务指标在历史评估周期内的多个历史时刻对应的指标值；第一输入模块，用于将多个历史时序数据输入指标异常检测基础模型；聚类模块，用于利用指标异常检测基础模型中的聚类模型对多个历史时序数据进行聚类，得到业务类型不同的多个类别簇；生成模块，用于将多个类别簇分别输入与多个类别簇个数相同的多个长短期记忆模型进行训练，生成指标异常检测模型；其中，每个类别簇关联一个长短期记忆模型。
可选的，上述装置还包括：清洗模块，用于在提取模块从预设时序数据库中提取多个业务指标对应的多个历史时序数据之后，利用数据清洗规则对历史时序数据进行数据清洗；第二输入模块，用于将清洗后的历史时序数据输入指标异常检测基础模型。
可选的，学习模块32包括：分析单元，用于利用聚类模型对时序数据进行业务类型分析，确定时序数据对应的目标业务类型；确定单元，用于确定与目标业务类型对应的目标长短期记忆模型；检测单元，用于利用目标长短期记忆模型对时序数据进行指标值检测，得到目标业务指标对应的异常检测结果。
可选的，检测单元包括：提取子单元，用于将时序数据输入目标长短期记忆模型，以提取时序数据对应的时间序列；预测子单元，用于利用训练目标长短期记忆模型的历史时序数据预测历史时序数据对应的参考时间序列；判断子单元，用于根据时间序列与参考时间序列之间的差值判断目标业务指标是否异常。
可选的，判断子单元用于：利用K最近邻算法原理计算时间序列与参考时间序列之间的差值；将差值与预设范围进行比较；若差值位于预设范围内，则确定目标业务指标为正常业务指标；若差值不在预设范围内，则确定目标业务指标为异常业务指标。
可选的，上述装置还包括：标记模块，用于在学习模块得到目标业务指标对应的异常检测结果之后，当目标业务指标为异常业务指标时，对异常业务指标进行标记；输出模块，用于输出标记后的异常业务指标以及异常告警信息。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取目标业务指标对应的时序数据；其中，所述时序数据包括所述目标业务指标在当前评估周期内的多个时刻对应的指标值；
S2，将所述时序数据输入预先训练至收敛状态的指标异常检测模型进行特征学习，得到所述目标业务指标对应的异常检测结果；其中，所述指标异常检测模型为利用多个业务指标训练聚类模型和多个长短期记忆模型得到。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
基于上述图2所示方法和图3所示装置的实施例，为了实现上述目的，本申请实施例还提供了一种电子设备，如图4所示，包括存储器42和处理器41，其中存储器42和处理器41均设置在总线43上存储器42存储有计算机程序，处理器41执行计算机程序时实现图2所示的业务指标异常检测方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个存储器(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
可选地，该设备还可以连接用户接口、网络接口、摄像头、射频(Radio Frequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的一种电子设备的结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种业务指标异常检测方法，其特征在于，包括：
获取目标业务指标对应的时序数据；其中，所述时序数据包括所述目标业务指标在当前评估周期内的多个时刻对应的指标值；
将所述时序数据输入预先训练至收敛状态的指标异常检测模型进行特征学习，得到所述目标业务指标对应的异常检测结果；
其中，所述指标异常检测模型为利用多个业务指标训练聚类模型和多个长短期记忆模型得到。
2.根据权利要求1所述的方法，其特征在于，在将所述时序数据输入预先训练的指标异常检测模型进行特征学习之前，所述方法还包括：
从预设时序数据库中提取所述多个业务指标对应的多个历史时序数据；其中，每个历史时序数据包括对应的业务指标在历史评估周期内的多个历史时刻对应的指标值；
将所述多个历史时序数据输入指标异常检测基础模型；
利用所述指标异常检测基础模型中的聚类模型对多个历史时序数据进行聚类，得到业务类型不同的多个类别簇；
将所述多个类别簇分别输入与所述多个类别簇个数相同的多个长短期记忆模型进行训练，生成所述指标异常检测模型；其中，每个类别簇关联一个长短期记忆模型。
3.根据权利要求2所述的方法，其特征在于，在从预设时序数据库中提取所述多个业务指标对应的多个历史时序数据之后，所述方法还包括：
利用数据清洗规则对所述历史时序数据进行数据清洗；
将清洗后的历史时序数据输入所述指标异常检测基础模型。
4.根据权利要求1所述的方法，其特征在于，所述将所述时序数据输入预先训练的指标异常检测模型进行特征学习，得到所述目标业务指标对应的异常检测结果包括：
利用所述聚类模型对所述时序数据进行业务类型分析，确定所述时序数据对应的目标业务类型；
确定与所述目标业务类型对应的目标长短期记忆模型；
利用所述目标长短期记忆模型对所述时序数据进行指标值检测，得到所述目标业务指标对应的异常检测结果。
5.根据权利要求4所述的方法，其特征在于，所述利用所述目标长短期记忆模型对所述时序数据进行指标值检测包括：
将所述时序数据输入所述目标长短期记忆模型，以提取所述时序数据对应的时间序列；
利用训练所述目标长短期记忆模型的历史时序数据预测所述历史时序数据对应的参考时间序列；
根据所述时间序列与所述参考时间序列之间的差值判断所述目标业务指标是否异常。
6.根据权利要求5所述的方法，其特征在于，所述根据所述时间序列与所述参考时间序列之间的差值判断所述目标业务指标是否异常包括：
利用K最近邻算法原理计算所述时间序列与所述参考时间序列之间的差值；
将所述差值与预设范围进行比较；
若所述差值位于所述预设范围内，则确定所述目标业务指标为正常业务指标；若所述差值不在所述预设范围内，则确定所述目标业务指标为异常业务指标。
7.根据权利要求1-6任一项所述的方法，其特征在于，在得到所述目标业务指标对应的异常检测结果之后，所述方法还包括：
若所述目标业务指标为异常业务指标，则对所述异常业务指标进行标记；
输出标记后的异常业务指标以及异常告警信息。
8.一种业务指标异常检测装置，其特征在于，包括：
获取模块，用于获取目标业务指标对应的时序数据；其中，所述时序数据包括所述目标业务指标在当前评估周期内的多个时刻对应的指标值；
学习模块，用于将所述时序数据输入预先训练至收敛状态的指标异常检测模型进行特征学习，得到所述目标业务指标对应的异常检测结果；
其中，所述指标异常检测模型为利用多个业务指标训练聚类模型和多个长短期记忆模型得到。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111148654.5A 2021-09-29 2021-09-29 业务指标异常检测方法及装置、电子设备、存储介质 Pending CN113822366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111148654.5A CN113822366A (zh) 2021-09-29 2021-09-29 业务指标异常检测方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111148654.5A CN113822366A (zh) 2021-09-29 2021-09-29 业务指标异常检测方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN113822366A true CN113822366A (zh) 2021-12-21

Family

ID=78921711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111148654.5A Pending CN113822366A (zh) 2021-09-29 2021-09-29 业务指标异常检测方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN113822366A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114297036A (zh) * 2022-01-05 2022-04-08 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及可读存储介质
CN114331216A (zh) * 2022-01-21 2022-04-12 杭州贝嘟科技有限公司 服装尺寸评估方法、电子装置和存储介质
CN114726749A (zh) * 2022-03-02 2022-07-08 阿里巴巴（中国）有限公司 数据异常检测模型获取方法、装置、设备、介质及产品
CN115225470A (zh) * 2022-07-28 2022-10-21 天翼云科技有限公司 一种业务异常监测方法、装置、电子设备及存储介质
WO2023169274A1 (zh) * 2022-03-08 2023-09-14 阿里巴巴（中国）有限公司 数据处理方法、装置、存储介质以及处理器

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114297036A (zh) * 2022-01-05 2022-04-08 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及可读存储介质
CN114297036B (zh) * 2022-01-05 2023-06-09 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及可读存储介质
CN114331216A (zh) * 2022-01-21 2022-04-12 杭州贝嘟科技有限公司 服装尺寸评估方法、电子装置和存储介质
CN114726749A (zh) * 2022-03-02 2022-07-08 阿里巴巴（中国）有限公司 数据异常检测模型获取方法、装置、设备、介质及产品
CN114726749B (zh) * 2022-03-02 2023-10-31 阿里巴巴（中国）有限公司 数据异常检测模型获取方法、装置、设备及介质
WO2023169274A1 (zh) * 2022-03-08 2023-09-14 阿里巴巴（中国）有限公司 数据处理方法、装置、存储介质以及处理器
CN115225470A (zh) * 2022-07-28 2022-10-21 天翼云科技有限公司 一种业务异常监测方法、装置、电子设备及存储介质
CN115225470B (zh) * 2022-07-28 2023-10-13 天翼云科技有限公司 一种业务异常监测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113822366A (zh) 业务指标异常检测方法及装置、电子设备、存储介质
CN110458195B (zh) 一种基于多判据融合的异常数据甄别方法
CN111475680A (zh) 检测异常高密子图的方法、装置、设备及存储介质
CN111177714A (zh) 异常行为检测方法、装置、计算机设备和存储介质
CN112560829B (zh) 人群数量确定方法、装置、设备及存储介质
CN105675038A (zh) 一种仪表的故障预测装置
CN111796957B (zh) 基于应用日志的交易异常根因分析方法及***
CN111314173A (zh) 监控信息异常的定位方法、装置、计算机设备及存储介质
CN115688760B (zh) 一种智能化导诊方法、装置、设备及存储介质
CN113313280B (zh) 云平台的巡检方法、电子设备及非易失性存储介质
CN112116168B (zh) 一种用户行为的预测方法、装置及电子设备
CN115238828A (zh) 一种色谱仪故障监测方法及装置
CN117041017A (zh) 数据中心的智能运维管理方法及***
CN113438114A (zh) 互联网***的运行状态监控方法、装置、设备及存储介质
CN116865994A (zh) 一种基于大数据的网络数据安全预测方法
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
CN112580616B (zh) 人群数量确定方法、装置、设备及存储介质
CN112269937B (zh) 一种计算用户相似度的方法、***及装置
CN115858606A (zh) 时序数据的异常检测方法、装置、设备及存储介质
CN111325255B (zh) 特定人群圈定方法、装置、电子设备及存储介质
CN113535458B (zh) 异常误报的处理方法及装置、存储介质、终端
CN115439928A (zh) 一种操作行为识别方法及装置
CN114239750A (zh) 告警数据处理方法、装置、存储介质和设备
CN113569879A (zh) 异常识别模型的训练方法、异常账号识别方法及相关装置
de Lima et al. Evisclass: a new evaluation method for image data stream classifiers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220525

Address after: 518000 China Aviation Center 2901, No. 1018, Huafu Road, Huahang community, Huaqiang North Street, Futian District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Ping An medical and Health Technology Service Co.,Ltd.

Address before: Room 12G, Area H, 666 Beijing East Road, Huangpu District, Shanghai 200001

Applicant before: PING AN MEDICAL AND HEALTHCARE MANAGEMENT Co.,Ltd.

TA01 Transfer of patent application right