CN111382020A - 交易流量监控方法及*** - Google Patents
交易流量监控方法及*** Download PDFInfo
- Publication number
- CN111382020A CN111382020A CN202010149962.9A CN202010149962A CN111382020A CN 111382020 A CN111382020 A CN 111382020A CN 202010149962 A CN202010149962 A CN 202010149962A CN 111382020 A CN111382020 A CN 111382020A
- Authority
- CN
- China
- Prior art keywords
- transaction flow
- data
- value
- flow data
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 102
- 230000002159 abnormal effect Effects 0.000 claims abstract description 62
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 abstract description 16
- 238000004590 computer program Methods 0.000 description 13
- 230000015654 memory Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2263—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种交易流量监控方法及***。该交易流量监控方法包括:将k个历史交易流量数据输入预设的交易流量预测模型中,得到当前交易流量数据的预测值;其中,交易流量预测模型的动态阈值确定方式为:将n个训练数据输入交易流量预测模型中,得到训练数据预测值;根据训练数据预测值和预先获取的训练数据真实值确定动态阈值;根据当前交易流量数据的预测值、当前交易流量数据的真实值和动态阈值判断当前交易流量数据的真实值是否异常;当当前交易流量数据的真实值异常时,将当前交易流量数据的真实值标注为异常值。本发明可以提高监控的报警定位能力,减少漏报、误报、运维成本和人力成本。
Description
技术领域
本发明涉及人工智能技术领域,具体地,涉及一种交易流量监控方法及***。
背景技术
由于金融领域对IT***服务要求极为苛刻,要求7×24持续不间断,接近于“零”宕机的99.999%要求,互联网金融业务的持续创新带来其支持软件的不断变化和迭代以及对IT***服务越来越高的要求,在互联网金融行业中的运维领域也必须引入新技术、新思路、新体系来更好更智能化地为互联网金融保驾护航。
传统的运维技术为基于专家规则的固定阈值进行监控告警,有以下缺点及局限性:一是监控阈值的设置往往带有主观性,经常出现准确率低、误告警率高的问题,使运维人员无法快速精准定位问题,运维效率低;二是随着互联网金融业务的迅猛发展,相应的应用数量众多、***规模巨大,各类技术监控指标、业务监控指标越来越多,监控数据量越来越大,使用传统的设置专家规则方法工作量巨大且难以维护。
发明内容
本发明实施例的主要目的在于提供一种交易流量监控方法及***,以提高监控的报警定位能力,减少运维成本和人力成本。
为了实现上述目的,本发明实施例提供一种交易流量监控方法,包括:
将k个历史交易流量数据输入预设的交易流量预测模型中,得到当前交易流量数据的预测值;其中,交易流量预测模型的动态阈值确定方式为:将n个训练数据输入交易流量预测模型中,得到训练数据预测值;根据训练数据预测值和预先获取的训练数据真实值确定动态阈值;n和k为大于1的整数;
根据当前交易流量数据的预测值、当前交易流量数据的真实值和动态阈值判断当前交易流量数据的真实值是否异常;
当当前交易流量数据的真实值异常时,将当前交易流量数据的真实值标注为异常值。
本发明实施例还提供一种交易流量监控***,包括:
当前数据预测单元,用于将k个历史交易流量数据输入预设的交易流量预测模型中,得到当前交易流量数据的预测值;其中,交易流量预测模型的动态阈值确定方式为:将n个训练数据输入交易流量预测模型中,得到训练数据预测值;根据训练数据预测值和预先获取的训练数据真实值确定动态阈值;n和k为大于1的整数;
第一判断单元,用于根据当前交易流量数据的预测值、当前交易流量数据的真实值和动态阈值判断当前交易流量数据的真实值是否异常;
标注单元,用于当当前交易流量数据的真实值异常时,将当前交易流量数据的真实值标注为异常值。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,处理器执行计算机程序时实现所述的交易流量监控方法的步骤。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现所述的交易流量监控方法的步骤。
本发明实施例的交易流量监控方法及***先根据训练数据预测值确定动态阈值,再根据当前交易流量数据的预测值和动态阈值判断当前交易流量数据的真实值是否异常并将异常的当前交易流量数据的真实值标注为异常值,可以提高监控的报警定位能力,减少漏报、误报、运维成本和人力成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中交易流量监控方法的流程图;
图2是本发明实施例中训练数据真实值与训练数据预测值的曲线对比示意图;
图3是本发明实施例中差值的绝对值与动态阈值的曲线对比示意图;
图4是本发明实施例中当前交易流量数据的真实值与当前交易流量数据的预测值的曲线对比示意图。
图5是本发明实施例中交易流量监控***的结构框图;
图6是本发明实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本领域技术人员知道,本发明的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
鉴于目前传统技术运维效率低、工作量巨大且难以维护,本发明实施例提供一种交易流量监控方法,以提高监控的报警定位能力,减少运维成本和人力成本。以下结合附图对本发明进行详细说明。
图1是本发明一实施例中交易流量监控方法的流程图。如图1所示,交易流量监控方法包括:
S101:将k个历史交易流量数据输入预设的交易流量预测模型中,得到当前交易流量数据的预测值。
例如,历史交易流量数据的时间序列可以表示为:
为第v个时间点的历史交易流量数据,R为实数集合,m为大于1的整数,k为大于1的整数。将第m+1个时间点的历史交易流量数据至第m+k个时间点的历史交易流量数据输入交易流量预测模型中,可以得到当前交易流量数据的预测值x'm+k+1。
其中,交易流量预测模型的动态阈值确定方式为:
1、将n个训练数据输入交易流量预测模型中,得到训练数据预测值。
例如,训练数据的时间序列可以表示为X={xi:xi∈R,i=1,2,...,n};xi为第i个时间点的训练数据;n为大于1的整数。将第1个时间点的训练数据x1至第n个时间点的训练数据xn输入交易流量预测模型中,可以得到第n+1个时间点的训练数据预测值以此类推,将第2个时间点的训练数据x2至第n+1个时间点的训练数据xn+1输入交易流量预测模型中,可以得到第n+2个时间点的训练数据预测值……将第n'-n个时间点的训练数据xn'-n至第n'-1个时间点的训练数据xn'-1输入交易流量预测模型中,可以得到第n'个时间点的训练数据预测值
2、根据训练数据预测值和预先获取的训练数据真实值确定动态阈值。
一实施例中,确定动态阈值包括:确定训练数据真实值与训练数据预测值的差值的标准差;根据标准差和预设参数确定动态阈值。
例如,训练数据真实值的时间序列可以表示为X={xj:xj∈R,j=n+1,n+2,...,n'},n'为大于2的整数,xj为第j个时间点的训练数据真实值。训练数据预测值的时间序列可以表示为为第j个时间点的训练数据预测值。则其差值的标准差为动态阈值为
其中,a为预设参数,默认为9。
动态阈值消除了时间序列趋势性、周期性的特征,使得阈值的设置有更好的适应性。另外动态阈值也能自适应不同数据训练出的交易流量预测模型的预测误差,让模型具有较好的泛化能力和自更新能力。
一实施例中,可以预先通过以下方式获得交易流量预测模型:
1、对获取的n个交易流量原始数据进行预处理,得到n个训练数据;
其中,预处理为对交易流量原始数据进行缺失值填充和归一化处理。例如,可以根据交易流量原始数据的内在属性以及缺失值的真实含义选择零值填充、线性差值填充、最近邻均值填充;采用最大值最小值归一化法对缺失值填充后的数据进行归一化处理,以加快模型训练速度。
2、根据n个训练数据训练预设的初始学习模型,得到交易流量预测模型。
例如,可以将训练数据按照时序维度输入到LSTM网络(长短期记忆人工神经网络,Long Short-Term Memory)进行模型训练。
LSTM网络是一种时间循环神经网络,通过调节门(遗忘门、输入门、输出门)的状态来控制传输状态,记住需要长时间记忆的信息,忘记不重要的信息。网络内部存在循环,使得信息能够保持延续性,因而可以根据先前发生的事件来推测之后发生的事件,适用于处理与时间序列高度相关的问题。本发明涉及的交易流量数据就是典型的与时间序列高度相关的数据。归一化处理有助于LSTM模型的快速收敛。
另外,由于训练数据的规模与预测精度呈正相关关系,因此训练数据不宜过少,一般分钟级频率的数据也需要多周的时间规模。
为了增加LSTM模型的预测精度(准召率),本发明还对LSTM模型进行了如下方面的调优:
(1)调整输入的时序维度的数量,即用n个前序时刻的交易流量数据(n个训练数据)预测当前时刻的交易流量数据(训练数据预测值)。由于输入时序维度与预测拟合度呈一定程度的负相关关系,因此输入时序维度较小,一般在10到30之间。
(2)根据训练数据选择合适的LSTM模型参数,如LSTM网络层数、每个隐含层节点数、训练轮数、激活函数、损失函数、学习率等。
S102:根据当前交易流量数据的预测值、当前交易流量数据的真实值和动态阈值判断当前交易流量数据的真实值是否异常。
一实施例中,S102包括:确定当前交易流量数据的真实值与当前交易流量数据的预测值的差值的绝对值;当差值的绝对值大于动态阈值时,当前交易流量数据的真实值异常。
S103:当当前交易流量数据的真实值异常时,将当前交易流量数据的真实值标注为异常值。
在执行S103之后,还包括:将当前交易流量数据的预测值和经过标注的当前交易流量数据的真实值均上传到前端的监控可视化界面中进行对比展示。
图1所示的交易流量监控方法的执行主体可以为计算机。由图1所示的流程可知,本发明实施例的交易流量监控方法先根据训练数据预测值确定动态阈值,再根据当前交易流量数据的预测值和动态阈值判断当前交易流量数据的真实值是否异常并将异常的当前交易流量数据的真实值标注为异常值,可以提高监控的报警定位能力,减少漏报、误报、运维成本和人力成本。
为了提高监控报警的准确度,需要保证历史交易流量数据也为正常值,因此在执行S104之前还包括:
将m个历史交易流量数据的历史数据输入交易流量预测模型中,得到历史交易流量数据的预测值;
例如,历史交易流量数据的历史数据的时间序列可以表示为:为第u个时间点的历史交易流量数据的历史数据,m为大于1的整数。将第1个时间点的历史数据至第m个时间点的历史数据输入交易流量预测模型中,可以得到第m+1个时间点的历史交易流量数据以此类推,将第2个时间点的历史数据至第m+1个时间点的历史数据输入交易流量预测模型中,可以得到第m+2个时间点的历史交易流量数据……将第m'-m个时间点的历史数据至第m'-1个时间点的历史数据输入交易流量预测模型中,可以得到第m'个时间点的历史交易流量数据
其中,输入交易流量预测模型的数据(训练数据、历史交易流量数据和历史交易流量数据的历史数据等)均为归一化后的数据。
根据历史交易流量数据的预测值、历史交易流量数据和动态阈值判断历史交易流量数据是否异常。
具体实施时,可以确定历史交易流量数据与历史交易流量数据的预测值的差值的绝对值;当差值的绝对值大于动态阈值时,历史交易流量数据异常,将历史交易流量数据的预测值作为历史交易流量数据,可以对异常历史交易流量数据进行纠偏,从而令交易流量预测模型预测得到精确的当前交易流量数据的预测值。
本发明实施例的具体流程如下:
1、对获取的n个交易流量原始数据进行预处理,得到n个训练数据;根据n个训练数据训练预设的初始学习模型,得到交易流量预测模型。
2、将n个训练数据输入交易流量预测模型中,得到训练数据预测值,并确定训练数据真实值与训练数据预测值的差值的标准差。
图2是本发明实施例中训练数据真实值与训练数据预测值的曲线对比示意图,横轴为时间,单位为秒。如图2所示,虚线为训练数据真实值,实线为训练数据预测值。
3、根据标准差和预设参数确定动态阈值。
4、将m个历史交易流量数据的历史数据输入交易流量预测模型中,得到历史交易流量数据的预测值。
其中,历史交易流量数据的历史数据所在的时间段整体小于历史交易流量数据所在的时间段。例如,历史交易流量数据的历史数据在第一时间段,历史交易流量数据在第二时间段,第一时间段中的最大时间点小于第二时间段中的最小时间点。
5、确定历史交易流量数据与历史交易流量数据的预测值的差值的绝对值;当差值的绝对值大于动态阈值时,历史交易流量数据异常,将历史交易流量数据的预测值作为历史交易流量数据。
6、将k个历史交易流量数据输入交易流量预测模型中,得到当前交易流量数据的预测值。
其中,历史交易流量数据所在的时间段整体小于当前交易流量数据所在的时间段。例如,历史交易流量数据在第二时间段,当前交易流量数据在第三时间段,第二时间段中的最大时间点小于第三时间段中的最小时间点。
7、确定当前交易流量数据的真实值与当前交易流量数据的预测值的差值的绝对值;当差值的绝对值大于动态阈值时,将当前交易流量数据的真实值标注为异常值。
图3是本发明实施例中真实值与预测值的差值的绝对值与动态阈值的曲线对比示意图,横轴为时间,单位为秒。如图3所示,当图3中真实值与预测值的差值的绝对值大于动态阈值时,表明该差值的绝对值对应的当前交易流量数据的真实值异常。
8、将当前交易流量数据的预测值和经过标注的当前交易流量数据的真实值均上传到前端的监控可视化界面中进行对比展示。
图4是本发明实施例中当前交易流量数据的真实值与当前交易流量数据的预测值的曲线对比示意图,横轴为时间,单位为秒。如图4所示,虚线为当前交易流量数据的真实值,实线为当前交易流量数据的预测值。方框中的虚线为异常的真实值数据。
综上,本发明实施例的交易流量监控方法先根据训练数据预测值确定动态阈值,再根据当前交易流量数据的预测值和动态阈值判断当前交易流量数据的真实值是否异常并将异常的当前交易流量数据的真实值标注为异常值,可以提高监控的报警定位能力,减少漏报、误报、运维成本和人力成本。
基于同一发明构思,本发明实施例还提供了一种交易流量监控***,由于该***解决问题的原理与交易流量监控方法相似,因此该***的实施可以参见方法的实施,重复之处不再赘述。
图5是本发明实施例中交易流量监控***的结构框图。如图5所示,交易流量监控***包括:
当前数据预测单元,用于将k个历史交易流量数据输入预设的交易流量预测模型中,得到当前交易流量数据的预测值;其中,交易流量预测模型的动态阈值确定方式为:将n个训练数据输入交易流量预测模型中,得到训练数据预测值;根据训练数据预测值和预先获取的训练数据真实值确定动态阈值;n和k为大于1的整数;
第一判断单元,用于根据当前交易流量数据的预测值、当前交易流量数据的真实值和动态阈值判断当前交易流量数据的真实值是否异常;
标注单元,用于当当前交易流量数据的真实值异常时,将当前交易流量数据的真实值标注为异常值。
在其中一种实施例中,还包括:
历史数据预测单元,用于将m个历史交易流量数据的历史数据输入交易流量预测模型中,得到历史交易流量数据的预测值;其中,m为大于1的整数;
第二判断单元,用于根据历史交易流量数据的预测值、历史交易流量数据和动态阈值判断历史交易流量数据是否异常;
替换单元,用于当历史交易流量数据异常时,将历史交易流量数据的预测值作为历史交易流量数据。
在其中一种实施例中,还包括:
预处理单元,用于对获取的n个交易流量原始数据进行预处理,得到n个训练数据;
模型训练单元,用于根据n个训练数据训练预设的初始学习模型,得到交易流量预测模型。
在其中一种实施例中,还包括动态阈值确定单元,用于:
确定训练数据真实值与训练数据预测值的差值的标准差;
根据标准差和预设参数确定动态阈值。
在其中一种实施例中,第一判断单元具体用于:
确定当前交易流量数据的真实值与当前交易流量数据的预测值的差值的绝对值;
当差值的绝对值大于动态阈值时,当前交易流量数据的真实值异常。
综上,本发明实施例的交易流量监控***先根据训练数据预测值确定动态阈值,再根据当前交易流量数据的预测值和动态阈值判断当前交易流量数据的真实值是否异常并将异常的当前交易流量数据的真实值标注为异常值,可以提高监控的报警定位能力,减少漏报、误报、运维成本和人力成本。
本发明实施例还提供能够实现上述实施例中的交易流量监控方法中全部步骤的一种计算机设备的具体实施方式。图6是本发明实施例中计算机设备的结构框图,参见图6,所述计算机设备具体包括如下内容:
处理器(processor)601和存储器(memory)602。
所述处理器601用于调用所述存储器602中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的交易流量监控方法中的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
将k个历史交易流量数据输入预设的交易流量预测模型中,得到当前交易流量数据的预测值;其中,交易流量预测模型的动态阈值确定方式为:将n个训练数据输入交易流量预测模型中,得到训练数据预测值;根据训练数据预测值和预先获取的训练数据真实值确定动态阈值;n和k为大于1的整数;
根据当前交易流量数据的预测值、当前交易流量数据的真实值和动态阈值判断当前交易流量数据的真实值是否异常;
当当前交易流量数据的真实值异常时,将当前交易流量数据的真实值标注为异常值。
综上,本发明实施例的计算机设备先根据训练数据预测值确定动态阈值,再根据当前交易流量数据的预测值和动态阈值判断当前交易流量数据的真实值是否异常并将异常的当前交易流量数据的真实值标注为异常值,可以提高监控的报警定位能力,减少漏报、误报、运维成本和人力成本。
本发明实施例还提供能够实现上述实施例中的交易流量监控方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的交易流量监控方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
将k个历史交易流量数据输入预设的交易流量预测模型中,得到当前交易流量数据的预测值;其中,交易流量预测模型的动态阈值确定方式为:将n个训练数据输入交易流量预测模型中,得到训练数据预测值;根据训练数据预测值和预先获取的训练数据真实值确定动态阈值;n和k为大于1的整数;
根据当前交易流量数据的预测值、当前交易流量数据的真实值和动态阈值判断当前交易流量数据的真实值是否异常;
当当前交易流量数据的真实值异常时,将当前交易流量数据的真实值标注为异常值。
综上,本发明实施例的计算机可读存储介质先根据训练数据预测值确定动态阈值,再根据当前交易流量数据的预测值和动态阈值判断当前交易流量数据的真实值是否异常并将异常的当前交易流量数据的真实值标注为异常值,可以提高监控的报警定位能力,减少漏报、误报、运维成本和人力成本。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个***的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块,或单元,或装置都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
Claims (10)
1.一种交易流量监控方法,其特征在于,包括:
将k个历史交易流量数据输入预设的交易流量预测模型中,得到当前交易流量数据的预测值;其中,所述交易流量预测模型的动态阈值确定方式为:将n个训练数据输入所述交易流量预测模型中,得到训练数据预测值;根据所述训练数据预测值和预先获取的训练数据真实值确定动态阈值;n和k为大于1的整数;
根据所述当前交易流量数据的预测值、当前交易流量数据的真实值和所述动态阈值判断所述当前交易流量数据的真实值是否异常;
当所述当前交易流量数据的真实值异常时,将所述当前交易流量数据的真实值标注为异常值。
2.根据权利要求1所述的交易流量监控方法,其特征在于,还包括:
将m个历史交易流量数据的历史数据输入所述交易流量预测模型中,得到所述历史交易流量数据的预测值;其中,m为大于1的整数;
根据所述历史交易流量数据的预测值、所述历史交易流量数据和所述动态阈值判断所述历史交易流量数据是否异常;
当所述历史交易流量数据异常时,将所述历史交易流量数据的预测值作为所述历史交易流量数据。
3.根据权利要求1所述的交易流量监控方法,其特征在于,还包括:
预先通过以下方式获得交易流量预测模型:
对获取的n个交易流量原始数据进行预处理,得到所述n个训练数据;
根据所述n个训练数据训练预设的初始学习模型,得到交易流量预测模型。
4.根据权利要求1所述的交易流量监控方法,其特征在于,确定动态阈值包括:
确定所述训练数据真实值与所述训练数据预测值的差值的标准差;
根据所述标准差和预设参数确定所述动态阈值。
5.根据权利要求1所述的交易流量监控方法,其特征在于,判断所述当前交易流量数据的真实值是否异常包括:
确定所述当前交易流量数据的真实值与所述当前交易流量数据的预测值的差值的绝对值;
当所述差值的绝对值大于所述动态阈值时,所述当前交易流量数据的真实值异常。
6.一种交易流量监控***,其特征在于,包括:
当前数据预测单元,用于将k个历史交易流量数据输入预设的交易流量预测模型中,得到当前交易流量数据的预测值;其中,所述交易流量预测模型的动态阈值确定方式为:将n个训练数据输入所述交易流量预测模型中,得到训练数据预测值;根据所述训练数据预测值和预先获取的训练数据真实值确定动态阈值;n和k为大于1的整数;
第一判断单元,用于根据所述当前交易流量数据的预测值、当前交易流量数据的真实值和所述动态阈值判断所述当前交易流量数据的真实值是否异常;
标注单元,用于当所述当前交易流量数据的真实值异常时,将所述当前交易流量数据的真实值标注为异常值。
7.根据权利要求6所述的交易流量监控***,其特征在于,还包括:
历史数据预测单元,用于将m个历史交易流量数据的历史数据输入所述交易流量预测模型中,得到所述历史交易流量数据的预测值;其中,m为大于1的整数;
第二判断单元,用于根据所述历史交易流量数据的预测值、所述历史交易流量数据和所述动态阈值判断所述历史交易流量数据是否异常;
替换单元,用于当所述历史交易流量数据异常时,将所述历史交易流量数据的预测值作为所述历史交易流量数据。
8.根据权利要求6所述的交易流量监控***,其特征在于,还包括:
预处理单元,用于对获取的n个交易流量原始数据进行预处理,得到所述n个训练数据;
模型训练单元,用于根据所述n个训练数据训练预设的初始学习模型,得到交易流量预测模型。
9.根据权利要求6所述的交易流量监控***,其特征在于,还包括动态阈值确定单元,用于:
确定所述训练数据真实值与所述训练数据预测值的差值的标准差;
根据所述标准差和预设参数确定所述动态阈值。
10.根据权利要求6所述的交易流量监控***,其特征在于,所述第一判断单元具体用于:
确定所述当前交易流量数据的真实值与所述当前交易流量数据的预测值的差值的绝对值;
当所述差值的绝对值大于所述动态阈值时,所述当前交易流量数据的真实值异常。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010149962.9A CN111382020A (zh) | 2020-03-06 | 2020-03-06 | 交易流量监控方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010149962.9A CN111382020A (zh) | 2020-03-06 | 2020-03-06 | 交易流量监控方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111382020A true CN111382020A (zh) | 2020-07-07 |
Family
ID=71218637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010149962.9A Pending CN111382020A (zh) | 2020-03-06 | 2020-03-06 | 交易流量监控方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111382020A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102087A (zh) * | 2020-09-21 | 2020-12-18 | 中国工商银行股份有限公司 | 一种交易异常检测方法及装置 |
CN113011673A (zh) * | 2021-03-31 | 2021-06-22 | 新奥数能科技有限公司 | 一种冷却塔水位的监测预警方法及装置 |
CN113139686A (zh) * | 2021-04-25 | 2021-07-20 | 中国工商银行股份有限公司 | 交易量动态阈值监控方法及装置 |
CN113393325A (zh) * | 2021-05-21 | 2021-09-14 | 乐刷科技有限公司 | 交易检测方法、智能设备及计算机存储介质 |
CN113552855A (zh) * | 2021-07-23 | 2021-10-26 | 重庆英科铸数网络科技有限公司 | 工业设备动态阈值设定方法、装置、电子设备及存储介质 |
CN115145899A (zh) * | 2022-06-29 | 2022-10-04 | 广东工业大学 | 一种基于制造企业数据空间的时空数据异常检测方法 |
WO2022252573A1 (zh) * | 2021-05-31 | 2022-12-08 | 深圳前海微众银行股份有限公司 | 一种业务数据的监测方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108089962A (zh) * | 2017-11-13 | 2018-05-29 | 北京奇艺世纪科技有限公司 | 一种异常检测方法、装置及电子设备 |
CN108197845A (zh) * | 2018-02-28 | 2018-06-22 | 四川新网银行股份有限公司 | 一种基于深度学习模型lstm的交易指标异常的监测方法 |
CN108537544A (zh) * | 2018-04-04 | 2018-09-14 | 中南大学 | 一种交易***实时监控方法及其监控*** |
US20190122132A1 (en) * | 2016-04-19 | 2019-04-25 | Grid4C | Method and system for energy consumption prediction |
-
2020
- 2020-03-06 CN CN202010149962.9A patent/CN111382020A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190122132A1 (en) * | 2016-04-19 | 2019-04-25 | Grid4C | Method and system for energy consumption prediction |
CN108089962A (zh) * | 2017-11-13 | 2018-05-29 | 北京奇艺世纪科技有限公司 | 一种异常检测方法、装置及电子设备 |
CN108197845A (zh) * | 2018-02-28 | 2018-06-22 | 四川新网银行股份有限公司 | 一种基于深度学习模型lstm的交易指标异常的监测方法 |
CN108537544A (zh) * | 2018-04-04 | 2018-09-14 | 中南大学 | 一种交易***实时监控方法及其监控*** |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102087A (zh) * | 2020-09-21 | 2020-12-18 | 中国工商银行股份有限公司 | 一种交易异常检测方法及装置 |
CN113011673A (zh) * | 2021-03-31 | 2021-06-22 | 新奥数能科技有限公司 | 一种冷却塔水位的监测预警方法及装置 |
CN113139686A (zh) * | 2021-04-25 | 2021-07-20 | 中国工商银行股份有限公司 | 交易量动态阈值监控方法及装置 |
CN113393325A (zh) * | 2021-05-21 | 2021-09-14 | 乐刷科技有限公司 | 交易检测方法、智能设备及计算机存储介质 |
WO2022252573A1 (zh) * | 2021-05-31 | 2022-12-08 | 深圳前海微众银行股份有限公司 | 一种业务数据的监测方法及装置 |
CN113552855A (zh) * | 2021-07-23 | 2021-10-26 | 重庆英科铸数网络科技有限公司 | 工业设备动态阈值设定方法、装置、电子设备及存储介质 |
CN115145899A (zh) * | 2022-06-29 | 2022-10-04 | 广东工业大学 | 一种基于制造企业数据空间的时空数据异常检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111382020A (zh) | 交易流量监控方法及*** | |
CN110148285B (zh) | 一种基于大数据技术的油井参数智能预警***及其预警方法 | |
US10248528B2 (en) | System monitoring method and apparatus | |
US10565516B2 (en) | Updating prediction model | |
WO2021139279A1 (zh) | 基于分类模型的数据处理方法、装置、电子设备及介质 | |
US20190303755A1 (en) | Water quality prediction | |
KR102434460B1 (ko) | 기계학습 기반 예측 모델 재학습 장치 및 그 방법 | |
CN111949498B (zh) | 应用服务器异常预测方法及*** | |
JP2023518771A (ja) | 機械学習に基づくデータ・モニタリング | |
CN112183906B (zh) | 一种基于多模型组合模型的机房环境预测方法及*** | |
CN116664019B (zh) | 智慧燃气数据时效性管理方法、物联网***、装置及介质 | |
CN114168444A (zh) | 一种基于监控大数据的动态运维报修模型 | |
CN114817425A (zh) | 一种冷热数据分类的方法、装置、设备及可读存储介质 | |
US20230244946A1 (en) | Unsupervised anomaly detection of industrial dynamic systems with contrastive latent density learning | |
CN115643193A (zh) | 一种网络流量异常检测方法、装置、设备及介质 | |
CN112486784A (zh) | 诊断和优化数据分析***的方法、设备和介质 | |
CN116611006B (zh) | 基于用户反馈的电水壶的故障识别方法及装置 | |
CN112882934B (zh) | 基于缺陷增长的测试分析方法及*** | |
US20210334695A1 (en) | System to correct model drift in machine learning application | |
CN111190800A (zh) | 预测主机的批量运行时长的方法、***、装置及存储介质 | |
CN114623799B (zh) | 结构健康监测数据异常预警方法、***、装置及存储介质 | |
CN115904916A (zh) | 一种硬盘故障预测的方法、装置、电子设备以及存储介质 | |
US11475296B2 (en) | Linear modeling of quality assurance variables | |
CN113962470A (zh) | 一种基于扰动预测的优化排产方法和*** | |
CN113129127A (zh) | 预警方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200707 |
|
RJ01 | Rejection of invention patent application after publication |