CN104156562A - 银行后台运维***的故障预测方法及*** - Google Patents

银行后台运维***的故障预测方法及*** Download PDF

Info

Publication number
CN104156562A
CN104156562A CN201410337349.4A CN201410337349A CN104156562A CN 104156562 A CN104156562 A CN 104156562A CN 201410337349 A CN201410337349 A CN 201410337349A CN 104156562 A CN104156562 A CN 104156562A
Authority
CN
China
Prior art keywords
data
bank
backstage
failure prediction
final characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410337349.4A
Other languages
English (en)
Inventor
徐华
李晓潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201410337349.4A priority Critical patent/CN104156562A/zh
Publication of CN104156562A publication Critical patent/CN104156562A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出一种银行后台运维***的故障预测方法,包括以下步骤:获取银行数据样本,并从银行数据样本中提取初始特征数据;对初始特征数据进行降维以得到最终特征数据;利用随机森林方法对最终特征数据进行分类学习,以便根据分类结果对银行后台运维***进行故障预测;当预测到银行后台运维***将要发生故障时,根据最终特征数据调整银行后台运维***的参数以避免银行后台运维***发生故障或降低银行后台运维***的故障发生概率。本发明的方法能够有效地预测银行后台运维***的故障,并且通过有效防范可避免或降低故障发生的概率。本发明还提供了一种银行后台运维***的故障预测***。

Description

银行后台运维***的故障预测方法及***
技术领域
本发明涉及计算机应用技术领域,特别涉及一种银行后台运维***的故障预测方法及***。
背景技术
银行作为经营货币信贷业务的依法成立的金融机构,由于其安全高效等特性广泛为人们所使用。作为一个如此重要的***,其安全性和高效性就显得尤为重要,其中安全性更是银行***的命脉,但是即使如此,银行方面大规模的故障仍时有发生。这样规模的故障往往不是由前台的工作失误造成的,因为银行前台周全的交易步骤几乎可以杜绝人为失误的发生,而即使失误发生也是一两笔交易的小规模的错误。这些交易故障,往往都是由后台的***的故障造成的。因此,想要更加有效的避免银行故障的发生,应该高度关注后台***的运维。但是银行后台***往往十分复杂,造成故障交易超时的原因更是多种多样,可能包括:银行之间的链接网络,后端记录数据的数据库,用于运行交易程序的服务器等等产生故障。而其中的一个故障往往会造成一系列的连锁反应,比如,当数据库发生瘫痪时,所有的交易请求就会开始堆积,从而导致服务器的资源不足;相反,如果服务器的内存产生泄漏,那么渐渐的***资源会越来越少,从而导致数据库的运行所需资源不足,最终瘫痪。由此可见,后台的***相关性相当复杂,想要通过规则方法直接分析出故障产生的原因几乎不可能,从而无法预测银行后台运维***何时会发生故障。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种银行后台运维***的故障预测方法,该方法能够有效地预测银行后台运维***的故障,并且通过有效防范可避免或降低故障发生的概率。
本发明的另一个目的在于提供一种银行后台运维***的故障预测***。
为了实现上述目的,本发明第一方面的实施例提出了一种银行后台运维***的故障预测方法,包括以下步骤:获取银行数据样本,并从所述银行数据样本中提取初始特征数据;对所述初始特征数据进行降维以得到最终特征数据;利用随机森林方法对所述最终特征数据进行分类学习,以便根据分类结果对所述银行后台运维***进行故障预测;当预测到所述银行后台运维***将要发生故障时,根据所述最终特征数据调整所述银行后台运维***的参数以避免所述银行后台运维***发生故障或降低所述银行后台运维***的故障发生概率。
根据本发明实施例的银行后台运维***的故障预测方法,对银行服务器的原始数据进行抽取、预处理、特征降维处理,之后使用随机森林方法进行模型训练,对于新到的预测数据,使用训练好的模型进行测试,并且给出故障发生概率的预测结果,最后对故障发生概率较高的样例给出参数调整方案,从而控制故障率降低。因此,该方法能够有效地预测银行后台运维***的故障,并且通过有效防范可避免或降低故障发生的概率。
另外,根据本发明上述实施例的银行后台运维***的故障预测方法还可以具有如下附加的技术特征:
在一些示例中,所述初始特征数据包括:超时故障数据、数据库运行数据、网络运行数据、硬盘运行数据和CPU运行数据。
在一些示例中,所述获取银行数据样本,并从所述银行数据样本中提取初始特征数据,具体包括:对所述银行数据样本进行去重、删冗、时间离散化对齐以及数据标注,以提取初始特征数据。
在一些示例中,通过逐步向前特征选择法对所述初始特征数据进行降维以得到最终特征数据。
在一些示例中,根据所述最终特征数据调整所述银行后台运维***的参数以避免所述银行后台运维***发生故障或降低所述银行后台运维***的故障发生概率,进一步包括:对所述最终特征数据的每个维度进行标注以将所述最终特征数据分为可控数据和不可控数据;调整所述可控数据的参数以避免所述银行后台***发生故障或降低所述银行后台运维***的故障发生概率。
本发明第二方面的实施例还提供了一种银行后台运维***的故障预测***,包括:数据预处理模块,用于获取银行数据样本,并从所述银行数据样本中提取初始特征数据;特征降维模块,用于对所述初始特征数据进行降维以得到最终特征数据;故障预测模块,用于通过随机森林方法对所述最终特征数据进行分类学习,以便根据分类结果对所述银行后台运维***进行故障预测;故障防范模块,用于在所述故障预测模块预测到所述银行后台运维***将要发生故障时,根据所述最终特征数据调整所述银行后台运维***的参数以避免所述银行后台运维***发生故障或降低所述银行后台运维***的故障发生概率。
根据本发明实施例的银行后台运维***的故障预测***,对银行服务器的原始数据进行抽取、预处理、特征降维处理,之后使用随机森林方法进行模型训练,对于新到的预测数据,使用训练好的模型进行测试,并且给出故障发生概率的预测结果,最后对故障发生概率较高的样例给出参数调整方案,从而控制故障率降低。因此,该***能够有效地预测银行后台运维***的故障,并且通过有效防范可避免或降低故障发生的概率。
另外,根据本发明上述实施例的银行后台运维***的故障预测***还可以具有如下附加的技术特征:
在一些示例中,所述初始特征数据包括:超时故障数据、数据库运行数据、网络运行数据、硬盘运行数据和CPU运行数据。
在一些示例中,所述数据预处理模块用于对所述银行数据样本进行去重、删冗、时间离散化对齐以及数据标注,以提取初始特征数据。
在一些示例中,所述特征降维模块通过逐步向前特征选择法对所述初始特征数据进行降维以得到最终特征数据。
在一些示例中,所述故障防范模块用于对所述最终特征数据的每个维度进行标注以将所述最终特征数据分为可控数据和不可控数据,并调整所述可控数据的参数以避免所述银行后台***发生故障或降低所述银行后台运维***的故障发生概率。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明一个实施例的银行后台运维***的故障预测方法的流程图;
图2是根据本发明一个实施例的银行后台运维***的故障预测方法的提取初始特征数据的流程示意图;
图3是根据本发明一个实施例的银行后台运维***的故障预测方法的故障预测流程示意图;
图4是根据本发明另一个实施例的银行后台运维***的故障预测方法的原理架构图;
图5是根据本发明另一个实施例的银行后台运维***的故障预测***的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
以下结合附图描述根据本发明实施例的银行后台运维***的故障预测方法及***。
图1是根据本发明一个实施例的银行后台运维***的故障预测方法的流程图。如图1所示,根据本发明一个实施例的银行后台运维***的故障预测方法,包括以下步骤:
步骤S101,获取银行数据样本,并从银行数据样本中提取初始特征数据。具体而言,在本发明的一个实施例中,通过对银行数据样本进行去重、删冗、时间离散化对齐以及数据标注,以提取初始特征数据。其中,在一些示例中,银行数据样本包括:超时故障数据、数据库运行数据、网络运行数据、硬盘运行数据和CPU运行数据。
作为一个具体示例,由于银行数据以数据库的形式存在于后台***中,银行数据样本直接由银行原始服务器的数据库不加筛选的直接导出,因此每条记录十分详细。这就会带来两方面的影响:首先,可以得到充足的服务器状态信息,了解每个时刻服务器的各个部件的性能指标。但是,另一方面原始记录中也存在许多相互重复的信息以及和预测目标无关的无用信息,这些信息会造成最后模型参数激增,使得训练变得更加困难。
因此,在用于模型训练之前要先根据数据特点进行数据预处理,其中包括数据去重、删除无关内容(删冗)、时间离散化对齐以及数据标注四个步骤,通过初步的处理,就可以得噪声较小,相关度比较高的处理后的数据集(初始特征数据),具体如图2所示。
另一方面,银行***是一个综合型的复杂的***,在本示例中,采集到的数据包括超时故障数据、数据库运行数据、网络运行数据、硬盘运行数据和CPU运行数据几个部分。但是***的各个部分都是各自独立采集的,不同部分之间每条记录时间都不完全相同,间隔从1秒到15分钟不等,因此这就要求对数据进行重新组织链接。
在得到初始特征数据之后,需要对数据进行有无故障的标注。对于银行这样庞大的***来说,一次偶发的故障并不会造成很大的影响,即使能够预测也没有很大意义。因此,在本发明的实施例中,认为在15分钟之内,故障的次数大于3次以上的才能称之为较密集故障,而密集的故障才是预测的目标。
步骤S102,对初始特征数据进行降维以得到最终特征数据。在本发明的一个实施例中,通过逐步向前特征选择法对初始特征数据进行降维以得到最终特征数据。具体而言,降维处理的主要作用是进一步去除无用的以及相关性不大的信息,减轻预处理时数据维数膨胀带来的影响。
在本发明的一个实施例中,采用逐步向前特征选择法对初始特征数据进行降维以得到最终特征数据。作为一个具体示例,特征选择法(Features Selection),是一类降维方法,其与目前的主成分分析法这类映射方法不同,特征选择法基本不改变原始数据集,只是从中抽取有用的维度子空间来完成降维。
逐步向前特征选择法是最简单高效的一种特征选择方法,其主要流程可以用以下几个步骤说明:
1)初始特征空间为空。
2)每次挑选一个特征,使得在当前情况下加入特征空间后训练的分类器能得到最高的准确率,将这个特征加入特征空间。
3)重复第2)步,直到选择了足够维度的特征。
综上,逐步向前特征选择法是一种贪心算法,从中也延伸出了许多其他的特征选择方法,此处不再赘述。
步骤S103,利用随机森林方法对最终特征数据进行分类学习,以便根据分类结果对银行后台运维***进行故障预测。
作为一个具体示例,分类问题一直是机器学习中研究的一大重要领域,即根据给出的数据特征给出正负例预测,对应于本发明实施例中就是根据***之前的运行状态,表明是否***会在短时间内发生故障。而随机森林是一种优秀的分类模型,由于其鲁棒性高,分类效果好因而受到广泛的使用。
随机森林(Random Forests),是一种结合了Bootstrap采样方法、特征选择、Bagging训练方法、决策树模型而成的一种综合性的模型。随即森林实质上是多棵决策树的组合。
决策树是一种由根到叶子逐级形成分类模型,每个节点选择对当前划分程度最好的一个维度的特征对样本进行分类,具体选择方法根据决策树的版本不同而有所不同,本发明的实施例中采用的是C4.5决策树的***方法,具体如下:
Entropy ( S ) = Σ i = 1 c - p i log 2 p i ,
Gain ( S , A ) = Entropy ( S ) - Σ v ∈ Values ( A ) | S v | | S | Entropy ( S ) ,
SpliInformation ( S , A ) = - Σ i = 1 c | S i | | S | log 2 | S i | | S | ,
GainRatio ( S , A ) = Gain ( S , A ) SplitInformation ( S , A ) ,
其中,pi是S中属于i类的比例,A是样本的属性,Values(A)是属性A的值域,Sv是S中A属性等于v的样本数目。C4.5算法,使用信息增益率GainRatio(S,A)的计算公式来选取划分属性,提高了决策树的准确性。
进一步地,随机森林模型的训练可以概述为以下几个步骤:
1.对于输入的N个原始样本,采用随机抽取又放回的方式采样,得到新的N个样本。
2.使用采样的到的N个样本训练决策树,假设样本有M维的属性,那么在节点需要***的时候,从中随机抽取出M维的属性,根据C4.5的规则进行***。
3.在构造决策树的过程中,每个节点都需要按照第2步的规则进行***,最终形成一棵决策树。
4.不断重复1~3步骤,直到得到了需要数目的决策树,就构成了随机森林。
综上,可以看出随机森林是决策树的集合体,在做测试的时候,只要对每棵决策树分别进行测试,最后将结果进行投票即可。
而在本发明的该示例中,采用随机森林方法对交易超时故障进行预测,但是由于在真实的样本中,负例数据的比例远大于正例数据的比例,对于这样不平衡的数据集,需要对训练方法做出相应的调整。
首先一种简单的方法就是直接复制正例,使得正例的数量和负例的数量一样多,但是这样操作会使得训练数据量大大增加,从而导致了模型更加耗时。一个更加可行的方法就是给所有的样本以不同的权值,只需要对决策树划分使用的信息熵增益公式进行加权修改即可,具体权值根据正负例的数据比例以及对召回率和准确率的需求进行调整。
步骤S104,当预测到银行后台运维***将要发生故障时,根据最终特征数据调整银行后台运维***的参数以避免银行后台运维***发生故障或降低银行后台运维***的故障发生概率。具体而言,在一些示例中,首先对最终特征数据的每个维度进行标注以将最终特征数据分为可控数据和不可控数据,然后调整可控数据的参数以避免银行后台运维***发生故障或降低银行后台运维***的故障发生概率。
在一些示例中,对于一般的故障预测,往往都是给出预测故障发生的时间,却不能提供如何避免故障的发生的措施,因此用户能做的只有备份数据,然后被动的等待故障的发生,接着试图恢复***。而本发明的方法能够通过参数调整而避免故障的发生。
首先用户需要对最终特征数据的每个维度进行标注,以将最终特征数据分为可控数据或者不可控数据。因为有些变量用户是可以调控的,例如CPU数目,服务器的同时最大连接数等,这些均属于可控数据。而有些变量是用户难以改变的,比如交易的数目,硬盘读写速率等,这些均属于不可控数据。而该方法就是要通过调整这些可以控制的变量以达成一个较低的故障率。
此处类似贝叶斯模型,可以做一个特征之间独立的假设:
P ( y = 0 | x 1 , x 2 . . . x m - 1 , x m ) = Π i = 1 m P ( y = 0 | x i ) ,
其中,y表示分类结果,xi表示记录x的第i个维度的特征。
需要说明的是,虽然这个假设并不是严格正确,但是在许多情况下,这个假设可以很好的逼近现实情况,并且独立假设能够简化问题,从而易于实现。
进一步地,观察上式,可以调整所有的允许控制的维度,使得上式右边的每一项最大化:
P(y=0|xi),
此处可以通过枚举的方法调整xi,而所求的概率P(y=0|xi)则可以通过在训练集中统计得到。
作为一个具体示例,结合图2和图3所示,本发明上述实施例的方法的主要流程可概述为:首先是原始特征数据的读入处理,然后进行特征降维处理,之后是模型的训练阶段以及***的使用阶段。其中,在模型训练阶段,主要需要完成后台运维***的数据库原始数据分析。首先,将原始数据进行去重、删冗、降维处理,并在时间轴上离散化进行合并完成数据预处理操作,然后对特征数据进行随机森林模型和防范模型的训练,完成预测防范模型。在***的使用阶段,用户可以提交需要预测的***信息,***会自动返回随机森林模型的测试结果,报告当前数据的故障率,并且对于故障率较高的数据,通过调用防范模型,对可控参数进行调整,最后返回调控方法,从而避免故障发生或降低故障发生概率。
在另外一个示例中,结合图4所示,该方法的流程架构可概述为如下几个部分:数据预处理模块主要用于读取原始数据和配置文件,配置文件中包含数据开始和结束的时间,所有维度的属性(连续变量、离散变量、无用变量),以及可以不可以控制。换言之,这一部分完成了最初的去重删冗工作。
随机森林模块是一个支持分类和回归的随机森林模型训练测试模块,其中还包含了关于防范模型的训练测试模块。换言之,该部分是该方法的核心,完成了模型的训练和测试功能。
展示模块主要用于展示最后的预测结果,其功能是将给定的数据在二维坐标轴上绘制出来,以便用户直观的能够看到故障预测的结果。
需要说明的是,本发明实施例的方法在实施过程中主要涉及服务器特征抽取、预处理技术、特征降维技术、随机森林分类技术、故障防范技术等核心技术。而这些算法和图形用户界面、数据读入模块等功能模块均可在Windows下用java、C++等语言开发实现。
基于上述开发平台,该方法在具体实施过程中需要如下几个层次运行环境的支撑。首先在操作***层,需要在Windows XP或其兼容的操作***平台之上运行;同时还需要程序运行支撑环境,也就是java和C++运行支撑环境。当具备了上述支撑环境,该方法便可正常的实施。
根据本发明实施例的银行后台运维***的故障预测方法,对银行服务器的原始数据进行抽取、预处理、特征降维处理,之后使用随机森林方法进行模型训练,对于新到的预测数据,使用训练好的模型进行测试,并且给出故障发生概率的预测结果,最后对故障发生概率较高的样例给出参数调整方案,从而控制故障率降低。因此,该方法能够有效地预测银行后台运维***的故障,并且通过有效防范可避免或降低故障发生的概率。
本发明的进一步实施例还提供了一种银行后台运维***的故障预测***。
图5是根据本发明一个实施例的银行后台运维***的故障预测***的结构框图。如图5所示,根据本发明一个实施例的银行后台运维***的故障预测***500,包括:数据预处理模块510、特征降维模块520、故障预测模块530和故障防范模块540。
具体而言,数据处理模块510用于获取银行数据样本,并从银行数据样本中提取初始特征数据。具体而言,在本发明的一个实施例中,数据预处理模块510对银行数据样本进行去重、删冗、时间离散化对齐以及数据标注,以提取初始特征数据。在一些示例中,银行数据样本包括:超时故障数据、数据库运行数据、网络运行数据、硬盘运行数据和CPU运行数据。
作为一个具体示例,由于银行数据以数据库的形式存在于后台***中,银行数据样本直接由银行原始服务器的数据库不加筛选的直接导出,因此每条记录十分详细。这就会带来两方面的影响:首先,可以得到充足的服务器状态信息,了解每个时刻服务器的各个部件的性能指标。但是,另一方面原始记录中也存在许多相互重复的信息以及和预测目标无关的无用信息,这些信息会造成最后模型参数激增,使得训练变得更加困难。
因此,在用于模型训练之前要先根据数据特点进行数据预处理,其中包括数据去重、删除无关内容(删冗)、时间离散化对齐以及数据标注四个步骤,通过初步的处理,就可以得噪声较小,相关度比较高的处理后的数据集(初始特征数据),具体如图2所示。
另一方面,银行***是一个综合型的复杂的***,在本示例中,采集到的数据包括超时故障数据、数据库运行数据、网络运行数据、硬盘运行数据和CPU运行数据几个部分。但是***的各个部分都是各自独立采集的,不同部分之间每条记录时间都不完全相同,间隔从1秒到15分钟不等,因此这就要求对数据进行重新组织链接。
在得到初始特征数据之后,需要对数据进行有无故障的标注。对于银行这样庞大的***来说,一次偶发的故障并不会造成很大的影响,即使能够预测也没有很大意义。因此,在本发明的实施例中,认为在15分钟之内,故障的次数大于3次以上的才能称之为较密集故障,
而密集的故障才是预测的目标。
特征降维模块520用于对初始特征数据进行降维以得到最终特征数据。在本发明的一个实施例中,特征降维模块520通过逐步向前特征选择法对初始特征数据进行降维以得到最终特征数据。具体而言,降维处理的主要作用是进一步去除无用的以及相关性不大的信息,减轻预处理时数据维数膨胀带来的影响。
对逐步特征选择法的描述参见对本发明上述实施例的预测方法的描述部分。
故障预测模块530用于通过随机森林方法对最终特征数据进行分类学习,以便根据分类结果对银行后台运维***进行故障预测。
对随机森林方法的描述参见对本发明上述实施例的预测方法的描述部分。
故障防范模块540用于在故障预测模块530预测到银行后台运维***将要发生故障时,根据最终特征数据调整银行后台运维***的参数以避免银行后台运维***发生故障或降低银行后台运维***的故障发生概率。具体而言,在本发明的一个实施例中,故障防范模块540首先对最终特征数据的每个维度进行标注以将最终特征数据分为可控数据和不可控数据,然后调整可控数据的参数以避免银行后台***发生故障或降低银行后台运维***的故障发生概率。
在一些示例中,对于一般的故障预测,往往都是给出预测故障发生的时间,却不能提供如何避免故障的发生的措施,因此用户能做的只有备份数据,然后被动的等待故障的发生,接着试图恢复***。而本发明的预测***500能够通过参数调整而避免故障的发生。
首先故障防范模块540需要对最终特征数据的每个维度进行标注,以将最终特征数据分为可控数据或者不可控数据。因为有些变量用户是可以调控的,例如CPU数目,服务器的同时最大连接数等,这些均属于可控数据。而有些变量是用户难以改变的,比如交易的数目,硬盘读写速率等,这些均属于不可控数据。而故障防范模块540可通过调整这些可以控制的变量以达成一个较低的故障率。
此处类似贝叶斯模型,可以做一个特征之间独立的假设:
P ( y = 0 | x 1 , x 2 . . . x m - 1 , x m ) = Π i = 1 m P ( y = 0 | x i ) ,
其中,y表示分类结果,xi表示记录x的第i个维度的特征。
需要说明的是,虽然这个假设并不是严格正确,但是在许多情况下,这个假设可以很好的逼近现实情况,并且独立假设能够简化问题,从而易于实现。
进一步地,观察上式,可以调整所有的允许控制的维度,使得上式右边的每一项最大化:
P(y=0|xi),
此处可以通过枚举的方法调整xi,而所求的概率P(y=0|xi)则可以通过在训练集中统计得到。
作为一个具体示例,结合图2和图3所示,本发明上述实施例的预测***500的主要实施流程概述为:首先是原始特征数据的读入处理,然后进行特征降维处理,之后是模型的训练阶段以及***的使用阶段。其中,在模型训练阶段,主要需要完成后台运维***的数据库原始数据分析。首先,将原始数据进行去重、删冗、降维处理,并在时间轴上离散化进行合并完成数据预处理操作,然后对特征数据进行随机森林模型和防范模型的训练,完成预测防范模型。在***的使用阶段,用户可以提交需要预测的***信息,***会自动返回随机森林模型的测试结果,报告当前数据的故障率,并且对于故障率较高的数据,***通过调用防范模型,对可控参数进行调整,最后返回调控方法,从而避免故障发生或降低故障发生概率。
在另外一个示例中,结合图4所示,该预测***500的总体架构可概述为如下几个部分:数据预处理模块主要用于读取原始数据和配置文件,配置文件中包含数据开始和结束的时间,所有维度的属性(连续变量、离散变量、无用变量),以及可以不可以控制。换言之,这一部分完成了最初的去重删冗工作。
随机森林模块(故障预测模块)是一个支持分类和回归的随机森林模型训练测试模块,其中还包含了关于防范模型的训练测试模块。换言之,该部分是该方法的核心,完成了模型的训练和测试功能。
展示模块主要用于展示最后的预测结果,其功能是将给定的数据在二维坐标轴上绘制出来,以便用户直观的能够看到故障预测的结果。
需要说明的是,本发明实施例的预测***500在实施过程中主要涉及服务器特征抽取、预处理技术、特征降维技术、随机森林分类技术、故障防范技术等核心技术。而这些算法和图形用户界面、数据读入模块等功能模块均可在Windows下用java、C++等语言开发实现。
基于上述开发平台,该预测***500在实施过程中的部署运行需要如下几个层次运行环境的支撑。首先是操作***层,需要在Windows XP或其兼容的操作***平台之上运行;同时还需要程序运行支撑环境,也就是java和C++运行支撑环境。当具备了上述支撑环境,该预测***500便可正常地运行。
根据本发明实施例的银行后台运维***的故障预测***,对银行服务器的原始数据进行抽取、预处理、特征降维处理,之后使用随机森林方法进行模型训练,对于新到的预测数据,使用训练好的模型进行测试,并且给出故障发生概率的预测结果,最后对故障发生概率较高的样例给出参数调整方案,从而控制故障率降低。因此,该***能够有效地预测银行后台运维***的故障,并且通过有效防范可避免或降低故障发生的概率。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种银行后台运维***的故障预测方法,其特征在于,包括以下步骤:
获取银行数据样本,并从所述银行数据样本中提取初始特征数据;
对所述初始特征数据进行降维以得到最终特征数据;
利用随机森林方法对所述最终特征数据进行分类学习,以便根据分类结果对所述银行后台运维***进行故障预测;
当预测到所述银行后台运维***将要发生故障时,根据所述最终特征数据调整所述银行后台运维***的参数以避免所述银行后台运维***发生故障或降低所述银行后台运维***的故障发生概率。
2.根据权利要求1所述的银行后台运维***的故障预测方法,其特征在于,所述银行数据样本包括:超时故障数据、数据库运行数据、网络运行数据、硬盘运行数据和CPU运行数据。
3.根据权利要求2所述的银行后台运维***的故障预测方法,其特征在于,所述获取银行数据样本,并从所述银行数据样本中提取初始特征数据,具体包括:
对所述银行数据样本进行去重、删冗、时间离散化对齐以及数据标注,以提取初始特征数据。
4.根据权利要求1所述的银行后台运维***的故障预测方法,其特征在于,通过逐步向前特征选择法对所述初始特征数据进行降维以得到最终特征数据。
5.根据权利要求1所述的银行后台运维***的故障预测方法,其特征在于,根据所述最终特征数据调整所述银行后台运维***的参数以避免所述银行后台运维***发生故障或降低所述银行后台运维***的故障发生概率,进一步包括:
对所述最终特征数据的每个维度进行标注以将所述最终特征数据分为可控数据和不可控数据;
调整所述可控数据的参数以避免所述银行后台运维***发生故障或降低所述银行后台运维***的故障发生概率。
6.一种银行后台运维***的故障预测***,其特征在于,包括:
数据预处理模块,用于获取银行数据样本,并从所述银行数据样本中提取初始特征数据;
特征降维模块,用于对所述初始特征数据进行降维以得到最终特征数据;
故障预测模块,用于通过随机森林方法对所述最终特征数据进行分类学习,以便根据分类结果对所述银行后台运维***进行故障预测;
故障防范模块,用于在所述故障预测模块预测到所述银行后台运维***将要发生故障时,根据所述最终特征数据调整所述银行后台运维***的参数以避免所述银行后台运维***发生故障或降低所述银行后台运维***的故障发生概率。
7.根据权利要求6所述的银行后台运维***的故障预测***,其特征在于,所述银行数据样本包括:超时故障数据、数据库运行数据、网络运行数据、硬盘运行数据和CPU运行数据。
8.根据权利要求7所述的银行后台运维***的故障预测***,其特征在于,所述数据预处理模块用于对所述银行数据样本进行去重、删冗、时间离散化对齐以及数据标注,以提取初始特征数据。
9.根据权利要求6所述的银行后台运维***故障预测***,其特征在于,所述特征降维模块通过逐步向前特征选择法对所述初始特征数据进行降维以得到最终特征数据。
10.根据权利要求6所述的银行后台运维***的故障预测***,其特征在于,所述故障防范模块用于对所述最终特征数据的每个维度进行标注以将所述最终特征数据分为可控数据和不可控数据,并调整所述可控数据的参数以避免所述银行后台***发生故障或降低所述银行后台运维***的故障发生概率。
CN201410337349.4A 2014-07-15 2014-07-15 银行后台运维***的故障预测方法及*** Pending CN104156562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410337349.4A CN104156562A (zh) 2014-07-15 2014-07-15 银行后台运维***的故障预测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410337349.4A CN104156562A (zh) 2014-07-15 2014-07-15 银行后台运维***的故障预测方法及***

Publications (1)

Publication Number Publication Date
CN104156562A true CN104156562A (zh) 2014-11-19

Family

ID=51882060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410337349.4A Pending CN104156562A (zh) 2014-07-15 2014-07-15 银行后台运维***的故障预测方法及***

Country Status (1)

Country Link
CN (1) CN104156562A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930473A (zh) * 2016-04-25 2016-09-07 安徽富驰信息技术有限公司 一种基于随机森林技术的相似文件检索方法
CN106844152A (zh) * 2017-01-17 2017-06-13 清华大学 银行后台任务跑批时间的相关性分析方法及装置
CN107025547A (zh) * 2016-09-19 2017-08-08 阿里巴巴集团控股有限公司 支付通道检测方法、装置及终端
CN107392320A (zh) * 2017-07-28 2017-11-24 郑州云海信息技术有限公司 一种使用机器学习预测硬盘故障的方法
CN107819601A (zh) * 2016-09-14 2018-03-20 南京联成科技发展股份有限公司 一种基于Spark的快速和高效的安全运维服务架构
CN108737193A (zh) * 2018-06-05 2018-11-02 亚信科技(中国)有限公司 一种故障预测方法及装置
CN109579220A (zh) * 2018-10-15 2019-04-05 平安科技(深圳)有限公司 空调***故障检测方法、装置、电子设备
CN109634828A (zh) * 2018-12-17 2019-04-16 浪潮电子信息产业股份有限公司 故障预测方法、装置、设备及存储介质
CN110135633A (zh) * 2019-04-29 2019-08-16 北京六捷科技有限公司 一种铁路业务呼叫故障预测方法和装置
CN110163261A (zh) * 2019-04-28 2019-08-23 平安科技(深圳)有限公司 不平衡数据分类模型训练方法、装置、设备及存储介质
CN110334732A (zh) * 2019-05-20 2019-10-15 北京思路创新科技有限公司 一种基于机器学习的空气质量预报方法和装置
CN110334720A (zh) * 2018-03-30 2019-10-15 百度在线网络技术(北京)有限公司 业务数据的特征提取方法、装置、服务器和存储介质
CN112613584A (zh) * 2021-01-07 2021-04-06 国网上海市电力公司 一种故障诊断方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221655A (zh) * 2011-06-16 2011-10-19 河南省电力公司济源供电公司 基于随机森林模型的电力变压器故障诊断方法
CN103257921A (zh) * 2013-04-16 2013-08-21 西安电子科技大学 一种基于改进随机森林算法的软件故障预测***及其方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221655A (zh) * 2011-06-16 2011-10-19 河南省电力公司济源供电公司 基于随机森林模型的电力变压器故障诊断方法
CN103257921A (zh) * 2013-04-16 2013-08-21 西安电子科技大学 一种基于改进随机森林算法的软件故障预测***及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
叶圣永等: "基于随机森林算法的电力***暂态稳定性评估", 《西南交通大学学报》 *
李伟贺等: "采用核主元成分分析和随机森林的电梯故障诊断", 《化工自动化及仪表》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930473B (zh) * 2016-04-25 2019-04-05 安徽富驰信息技术有限公司 一种基于随机森林技术的相似文件检索方法
CN105930473A (zh) * 2016-04-25 2016-09-07 安徽富驰信息技术有限公司 一种基于随机森林技术的相似文件检索方法
CN107819601A (zh) * 2016-09-14 2018-03-20 南京联成科技发展股份有限公司 一种基于Spark的快速和高效的安全运维服务架构
CN107025547A (zh) * 2016-09-19 2017-08-08 阿里巴巴集团控股有限公司 支付通道检测方法、装置及终端
CN107025547B (zh) * 2016-09-19 2020-10-16 创新先进技术有限公司 支付通道检测方法、装置及终端
CN106844152A (zh) * 2017-01-17 2017-06-13 清华大学 银行后台任务跑批时间的相关性分析方法及装置
CN107392320A (zh) * 2017-07-28 2017-11-24 郑州云海信息技术有限公司 一种使用机器学习预测硬盘故障的方法
CN110334720A (zh) * 2018-03-30 2019-10-15 百度在线网络技术(北京)有限公司 业务数据的特征提取方法、装置、服务器和存储介质
CN108737193A (zh) * 2018-06-05 2018-11-02 亚信科技(中国)有限公司 一种故障预测方法及装置
CN109579220A (zh) * 2018-10-15 2019-04-05 平安科技(深圳)有限公司 空调***故障检测方法、装置、电子设备
CN109579220B (zh) * 2018-10-15 2022-04-12 平安科技(深圳)有限公司 空调***故障检测方法、装置、电子设备
CN109634828A (zh) * 2018-12-17 2019-04-16 浪潮电子信息产业股份有限公司 故障预测方法、装置、设备及存储介质
CN110163261A (zh) * 2019-04-28 2019-08-23 平安科技(深圳)有限公司 不平衡数据分类模型训练方法、装置、设备及存储介质
WO2020220544A1 (zh) * 2019-04-28 2020-11-05 平安科技(深圳)有限公司 不平衡数据分类模型训练方法、装置、设备及存储介质
CN110163261B (zh) * 2019-04-28 2024-06-21 平安科技(深圳)有限公司 不平衡数据分类模型训练方法、装置、设备及存储介质
CN110135633A (zh) * 2019-04-29 2019-08-16 北京六捷科技有限公司 一种铁路业务呼叫故障预测方法和装置
CN110334732A (zh) * 2019-05-20 2019-10-15 北京思路创新科技有限公司 一种基于机器学习的空气质量预报方法和装置
CN112613584A (zh) * 2021-01-07 2021-04-06 国网上海市电力公司 一种故障诊断方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN104156562A (zh) 银行后台运维***的故障预测方法及***
Moni et al. Life cycle assessment of emerging technologies: A review
EP3989131A1 (en) Method and system for realizing machine learning modeling process
KR101864286B1 (ko) 머신 러닝 알고리즘을 이용하는 방법 및 장치
Kamei et al. Studying just-in-time defect prediction using cross-project models
US20200174774A1 (en) Utilizing a machine learning model to predict metrics for an application development process
CN101556553B (zh) 基于需求变更的缺陷预测方法和***
CN104503874A (zh) 一种云计算平台的硬盘故障预测方法
CN104123592A (zh) 银行后台tps交易事件趋势预测方法及***
CN104778622A (zh) Tps交易事件阈值的预测方法及预测***
CN104636401B (zh) 一种scada***数据回滚的方法及装置
CN110647995A (zh) 规则训练方法、装置、设备及存储介质
KR102576320B1 (ko) 딥러닝 기반 생성형 ai 시스템의 학습용 데이터셋 증폭장치 및 그 방법
WEI et al. Software defect prediction via deep belief network
US20230043882A1 (en) Method for assisting launch of machine learning model
Mostaeen et al. Clonecognition: machine learning based code clone validation tool
CN104021180A (zh) 一种组合式软件缺陷报告分类方法
Rasiman et al. How effective is automated trace link recovery in model-driven development?
CN111210332A (zh) 贷后管理策略生成方法、装置及电子设备
Sriliasta et al. Overview of life cycle assessment of current emerging technologies
CN103207804B (zh) 基于集群作业日志的MapReduce负载模拟方法
CN117852636A (zh) 一种基于大模型的设备运维知识更新方法
CN116522912B (zh) 一种包装设计语言模型的训练方法、装置、介质及设备
US20220046039A1 (en) Method, device, and computer program product for abnormality detection
CN109254827A (zh) 一种基于大数据与机器学习的虚拟机安全防护方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20141119