CN104616092A - 一种基于分布式日志分析的行为模式处理方法 - Google Patents

Abstract

本发明公开了一种基于分布式日志分析的行为模式处理方法，包括如下步骤：S1，获取电力***的日志信息，并将日志信息逐条序列化输出到分布式存储***中；S2，对日志信息进行分析，挖掘出操作行为之间的强关联规则，构建用户行为模式库；S3，根据电力***运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行处理。本发明可以有效判断异常操作，并对其进行及时处理。除此之外，对用户当前操作行为的后续正常操作进行预测，不仅为用户行为操作提供了便利，而且提高了电力***的操作处理效率，能有效地满足电力***及时、高效的运行要求。

Description

一种基于分布式日志分析的行为模式处理方法

技术领域

本发明涉及一种行为模式处理方法，尤其涉及一种在电力***中，基于分布式日志分析的行为模式处理方法，属于电力***调度技术领域。

背景技术

随着电网规模的日趋扩大和复杂程度的不断增加，特高压互联大电网对一体化运行和电网的统一协调控制提出了新的要求，国家对电网安全、稳定、经济、环保运行的要求也越来越高。电力大数据应运而生，它是大数据理念、技术和方法在电力行业的实践，电力大数据涉及到发电、输电、变电、配电、用电、调度各环节，综合了跨单位、跨专业、跨业务的数据分析、挖掘与数据可视化的功能。

在调度环节，随着智能电网调度技术支持***的投运，电网数据采集范围和类型不断扩展，在满足对互联大电网全方位的实时监控以及迅速处理等方面起到了重要作用。目前，各级调控中心已建成以智能电网调度技术支持***为核心的一系列调度生产管理运行***，主要有SCADA/EMS、WAMS、水电及新能源、二次设备在线监视与分析、调度计划、安全校核、调度管理等***，***已投入运行，基本满足调度生产需要，在调度生产管理中发挥重要作用。

在现有***产品运行过程中，如何保障***安全稳定运行，防止事故扩大，以及事故后***快速恢复具有重要意义。电力***的安全稳定运行需要继电保护和自动装置等就地装置的保护，但仅仅依靠这些就地装置还不能完全保证电力***的安全运行，因为这些装置往往都是根据局部的信息来处理电力***的故障，而不能以全局的信息来预测、分析***的运行情况和处理***中出现的各种复杂问题，为此，用于行为模式分析和预测的日志分析技术亟待开发。

目前，国内电力企业的***日志分析技术尚不成熟，大多数***错误的发现还依赖于故障报警及人力核查，且对运行人员的操作行为分析及预测方面尚属空白。用户不能根据以往操作人员的操作行为迅速的对某些操作行为做出判断，以及时有效地发现异常操作，并对其进行及时地处理，不能满足电网***及时、高效的运行要求。除此之外，电力企业每天可能会有很多不同的数据分析需求，提供的日志数据也是多样化的，如何对多样化的日志数据进行统一分析处理，也是一个急需解决的问题。

发明内容

本发明所要解决的技术问题在于提供一种基于分布式日志分析的行为模式处理方法。

为实现上述发明目的，本发明采用下述的技术方案：

一种基于分布式日志分析的行为模式处理方法，包括如下步骤：

S1，获取电力***的日志信息，并将日志信息逐条序列化输出到分布式存储***中；

S2，对日志信息进行分析，挖掘出操作行为之间的强关联规则，构建用户行为模式库；

S3，根据电力***运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行处理。

其中较优地，所述用户行为模式库包括操作员正常行为模式库和当前行为模式库。

其中较优地，在步骤S2中，所述挖掘出操作行为之间的强关联规则包括如下步骤：

S21，从分布式存储***中提取日志信息，通过构造频繁模式树得到日志信息中包含的操作行为的支持度，将支持度不小于最小支持度阈值的操作行为集提取出来，组成操作行为的频繁项集；

S22，在操作行为的频繁项集中，判断置信度不小于最小置信度阈值的操作行为，生成操作行为的强关联规则。

其中较优地，在步骤S3中，所述通过新的行为模式库对操作行为进行处理包括通过新的行为模式库对操作行为进行分析以及通过新的行为模式库对操作行为进行预测。

其中较优地，在步骤S3中，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行分析包括如下步骤：

S311，对用户行为模式库进行变换，得到多维数据立方体；

S312，根据不同任务的需要，对得到的多维数据立方体进行OLAP操作，通过分割多维数据立方体得到针对不同任务需要的新的行为模式库；

S313，对得到的新的行为模式库中操作员正常行为模式库和当前行为模式库进行模式比较，获得当前操作员异常操作，并提供给用户。

其中较优地，在步骤S313中，对得到的新的行为模式库中操作员正常行为模式库和当前行为模式库进行模式比较包括如下步骤：

S3131，将操作员正常行为模式库中所有操作行为的属性之后增加频率属性，并将其设置为0；

S3132，将当前行为模式库中的一条操作行为与操作员正常行为模式库中的操作行为逐条进行比较，当当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为匹配时，操作员正常行为模式库中匹配的操作行为的频率属性增加1，否则，该当前行为模式库中的操作行为为异常操作，将其标注出来；

S3133，按照频率属性由大到小的顺序对操作员正常行为模式库中的操作行为进行排序；

S3134，当前行为模式库中的下一条操作行为依次与操作员正常行为模式库中的操作行为进行比较；以此类推，直至当前行为模式库中的操作行为全部比较完毕为止。

其中较优地，在步骤S313中，对得到的新的行为模式库中操作员正常行为模式库和当前行为模式库进行模式比较还包括如下步骤：

S3135，将标注出来的所有异常操作显示给用户，统一进行处理。

其中较优地，在步骤S3中，所述通过新的行为模式库对操作行为进行预测包括如下步骤：

S321，获取用户当前操作行为；

S322，将用户当前操作行为与新的行为模式库中操作员正常行为模式库进行模式比较，在操作员正常行为模式库中找到包含用户当前操作行为的特定操作行为，该一项或者多项特定操作行为包含用户当前操作行为的所有操作；

S323，根据获得的特定操作行为，得出用户当前操作行为的后续正常操作，并返回给用户。

本发明所提供的基于分布式日志分析的行为模式处理方法，根据电力***运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行分割，通过对分割后形成的新的行为模式库中，当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为进行比较，实现对操作行为的分析，可以有效地判断异常操作，并对其进行及时的处理。除此之外，还可以通过当前行为与新的行为模式库中操作员正常行为模式库进行模式比较，对用户当前操作行为的后续正常操作进行预测，不仅为用户行为操作提供了便利，而且提高了电力***的操作处理效率，能有效地满足电力***及时、高效的运行要求。

附图说明

图1为本发明提供的基于分布式日志分析的行为模式处理方法的流程图；

图2为本发明中，基于分布式日志分析的行为模式分析方法的流程图；

图3为本发明中，基于模式比较算法对前行为模式库中的操作行为进行分析的流程图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容作进一步的详细说明。

如图1所示，本发明提供的基于分布式日志分析的行为模式处理方法，具体包括如下步骤：首先通过基于syslog(***日志)方式的日志扫描抓取技术获取电力***的日志信息，将获取的日志信息逐条序列化输出到分布式存储***(HDFS/HBase)中；然后对日志信息进行分析，挖掘出操作行为之间的强关联规则，构建用户行为模式库；最后根据电力***运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行OLAP(联机分析处理)操作，构建新的行为模式库，通过新的行为模式库对操作行为进行处理。下面对这一过程做详细具体的说明。

S1，通过基于syslog方式的日志扫描抓取方法获取电力***的日志信息，然后将获取的日志信息逐条序列化输出到分布式存储***(HDFS/HBase)中。

日志采集技术是日志分析的关键技术之一。日志采集技术需要采集各种安全设备、应用***等日志信息，为上层的事件分析工作提供数据来源，因此日志采集过程是***进行检测和决策的基础，它的准确性、可靠性及其效率直接影响到整个***的性能。

在本发明所提供的实施例中，基于syslog方式的日志扫描抓取方法采用应用于***日志扫描抓取的网络爬虫***来实时扫描并抓取***日志，为后续的行为模式处理做准备。网络爬虫(Spider)是指遵循HTTP协议，根据其中的超链接以及Web页面文档之间的索引关系来遍历信息空间的软件程序。通过网络爬虫***实现日志信息的获取日志信息具体包括如下步骤：

S11，种子管理模块分布在电力***各节点上，将位于该节点上的各个种子模块抓取的日志数据进行选取合并，得到本节点的各类日志信息。

S12，将抓取模块分布在电力***一区、二区、三区，对各节点的种子管理模块汇总得到的日志信息进行抓取合并，得到各区的整合数据。

S13，爬虫日志数据信息抽取与统计模块从种子管理模块和抓取模块获得选取合并的各类日志信息，从抓取日志信息的节点获得抓取记录数据，经过分析得到日志信息的合并抓取策略，可以根据需要及时对合并抓取策略进行调整。

爬虫日志数据信息抽取与统计模块起到调整抓取策略的作用，一方面获得种子管理模块和抓取模块选取合并的日志信息，另一方面从抓取日志信息的节点获得抓取记录数据，通过分析这些信息，得到整个爬虫***的合并抓取策略，当遇到***问题时，可以根据需要及时针对发生的问题涉及的日志种类对合并抓取策略进行相应的调整，使***中的种子管理模块和抓取模块只抓取与问题相关的日志信息，减少了日志信息处理的数量与时间，提高了运维的效率。

获取日志信息之后，将获取的日志信息逐条序列化输出到分布式存储***(HDFS/HBase)中，为下一步日志分析提供数据源。根据电力***的实际需要，分析的日志信息主要是用户行为日志，包括操作行为、操作时间和操作地点，用于行为模式的挖掘分析，主要对运行人员的操作数据进行建模分析。日志信息通过爬虫技术抓取并利用flume以批量、定时的方式发送到分布式存储***中。flume是一种分布式日志搜集、运输工具。它以Agent为基本单元，包含数据接收端、发送端、通道，是具有高扩展性和高自由度的分布式工具，不但可以搜集非结构化的文本文件，也可以搜集非结构化的视频、音频等文件。将获取的日志信息通过flume以批量、定时的方式发送到分布式存储***中，为便于后续的集中分析处理。

S2，对日志信息进行分析，挖掘出操作行为之间的强关联规则，构建用户行为模式库。

在本发明所提供的实施例中，使用FP-Growth算法挖掘出操作行为之间的强关联规则，构建用户行为模式库。FP-Growth算法中使用了一种称为频繁模式树(FP-Tree)的数据结构。FP-Tree是将事务数据表中的各个事务数据项按照支持度排序后，把每个事务中的数据项按降序依次***到一棵以NULL为根结点的树中，同时在每个结点处记录该结点出现的支持度。

使用FP-Growth算法挖掘出操作行为之间的强关联规则具体包括如下步骤：

S21，从分布式存储***中提取日志信息，通过构造频繁模式树得到日志信息中包含的操作行为的支持度，通过与最小支持度阈值进行比较，将支持度不小于最小支持度阈值的操作行为集提取出来，组成操作行为的频繁项集。

S22，在操作行为的频繁项集中，判断置信度不小于最小置信度阈值的操作行为，生成操作行为的强关联规则。

其中，最小支持度阈值和最小置信度阈值是根据电力***的运行需求进行设定的。根据最小支持度阈值，找出操作行为集的频繁项集，再根据最小置信度，在频繁项集中，寻找置信度不小于最小置信度阈值的操作行为的强关联规则，该操作行为的强关联规则反映了操作员常用的操作行为集。

当电力***发生故障或者特殊的安全需求需要对某一时间段或者某些地域的操作行为进行分析时，可以将该段时间或者该地域抓取的日志信息提取出来，通过步骤S21～S22生成该段时间或者该地域的操作行为的强关联规则。在本发明所提供的实施例中，由历史抓取的日志信息进行挖掘得到的操作行为的强关联规则，组成操作员正常行为模式库，该操作员正常行为模式库反映了操作员正常的操作行为。而由某一时间段或者某些地域抓取的需要进行分析的日志信息进行挖掘得到的操作行为的强关联规则，组成当前行为模式库，当前行为模式库中是待分析的操作行为。操作员正常行为模式库和当前行为模式库共同组成用户行为模式库。

S3，根据电力***运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行处理。

电力***每时每刻都在产生日志信息，由此挖掘生成的正常行为模式库也是巨大的。为了完成操作员行为模式的分析，用户常常需要关注某区域或某重点属性的行为是否违规。比如某地域操作员的行为模式，某时间区域内操作员的行为模式，或某合闸操作的行为模式。这就需要将用户行为模式中某属性的行为切割出来，构建新的行为模式库，从而满足对该属性的操作行为的跟踪、处理。

在本发明所提供的实施例中，通过新的行为模式库对操作行为进行处理包括通过新的行为模式库对某一时间段或者某些地域操作行为进行分析以及对某些操作行为的后续操作行为进行预测。如图2所示，为基于分布式日志分析的行为模式分析方法的流程图，根据电力***运行状况，确定需要特别关注的行为模式属性，根据确定的行为模式属性，采用OLAP(联机分析处理)操作分别对操作员正常行为模式库和当前行为模式库进行切割，得到新的行为模式库。通过对新的行为模式库中操作员正常行为模式库和当前行为模式库进行分析对比，可以对当前行为模式库中的操作行为进行判断。其中，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行分析包括如下步骤：

S311，对用户行为模式库进行变换，得到多维数据立方体。

在得到用户行为模式库之后，运用数据仓库的相关技术，对用户行为模式库进行逻辑上的建模，构建基于统计分析的数据仓库。将用户行为模式库中的日志信息以分割属性为维度进行分割，得到多维数据立方体。在本发明所提供的实施例中，分割属性包括操作时间、操作地点以及各个操作行为的行为模式属性。

S312，根据不同任务的需要，对得到的多维数据立方体进行OLAP(联机分析处理)操作，得到针对不同任务需要的新的行为模式库。

根据用户的不同任务需求，对得到的多维数据立方体利用OLAP操作将用户所需的特定属性的行为模式分割出来，构建新的行为模式库提供给用户。OLAP是一种数据仓库分析技术，可以用于各种粒度的多维数据分析。在本发明所提供的实施例中，它可以根据不同的任务需求为不同的用户提供简化维度的新的行为模式库。OLAP主要有以下操作：切片、切块操作和上卷、下钻操作以及转轴操作。它可以在不同的抽象层提供数据，从而满足不同的任务需求。

在本发明所提供的实施例中，按照不同的任务需求，对得到的多维数据立方体进行分割，将特定的子模式库分割出来作为新的行为模式库。OLAP切块操作是在给定的多维数据立方体中对两个或多个维进行选择，得出子数据立方体。比如选择时间为10:00，ip地址在202.204.100.101，可以通过切块操作得出子数据立方体，此子数据立方体代表时间维度为10:00，地域维度为ip地址在202.204.100.101的所有操作行为的行为模式构成的一个多维数据立方体。根据不同需求，还可以进一步固定维度项，挑选仅包含一个行为模式属性的单维度数据立方体，用于操作行为的分析判断。OLAP上卷操作是通过一个维的概念分成向上攀升，在数据立方体上进行聚集。而下钻是上卷的逆操作，由概括的数据过渡到更详细的数据。上卷和下钻操作主要用于提高用户的工作效率。上卷操作可以缩小用户使用的行为模式库容量，便于检查异常操作。当在202.204.100.*网段出现异常时，用户再对该网段进行下钻操作，获得更详细的ip地址信息，进行分析比较，判定异常操作出现的具体ip地址，便于集中处理。

S313，对得到的新的行为模式库中操作员正常行为模式库和当前行为模式库进行模式比较，获得当前操作员异常操作或违规操作，并提供给用户。

在本发明所提供的实施例中，新的行为模式库中包含操作员正常行为模式库和当前行为模式库，在得到适合于不同任务需要的操作员正常行为模式库和当前行为模式库后，通过将当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为进行比较分析，可以判断当前操作行为的异常。进而对其进行及时的处理。其中，如图3所示，将当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为进行比较分析，采用基于频率特征的方法来提高模式比较算法的效率。即在所有操作行为的属性之后增加频率属性，反映比较过程中，比较成功的行为模式出现的次数，通过将高出现频率的行为模式前移，来减少比较的次数，进而提高比较算法的效率。包括如下步骤：

S3131，将操作员正常行为模式库中所有操作行为的属性之后增加频率属性，并将其设置为0。

S3132，将当前行为模式库中的一条操作行为与操作员正常行为模式库中的操作行为逐条进行比较，当当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为匹配时，将操作员正常行为模式库中匹配的操作行为的频率属性增加1，当当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为均不匹配时，该当前行为模式库中的操作行为为异常操作，将其标注出来。

S3133，按照频率属性由大到小的顺序对操作员正常行为模式库中的操作行为进行排序。

在本发明所提供的实施例中，当当前行为模式库中的操作行为与操作员正常行为模式库中的某条操作行为匹配时，操作员正常行为模式库中的此条操作行为的频率属性会发生变化，频率属性的属性值越大，说明该条操作行为发生的概率越高，当下次将当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为进行比较时，对其进行优先比较，可以增加匹配的可能性，能有效地降低运算量，提高了比较算法的效率。

S3134，当前行为模式库中的下一条操作行为依次与操作员正常行为模式库中的操作行为进行比较；以此类推，直至当前行为模式库中的操作行为全部比较完毕为止。

S3135，将标注出来的所有异常操作显示给用户，统一进行处理。

除此之外，本发明所提供的基于分布式日志分析的行为模式处理方法还可以为操作行为提供预测提示，以帮助用户在最短的时间内做出正确的操作行为，不仅为用户行为操作提供了便利，而且提高了电力***的操作处理效率。其中，通过新的行为模式库对操作行为进行预测包括如下步骤：

S321，获取用户当前操作行为。

S322，将用户当前操作行为与新的行为模式库中操作员正常行为模式库进行模式比较，在操作员正常行为模式库中找到包含用户当前操作行为的特定操作行为。该一项或者多项特定操作行为包含用户当前操作行为的所有操作。

S323，根据获得的特定操作行为，得出用户当前操作行为的后续正常操作，并返回给用户。

综上所述，本发明所提供的基于分布式日志分析的行为模式处理方法，通过获取电力***的日志信息，并将日志信息逐条序列化输出到分布式存储***中，然后对日志信息进行分析，挖掘出操作行为之间的强关联规则，构建用户行为模式库；根据电力***运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行分割，通过对分割后形成的新的行为模式库中，当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为进行比较，实现对操作行为的分析，可以有效地判断异常操作，并对其进行及时的处理。除此之外，还可以通过当前行为与新的行为模式库中操作员正常行为模式库进行模式比较，找到用户当前操作行为所属的操作员正常行为模式库中的操作行为，得出用户当前操作行为的后续正常操作，不仅为用户行为操作提供了便利，而且提高了电力***的操作处理效率。

以上对本发明所提供的基于分布式日志分析的行为模式处理方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (8)

1.一种基于分布式日志分析的行为模式处理方法，其特征在于包括如下步骤：

S1，获取电力***的日志信息，并将日志信息逐条序列化输出到分布式存储***中；

S2，对日志信息进行分析，挖掘出操作行为之间的强关联规则，构建用户行为模式库；

S3，根据电力***运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行处理。

2.如权利要求1所述的行为模式处理方法，其特征在于：

所述用户行为模式库包括操作员正常行为模式库和当前行为模式库。

3.如权利要求1所述的行为模式处理方法，其特征在于在步骤S2中，所述挖掘出操作行为之间的强关联规则包括如下步骤：

S21，从分布式存储***中提取日志信息，通过构造频繁模式树得到日志信息中包含的操作行为的支持度，将支持度不小于最小支持度阈值的操作行为集提取出来，组成操作行为的频繁项集；

S22，在操作行为的频繁项集中，判断置信度不小于最小置信度阈值的操作行为，生成操作行为的强关联规则。

4.如权利要求1所述的行为模式处理方法，其特征在于在：

在步骤S3中，所述通过新的行为模式库对操作行为进行处理包括通过新的行为模式库对操作行为进行分析以及通过新的行为模式库对操作行为进行预测。

5.如权利要求1、2或4所述的行为模式处理方法，其特征在于在步骤S3中，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行分析包括如下步骤：

S311，对用户行为模式库进行变换，得到多维数据立方体；

S312，根据不同任务的需要，对得到的多维数据立方体进行OLAP操作，通过分割多维数据立方体得到针对不同任务需要的新的行为模式库；

S313，对得到的新的行为模式库中操作员正常行为模式库和当前行为模式库进行模式比较，获得当前操作员异常操作，并提供给用户。

6.如权利要求5所述的行为模式处理方法，其特征在于在步骤S313中，对得到的新的行为模式库中操作员正常行为模式库和当前行为模式库进行模式比较包括如下步骤：

S3131，将操作员正常行为模式库中所有操作行为的属性之后增加频率属性，并将其设置为0；

S3132，将当前行为模式库中的一条操作行为与操作员正常行为模式库中的操作行为逐条进行比较，当当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为匹配时，操作员正常行为模式库中匹配的操作行为的频率属性增加1，否则，该当前行为模式库中的操作行为为异常操作，将其标注出来；

S3133，按照频率属性由大到小的顺序对操作员正常行为模式库中的操作行为进行排序；

S3134，当前行为模式库中的下一条操作行为依次与操作员正常行为模式库中的操作行为进行比较；以此类推，直至当前行为模式库中的操作行为全部比较完毕为止。

7.如权利要求6所述的行为模式处理方法，其特征在于在步骤S313中，对得到的新的行为模式库中操作员正常行为模式库和当前行为模式库进行模式比较还包括如下步骤：

S3135，将标注出来的所有异常操作显示给用户，统一进行处理。

8.如权利要求1或4所述的行为模式处理方法，其特征在于在步骤S3中，所述通过新的行为模式库对操作行为进行预测包括如下步骤：

S321，获取用户当前操作行为；

S322，将用户当前操作行为与新的行为模式库中操作员正常行为模式库进行模式比较，在操作员正常行为模式库中找到包含用户当前操作行为的特定操作行为，该一项或者多项特定操作行为包含用户当前操作行为的所有操作；

S323，根据获得的特定操作行为，得出用户当前操作行为的后续正常操作，并返回给用户。