CN111865725B - 基于日志的流量消耗分析方法及*** - Google Patents

Abstract

本发明提供一种基于日志的流量消耗分析方法、***、计算机设备及计算机可读存储介质，通过预先维护配置文件，根据所述配置文件建立与所述应用集群内包含的所有主机的安全外壳协议通道和超文本传输协议连接；基于所述安全外壳协议通道，向应用集群内包含的所有主机发送用于获取网络流量分析子数据的壳层命令；接收基于所述壳层命令，通过所述超文本传输协议连接返回的网络流量分析子数据；根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据；使用预设规则对所述流量字节数据进行分析，得到流量分析结果，定位流量异常问题极快，为***成本控制和恶意访问提供了巨大的助力。

Description

基于日志的流量消耗分析方法及***

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于日志的流量消耗分析方法及***。

背景技术

高额的公网流量费用已经是当前互联网应用的一个痛点，为了解决这个痛点，市面上各种产品层出不穷，最具典型的就是内容分发网络技术，即把所有的静态资源以及其他消耗流量较高的动态资源缓存到用户最近的各个节点来降低公网流量的传输距离，进而降低公网流量的费用，但如何准确的拿到消耗较大的资源信息呢？一股脑的把所有静态资源丢到内容分发节点上是必须的，但是随着资源在不断的新增，如果某一次人为的失误个别资源漏放在内容分发节点上，可能会造成巨大的损失。传统的流量消耗分析方式一般是在网络设备上抓取访问源IP的次数以及流量，但这并不能帮助定位到是哪个应用集群消耗了流量，且遇到多个***共用同一个公网IP的情况下就更无从分析；或者是通过高额的技术和人工成分部署数据包分析工具来分析具体的消耗情况，因此，需要一种成本较低且分析更准确的流量数据消耗分析方法。

发明内容

有鉴于此，本发明实施例提供了一种基于日志的流量消耗分析方法、***、计算机设备及计算机可读存储介质，用于解决流量数据消耗分析不准确且成本高的问题。

本发明实施例是通过下述技术方案来解决上述技术问题：

一种基于日志的流量消耗分析方法，包括：

预先维护配置文件，根据所述配置文件建立与应用集群内包含的所有主机的安全外壳协议通道和超文本传输协议连接，所述配置文件中包括所有主机的地址信息和所有主机的登录信息；

基于所述安全外壳协议通道，向所述应用集群内包含的所有主机发送用于获取网络流量分析子数据的壳层命令；

接收基于所述壳层命令，通过所述超文本传输协议连接返回的网络流量分析子数据；

根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据；

使用预设规则对所述流量字节数据进行分析，得到流量分析结果；

输出所述流量分析结果。

进一步地，所述根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据包括：

将所述网络流量子数据以预设格式写入空白文件中，得到网络流量数据文件；

基于所述网络流量数据文件，统计所述网络流量数据文件中流量字节数据的总数据量，作为所述应用集群的网络流量分析数据。

进一步地，所述预先维护配置文件，根据所述配置文件建立与应用集群内包含的所有主机的安全外壳协议通道和超文本传输协议连接，所述配置文件中包括所有主机的地址信息和所有主机的登录信息包括：

从配置文件中获取应用集群内所有主机的地址信息；

建立与所述地址信息对应的所有主机的安全外壳协议通道和与所述地址信息对应超文本传输协议连接。

进一步地，所述使用预设规则对所述流量字节数据进行计算，得到流量分析结果包括：

获取单位时间内所述应用集群的流量字节数据，作为所述流量分析结果。

进一步地，基于所述安全外壳协议通道，向应用集群内包含的所有主机发送用于获取网络流量分析子数据的壳层命令包括：

以预设时间通过所述安全外壳协议通道向应用集群内包含的所有主机发送所述用于获取网络流量分析子数据的壳层命令；

所述接收基于所述壳层命令，通过所述超文本传输协议连接返回的网络流量分析子数据包括：

接收根据所述壳层命令返回的新的网络流量分析子数据；

所述根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据包括：

根据所述新的网络流量分析子数据，对所述网络流量分析数据进行更新。

进一步地，所述方法包括：

将所述流量分析结果保存到区块链的数据持久化***中。

进一步地，所述方法还包括：

响应于所述流量分析结果符合的预置条件，输出报警信息。

本发明还提供一种基于日志的流量消耗分析***，包括：

通道建立模块，用于预先维护配置文件，根据所述配置文件建立与应用集群内包含的所有主机的安全外壳协议通道和超文本传输协议连接，所述配置文件中包括所有主机的地址信息和所有主机的登录信息；

壳层命令发送模块，用于基于所述安全外壳协议通道，向应用集群内包含的所有主机发送用于获取网络流量分析子数据的壳层命令；

网络流量分析子数据获取模块，用于接收基于所述壳层命令，通过所述超文本传输协议连接返回的网络流量分析子数据；

网络流量分析数据统计模块，用于根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据；

流量分析结果生成模块，用于使用预设规则对所述流量字节数据进行分析，得到流量分析结果；

流量分析结果输出模块，用于输出所述流量分析结果。

为了实现上述目的，本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述基于日志的流量消耗分析方法的步骤。

为了实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的基于日志的流量消耗分析的步骤。

本发明提供的基于日志的流量消耗分析方法、***、计算机设备及计算机可读存储介质，通过直接获取应用集群内包含的所有主机的网络流量分析字数据；根据所述网络流量分析字数据，统计网络流量分析数据，所述网络流量分析数据包括时间数据和流量字节数据；使用预设规则对所述网络流量分析数据进行计算，得到流量分析结果；输出所述流量分析结果，通过直接从网络流量日志中直接返回相关流量字节数，不经过其他日志处理工具的过滤，比从日志云读取数据数或者其他中间日志***读取数据，去除了大量的日志同步过程，数据准确度高；可以非常直观的从页面上看出任何一个时间段的流量消耗应用集群排行，从而非常快捷地定位哪个应用集群，在什么时候消耗了带宽资源，同时还可用于流量异常检测，定位流量异常问题极快，为***成本控制和恶意访问提供了巨大的助力。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明实施例一之基于日志的流量消耗分析方法的步骤流程图；

图2为步骤所述预先维护配置文件，根据所述配置文件建立与应用集群内包含的所有主机的安全外壳协议通道和超文本传输协议连接，所述配置文件中包括所有主机的地址信息和所有主机的登录信息的具体流程示意图；

图3为步骤根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据的具体流程示意图；

图4为本发明另外一种实施例根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据的具体流程示意图；

图5为本发明实施例二的程序模块示意图；

图6为本发明计算机设备之实施例三的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

实施例一

请参阅图1，示出了本发明实施例之日志的流量消耗分析方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，具体如下：

步骤S100：预先维护配置文件，根据所述配置文件建立与应用集群内包含的所有主机的安全外壳协议通道和超文本传输协议连接，所述配置文件中包括所有主机的地址信息和所有主机的登录信息。

应用集群指的是指将很多台主机集中起来进行同一种服务，但是在客户端看起来就像是只有一台主机，一个应用集群内包含多台主机。应用集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个计算机坏了整个***还是能正常运行。

在示例性的实施例中，如图2所示，步骤S100还包括：

步骤S101：从配置文件中获取应用集群内所有主机的地址信息；

步骤S102：建立与所述地址信息对应的所有主机的安全外壳协议通道和与所述地址信息对应超文本传输协议连接。

具体的，在示例性的实施例中，根据所述配置文件建立与应用集群内包含的所有主机的安全外壳协议通道的方法为：从配置文件中获取应用集群内所有主机的地址信息和在所有主机的登录信息；建立与所述地址信息对应的所有主机的安全外壳协议通道，并利用所述登录信息登录至应用集群内所有的主机上；建立与应用集群内包含的所有主机的超文本传输协议连接超文本传输协议包括：从配置文件中获取所有主机的地址信息，并建立与该地址信息对应的超文本传输协议连接。

步骤S200：基于所述安全外壳协议通道，向应用集群内包含的所有主机发送用于获取网络流量分析子数据的壳层命令。

具体的，每台主机在工作时产生的都会产生网络流量日志。在一种实施方式中，网络流量日志指的是应用集群内所有主机的acc(Access.log)日志，其中，Access.log指的是服务器纪录每次请求的文件，一般用来分析网站的访问情况。例如：网站的流量，网站的访问量，此外还包括发送方网络地址、接收方网络地址、请求类型、请求返回时间和根据请求返回的流量字节等。

因为网络流量日志中有网站的流量，网站的访问量，此外还包括发送方网络地址、接收方网络地址、请求类型、请求返回时间和根据请求返回的流量字节等数据，我们在分析时并不需要这么多数据，因此，需要将网络流量分析子数据识别并抽取出来。在本实施例中，网络分析子数据是指每台主机请求返回时间和根据请求返回的流量字节数据。

在一种实施方式中，使用shell(壳层)命令，抽取所有主机的网络流量子日志的时间数据和流量字节数据，Shell语言是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell语言既是一种命令语言，又是一种程序设计语言。具体的，通过预先添加shell脚本，执行shell脚本是从而抽取所有主机的网络流量日志的时间数据和流量字节数据。

步骤S300：接收基于所述壳层命令，通过所述超文本传输协议连接返回的网络流量分析子数据。

具体的，在本实施例的一些实施方式中，使用shell脚本抽取网络流量子日志的时间数据和流量字节数据的具体过程如下：

首先在shell脚本中添加网络流量子日志的目录，即生成的网络流量自日志存储的位置，并在shell脚本中设置提取关键字，例如“time、accbyte”等，执行shell脚本时，通过目录丁定位到网络流量子日志的位置，并根据关键字从网络流量子日志将时间数据和流量字节数据抽取出来，最终得到网络流量数据分析需要的数据。

步骤S400：根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据。

在示例性的实施例中，请参阅图3，步骤S400还可以进一步包括：

步骤S401：将所述网络流量子数据以预设格式写入空白文件中，得到网络流量数据文件；

具体的，将网络流量子数据识别并抽取出来后，将抽取到的网络流量子数据按照预设格式写入空白文件中，其中，预设格式可以包括两列数据，一列数据为请求返回时间，另外一列数据为根据请求返回的流量字节数据。空白文件可以为文本文件、WORD文件和EXCEL文件，本方案在此不做限制。通过直接获取所有主机的网络流量子日志，不经过其他日志处理工具的过滤，与从其他中间日志***获取流量分析数据相比，去除了大量的日志同步过程，一方面，提高了效率和数据准确率；另一方面保证了后续数据的可追述性。

步骤S402：基于所述网络流量数据文件，统计所述网络流量数据文件中流量字节数据的总数据量，作为所述应用集群的网络流量分析数据。

具体的，统计网络流量数据文件中流量字节数据的总数据量是指，计算同一请求返回时间，应用集群内所有主机根据请求返回的流量字节数据之和，在示例性的实施例中，同样将统计得到的流量字节数据的总数据量写入另外一个空白文件中，得到网络流量数据综合数据文件。

举例网络流量数据综合数据文件如下：

其中，第一列数据为请求返回时间，第二列为根据请求返回的流量字节数据，其中，根据请求返回时间可以以分钟为单位，表示每隔一分钟，统计一次请求返回的流量字节数据；也可以以秒为单位，表示每隔一秒钟，统计一次请求返回的流量字节数据，本方案在此不做限制。在本实施例中，根据请求返回时间一分钟作为单位，以上网络流量综合数据文件表示：当时间为10:05:00时，应用集群中的所有主机返回的流量字节数据之和为3568921，当时间为10:06:00时，应用集群中的所有主机返回的流量字节数据之和为3523181，当时间为10:07:00时，应用集群中的所有主机返回的流量字节数据之和为2968719。

在另一实施例中，如图4所示，日志的流量消耗分析方法还包括：

步骤S110：以预设周期通过所述安全外壳协议通道向应用集群内包含的所有主机发送所述用于获取网络流量分析子数据的壳层命令。

所述获取网络流量分析子数据的壳层命令由指定的服务器按照预设周期生成并发出，预设周期可以根据开发人员的需求设定，其中周期的设定单位可以为月、周、天、小时和分钟等，生成并并发出网络流量子日志获取指令的预设周期可以是一周、一天、每6小时、每30分钟等，具体可以根据开发人员的需求以及服务器的性能确定，本方案在此不做限制。在本实施例中，预设周期为3分钟，采用生成网络流量日志后，延迟3分钟采集数据，此种处理方式一方面保证了数据的准确性，另一方面保证了后续数据的可追溯性。

步骤S111：接收根据所述壳层命令返回的新的网络流量分析子数据。

步骤S112：根据所述新的网络流量分析子数据，对所述网络流量分析数据进行更新。

步骤S500：使用预设规则对所述网络流量分析数据进行分析，得到流量分析结果。

在示例性的实施例中，步骤S500还可以进一步包括：

获取单位时间内所述应用集群的流量字节数据，作为所述流量分析结果。

具体的，在示例性的实施例中，平均流量数据为每分钟的流量字节数据。具体的计算公式如下：每分钟的流量数据＝流量字节数据之和*8/1024/1024/60，上述公式表示，根据网络流量分析数据计算每分钟的带宽，最终得到应用集群的平均流量数据。

步骤S600：输出所述流量分析结果。

具体的，在得到流量数据分析结果后，将流量数据分析结果发送至前端，在一个显示界面上(例如，实时监控流量数据的WEB界面)上示例性的以图形或者表格的方式进行展示，以便用户能够对流量数据分析结果进行更直观的了解。

在一实施方式中，将得到的流量分析结果以柱状图的形式显示于用户端的前端界面上，当流量分析结果以柱形图的形式展示时，柱形图的横坐标为时间数据，每个时间数据上有多个应用集群，纵坐标为流量分析结果，即该时间内，每个应用集群对应的流量字节数据，以便技术人员能够直观的看出各个时间段的每个应用集群对应的流量分析结果，进而提前提示技术人员过多占用网络带宽的应用集群，以便技术人员能提前对这些应用集群对应的资源进行处理，以避免网络流量消耗太大。

在另外一个实施例中，本方法还可以进一步包括：

将所述流量分析结果保存到区块链的数据持久化***中。

具体的，为便于技术人员能够随时查看流量分析结果，在本实施例一些实施方式中，得到数据流量分析结果后，除了将流量分析结果进行输出以外，还可以将流量分析结果保存到数据持久化***，其中，数据持久化***可以是数据库***，此外，还可以将网络流量子日志、网络数据文件和网络数据综合文件全部保存到数据持久化***中，以便后续的统计和核验。

将流量分析结果上传至区块链可保证其安全性。用户设备可以从区块链中下载得该流量分析结果，以便查证流量分析结果是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

在另外一个实施例中，本方法还可以进一步包括：

响应于所述流量分析结果符合的预置条件，输出报警信息。

具体的，除了将流量数据分析结果展示在前端界面上，本方案实施例还可对流量数据分析结果进行监控，通过预设触发条件，当流量数据分析结果出现异常时，会触发预设的告警条件，发出告警。其中，触发条件中设有预设阈值，预设阈值是指预设正常的平均流量，当流量数据分析结果中计算出来的平均流量数据高于预设正常的平均流量数据时，则触发告警。其中，预设阈值由本领域人员根据经验自主设置。在另外一个实施例中，所述预设阈值通过对历史流量数据进行分析获得。本方案在此不做限制。

本实施例通过获取应用集群内包含的所有主机的网络流量日志；根据所述网络流量日志，统计网络流量分析数据，所述网络流量分析数据包括时间数据和流量字节数据；使用预设规则对所述网络流量分析数据进行计算，得到流量分析结果；输出所述流量分析结果。通过直接获取所有主机的网络流量子日志，不经过其他日志处理工具的过滤，与从其他中间日志***获取流量分析数据相比，去除了大量的日志同步过程，一方面，提高了效率和数据准确率；另一方面保证了后续数据的可追述性；通过将所述流量分析结果展示在WEB界面上，可以非常直观的从页面上看出任何一个时间段的流量消耗应用集群排行，从而非常快捷地定位哪个应用集群，在什么时候消耗了带宽资源，同时还可用于流量异常检测，定位流量异常问题极快，为***成本控制和恶意访问提供了巨大的助力。

实施例二

请继续参阅图5，示出了本发明基于日志的流量消耗分析***的程序模块示意图。在本实施例中，基于日志的流量消耗分析***20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述基于日志的流量消耗分析方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述基于日志的流量消耗分析***20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：

通道建立模块200，用于预先维护配置文件，根据所述配置文件建立与应用集群内包含的所有主机的安全外壳协议通道和超文本传输协议连接，所述配置文件中包括所有主机的地址信息和所有主机的登录信息；

在示例性的实施例中，通道建立模块200还用于：

从配置文件中获取应用集群内所有主机的地址信息；

建立与所述地址信息对应的所有主机的安全外壳协议通道和与所述地址信息对应超文本传输协议连接。

壳层命令发送模块202，用于基于所述安全外壳协议通道，向所述应用集群内包含的所有主机发送用于获取网络流量分析子数据的壳层命令；

在示例性的实施例中，壳层命令发送模块202还用于：

以预设时间通过所述安全外壳协议通道向应用集群内包含的所有主机发送所述用于获取网络流量分析子数据的壳层命令。

网络流量分析子数据获取模块204，用于接收基于所述壳层命令，通过所述超文本传输协议连接返回的网络流量分析子数据；

在示例性的实施例中，网络流量分析子数据获取模块204还用于：

接收根据所述壳层命令返回的新的网络流量分析子数据。

网络流量分析数据统计模块206，用于根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据；

在示例性的实施例中，网络流量分析数据统计模块206还用于：

根据所述新的网络流量分析子数据，对所述网络流量分析数据进行更新。

在示例性的实施例中，网络流量分析数据统计模块206还用于：

将所述网络流量子数据以预设格式写入空白文件中，得到网络流量数据文件；

基于所述网络流量数据文件，统计所述网络流量数据文件中流量字节数据的总数据量，作为所述应用集群的网络流量分析数据。

流量分析结果生成模块208，用于使用预设规则对所述网络流量分析数据进行分析，得到流量分析结果；

在示例性的实施例中，流量分析结果生成模块208还用于：

获取单位时间内所述应用集群的流量字节数据，作为所述流量分析结果。

流量分析结果输出模块210，用于输出所述流量分析结果。

在示例性的实施例中，流量分析结果输出模块210还用于：

将所述流量分析结果保存到区块链的数据持久化***中。

在示例性的实施例中，流量分析结果输出模块210还用于：

响应于所述流量分析结果符合的预置条件，输出报警信息。

实施例三

参阅图6，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图6所示，所述计算机设备2至少包括，但不限于，可通过***总线相互通信连接存储器21、处理器22、网络接口23、以及基于日志的流量消耗分析***20。其中：

本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作***和各类应用软件，例如上述实施例所述的基于日志的流量消耗分析***20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行基于日志的流量消耗分析***20，以实现上述实施例的基于日志的流量消耗分析方法。

所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。

需要指出的是，图6仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。

在本实施例中，存储于存储器21中的所述基于日志的流量消耗分析***20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。

例如，图5示出了所述实现基于日志的流量消耗分析***20实施例二的程序模块示意图，该实施例中，所述基于日志的流量消耗分析***20可以被划分为通道建立模块200、壳层命令发送模块202、网络流量分析子数据获取模块204网络流量分析数据统计模块206、流量分析结果生成模块208和流量分析结果输出模块210。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述基于日志的流量消耗分析***20在所述计算机设备2中的执行过程。所述通道建立模块200-流量分析结果输出模块210的具体功能在上述实施例中已有详细描述，在此不再赘述。

实施例四

本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于日志的流量消耗分析***20，被处理器执行时实现上述实施例所述的基于日志的流量消耗分析方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于日志的流量消耗分析方法，其特征在于，包括：

预先维护配置文件，根据所述配置文件建立与应用集群内包含的所有主机的安全外壳协议通道和超文本传输协议连接，所述配置文件中包括所有主机的地址信息和所有主机的登录信息；

基于所述安全外壳协议通道，向所述应用集群内包含的所有主机发送用于获取网络流量分析子数据的壳层命令；其中，所述网络流量分析子数据包括网络流量日志的时间数据和网络流量日志的流量字节数据，所述壳层命令从所有主机的网络流量日志中抽取所述网络流量分析子数据；

接收基于所述壳层命令，通过所述超文本传输协议连接返回的网络流量分析子数据；

根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据；

使用预设规则对所述流量字节数据进行分析，得到流量分析结果；

输出所述流量分析结果。

2.根据权利要求1所述的基于日志的流量消耗分析方法，其特征在于，所述根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据包括：

将所述网络流量子数据以预设格式写入空白文件中，得到网络流量数据文件；

基于所述网络流量数据文件，统计所述网络流量数据文件中流量字节数据的总数据量，作为所述应用集群的网络流量分析数据。

3.根据权利要求2所述的基于日志的流量消耗分析方法，其特征在于，所述使用预设规则对所述流量字节数据进行计算，得到流量分析结果包括：

获取单位时间内所述应用集群的流量字节数据，作为所述流量分析结果。

4.根据权利要求3所述的基于日志的流量消耗分析方法，其特征在于，所述预先维护配置文件，根据所述配置文件建立与应用集群内包含的所有主机的安全外壳协议通道和超文本传输协议连接，所述配置文件中包括所有主机的地址信息和所有主机的登录信息包括：

从配置文件中获取应用集群内所有主机的地址信息；

建立与所述地址信息对应的所有主机的安全外壳协议通道和与所述地址信息对应超文本传输协议连接。

5.根据权利要求4所述的基于日志的流量消耗分析方法，其特征在于，基于所述安全外壳协议通道，向所述应用集群内包含的所有主机发送用于获取网络流量分析子数据的壳层命令包括：

以预设时间通过所述安全外壳协议通道向应用集群内包含的所有主机发送所述用于获取网络流量分析子数据的壳层命令；

所述接收基于所述壳层命令，通过所述超文本传输协议连接返回的网络流量分析子数据包括：

接收根据所述壳层命令返回的新的网络流量分析子数据；

所述根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据包括：

根据所述新的网络流量分析子数据，对所述网络流量分析数据进行更新。

6.根据权利要求5所述的基于日志的流量消耗分析方法，其特征在于，所述方法还包括：

将所述流量分析结果保存到区块链的数据持久化***中。

7.根据权利要求6所述的基于日志的流量消耗分析方法，其特征在于，所述方法还包括：

响应于所述流量分析结果符合的预置条件，输出报警信息。

8.一种基于日志的流量消耗分析***，其特征在于，包括：

通道建立模块，用于预先维护配置文件，根据所述配置文件建立与应用集群内包含的所有主机的安全外壳协议通道和超文本传输协议连接，所述配置文件中包括所有主机的地址信息和所有主机的登录信息；

壳层命令发送模块，用于基于所述安全外壳协议通道，向所述应用集群内包含的所有主机发送用于获取网络流量分析子数据的壳层命令；其中，所述网络流量分析子数据包括网络流量日志的时间数据和网络流量日志的流量字节数据，所述壳层命令从所有主机的网络流量日志中抽取所述网络流量分析子数据；

网络流量分析子数据获取模块，用于接收基于所述壳层命令，通过所述超文本传输协议连接返回的网络流量分析子数据；

网络流量分析数据统计模块，用于根据所述网络流量分析子数据，统计所述应用集群的网络流量分析数据，所述网络流量分析数据包括流量字节数据；

流量分析结果生成模块，用于使用预设规则对所述流量字节数据进行分析，得到流量分析结果；

流量分析结果输出模块，用于输出所述流量分析结果。

9.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于日志的流量消耗分析方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至7中任一项所述的基于日志的流量消耗分析方法的步骤。

Images