CN107508722B - 一种业务监控方法和装置 - Google Patents

Abstract

本发明提供了一种业务监控方法和装置，所述方法包括：S1，根据预先创建的容器集群，对待监控应用程序进行容器化处理；S2，获取所述待监控应用程序运行过程中产生的多种监控数据，并对所述多种监控数据进行解析处理。本发明通过将待监控应用程序进行容器化处理，利用容器技术对应用程序的多种监控数据进行同时采集，解决了现有技术中特定数据采集方式对应特定监控产品的缺陷，实现了多种监控数据的同时采集和多纬度统一分析，提高了用户采集监控数据的效率，降低了采集成本。

Description

一种业务监控方法和装置

技术领域

本发明涉及计算机技术领域，具体涉及一种业务监控方法和装置。

背景技术

监控***是整个运维环节，乃至整个产品生命周期中最重要的一环；事前及时预警发现故障，事后提供翔实的数据用于追查定位问题。监控***作为一个成熟的运维产品，现有技术中存在很多开源的监控产品可供选择。

现有技术中，监控产品依据监控目标的不同，分为以下几类：APM(applicationperformance management)应用性能管理类产品、运维监控工具(zabbix、nagios和open-falcon)、运维日志监控分析工具和抓取分析网络中的业务报文。

其中，APM产品存在以下缺陷:需要在客户生产环境的应用程序注入agent代码，agent代码在客户产品进程内部运行；对客户应用程序运行性能造成一定影响；针对客户应用程序运行的语言环境的不同，可能需要修改客户产品代码才能完成，例如nodejs应用无法动态植入代码，必须修改产品源代码。

其中，运维监控工具存在以下缺陷：无法对客户应用程序本身监控；监控工具主要监控应用程序运行的容器；监控应用程序依赖的第三方组件，例如数据库；监控应用程序运行的网络环境中的网络设备状态。

其中，日志监控工具存在以下缺陷：应用程序需要特殊的采集手段，需要在应用程序所在机器植入采集agent；应用的不同组件输出的日志规范不同，需要不同的日志解析程序理解不同的日志；应用程序产生的日志一般数量巨大，根据日志分析问题需要依赖专业人员的经验。

其中，抓取分析网络中的业务报文存在以下缺陷：需要在应用所在主机连接的交换机部署报文抓取服务器；如果应用分布在不同交换机下，需要部署多个服务器，成本高；如果在交换机上层部署服务器，则可能无法获取程序之间的网络的通讯报文。

因此，现有技术至少存在以下技术缺陷：由于各监控产品的监控目标不同，因此，针对不同的监控目标需要构建不同的监控产品；但由于各种监控产品具有各自的应用条件，因此，用户需要构建特定的条件、采用特定的监控产品才能获取特定的监控数据；当用户需要获取多种监控数据时，需要分别进行多次采集工作，费时费力。

发明内容

针对现有技术中存在的上述缺陷，本发明提供一种业务监控方法和装置。

本发明的一方面提供一种业务监控方法，包括：S1，根据预先创建的容器集群，对待监控应用程序进行容器化处理；S2，获取所述待监控应用程序运行过程中产生的多种监控数据，并对所述多种监控数据进行解析处理。

其中，所述步骤S1前还包括：根据容器技术，创建包括多个服务器的所述容器集群；分别在每个所述服务器上创建虚拟网卡和虚拟交换机。

其中，所述多种监控数据包括：报文数据、日志数据和运行数据；相应地，所述S2中对所述多种监控数据进行解析处理的步骤进一步包括：对所述多种监控数据进行报文解析、日志解析和统计字段补充处理。

其中，所述步骤S1后还包括：在每个所述服务器上设置报文抓取工具；相应地，所述S2中获取所述待监控应用程序运行过程中产生的多种监控数据的步骤进一步包括：通过所述报文抓取工具获取所述待监控应用程序的报文数据，并将所述报文数据发送至分析组件。

其中，所述S1中对待监控应用程序进行容器化处理的步骤还包括：设置所述待监控应用程序的日志输出路径以及日志收集工具；相应地，所述S2中获取所述待监控应用程序运行过程中产生的多种监控数据的步骤进一步包括：通过所述日志输出路径将所述待监控应用程序的日志数据映射至容器日志；通过所述日志收集工具将所述容器日志发送至分析组件。

其中，所述S2中获取所述待监控应用程序运行过程中产生的多种监控数据的步骤进一步包括：获取所述待监控应用程序的运行数据，并将所述运行数据发送至分析组件；其中，所述运行数据包括CPU占用率、内存使用情况、网络流量和磁盘IO情况中的一个或多个。

其中，所述步骤S2后还包括：对经解析处理后的所述多种监控数据进行存储和建立索引，并对所述多种监控数据进行查询和展示。

本发明另一方面提供一种业务监控装置，包括：处理模块，用于根据预先创建的容器集群，对待监控应用程序进行容器化处理；获取模块，用于获取所述待监控应用程序运行过程中产生的多种监控数据，并对所述多种监控数据进行解析处理。

本发明的又一方面提供一种业务监控设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行本发明上述方面提供的业务监控方法，例如包括：S1，根据预先创建的容器集群，对待监控应用程序进行容器化处理；S2，获取所述待监控应用程序运行过程中产生的多种监控数据，并对所述多种监控数据进行解析处理。

本发明的又一方面提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本发明上述方面提供的业务监控方法，例如包括：S1，根据预先创建的容器集群，对待监控应用程序进行容器化处理；S2，获取所述待监控应用程序运行过程中产生的多种监控数据，并对所述多种监控数据进行解析处理。

本发明提供的业务监控方法和装置，通过将待监控应用程序进行容器化处理，利用容器技术对应用程序的多种监控数据进行同时采集，解决了现有技术中特定数据采集方式对应特定监控产品的缺陷，实现了多种监控数据的同时采集和多纬度统一分析，提高了用户采集监控数据的效率，降低了采集成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的业务监控方法的流程示意图；

图2为本发明实施例提供的业务监控方法的虚拟网络的结构示意图；

图3为本发明另一实施例提供的业务监控方法的流程示意图；

图4为本发明实施例提供的业务监控装置的结构示意图；

图5为本发明实施例提供的业务监控设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

过去受限于数据采集手段的限制，不得不针对不同场景构建不同的产品。现在，随着容器技术的发展，将虚拟化推进到操作***虚拟化的层级。在容器层面以及虚拟网络我们可以直接从容器和虚拟交换机中获取对应的数据，从而形成统一的多纬度的监控方案。

图1为本发明实施例提供的业务监控方法的流程示意图，如图1所示，包括：S1，根据预先创建的容器集群，对待监控应用程序进行容器化处理；S2，获取所述待监控应用程序运行过程中产生的多种监控数据，并对所述多种监控数据进行解析处理。

其中，容器(Docker)是一个开放源代码软件项目，让应用程序部署在软件容器下的工作可以自动化进行，借此在Linux操作***上，提供一个额外的软件抽象层，以及操作***层虚拟化的自动管理机制。容器技术有助于实现灵活性和便携性，应用程序在任何地方都可以运行，无论是公有云、私有云或是单机等。

其中，容器化是指将待监控的应用程序部署在容器中。

其中，容器集群由多个服务器组成，每个服务器包括若干个容器，每个容器内都可以部署一待监控应用程序。

在步骤S1中，根据预先创建的容器集群，对需要监控的应用程序进行容器化处理，将待监控应用程序分别部署在容器集群中的各容器中，以利用容器技术对待监控应用程序进行监控。

在步骤S2中，根据步骤S1中经过容器化处理的应用程序，当待监控应用程序在运行过程中产生数据时，利用容器集群对待监控应用程序的数据进行收集，并对获得的监控数据进行解析处理；应当说明的是，可以根据实际需要对容器进行相应的处理，从而能够获取多种监控数据。

本发明实施例提供的业务监控方法，通过将待监控应用程序进行容器化处理，利用容器技术对应用程序的多种监控数据进行同时采集，解决了现有技术中特定数据采集方式对应特定监控产品的缺陷，实现了多种监控数据的同时采集和多纬度统一分析，提高了用户采集监控数据的效率，降低了采集成本。

在上述任一实施例的基础上，所述步骤S1前还包括：根据容器技术，创建包括多个服务器的所述容器集群；分别在每个所述服务器上创建虚拟网卡和虚拟交换机。

具体地，容器集群的创建或编排可以基于Google的Kubernetes开源编排软件、研发的CaaS集群平台。

其中，建于Docker之上的Kubernetes可以构建一个容器的调度服务，其目的是让用户透过Kubernetes集群来进行云端容器集群的管理，而无需用户进行复杂的设置工作；***会自动选取合适的工作节点来执行具体的容器集群调度处理工作；其核心概念是Container Pod(容器仓)，一个Pod是有一组工作于同一物理工作节点的容器构成的。这些组容器拥有相同的网络命名空间以及存储配额，可以根据实际情况对每一个Pod进行端口映射。此外，Kubernetes工作节点会由主***进行管理，节点包含了能够运行Docker容器所用到的服务。

其中，基于Kubernetes研发的CaaS平台，实现了应用远程部署/升级、应用授权和应用监控。

图2为本发明实施例提供的业务监控方法的虚拟网络的结构示意图，如图2所示，通过在每台服务器上创建虚拟网卡和虚拟交换机，能够建立容器集群的虚拟网络。具体可以使用Weave虚拟网络。Weave创建一个网桥，并且在网桥和每个实例之间创建一个veth对，weave run的时候就可以给每个veth的实例端分配一个IP和相应的掩码。veth的网桥这端就是weave路由实例，并在weave launch的时候分配好IP和掩码。

通过将容器的网络驱动设置成overlay，就意味着所有的容器都可以直接ping通，所以所有容器的ip地址都不会重复。为了实现这一点，就需要一个轻量级的存储来存放已经分配出去的ip信息和其它的一些配置信息。技术上Docker使用了libkv和libnetwork来实现自己的覆盖网络，它们都是用go语言所写，前者是对操作分布式键值存储***如consul、etcd、zookeeper的抽象层，后者实现了容器的网络连接。

在上述任一实施例的基础上，所述多种监控数据包括：报文数据、日志数据和运行数据；相应地，所述S2中对所述多种监控数据进行解析处理的步骤进一步包括：对所述多种监控数据进行报文解析、日志解析和统计字段补充处理。

其中，报文数据是从虚拟交换机中获取的待监控应用程序的网络通讯报文数据。

其中，日志数据包含由待监控应用程序记录的事件，主要记录程序运行方面的事件，例如数据库程序可以在应用程序日志中记录文件错误，程序开发人员可以自行决定监视哪些事件。如果某个应用程序出现崩溃情况，那么开发人员可以从程序事件日志中找到相应的记录，有助于解决问题。

其中，运行数据是待监控应用程序在运行时汇报的运行状态信息。

具体地，多种监控数据包括上述报文数据、日志数据和运行数据中的一个或多个；因此，在获取到上述监控数据，在进行解析时，对报文数据进行报文解析，对日志数据进行日志解析；在进行了报文解析和日志解析的步骤后，需要进行统计字段补充。

其中，统计字段补充是指：采集的报文数据、日志数据和运行数据通常会被处理或解析成一个个字段，例如报文数据被处理成源IP、目的IP、状态和内容等；而为了用户查询和阅读，需要将这些字段进行汇总和补充，例如，对报文数据来说，需要将一个时间片的数据合并相同源IP和目的IP等合并。

在上述任一实施例的基础上，所述步骤S1后还包括：在每个所述服务器上设置报文抓取工具；相应地，所述S2中获取所述待监控应用程序运行过程中产生的多种监控数据的步骤进一步包括：通过所述报文抓取工具获取所述待监控应用程序的报文数据，并将所述报文数据发送至分析组件。

具体地，通过容器集群，报文抓取工具能够从虚拟交换机中获取待监控应用程序的网络通讯报文数据，并将报文数据发送至存储中的分析组件；分析组件进一步对报文数据进行报文解析。对于例如HTTP、MySQL的公共协议相对应的报文数据，分析组件可以直接分析；而针对待监控应用程序使用的特殊报文数据，可以针对性地开发对应的解析模块，经过解析模块识别后，可以统一地在分析组件中进行分析。

在上述任一实施例的基础上，所述S1中对待监控应用程序进行容器化处理的步骤还包括：设置所述待监控应用程序的日志输出路径以及日志收集工具；相应地，所述S2中获取所述待监控应用程序运行过程中产生的多种监控数据的步骤进一步包括：通过所述日志输出路径将所述待监控应用程序的日志数据映射至容器日志；通过所述日志收集工具将所述容器日志发送至分析组件。

具体地，为了对待监控应用程序的日志数据进行采集和分析，在对待监控程序进行容器化处理的过程中，可以配置待监控应用程序的日志输出路径；通过日志输出路径，可以将应用程序产生的日志数据映射至容器日志中；另外，可以通过日志收集工具，统一地将日志数据发送至存储中的分析组件；以使分析组件中配置的日志解析模块，能够识别日志含义后，统一分析。

在上述任一实施例的基础上，所述S2中获取所述待监控应用程序运行过程中产生的多种监控数据的步骤进一步包括：获取所述待监控应用程序的运行数据，并将所述运行数据发送至分析组件；其中，所述运行数据包括CPU占用率、内存使用情况、网络流量和磁盘IO情况中的一个或多个。

具体地，在待监控应用程序的运行过程中，容器能够实时汇报程序的运行状态，例如，CPU占用率、内存使用情况、网络流量、磁盘IO情况；可以将容器的上述状态数据收集起来，并发送至存储中的分析组件，进行统一地分析。例如，可以采用网络流量数据收集器(PacketBeats)对网络流量数据进行采集；采用文件数据收集器(FileBeats)采集相应的文件数据。

在上述任一实施例的基础上，所述步骤S2后还包括：对经解析处理后的所述多种监控数据进行存储和建立索引，并对所述多种监控数据进行查询和展示。

具体地，经过统一的分析后，对监控数据进行存储和建立索引，方便之后对监控数据的展示和查询。例如，监控数据经解析、过滤后，将数据发送至NoSQL数据库存储，例如可以选择Elasticsearch数据库。

为了对上述实施例提供的业务监控方法进行说明，以下对上述方法进行举例说明。图3为本发明另一实施例提供的业务监控方法的流程示意图，如图3所示，包括：

步骤1，获取待监控应用程序产生的报文数据、日志数据和监控数据，收集器将上述数据发送至分析处理中心；

步骤2，分析处理中心对报文数据进行报文解析，对日志数据进行日志解析，解析完成后对所有数据进行统计字段补充的处理；

步骤3，对监控数据进行存储并建立索引；

步骤4，对监控数据进行查询和展示。

图4为本发明实施例提供的业务监控装置的结构示意图，如图4所示，包括：处理模块401，用于根据预先创建的容器集群，对待监控应用程序进行容器化处理；获取模块402，用于获取所述待监控应用程序运行过程中产生的多种监控数据，并对所述多种监控数据进行解析处理。

其中，处理模块401根据预先创建的容器集群，对需要监控的应用程序进行容器化处理；处理模块401将待监控应用程序分别部署在容器集群中的各容器中，以利用容器技术对待监控应用程序进行监控。

其中，获取模块402根据处理模块401中经过容器化处理的应用程序，当待监控应用程序在运行过程中产生数据时，获取模块402利用容器集群对待监控应用程序的数据进行收集，并对获得的监控数据进行解析处理；应当说明的是，获取模块402可以根据实际需要对容器进行相应的处理，从而能够获取多种监控数据。

本发明实施例提供的业务监控装置，通过将待监控应用程序进行容器化处理，利用容器技术对应用程序的多种监控数据进行同时采集，解决了现有技术中特定数据采集方式对应特定监控产品的缺陷，实现了多种监控数据的同时采集和多纬度统一分析，提高了用户采集监控数据的效率，降低了采集成本。

在上述任一实施例的基础上，所述装置还包括：创建模块，用于根据容器技术，创建包括多个服务器的所述容器集群；分别在每个所述服务器上创建虚拟网卡和虚拟交换机。

在上述任一实施例的基础上，所述多种监控数据包括：报文数据、日志数据和运行数据；相应地，所述获取模块402进一步用于：对所述多种监控数据进行报文解析、日志解析和统计字段补充处理。

在上述任一实施例的基础上，所述装置还包括：设置模块，用于在每个所述服务器上设置报文抓取工具；相应地，所述获取模块402进一步用于：通过所述报文抓取工具获取所述待监控应用程序的报文数据，并将所述报文数据发送至分析组件。

在上述任一实施例的基础上，所述处理模块401还包括：路径单元，用于设置所述待监控应用程序的日志输出路径以及日志收集工具；相应地，获取模块402进一步用于：通过所述日志输出路径将所述待监控应用程序的日志数据映射至容器日志；通过所述日志收集工具将所述容器日志发送至分析组件。

在上述任一实施例的基础上，所述获取模块402进一步用于：获取所述待监控应用程序的运行数据，并将所述运行数据发送至分析组件；其中，所述运行数据包括CPU占用率、内存使用情况、网络流量和磁盘IO情况中的一个或多个。

在上述任一实施例的基础上，所述装置还包括：存储模块，用于对经解析处理后的所述多种监控数据进行存储和建立索引，并对所述多种监控数据进行查询和展示。

图5为本发明实施例提供的业务监控设备的结构示意图，如图5所示，该设备包括：至少一个处理器501；以及与所述处理器501通信连接的至少一个存储器502，其中：所述存储器502存储有可被所述处理器501执行的程序指令，所述处理器501调用所述程序指令能够执行上述各实施例所提供的业务监控方法，例如包括：S1，根据预先创建的容器集群，对待监控应用程序进行容器化处理；S2，获取所述待监控应用程序运行过程中产生的多种监控数据，并对所述多种监控数据进行解析处理。

本发明实施例还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行对应实施例所提供的业务监控方法，例如包括：S1，根据预先创建的容器集群，对待监控应用程序进行容器化处理；S2，获取所述待监控应用程序运行过程中产生的多种监控数据，并对所述多种监控数据进行解析处理。

以上所描述的业务监控设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。

本发明实施例提供的业务监控方法、装置和设备，通过容器技术，实现业务应用的多纬度监控，打破过去单一数据采集方式对应单一的产品的情况，从而达到多纬度统一分析，统一展示；从而减少了客户采集次数，减少了成本，使用多纬度统一分析，做到从网络到业务完整的监控视图。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种业务监控方法，其特征在于，包括：

S1，根据预先创建的容器集群，对待监控应用程序进行容器化处理；

S2，获取所述待监控应用程序运行过程中产生的多种监控数据，并对所述多种监控数据进行解析处理；

所述多种监控数据包括：

报文数据、日志数据和运行数据；

相应地，所述S2中对所述多种监控数据进行解析处理的步骤进一步包括：

对所述多种监控数据进行报文解析、日志解析和统计字段补充处理；

所述步骤S1后还包括：

在每个服务器上设置报文抓取工具；

相应地，所述S2中获取所述待监控应用程序运行过程中产生的多种监控数据的步骤进一步包括：

通过所述报文抓取工具获取所述待监控应用程序的报文数据，并将所述报文数据发送至分析组件；

所述S1中对待监控应用程序进行容器化处理的步骤还包括：

设置所述待监控应用程序的日志输出路径以及日志收集工具；

相应地，所述S2中获取所述待监控应用程序运行过程中产生的多种监控数据的步骤进一步包括：

通过所述日志输出路径将所述待监控应用程序的日志数据映射至容器日志；

通过所述日志收集工具将所述容器日志发送至分析组件。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1前还包括：

根据容器技术，创建包括多个服务器的所述容器集群；

分别在每个所述服务器上创建虚拟网卡和虚拟交换机。

3.根据权利要求1所述的方法，其特征在于，所述S2中获取所述待监控应用程序运行过程中产生的多种监控数据的步骤进一步包括：

获取所述待监控应用程序的运行数据，并将所述运行数据发送至分析组件；

其中，所述运行数据包括CPU占用率、内存使用情况、网络流量和磁盘IO情况中的一个或多个。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2后还包括：

对经解析处理后的所述多种监控数据进行存储和建立索引，并对所述多种监控数据进行查询和展示。

5.一种业务监控装置，其特征在于，包括：

处理模块，用于根据预先创建的容器集群，对待监控应用程序进行容器化处理；

获取模块，用于获取所述待监控应用程序运行过程中产生的多种监控数据，并对所述多种监控数据进行解析处理；

所述多种监控数据包括：报文数据、日志数据和运行数据；

相应地，所述获取模块进一步用于：对所述多种监控数据进行报文解析、日志解析和统计字段补充处理；

所述根据预先创建的容器集群，对待监控应用程序进行容器化处理后，还包括：

在每个服务器上设置报文抓取工具；

相应地，获取所述待监控应用程序运行过程中产生的多种监控数据的步骤进一步包括：

通过所述报文抓取工具获取所述待监控应用程序的报文数据，并将所述报文数据发送至分析组件；

所述对待监控应用程序进行容器化处理的步骤还包括：

设置所述待监控应用程序的日志输出路径以及日志收集工具；

相应地，所述获取所述待监控应用程序运行过程中产生的多种监控数据的步骤，进一步包括：

通过所述日志输出路径将所述待监控应用程序的日志数据映射至容器日志；

通过所述日志收集工具将所述容器日志发送至分析组件。

6.一种业务监控设备，其特征在于，包括：

至少一个处理器；

以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。

7.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使计算机执行如权利要求1至4任一所述的方法。

Images