CN111382022A - 监控实时流计算平台的方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种监控实时流计算平台的方法、装置、电子设备和存储介质，方法包括：通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，如果获取运行状态信息失败，则通过调用Storm上的RPC服务端获取Storm的运行状态信息，如果获取运行状态信息失败，则通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息。本发明实施例通过以上三个渠道，按顺序依次尝试获取信息进行监控，只要有一个渠道能够获取到Storm集群和Topology的状态即可，提高了对Storm集群状态监控的查询性能和准确性，避免了监控不准的问题。

Description

监控实时流计算平台的方法、装置、电子设备和存储介质

技术领域

本发明涉及互联网技术领域，具体涉及一种监控实时流计算平台的方法、装置、电子设备和存储介质。

背景技术

在IT监控***中使用大量开源的中间件，比如Storm，Storm是开源的分布式、高容错的实时大数据处理平台(即实时流计算平台)，随着越来越多的场景对高延迟无法容忍，比如网站统计、推荐***、金融***(高频交易、股票)等等，大数据实时处理解决方案(即流计算)的应用日趋广泛，Storm是流计算技术中的主流，Storm的核心组件包括：Nimbus、Supervisor、Topology。Nimbus是Storm的Master，负责资源分配和任务调度。一个Storm集群只有一个Nimbus。Supervisor是Storm的Slave，负责接收Nimbus分配的任务，管理所有Worker(工作进程)。Topology：业务拓扑，Storm的拓扑是对实时计算应用逻辑的封装，拓扑还可以理解成由一系列通过数据流相互关联的Spout(数据源)和Bolt组成的的拓扑结构。

由于IT监控***依赖Storm对事件进行处理，所以需要对Storm的运行状态进行集中监控和管理，并且对于Storm的状态的准确性要求非常高，Storm集群中如果一个节点出现问题，需要及时上报，否则会影响整个IT监控***的运行。但是现有技术中对Storm集群状态监控的准确率不高，经常出现获取不到Storm运行状态信息的情况，亟待解决。

发明内容

本发明提供了一种监控实时流计算平台的方法、装置、电子设备和存储介质，通过三种不同的获取模块进行顺序验证，只要有一个模块获取到Storm集群的状态即可，保证了对Storm监控的可靠性，并提高了对Storm集群状态监控的准确性，进而确保IT监控***的正常运行。

根据本申请的一个方面，提供了一种监控实时流计算平台的方法，包括：

通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，

如果所述运行状态信息获取失败，则通过调用Storm上的RPC服务端的第二获取模块获取Storm的运行状态信息，

如果所述运行状态信息获取失败，则通过分析Zookeeper中记录的由Storm回写的信息的第三获取模块获取Storm的运行状态信息，实现监控。

可选地，该方法进一步包括：如果通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息失败，则返回无法获取到Storm的运行状态信息的失败提示。

可选地，所述通过访问Storm的UI页面获取Storm的运行状态信息包括：

获取Zookeeper中配置的Storm的UI页面地址信息，根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据，得到运行状态信息。

可选地，所述根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据包括：

根据获取的包含UI页面的IP地址和端口号的地址信息访问UI页面的RESTful接口以Storm的UI页面上展示的数据，

如果RESTful接口阻塞或访问不成功，则返回Storm UI无法访问的提示。

可选地，所述通过调用Storm上的RPC服务端获取Storm的运行状态信息包括：

启动Thrift RPC客户端，连接并调用Storm上的RPC服务端，获取Storm的运行状态信息。

根据本申请的另一个方面，提供了一种监控实时流计算平台的装置，包括：

第一获取模块，用于通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，

第二获取模块，用于通过调用Storm上的RPC服务端获取Storm的运行状态信息，

第三获取模块，用于通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息，实现监控。

可选地，该装置包括：失败提示模块，用于如果所述第三获取模块获取失败，则返回无法获取到Storm的运行状态信息的失败提示。

可选地，所述第一获取模块，具体用于获取Zookeeper中配置的Storm的UI页面地址信息，根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据，得到运行状态信息；

所述第二获取模块具体用于启动Thrift RPC客户端，连接并调用Storm上的RPC服务端，获取Storm的运行状态信息。

根据本申请的另一个方面，提供了一种电子设备，所述电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现本申请一个方面所述的方法。

根据本申请的又一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请一个方面所述的方法。

本发明实施例的监控实时流计算平台Storm的方法和装置，通过访问Storm的UI页面获取Storm的运行状态信息，如果获取失败，则通过调用Storm上的RPC服务端获取Storm的运行状态信息，如果获取失败，则通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息，实现监控，由此可知，通过三种不同的信息获取渠道进行顺序验证，只要有一个渠道获取到Storm集群的状态即可，提高了查询性能，保证了对Storm监控的可靠性以及状态监控的准确性，进而确保IT监控***的正常运行。

附图说明

图1是本发明一个实施例的监控实时流计算平台的方法的流程图；

图2是本发明另一个实施例的监控实时流计算平台的方法的流程示意图

图3是本发明一个实施例的监控实时流计算平台的装置的框图；

图4是本发明一个实施例的电子设备的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

IT监控***依赖Storm中间件对事件进行处理，所以对于Storm中间件的状态的准确性要求非常高，在集群中如果一个Storm节点存在问题，需要能够及时上报，否则会影响整个IT监控***的运行。

对此，本发明实施例通过三种不同的获取模块进行顺序验证，确保能够获取到Storm集群的状态信息实现监控，并且只要有一个模块能够获取到信息即可结束流程，也就是说，实际应用中，可以通过本实施例的三种获取模块中的任一种来实现对Storm集群的监控。

然而单一的监控手段存在难以获取到Storm状态信息的问题，比如，使用RPC(Remote Procedure Call，远程过程调用)框架的Thrift监控Storm集群状态时，需要使用Thrift编译Storm的源代码来获得Thrift Client相关的Java源代码，如果Storm版本不一致，则过程繁琐，费时费力，并且监控过程中遇到的问题也比较多，例如，在设置了服务端和客户端的超时机制的情况下，如果一方在收发数据，未能在设定的时间内完成数据传输，则会由于另外一方的强制断开而报异常。这里的Thrift是一个跨语言的服务部署框架，Thrift通过IDL(Interface Definition Language，接口定义语言)来定义RPC的接口和数据类型，然后通过Thrift编译器生成不同语言的代码方便地生成RPC客户端和服务器通信的跨编程语言。Thrift支持多种传输协议，用户可以根据实际需求选择合适的类型。

再比如，为了减少使用Thrift来监控Storm状态，而通过Storm UI提供的REST接口获取Storm集群数据。其缺点是必须依赖Storm UI提供接口，如果Storm的Nimbus节点负荷过重，出现节点宕机的情况，就会出现正常运行的Storm集群的Storm UI打开失败或者一直刷新失败，从而无法准确获取Storm集群的运行状态信息。

优选地，为避免通过Thrift监控时未能在timeout时间内完成数据传输而报异常，以及避免通过Storm UI打开失败或者一直刷新失败，导致监控不准确的问题。本发明实施例中首先通过Storm UI提供RESTful接口，获取Storm集群和Topology的状态等；如果StormUI提供接口出现阻塞和访问不成功；再通过RPC框架Thrift监控Storm集群状态；如果Thrift因为超时出现异常；最后通过Storm向Zookeeper回写状态信息，进行分析获取Storm集群的状态。通过以上三种方式进行顺序验证，只要有一种方式能够获取到Storm集群的状态即可结束流程。

图1是本发明一个实施例的监控实时流计算平台的方法的流程图，参见图1，监控实时流计算平台的方法，包括下列步骤：

步骤S101，通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，

步骤S102，如果所述运行状态信息获取失败，则通过调用Storm上的RPC服务端获取Storm的运行状态信息，

步骤S103，如果所述运行状态信获取失败，则通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息。

本实施中，如果第三获取渠道也获取失败的话，即，如果通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息失败则返回无法获取到Storm的运行状态信息的失败提示。

由图1所示可知，本实施例的监控实时流计算平台Storm的方法，通过三种不同的信息获取模块进行顺序验证，只要有一个渠道获取到Storm集群的状态即可，提高了查询性能，保证了对Storm监控的可靠性以及状态监控的准确性，有利于IT监控***的正常运行。

下面结合一个具体的应用对本发明实施例的监控实时流计算平台Storm的方法的实现步骤进行说明，参见图2，流程开始，执行步骤S201，加载Storm配置信息。

需要说明的是，初始化数据时，在***启动前，将Storm集群地址和Storm UI地址信息存储到Zookeeper中。ZooKeeper是分布式应用程序协调服务，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的***提供给用户。程序总是需要配置的，如果程序分散部署在多台机器上，要逐个改变配置就变得困难。现在把这些配置全部放到Zookeeper上去，保存在Zookeeper的某个目录节点中，然后所有相关应用程序对这个目录节点进行监听，一旦配置信息发生变化，每个应用程序就会收到Zookeeper的通知，然后从Zookeeper获取新的配置信息应用到***中即可。

本步骤中从Zookeeper中获取配置的Storm UI地址信息。这里的Storm UI地址信息包括UI(User Interface)页面的IP地址信息和端口号信息。

步骤S202，通过Storm UI提供的RESTful接口，获取运行状态信息；

本实施例中，获取Zookeeper中配置的Storm的UI页面地址信息，根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据，得到运行状态信息。

具体的，根据获取的包含UI页面的IP地址和端口号的地址信息访问UI页面的RESTful接口以Storm的UI页面上展示的数据，如果RESTful接口阻塞或访问不成功，则返回Storm UI无法访问的提示，即如果出现异常，则执行步骤S203，产生Storm UI异常事件，以提示这种获取方式未能成功。如果Storm UI提供接口访问成功，则直接返回相关的状态。需要说明的是，Storm提供UI界面展示运行状态数据，比如某个拓扑发生异常的次数，和发生的异常的堆栈等。

步骤S204，是否正确获取信息，是则结束流程，否则执行步骤S205，

在本步骤中判断步骤S203是否正确获取到Storm的运行状态信息，这里的Storm的运行状态信息包括Storm的主节点Nimbus、从节点Supervisor、以及业务拓扑Topology的状态信息(比如正常、异常)。是则流程结束，否则继续使用第二种方式进行尝试。

步骤S205，通过Trift RPC获取运行状态信息；

具体的，通过Trift RPC获取运行状态信息包括启动Thrift RPC客户端，连接并调用Storm上的RPC服务端，获取Storm的运行状态信息。这种是通过函数调用，访问Storm的底层接口，请求服务来获取Storm的运行状态信息。

步骤S206，是否正确获取信息，是则流程结束，否则执行步骤S207，

在本步骤中判断步骤S205是否正确获取到Storm的运行状态信息，是则一次监控流程结束，否则继续使用第三种方式进行尝试。

步骤S207，分析Zookeeper中记录的由Storm回写的信息，获取运行状态信息。

这里是如果通过RPC框架Thrift监控Storm集群状态失败，再通过Storm向Zookeeper回写的状态信息，进行分析获取Storm集群状态，并返回状态信息。

具体的，从Zookeeper中获取记录的由Storm回写的信息，分析后得到Storm的运行状态信息。

需要说明的是，Zookeeper是Storm集群的管理者，Storm会定时向Zookeeper中回写关键指标的信息，比如，心跳信息，通过获取心跳信息可以确定Storm集群的运行状态。

步骤S208，是否正确获取信息，是则流程结束，否则执行步骤S209，产生无法获取Storm运行状态的事件。

在步骤S208中判断是否正确获取到Storm集群的运行状态信息，如果获取到，则结束一次监控信息采集流程。如果没有获取到，则产生无法获取Storm运行状态的事件，生成提示信息，以提示监控信息获取失败。

由此可知，本发明实施例中通过三种不同的模块，按照顺序进行尝试，获取Storm集群的运行状态信息。其中，首先利用访问Storm的UI页面的第一获取模块是因为考虑到查询性能、复杂度等因素，而将其作为第一优先尝试的方式，在第一获取模块获取不到的情况下使用第二获取模块进行获取，以此类推，直至获取到Storm集群的运行状态信息或获取失败。另外，本实施例中之所以将第三获取模块的顺序排在最末是因为，通常情况下，利用第三获取模块获取的Storm运行状态信息有限，可能只包括非常关键的运行状态信息比如，是否出现异常，而对于异常的细节没有记录，所以有可能满足不了详细查询和监控需求。

与前述监控实时流计算平台的方法同属于一个技术构思，本发明实施例还提供了监控实时流计算平台的装置，参见图3，监控实时流计算平台的装置300包括：

第一获取模块301，用于通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，

第二获取模块302，用于通过调用Storm上的RPC服务端获取Storm的运行状态信息，

第三获取模块303，用于通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息。

在本发明的一个实施例中，监控实时流计算平台的装置300还包括：失败提示模块，用于如果所述第三获取模块获取失败，则返回无法获取到Storm的运行状态信息的失败提示。

在本发明的一个实施例中，第一获取模块301具体用于获取Zookeeper中配置的Storm的UI页面地址信息，根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据，得到运行状态信息；所述第二获取模块302具体用于启动Thrift RPC客户端，连接并调用Storm上的RPC服务端，获取Storm的运行状态信息。

需要说明的是，关于图3所示监控实时流计算平台Storm的装置中的各模块所执行的各功能的举例解释说明，与前述方法实施例中的举例解释说明一致，这里不再赘述。

图4是本发明一个实施例的电子设备的结构示意图。如图4所示，该电子设备包括存储器401和处理器402，存储器401和处理器402之间通过内部总线403通讯连接，存储器401存储有能够被处理器402执行的程序指令，程序指令被处理器402执行时能够实现上述的监控实时流计算平台Storm的方法方法。

此外，上述的存储器401中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的监控实时流计算平台Storm的方法方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。

Claims (10)

1.一种监控实时流计算平台的方法，其特征在于，包括：

通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，

如果获取所述运行状态信息失败，则通过调用Storm上的RPC服务端获取Storm的运行状态信息，

如果获取所述运行状态信息失败，则通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息，实现监控。

2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：如果通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息失败，则返回无法获取到Storm的运行状态信息的失败提示。

3.根据权利要求1所述的方法，其特征在于，所述通过访问Storm的UI页面获取Storm的运行状态信息包括：

获取Zookeeper中配置的Storm的UI页面地址信息，根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据，得到运行状态信息。

4.根据权利要求3所述的方法，其特征在于，所述根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据包括：

根据获取的包含UI页面的IP地址和端口号的地址信息访问UI页面的RESTful接口以Storm的UI页面上展示的数据，

如果RESTful接口阻塞或访问不成功，则返回Storm UI无法访问的提示。

5.根据权利要求1所述的方法，其特征在于，所述通过调用Storm上的RPC服务端获取Storm的运行状态信息包括：

启动Thrift RPC客户端，连接并调用Storm上的RPC服务端，获取Storm的运行状态信息。

6.一种监控实时流计算平台的装置，其特征在于，包括：

第一获取模块，用于通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，

第二获取模块，用于通过调用Storm上的RPC服务端获取Storm的运行状态信息，

第三获取模块，用于通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息，实现监控。

7.根据权利要求6所述的装置，其特征在于，该装置包括：失败提示模块，用于如果所述第三获取模块获取失败，则返回无法获取到Storm的运行状态信息的失败提示。

8.根据权利要求6所述的装置，其特征在于，所述第一获取模块，具体用于获取Zookeeper中配置的Storm的UI页面地址信息，根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据，得到运行状态信息；

所述第二获取模块具体用于启动Thrift RPC客户端，连接并调用Storm上的RPC服务端，获取Storm的运行状态信息。

9.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现权利要求1-5任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法。

Images