CN104270268B - 一种分布式***网络性能分析及故障诊断方法 - Google Patents

Abstract

本发明提供一种分布式***网络性能分析及故障诊断方法，包括以下步骤：在被监控的分布式***上部署监控服务；根据分布式***的特征，运行管理服务；进行网络拓扑发现；确定被监控节点的监控节点集合；管理服务收集节点状态信息并进行分析；网络性能探测；网络状态分析，确定可能存在的故障。本发明考虑到了参与通信路径上的所有网络设备和链路的状态，节点之间的通信性能，根据网络拓扑信息，能够分析并确定故障点的具***置，提高了故障检测的精度，降低了故障检测的开销。同时对于分布式***的性能分析，本方法能够提供分布式***节点间的实际性能，而不是网络***的理论性能，能够提高性能预估的精度。

Description

一种分布式***网络性能分析及故障诊断方法

技术领域

本发明涉及一种诊断方法，具体涉及一种分布式***网络性能分析及故障诊断方法。

背景技术

分布式***指的是建立在网络***之上，将各个不同的节点通过节点之间的消息通信，协作完成一种或多种服务。由于分布式***将服务分布到不同的节点，因此分布式***具有良好的可扩展性，故障隔离，以及应用透明性。在实际的IT***中得到了广泛的应用，典型的服务有分布式文件***，分布式数据库，网站服务等。

由于分布式***依赖网络设备将各个服务节点互联在一起，网络设备的性能和稳定性对分布式***的性能和稳定性起到了决定性的作用。随着分布式***规模的扩大，使得网络的规模，设备类型，设备的连接方式变得极为复杂，如果某些设备出现故障，会直接影响到上层服务的质量。如何通过工具对网络***进行高效的故障诊断和性能分析，具有非常重要的意义。

目前的故障诊断机制来说，分为硬件故障诊断机制和软件测试工具。

硬件故障诊断机制包括网络设备上提供的性能计数器，提供各种性能和故障计数器，包括收发消息，丢弃消息，硬件错误消息等计数，通过这些计数能够检测到硬件设备是否存在异常。

软件测试工具通过主动地进行点到点的消息收发，计算出点到点的网络延迟和带宽，进而判断网络是否存在故障。典型的测试工具有Iperf，netperf等。

现有的分布式***网络性能分析和故障诊断存在如下几个方面的问题：

●故障判断源简单：硬件计数器只能侦测硬件本身的故障源，无法对于网络链路的状态，软件协议层错误等故障进行判断；软件点到点测试工具只能测试两个点之间的网络性能，无法通过数据快速判断网络故障。

●管理员手工参与：需要管理员手工测试各种可能情况，并根据结果分析可能存在何种故障进行处理。随着分布式***规模扩大导致的网络规模庞大，需要故障诊断工具简化并快速的提供整体网络的可能故障点，便于管理员进行故障的判断和排除。

发明内容

为了克服上述现有技术的不足，本发明提供一种分布式***网络性能分析及故障诊断方法，考虑到了参与通信路径上的所有网络设备和链路的状态，节点之间的通信性能，根据网络拓扑信息，能够分析并确定故障点的具***置，提高了故障检测的精度，降低了故障检测的开销。

同时对于分布式***的性能分析，本方法能够提供分布式***节点间的实际性能，而不是网络***的理论性能，能够提高性能预估的精度。

为了实现上述发明目的，本发明采取如下技术方案：

本发明提供一种分布式***网络性能分析及故障诊断方法，所述方法包括以下步骤：

步骤1：在被监控的分布式***上部署监控服务；

步骤2：根据分布式***的特征，运行管理服务；

步骤3：进行网络拓扑发现；

步骤4：确定被监控节点的监控节点集合；

步骤5：管理服务收集节点状态信息并进行分析；

步骤6：网络性能探测；

步骤7：网络状态分析，确定可能存在的故障。

所述步骤1中，根据被监控的分布式***规模，确定被监控节点，并在被监控节点上部署监控服务；所述被监控节点定义为分布式***中需要被监控的服务所在节点，包括服务器和网络设备等。

监控服务负责监控所在节点的网络状态，包括网卡的硬件状态和操作***提供的性能计数信息等；

监控服务接收管理服务的命令并执行，命令包括网络探测命令和网络性能测试命令；

监控服务根据管理服务发出的网络探测命令，进行网络探测；并根据管理服务发出的网络性能测试命令，进行节点之间的网络性能测试。

所述步骤2中，在管理节点上运行管理服务，管理服务根据分布式***特征，选择被监控节点，启动监控服务，并与被监控节点上的监控服务相连接。

管理服务与监控服务的连接方式根据分布式***的规模而定：

对于小规模分布式***，管理服务直接与所有的监控服务连接；

对于大规模分布式***，管理服务采用树形层级方式连接，即上层管理服务管理不同分区的管理服务，单个分区管理服务只管理设定数量的节点和网络。

所述步骤3中，管理服务对分布式***的所有网络设备发起网络拓扑发现，以确定网络拓扑信息，并将网络该拓扑信息存储到管理服务中；如果分布式***所处的网络设备不支持拓扑发现，则根据管理员提供的拓扑配置构建网络拓扑信息。

所述步骤4中，被监控节点支持以下三种监控方式：

(1)全***扫描方式：对分布式***的所有节点和网络设备进行扫描，则监控节点集合为***内部所有节点和网络设备；

(2)管理员指定方式：管理员通过配置指定监控节点集合；

(3)应用程序指定，故障时监控集合扫描方式：应用程序通过API指定监控节点集合，***在发现可疑故障之后针对特定节点扫描；该监控方式的具体过程如下：

3-1)：应用程序指定需要监控的节点；

3-2)：监控服务定期监控节点的状态，如果发现网络状态异常，则将本节点的异常通信状态主动通知给管理服务；

3-3)：管理服务在接收到节点异常通信状态通知后，根据网络拓扑计算出通信路径，将通信路径上的所有网络设备和节点，加入监控节点列表。

所述步骤5包括以下步骤：

步骤5-1：管理服务向监控节点集合中的监控服务发起节点状态信息收集命令；

步骤5-2：监控服务接收到节点状态信息收集命令后，收集本节点网络设备的状态，并将结果返回给管理服务；

步骤5-3：管理服务收集到所有节点的状态信息进行分析，确认存在故障的网络设备，并将存在故障的网络设备在管理服务的网络拓扑信息中标出；

步骤5-4：管理服务将存在故障的网络设备的列表上报给管理员，通知管理员进行维护。

所述步骤6包括以下步骤：

步骤6-1：管理服务向监控节点集合中的监控节点成对发起主动网络性能探测，性能指标包括双向网络延迟、网络带宽和网络性能稳定性，并收集节点路径上的所有网络设备的计数器；

步骤6-2：节点上的监控服务在收到网络性能探测请求后，主动向对应节点发起探测消息操作，并将结果返回给管理服务；

步骤6-3：管理服务选择成对监控节点的算法，包括排列组合算法和贪心算法等。

所述步骤7中，管理服务在接收到步骤5和步骤6的结果之后，根据步骤3获得的网络拓扑信息进行网络状态分析，综合所有网络设备的计数器以及节点之间的通信测试性能，确定存在故障的网络设备或者链路，可能存在的故障包括网卡设备硬件故障、网卡工作模式错误、网卡接口与节点接口不匹配、连接线缆断开、连接线缆不稳定和交换机故障。

与现有技术相比，本发明的有益效果在于：

本发明提供的分布式***网络性能分析及故障诊断方法，由于考虑到了分布式***的所有网络设备的状态，主动进行节点之间的路径探测，并根据探测结论分析出性能问题或故障点，具体到某一个网络设备，链路，或者节点级别，极大的降低了***网络性能分析和故障诊断的开销，减轻了管理员的人工干预；支持全***和应用指定路径的故障探测。

附图说明

图1是本发明实施例中管理服务与监控服务的连接示意图；

图2是本发明实施例中管理服务根据结果判断网络设备故障的示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明提供一种分布式***网络性能分析及故障诊断方法，所述方法包括以下步骤：

步骤1：在被监控的分布式***上部署监控服务；

步骤2：根据分布式***的特征，运行管理服务；

步骤3：进行网络拓扑发现；

步骤4：确定被监控节点的监控节点集合；

步骤5：管理服务收集节点状态信息并进行分析；

步骤6：网络性能探测；

步骤7：网络状态分析，确定可能存在的故障。

所述步骤1中，根据被监控的分布式***规模，确定被监控节点，并在被监控节点上部署监控服务；所述被监控节点定义为分布式***中需要被监控的服务所在节点，包括服务器和网络设备等。

监控服务负责监控所在节点的网络状态，包括网卡的硬件状态和操作***提供的性能计数信息等；

监控服务接收管理服务的命令并执行，命令包括网络探测命令和网络性能测试命令；

监控服务根据管理服务发出的网络探测命令，进行网络探测；并根据管理服务发出的网络性能测试命令，进行节点之间的网络性能测试。

所述步骤2中，在管理节点上运行管理服务，管理服务根据分布式***特征，选择被监控节点，启动监控服务，并与被监控节点上的监控服务相连接(如图1)。

管理服务与监控服务的连接方式根据分布式***的规模而定：

对于小规模分布式***，管理服务直接与所有的监控服务连接；

对于大规模分布式***，管理服务采用树形层级方式连接，即上层管理服务管理不同分区的管理服务，单个分区管理服务只管理设定数量的节点和网络。

所述步骤3中，管理服务对分布式***的所有网络设备发起网络拓扑发现，以确定网络拓扑信息，并将网络该拓扑信息存储到管理服务中；如果分布式***所处的网络设备不支持拓扑发现，则根据管理员提供的拓扑配置构建网络拓扑信息。

所述步骤4中，被监控节点支持以下三种监控方式：

(1)全***扫描方式：对分布式***的所有节点和网络设备进行扫描，则监控节点集合为***内部所有节点和网络设备；

(2)管理员指定方式：管理员通过配置指定监控节点集合；

(3)应用程序指定，故障时监控集合扫描方式：应用程序通过API指定监控节点集合，***在发现可疑故障之后针对特定节点扫描；该监控方式的具体过程如下：

3-1)：应用程序指定需要监控的节点；

3-2)：监控服务定期监控节点的状态，如果发现网络状态异常，则将本节点的异常通信状态主动通知给管理服务；

3-3)：管理服务在接收到节点异常通信状态通知后，根据网络拓扑计算出通信路径，将通信路径上的所有网络设备和节点，加入监控节点列表。

所述步骤5包括以下步骤：

步骤5-1：管理服务向监控节点集合中的监控服务发起节点状态信息收集命令；

步骤5-2：监控服务接收到节点状态信息收集命令后，收集本节点网络设备的状态，并将结果返回给管理服务；

步骤5-3：管理服务收集到所有节点的状态信息进行分析，确认存在故障的网络设备，并将存在故障的网络设备在管理服务的网络拓扑信息中标出；

步骤5-4：管理服务将存在故障的网络设备的列表上报给管理员，通知管理员进行维护。

所述步骤6包括以下步骤：

步骤6-1：管理服务向监控节点集合中的监控节点成对发起主动网络性能探测，性能指标包括双向网络延迟、网络带宽和网络性能稳定性，并收集节点路径上的所有网络设备的计数器；

步骤6-2：节点上的监控服务在收到网络性能探测请求后，主动向对应节点发起探测消息操作，并将结果返回给管理服务；

步骤6-3：管理服务选择成对监控节点的算法，包括排列组合算法和贪心算法等。

所述步骤7中，管理服务在接收到步骤5和步骤6的结果之后，根据步骤3获得的网络拓扑信息进行网络状态分析，综合所有网络设备的计数器以及节点之间的通信测试性能，确定存在故障的网络设备或者链路，可能存在的故障包括网卡设备硬件故障、网卡工作模式错误、网卡接口与节点接口不匹配、连接线缆断开、连接线缆不稳定和交换机故障。

判断依据可能有如下几种但不局限于如下方法：

●某一个节点向外的所有链路性能均异常，判断该节点的网卡设备或者节点向外的连接线缆故障；

●经过某一个交换设备的链路上通信性能均异常，判断该交换设备工作异常；

●使用某一个链路的节点到节点的通信性能异常，判断该链路异常。

图2为步骤7管理服务根据结果判断设备故障的一个示例：

■对于节点1，节点2，节点3，交换机1，交换机2根据设备计数器判断均正常工作；

■同时节点1到节点2之间的网络性能正常，但是节点1到节点3，节点2到节点3的状态均异常；

■根据管理服务的网络拓扑信息分析，由于节点1-节点3与节点2-节点3的公共网络路径为交换机1-交换机2，同时根据交换机的设备计数器正常，判断故障可能为交换机1-交换机2之间的链路故障，通知管理员对应的故障点。

如果需要获取分布式***网络性能对应用性能的影响，根据提供的应用个模式，计算出预期的性能值。管理服务将分析结果上报给管理员，由管理员进行判断，并对故障进行相应的处理。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (1)

1.一种分布式***网络性能分析及故障诊断方法，其特征在于：所述方法包括以下步骤：

步骤1：在被监控的分布式***上部署监控服务；

步骤2：根据分布式***的特征，运行管理服务；

步骤3：进行网络拓扑发现；

步骤4：确定被监控节点的监控节点集合；

步骤5：管理服务收集节点状态信息并进行分析；

步骤6：网络性能探测；

步骤7：网络状态分析，确定可能存在的故障；

所述步骤1中，根据被监控的分布式***规模，确定被监控节点，并在被监控节点上部署监控服务；所述被监控节点定义为分布式***中需要被监控的服务所在节点，包括服务器和网络设备；

监控服务负责监控所在节点的网络状态，包括网卡的硬件状态和操作***提供的性能计数信息；

监控服务接收管理服务的命令并执行，命令包括网络探测命令和网络性能测试命令；

监控服务根据管理服务发出的网络探测命令，进行网络探测；并根据管理服务发出的网络性能测试命令，进行节点之间的网络性能测试；

所述步骤2中，在管理节点上运行管理服务，管理服务根据分布式***特征，选择被监控节点，启动监控服务，并与被监控节点上的监控服务相连接；

管理服务与监控服务的连接方式根据分布式***的规模而定：

对于小规模分布式***，管理服务直接与所有的监控服务连接；

对于大规模分布式***，管理服务采用树形层级方式连接，即上层管理服务管理不同分区的管理服务，单个分区管理服务只管理设定数量的节点和网络；

所述步骤3中，管理服务对分布式***的所有网络设备发起网络拓扑发现，以确定网络拓扑信息，并将网络该拓扑信息存储到管理服务中；如果分布式***所处的网络设备不支持拓扑发现，则根据管理员提供的拓扑配置构建网络拓扑信息；

所述步骤4中，被监控节点支持以下三种监控方式：

(1)全***扫描方式：对分布式***的所有节点和网络设备进行扫描，则监控节点集合为***内部所有节点和网络设备；

(2)管理员指定方式：管理员通过配置指定监控节点集合；

(3)应用程序指定，故障时监控集合扫描方式：应用程序通过API指定监控节点集合，***在发现可疑故障之后针对特定节点扫描；该监控方式的具体过程如下：

3-1)：应用程序指定需要监控的节点；

3-2)：监控服务定期监控节点的状态，如果发现网络状态异常，则将本节点的异常通信状态主动通知给管理服务；

3-3)：管理服务在接收到节点异常通信状态通知后，根据网络拓扑计算出通信路径，将通信路径上的所有网络设备和节点，加入监控节点列表；

所述步骤5包括以下步骤：

步骤5-1：管理服务向监控节点集合中的监控服务发起节点状态信息收集命令；

步骤5-2：监控服务接收到节点状态信息收集命令后，收集本节点网络设备的状态，并将结果返回给管理服务；

步骤5-3：管理服务收集到所有节点的状态信息进行分析，确认存在故障的网络设备，并将存在故障的网络设备在管理服务的网络拓扑信息中标出；

步骤5-4：管理服务将存在故障的网络设备的列表上报给管理员，通知管理员进行维护；

所述步骤6包括以下步骤：

步骤6-1：管理服务向监控节点集合中的监控节点成对发起主动网络性能探测，性能指标包括双向网络延迟、网络带宽和网络性能稳定性，并收集节点路径上的所有网络设备的计数器；

步骤6-2：节点上的监控服务在收到网络性能探测请求后，主动向对应节点发起探测消息操作，并将结果返回给管理服务；

步骤6-3：管理服务选择成对监控节点的算法，包括排列组合算法和贪心算法；

所述步骤7中，管理服务在接收到步骤5和步骤6的结果之后，根据步骤3获得的网络拓扑信息进行网络状态分析，综合所有网络设备的计数器以及节点之间的通信测试性能，确定存在故障的网络设备或者链路，可能存在的故障包括网卡设备硬件故障、网卡工作模式错误、网卡接口与节点接口不匹配、连接线缆断开、连接线缆不稳定和交换机故障。