CN101521630A

CN101521630A - 一种网络流量的分析方法和设备

Info

Publication number: CN101521630A
Application number: CN200910131219A
Authority: CN
Inventors: 汪洪远
Original assignee: Hangzhou H3C Technologies Co Ltd
Current assignee: New H3C Technologies Co Ltd
Priority date: 2009-04-09
Filing date: 2009-04-09
Publication date: 2009-09-02
Anticipated expiration: 2029-04-09
Also published as: CN101521630B

Abstract

本发明公开了一种网络流量的分析方法和设备。该方法应用于网络流量输出设备，包括：根据设置的采样率将待分析的流量进行采样并发送；对所述采样流量进行分析，并根据所述设置的采样率对所述分析结果进行还原。本发明中设置采样率对待分析的流量进行有选择性的采样，并对分析结果根据设置的采样率进行还原，从而通过改善网络流量的采集方式有效的提升了网络设备的数据流分析性能。

Description

一种网络流量的分析方法和设备

技术领域

本发明涉及通讯领域，尤其涉及一种网络流量的分析方法和设备。

背景技术

随着网络技术的不断演进、规模的***性发展，互联网应用已经从起初的科研领域逐渐延伸到当代社会生活的方方面面，越来越多基于网络的关键业务蓬勃兴起，网络成为人类提高生产力、提升生活质量的新的推动力。

同时，随着网络技术的不断发展，网络中的数据流量也不断增加，提供便捷的网络管理服务也随之成为网络设备提供商大力发展的方向之一，NetStream(网络流量分析)技术是一种基于网络流信息的统计与发布技术，它可以对网络中的通信量和资源使用情况进行统计和发布，向网络管理人员提供访问通信量详细信息。

NetStream定义了一种统计路由器/交换机输出的网络流量数据的方法，可利用网络中数据流创造价值，并可在最大限度减小对路由器/交换机性能影响的前提下提供详细的数据流统计信息。如图1所示，现有的NetStream技术的一个典型实现架构包括：NTE(NetTraffic Exporter，网络流量输出设备)、NTC(NetTraffic Collector，网络流量采集设备)以及NTP(NetTraffic Processor，网络流量分析设备)。其中，NTE负责流量的采集和发送，用于对通过路由器/交换机的IP数据包进行采集和统计，并将采集的数据包以及统计数据以NetStream日志的形式发送给NTC。NTC负责收集和存储NTE发送的数据包及统计数据信息，并提供给NTP。NTP对NTC收集到的数据包及统计数据信息进行分析加工后，以直观的图表、报表等方式为网络规划、网络优化、网络监控、流量趋势分析、异常检测等提供直接的数据依据。

其中，NTE又可以进一步分为两部分，一部分是纯粹的交换路由功能模块，负责数据流量的转发；另一部分是NSM(NetStream Module，支持NetStream功能的模块)功能模块，负责对流量进行流分类统计并将统计结果发送给NTC。

如图2所示，为现有技术中NTE设备的结构示意图，其中，NTE设备的交换路由功能模块具有镜像功能，将需要分析的数据流复制一份到NSM功能模块；NSM功能模块接收从交换路由功能模块发送的数据流，按照一定特征对数据流进行分析统计，并且组装成NetStream日志，以UDP(User DatagramProtocol，用户数据报协议)报文格式送往NTC。

现有技术中存在的问题在于，在一台NTE的交换路由功能模块中有多个镜像源端口的数据流需要送往NSM功能模块进行分析的情况下，如果数据流的流量较大，则受端口带宽的限制，将无法把所有镜像源的报文送往NSM功能模块处理。在这种情况下，只有通过进一步增加NSM功能模块数量或者减少需要分析的数据流，才可以保证待分析的流量能够到达NSM功能模块。

发明内容

本发明提供一种网络流量的分析方法和设备，用于在数据流的流量较大的情况下，通过改善网络流量的采集方式以提升网络设备的数据流分析性能。

本发明提供了一种网络流量的分析方法，应用于网络流量输出设备，包括：

根据设置的采样率将待分析的流量进行采样并发送；

对所述采样流量进行分析，并根据所述设置的采样率对所述分析结果进行还原。

其中，所述根据设置的采样率将待分析的流量进行采样并发送前，还包括：

对采样所使用的采样率进行协商，并根据所述协商结果设置采样率。

其中，所述根据设置的采样率将待分析的流量进行采样并发送包括：

根据设置的采样率，对待分析的流量中的报文按照所述采样率选择报文进行标识；当采样率为N时，从N个所述待分析的流量的报文中选择一个报文进行标识；

将所述标识的报文复制后发送，作为采样流量。

其中，所述将所述标识的报文复制后发送包括：

将所述标识的报文复制后直接发送；或

将所述标识的报文复制后，通过接入控制列表ACL进行识别，将识别后的报文经中央处理单元CPU发送；或

将所述标识的报文复制后，经设备的环回端口发送。

其中，所述对所述采样流量进行分析，并根据所述设置的采样率对所述分析结果进行还原包括：

对所述采样流量进行分析，获取报文计数统计信息；

根据所述设置的采样率，对所述报文计数统计信息按照所述采样率进行还原；当报文计数统计信息为M、采样率为N时，将所述报文计数统计信息还原为N×M。

本发明还提供一种网络流量输出设备，包括交换路由模块和网络流量分析模块：

所述交换路由模块，用于根据设置的采样率将待分析的流量进行采样并发送给所述网络流量分析模块；

所述网络流量分析模块，用于对所述交换路由模块发送的采样流量进行分析，并根据所述设置的采样率对所述分析结果进行还原。

其中，所述网络流量分析模块，包括第一采样协商子模块，用于向所述交换路由模块发送协商请求，并根据所述交换路由模块发送的协商应答设置采样所使用的采样率；

所述交换路由模块，包括第二采样协商子模块，用于接收所述网络流量分析模块发送的协商请求，并发送携带采样所使用的采样率的协商应答。

其中，所述交换路由模块，还包括：

报文标识子模块，用于根据设置的采样率，对待分析的流量中的报文按照所述采样率选择报文进行标识；当采样率为N时，从N个所述待分析的流量的报文中选择一个报文进行标识；

报文复制发送子模块，用于将所述报文标识子模块标识的报文复制后向所述网络流量分析模块发送，作为采样流量。

其中，所述报文复制发送子模块具体用于：

将所述报文标识子模块标识的报文复制后直接向所述网络流量分析模块发送；或

将所述报文标识子模块标识的报文复制后，通过接入控制列表ACL进行识别，将识别后的报文经中央处理单元CPU向所述网络流量分析模块发送；或

将所述报文标识子模块标识的报文复制后，经设备的环回端口向所述网络流量分析模块发送。

其中，所述网络流量分析模块，还包括：

分析结果获取子模块，用于对所述采样流量进行分析，获取报文计数统计信息；

分析结果还原子模块，用于根据所述设置的采样率，对所述分析结果获取子模块获取的报文计数统计信息按照所述采样率进行还原；当报文计数统计信息为M、采样率为N时，将所述报文计数统计信息还原为N×M。

与现有技术相比，本发明具有以下优点：

本发明中设置采样率对待分析的流量进行有选择性的采样，并对分析结果根据设置的采样率进行还原，从而通过改善网络流量的采集方式有效的提升了网络设备的数据流分析性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术中NetStream技术的一个典型实现架构示意图；

图2是现有技术中NTE设备的结构示意图；

图3是本发明中网络流量的分析方法的流程图；

图4是本发明的一应用场景中网络流量的分析方法的流程图；

图5是本发明中网络流量输出设备的结构示意图；

图6是本发明中网络流量输出设备的另一结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种网络流量的分析方法，应用于网络流量输出设备，如图3所示，包括：

步骤s301、根据设置的采样率将待分析的流量进行采样并发送。

步骤s302、对采样流量进行分析，并根据设置的采样率对分析结果进行还原。

通过使用本发明提供的方法，设置采样率对待分析的流量进行有选择性的采样，并对分析结果根据设置的采样率进行还原，从而通过改善网络流量的采集方式有效的提升了网络设备的数据流分析性能。

以下结合一个具体的应用场景对本发明中网络流量分析方法的具体实施方式进行描述。该方法应用于网络流量输出设备NTE中，由目前的NTE结构可知，NTE由交换路由功能模块和NSM功能模块两部分组成。本发明中通过设置采样率，使得交换路由功能模块按照采样率把需要分析的流量送往NSM模块，NSM模块根据接收到的流量进行分析后，按照预先设置的采样率把报文统计信息还原成原始的数据，并发送至NTC。

具体的，如图4所示，本应用场景中的网络流量分析方法包括：

步骤s401、NSM模块向交换路由功能模块发送协商请求。

具体的，本发明中，可以在交换路由功能模块和NSM模块之间定义一种简单的交互协议，NSM模块接入***后向交换路由功能模块发送协商请求，协商交换路由功能模块在将待分析的流量进行采样时所采用的采样率。NSM模块同样需要获知该采样率，以在对交换路由功能模块发送的采样流量进行分析后，根据设置的采样率对分析结果进行还原。

本发明的一具体实现中，协议报文的格式可以如下表1所示的格式：

表1、用于协商采样率的报文格式

DMAC

SMAC

Protocol

Type

Rate

使用如表1所示结构的报文时，对于NSM模块向交换路由功能模块发送的协商请求报文，报文中的目的MAC(DMAC)地址固定，为协议约定地址(如01-0F-E2-00-00-99。对于目的MAC地址为约定地址的报文，当源MAC地址为NSM模块的MAC时，将该报文转发到交换路由功能模块；当源MAC地址为交换路由功能模块的MAC地址时，将该报文转发到NSM模块)；源MAC(SMAC)地址为NSM模块的MAC地址(对于交换路由功能模块向NSM模块发送的协商应答报文，源MAC地址为交换路由功能模块的MAC地址)；协议类型Protocol为自定义(如0x8809)；Type有两种：一种为协商请求(0x01)，另一种为协商应答(0x02)，对于NSM模块向交换路由功能模块发送的协商请求，其Type为0x01，对于交换路由功能模块向NSM模块发送的协商应答，其Type为0x02；Rate为采样比，NSM模块向交换路由功能模块发送的协商请求中，Rate的值可以缺省为1。

步骤s402、交换路由功能模块向NSM模块发送协商应答，NSM模块获得采样率。

具体的，交换路由功能模块收到该协商请求后，发送协商应答，使用如表1所示结构的报文时，Type为0x02，Rate为用户预先配置的采样率。如果用户没有预先配置采样率，则交换路由功能模块可以不处理该协商请求直接丢弃，NSM模块在预设的等待时间内未接收到交换路由功能模块发送的协商应答时，采用缺省的采样率。交换路由功能模块也可以在向NSM模块发送的协商应答中，携带Rate的值为1。

步骤s403、交换路由功能模块根据协商的采样率，对待分析的流量中的报文进行标识。

具体的，交换路由功能模块根据协商的采样率对待分析的流量中的报文按照采样率选择报文进行标识。例如采样率为N(N＝1、2、3...)时，对于待分析的流量中的报文，从每N个报文中选择1个报文进行标识。

步骤s404、交换路由功能模块将标识的报文复制，将复制后的报文向NSM模块发送。

具体的，可以采用以下发送方式：(1)将复制后的报文直接向NSM模块发送；或(2)在不能直接将复制后的报文向NSM模块发送时，将复制后的报文，通过ACL(Access Control List，接入控制列表)进行重定向，将识别后的报文经CPU(Central Processing Unit，中央处理单元)向NSM模块发送；或(3)在不能直接将复制后的报文向NSM模块发送时，将复制的报文发送至设备的环回端口(可以由用户端口配置环回而成)，由环回端口进入后再转发到NSM模块。

步骤s405、NSM模块对接收到的采样流量进行分析，获取报文计数统计信息。

具体的，NSM模块根据预先设置的报文计数统计方法，对接收到的采样流量中的报文进行逐个分析，获取报文计数统计信息。

步骤s406、NSM模块根据设置的采样率，对报文计数统计信息按照进行还原。

具体的，采样率为N(N＝1、2、3...)时，对于报文计数统计信息中的报文计数等数据，按照采样率进行还原。例如，报文计数统计信息中的DHCP报文数量为M时，将DHCP报文数量还原为N*M。之后，NSM模块将报文计数统计信息向NTC发送。

另外需要说明的是，除了使用上述通过报文交互协商采样率的方法，还可以在交换路由模块和NSM模块预先设定固定的采样率；也可以通过对现有的一些协议进行补充，如在SNMP(Simple Network Management Protocol，简单网络管理协议)协议中增加相关MIB(Management Information Base，管理信息库)项，完成交换路由模块和NSM模块的采样率协商。

本发明提供的上述方法中，设置采样率对待分析的流量进行有选择性的采样，并对分析结果根据设置的采样率进行还原，从而通过改善网络流量的采集方式有效的提升了网络设备的数据流分析性能。

本发明还提供一种网络流量输出设备，如图5所示，包括交换路由模块10和网络流量分析模块20：

交换路由模块10，用于根据设置的采样率将待分析的流量进行采样并发送给网络流量分析模块20；

网络流量分析模块20，用于对交换路由模块10发送的采样流量进行分析，并根据设置的采样率对分析结果进行还原。

本发明提供的网络流量输出设备中，如图6所示，具体的：

交换路由模块10，可以进一步包括：

第二采样协商子模块11，用于接收网络流量分析模块20发送的协商请求，并发送携带采样所使用的采样率的协商应答。

报文标识子模块12，用于根据设置的采样率，对待分析的流量中的报文按照采样率选择报文进行标识；当采样率为N时，从N个所述待分析的流量的报文中选择一个报文进行标识；

报文复制发送子模块13，用于将报文标识子模块12标识的报文复制后向网络流量分析模块20发送，作为采样流量。具体用于：将报文标识子模块12标识的报文复制后直接向网络流量分析模块20发送；或将报文标识子模块12标识的报文复制后，通过接入控制列表ACL进行识别，将识别后的报文经中央处理单元CPU向网络流量分析模块20发送；或将报文标识子模块12标识的报文复制后，经设备的环回端口向网络流量分析模块20发送。

网络流量分析模块20，可以进一步包括：

第一采样协商子模块21，用于向交换路由模块10发送协商请求，并根据交换路由模块10发送的协商应答设置采样所使用的采样率；

分析结果获取子模块22，用于对采样流量进行分析，获取报文计数统计信息；

分析结果还原子模块23，用于根据设置的采样率，对分析结果获取子模块22获取的报文计数统计信息按照采样率进行还原；当报文计数统计信息为M、采样率为N时，将所述报文计数统计信息还原为N×M。

本发明提供的上述设备中，设置采样率对待分析的流量进行有选择性的采样，并对分析结果根据设置的采样率进行还原，从而通过改善网络流量的采集方式有效的提升了网络设备的数据流分析性能。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的单元或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的单元可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

Claims

1、一种网络流量的分析方法，应用于网络流量输出设备，其特征在于，包括：

根据设置的采样率将待分析的流量进行采样并发送；

2、如权利要求1所述的方法，其特征在于，所述根据设置的采样率将待分析的流量进行采样并发送前，还包括：

3、如权利要求1所述的方法，其特征在于，所述根据设置的采样率将待分析的流量进行采样并发送包括：

将所述标识的报文复制后发送，作为采样流量。

4、如权利要求3所述的方法，其特征在于，所述将所述标识的报文复制后发送包括：

将所述标识的报文复制后直接发送；或

将所述标识的报文复制后，经设备的环回端口发送。

5、如权利要求1所述的方法，其特征在于，所述对所述采样流量进行分析，并根据所述设置的采样率对所述分析结果进行还原包括：

对所述采样流量进行分析，获取报文计数统计信息；

根据所述设置的采样率，对所述报文计数统计信息按照所述采样率进行还原：当报文计数统计信息为M、采样率为N时，将所述报文计数统计信息还原为N×M。

6、一种网络流量输出设备，其特征在于，包括交换路由模块和网络流量分析模块：

7、如权利要求6所述的网络流量输出设备，其特征在于，

所述网络流量分析模块，包括第一采样协商子模块，用于向所述交换路由模块发送协商请求，并根据所述交换路由模块发送的协商应答设置采样所使用的采样率；

8、如权利要求6或7所述的网络流量输出设备，其特征在于，所述交换路由模块，还包括：

9、如权利要求8所述的网络流量输出设备，其特征在于，所述报文复制发送子模块具体用于：

10、如权利要求6或7所述的网络流量输出设备，其特征在于，所述网络流量分析模块，还包括：

分析结果还原子模块，用于根据所述设置的采样率，对所述分析结果获取子模块获取的报文计数统计信息按照所述采样率进行还原：当报文计数统计信息为M、采样率为N时，将所述报文计数统计信息还原为N×M。