CN102648604B - 借助于描述性的元数据监测网络通信量的方法 - Google Patents

Abstract

本发明提供了一种用于通信量监测的方法，包括如下步骤：将信息分类为与通信量分类相关的信息或与通信量统计相关的信息；根据与通信量分类相关的信息生成元数据，其中，该元数据信息包括将包或流分类为特定的应用或服务所需要的数据；以及通过适于将元数据存储和/或发送至其它装置或模块的接口导出所生成的元数据。该方法降低了DPI设备的复杂度，并且使得可以建立实时通信量特征化***，该实时通信量特征化***在具有高通信量的网络中很好地扩展。

Description

借助于描述性的元数据监测网络通信量的方法

技术领域

本发明属于通信网络领域，更具体地属于通信量监测领域。

背景技术

通信量监测是数据网络管理中的重要过程，因为通信量监测允许在网络变得拥挤之前预测升级节点容量或链路带宽的需求。该容量规划是以星期或月的时间尺度进行的，并且是运营商网络中常见的操作过程。

通信量监测还允许建立通信量矩阵，该矩阵包含每个源节点或节点组与目的节点或节点组之间交换的通信量。这些通信量矩阵对于网络规划是非常有用的，因为根据公知的网络路由方案可以获得每条链路的负载或通信量。利用该信息，可以建立对节点或链路中的单故障或双故障具有弹性的网络。

通信量监测的主要方面之一是通信量识别或分类，该通信量识别或分类涉及将通信量识别为属于特定的应用或服务。从一个应用或服务到另一个应用或服务，容量的未来需求是不同的。

不同类型的通信量分类允许在容量规划中应用更精细的粒度策略，从而预测设备升级的实际需求。此外，该通信量分类允许针对每个应用或服务建立通信量矩阵，因此使网络规划更精细。该通信量分类还有助于网络操作，因为通信量分类允许诊断在特定链路中的不期望的通信量增长之后的原因。

通信量识别可以通过如下若干种方式来完成：

●基于端口号。该技术基于如下事实：终端应用使用已知的TCP（传输控制协议）端口和用户数据报协议（UDP）端口用于连接，因此根据使用的端口来进行分类。例如，网页通信量使用HTTP协议和HTTPS协议，其中，HTTP协议和HTTPS协议分别使用传输控制协议（TCP）的端口号80和443。该通信量识别可以通过使用公知的端口列表，例如由互联网数字分配机构（IANA）分配的官方端口号以及由特定应用使用的非官方端口号来完成。该技术可以应用于实时通信量分类（在运行中（onthefly））以及离线分析（根据存储的通信量跟踪）。

●基于流模式和包模式。这些技术基于检查流特性或包特性，例如包大小、端口号、在TCP流的情况下的TCP标记、从主机朝向具有相同源端口或目的地端口的目的地主机创建的TCP连接的数量、TCP连接的持续时间等。将这些特性与预先定义的模式进行比较，从而根据与通信量模式的相似度建立通信量类型。

这些技术中的一些可以实时地应用，而由于其它的需要整个跟踪，所以只能离线地应用。例如，如果对通信量进行分类的驱动之一是从主机朝向具有相同源端口或目的地端口的目的地主机建立的TCP连接的数量，则无法进行该分类直至进行了整个跟踪为止。

●基于深度包检测（DeepPacketInspection,DPI）。该通信量分类基于对TCP和UDP协议内部传输的有效载荷的分析。由于该原因，该通信量分类通常被称为层7分类。通信量分类可以基于对有效载荷内的应用协议基元的识别或对“模式（pattern）”（有效载荷中的特定字节串的出现）的识别。

在上世纪90年代，Cisco（思科）公司开发了Netflow，Netflow是一种运行在使用Cisco的设备上的用于采集因特网协议（IP）通信量信息的网络协议。尽管Netflow是一个专利解决方案，但是除了IOS以外的平台，例如（赡博）网络路由器也支持Netflow。使用Netflow的路由器生成Netflow记录，即在某个时间段内（通常5分钟）每个流发送/接收的字节和包的通信量汇总（流是由源IP地址、目的地IP地址、传输协议、源端口、目的地端口组成的元组）。将这些Netflow记录以特定的格式导出到Netflow采集器，在Netflow采集器处接收来自于若干个使用Netflow的路由器的记录。现在，Netflow正逐渐成为被称为因特网协议数据流信息导出（IPFIX）的因特网工程任务组（IETF）标准，其基于Netflow版本9。

尽管Netflow是用于通信量统计而不是用于通信量分类的解决方案，但是可以对生成的Netflow记录进行后处理，以根据端口号或流模式进行通信量分析和分类。

然而，近十年来，由于如下几个原因，根据端口号的通信量分类正变得更加不精确：

●不同的应用可以使用相同的端口。例如，因为防火墙不过滤TCP端口号80，所以许多应用使用TCP端口号80。此外，一些应用开始将TCP端口80用作将其通信量伪装成HTTP并且不被过滤掉的方式。

●一些应用不使用特定端口，使得其无法被识别，因此变得更加难以被特定的防火墙规则过滤掉。

●嵌入在HTTP中的通信量（TCP端口80）通常被分类为网页通信量，而不对这种类型的通信量内部传输的通信量的类型进行区分。现在，视频通信量在HTTP协议内部传输，因此采用该技术不可能区别在HTTP通信量内部传输的视频通信量。

●分类需要建立端口之间的优先级，从而导致假阳性（falsepositive）。一个流可以具有源端口4600和目的地端口5000，为了判定该通信量是属于使用端口号4600的应用还是属于使用端口号5000的应用，需要建立优先级规则。

由于这些缺点，尽管Netflow记录仍然广泛地用于通信量统计，以用于建立域内通信量矩阵和域间通信量矩阵，但是Netflow记录已经变得较少用作对通信量进行分类的方式。

为了填补Netflow留下的通信量分类的空白，已经出现了若干商业产品，例如来自iPoque或Cisco的那些产品，从而提供用于通信量分类的如下解决方案，该解决方案使用DPI技术、或者流模式和包模式，来检查经过链路的包并且对每个“在运行中（onthefly）”的包进行分类。每个包或者被识别为属于特定类型的应用或者被分类为未知，但是一旦该包已被分析过了，则就不存在进一步分析的可能性。作为该分类的结果，工具提供关于每个应用在每个时间区间期间的通信量的报告。

这些解决方案提供根据检测误差（假阳性的数量，即，当流实际上属于一种类型时，流被分类成另一种类型）和检测百分比（未被分类为未知的通信量的百分比）实时进行分类的最佳性能。使用这些设备时假阳性的风险确实很低，因为这些设备检查包有效载荷，并且几乎总是可以建立每种类型通信量的意义明确的包模式。关于检测百分比，DPI设备制造商进行的一些研究表明在当前运营商网络中仅有大约10%的通信量被分类为未知。然而，用于通信量分类的当前解决方案具有若干缺点：

●因为这些解决方案执行单个设备中的通信量分类和通信量统计的任务，所以这些解决方案不是模块化的。该统计的复杂度使得设备保持每个流的状态，这使得存储器需求和处理需求高度密集，因此这意味着更高的价格。因为在高数据速率下设备需要保持更多流的状态，所以复杂度随着链路带宽的增长而增长。

●无法导出关于通信量分类的信息以用于进一步的分析。如之前所述的，存在用于通信量统计（例如Netflow对每个流的字节进行统计）的导出格式，但是不存在导出关于通信量分类的判定的方式。一旦包被分类，则该包被删除，并且没有导出关于该分类的信息导出。这具有不可能对包进行再一次重新分类的缺点。如果一些包被分类为未知，即使改进了识别通信量的方法，这些包也无法被重新分类为其它类别。此外，设备需要更新以保持签名更新，这允许将通信量分类在正确的类别中。因为没有导出关于通信量分类的信息并且不可能进行重新分类，所以这使得设备频繁地更新。

因此，寻求一种降低DPI设备的复杂度并使得可以建立实时通信量特征化***的方法，其中，实时通信量特征化***在具有高通信量的网络中很好地扩展。

附图说明

为了完成说明书并提供对本发明的更好的理解，提供了一组附图。所述附图形成了说明书的组成部分并示出了本发明的优选实施例，优选实施例不应被解释成限制本发明的保护范围，而应被解释成只是如何实施本发明的示例。附图包括以下图：

图1示出本发明的可能实现的示例；

图2是可以如何将可能实现中的模块分组到单个设备中的示例；以及

图3是可以如何将可能实现中的模块分组到三个不同设备中的示例。

发明内容

因此，本发明包括通信量分类的过程，该通信量分类在描述某些包的有效载荷中传输的内容的类型的信息（应用、服务）与关于通信量统计的信息（每个流的字节的计数）之间进行区分。该策略允许对技术进行分离以获得两种类型的信息：通信量分类和通信量统计。

本发明包括一种用于通信量监测的新方法，其包括如下步骤：

a.将信息分类为与通信量分类相关的信息（META）或者与通信量统计相关的信息（ACC）；

b.根据与通信量分类相关的信息生成元数据，其中，该元数据信息包括将该包或流分类为特定的应用或服务所需要的数据；以及

c.通过适于将元数据存储和/或发送到其它装置或模块的接口导出生成的元数据。

元数据还可以包括其它信息，例如：

●能够有助于以后对通信量进行分类的信息。例如，可以改进对通信量进行识别和分类的签名，使得在特定时刻没有被识别的通信量可以在以后用新签名来识别。该重新分类的一个示例可以是嵌入在HTTP中的视频通信量。该通信量可以通过URL（统一资源定位符）中的特定字符串的出现（模式）来识别。这些模式可以在任意时刻发生改变，使得该通信量可以被认为是未知的。为了识别该通信量，根据网页数据包生成的元数据信息可以包括所有未识别的HTTPGET请求的整个URL。可以对生成的元数据执行离线分析，检查未识别的HTTPGET请求的URL，从而生成新模式，并且使得能够对与给定的元数据相匹配的那些通信量流进行离线分类。

●用于除了通信量分类以外的目的的信息。例如：根据网页数据包中生成的元数据信息可以包括HTTPGET请求的主机，以获得所访问的主机的统计信息。

例如，ACC信息包括每个流的字节和包的量。

具体实施方式

图1示出了可以被执行以使用本发明中描述的方法来对通信量进行分类的过程的示例。包被通信量捕获模块（模块1）截听。然后，包被传送到通信量检测模块（模块2），该通信量检测模块将通信量分类为META或ACC。根据META信息，元数据生成模块（模块3）提取被称为元数据的感兴趣的信息，并且元数据由导出模块（模块4）导出至关联模块（模块5）。模块5还接收来自于通信量统计模块（模块6和模块7）的通信量统计。因为通信量统计的功能已与通信量分类分离，所以可以以不同的方式生成通信量统计。在图中，模块6根据ACC信息来生成通信量统计。另一方面，图中的模块7执行来自其它源（模块8）的通信量统计，例如，可以通过从若干个路由器接收Netflow记录的Netflow采集器来执行通信量统计。最后，模块5将元数据和通信量统计相关联，以提供所有通信量流到特定的应用或服务的完全分类。

图1中所示的可能实现仅仅是功能性的方案。不同模块的功能性可以分组到单个设备中或分离到不同的设备中。图2示出了可以如何将可能实现中的模块分组到诸如DPI设备的单个设备（设备1）中的示例。

在图2中，示出了除了关于通信量分类的报告之外，还将通信量统计和元数据提供为输出，使得可以在以后用更新的签名对通信量进行重新分类。

另一方面，图3示出了可以如何将可能实现中的模块分组到三个不同设备中的示例。在该图中，设备1可以被标识为比当前的DPI设备更简单的DPI设备（其将不执行统计）。设备1还可以是专用于识别、生成和导出元数据的路由器卡。例如，设备2的角色当前由Netflow采集器来完成，该Netflow采集器根据路由器的Netflow记录来生成通信量统计信息。最后，设备3可以是执行信息的存储和相关联以生成关于通信量分类的报告的新装置。

本发明允许当前的DPI设备关注于生成一些用于识别通信量类型的元数据的分类，然而可以通过不同的设备（例如使用Netflow的路由器）来完成通信量统计。以这种方式，可以降低DPI设备的复杂度，并使得可以建立实时通信量特征化***，其中，实时通信量特征化***在具有高通信量容量的网络中很好地扩展。

此外，DPI设备将不需要保持用于通信量统计的所有识别的流的状态，因此其存储器需求和处理需求将较低。可以通过在运营商网络中经常使用和部署的诸如Netflow采集器的***来完成通信量统计。DPI设备的复杂度的降低将意味着运营商的CAPEX（资本性支出）的节省。另外，由于DPI设备的复杂度的降低，可以将检测和分类的功能性转移至特定的路由器卡，从而消除对新设备的需求，因此降低了与管理每个网络PoP（入网点）的一个或更多个DPI设备相关联的OPEX（运营成本）。由于元数据的生成和导出，通信量分类变得更加灵活，因为可以增加用于元数据生成的规则，其可以有助于在第二阶段对在第一阶段被分类为未知的通信量进行重新分类。采用现今的DPI设备，这是不可能的。采用目前的DPI设备，一旦包被分类，则该包被删除，因此不可能对该包再次进行分类；因此如果一些包被DPI设备分类为未知，则这些包无法被重新分类。然而，采用提出的本发明，可以根据元数据进行离线分析以重新分类未知的流。元数据信息可以用于除了通信量分类以外的目的。可以根据包括HTTPGET请求的主机的元数据信息来生成所访问的主机的统计信息。可以被提取为元数据的有用信息的另一个示例是嵌入在网页中的视频的编解码器速率，其分布可以允许预测由于编解码器速率的变化导致的网络通信量的增加。

在本文中，术语“包括（comprises）”及其派生词（例如“包括（comprising）”等）不应当以排他的意义来理解，即这些术语不应当被解释为排除所描述和限定的内容还可以包括其它元件、步骤等的可能性。

另一方面，明显地，本发明不限制于本文中描述的特定实施例，而是还包括本领域的普通技术人员在权利要求所限定的本发明的整体保护范围内可以想到的任何变型。

Claims (8)

1.一种用于网络通信量监测的方法，包括如下步骤：

a.将信息分类为与通信量分类相关的信息或与通信量统计相关的信息，其中，所述通信量分类涉及将通信量识别为属于特定的应用或服务；

b.根据所述与通信量分类相关的信息生成元数据，其中该元数据信息包括将包或流分类为特定的应用或服务所需要的数据；以及

c.通过适于将所述元数据存储和/或发送至其它装置或模块的接口导出所生成的元数据。

2.根据权利要求1所述的方法，其中，所述元数据还包括签名、URL中的字符串或HTTPGET请求的主机。

3.根据权利要求1或2所述的方法，其中，所述与通信量统计相关的信息包括每个流的字节和包的量。

4.根据权利要求1或2所述的方法，其中，将所述元数据与所述与通信量统计相关的信息相关，以提供所有通信量流到特定的应用或服务的完全分类。

5.根据权利要求3所述的方法，其中，将所述元数据与所述与通信量统计相关的信息相关，以提供所有通信量流到特定的应用或服务的完全分类。

6.根据权利要求1或2所述的方法，其中，将所述元数据和所述与通信量统计相关的信息提供为输出，并且以后采用更新的签名对通信量进行重新分类。

7.根据权利要求3所述的方法，其中，将所述元数据和所述与通信量统计相关的信息提供为输出，并且以后采用更新的签名对通信量进行重新分类。

8.根据权利要求4所述的方法，其中，将所述元数据和所述与通信量统计相关的信息提供为输出，并且以后采用更新的签名对通信量进行重新分类。