CN101132375A - 网络流量统计方法及装置 - Google Patents

网络流量统计方法及装置 Download PDF

Info

Publication number
CN101132375A
CN101132375A CNA2007101753111A CN200710175311A CN101132375A CN 101132375 A CN101132375 A CN 101132375A CN A2007101753111 A CNA2007101753111 A CN A2007101753111A CN 200710175311 A CN200710175311 A CN 200710175311A CN 101132375 A CN101132375 A CN 101132375A
Authority
CN
China
Prior art keywords
statistics
statistical
territory
sampled data
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101753111A
Other languages
English (en)
Inventor
杨银柱
张志群
温涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou H3C Technologies Co Ltd
Original Assignee
Hangzhou H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou H3C Technologies Co Ltd filed Critical Hangzhou H3C Technologies Co Ltd
Priority to CNA2007101753111A priority Critical patent/CN101132375A/zh
Publication of CN101132375A publication Critical patent/CN101132375A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络流量统计方法,包括:获取统计项及其所属的统计域;所述统计域包括流量的至少一个特征参数,所述统计项描述基于所属统计域特征参数的统计需求;在网络流量中采集各统计域的采样数据,每个采样数据包括对应统计域所有特征参数的值;根据统计域的采样数据计算其统计项的统计结果。本发明能够降低流量统计对内存和CPU的消耗,并能够减小开发工作量。

Description

网络流量统计方法及装置
技术领域
本发明涉及网络管理领域,尤其涉及一种网络流量统计方法及装置。
背景技术
流量统计是计算机网络、无线网络的一种基本功能。通过对网络的流量进行统计,以及对流量分布的分析,可以发现网络结构的不合理之处或瓶颈所在,便于对网络进行有针对性的改造,达到更好的网络性能和服务。同时,对网络流量的统计和分析可以作为网络的带宽分配、参数优化等的依据。另外,很多的安全功能的实现也基于流量统计,例如DDoS(Distributed Denial of Service,分布式拒绝服务)防护。
统计针对不同的统计对象、基于流量的特征参数来进行。统计对象可以是报文、连接等;流量的特征参数可以是与统计对象相关的各种参数,这些参数可以包括源IP(Internet Protocol,网际协议)地址、目的IP地址、源端口和目的端口等四层以下的信息,还可以包括应用层信息,以及像网络设备的入接口、出接口等反映网络路径的信息。
基于上述各种需求,往往需要对同一流量从多个不同的角度进行统计。例如,有的需要统计每一个源地址相关的流量,有的需要统计每一个目的地址相关的流量,有的需要统计某个源地址的每种应用的流量,有的需要统计各个源地址访问某个服务器的流量等等。并且,这些需求可能随着网络运行的具体情况而不断发生变化。
现有技术中,通常为每一种统计需求分别编写代码,以得到其统计结果。用户要统计每一个源地址的总流量,还要统计各个源地址访问某个服务器的流量;对第一种统计需求,先采样每个报文的源地址,再对源地址相同的报文流量进行累计;对第二种统计需求,先采样每个报文的源地址和目的地址,并对目的地址是该服务器的报文按照源地址的不同分别进行流量累计。
采用这种方法,每次用户变更或者增加统计需求时,就需要修改或新增相应的代码,开发工作量大;即使不同的统计需求中需要采集相同的特征参数,也得分别采集并存储,对内存和CPU(Central Process Unit,中央处理器)的消耗较大。
发明内容
针对以上现有技术中的不足之处,本发明提供了一种网络流量统计方法和装置,能够在降低开发工作量的同时减少内存和CPU的消耗。
本发明所述的一种网络流量统计方法,包括:
获取统计项及其所属的统计域;所述统计域包括流量的至少一个特征参数,所述统计项描述基于所属统计域特征参数的统计需求;
在网络流量中采集各统计域的采样数据,每个采样数据包括对应统计域所有特征参数的值;
根据统计域的采样数据计算其统计项的统计结果。
可选地,所述统计项包括关键字组合,所述关键字组合包括至少一个关键字参数及其设定值KeyValue,关键字参数为所属统计域的一个特征参数;
所述计算统计项的统计结果包括:当采样数据中每个关键字参数的值与对应的KeyValue均相同时,以该采样数据计算该关键字组合所属统计项的统计结果。
可选地,所述统计项包括聚合掩码AggMask,所述AggMask包括至少一个聚合特征参数,该聚合特征参数为所属统计域的一个特征参数;
所述计算统计项的统计结果包括:针对采样数据中聚合特征参数的每一个值分别计算该聚合掩码所属统计项的统计结果。
可选地,所述统计项包括采样检查方法,所述采用检查方法为采用至少一个所述统计域特征参数描述的设定条件;
所述计算统计项的统计结果包括:当采样数据中特征参数的值符合采样检查方法的设定条件时,以该采样数据计算该统计项的统计结果。
优选地,所述统计项包括关键字组合、聚合掩码AggMask和采样检查方法;其中关键字组合包括至少一个关键字参数及其设定值KeyValue,聚合掩码包括至少一个聚合特征参数,关键字参数、聚合特征参数分别为所属统计域的一个特征参数,采样检查方法为采用至少一个所述统计域特征参数描述的设定条件;
所述计算统计项的统计结果包括:
确定统计域中所有的关键字组合;
查找与采样数据的各个关键字参数及其值均相同的关键字组合;
对查找出的关键字组合,遍历具有相同关键字组合的各个统计项进行统计结果计算;对每个统计项,当所述采样数据中特征参数的值满足其采样检查方法的设定条件时,针对采样数据中聚合特征参数的每一个值分别计算该统计项的统计结果。
优选地,,所述统计项还包括采样计算方法;
所述计算统计结果包括:利用采样计算方法对采样数据进行采样计算,按照采样计算结果得出该统计项的统计结果。
优选地,所述统计项还包括聚合周期和聚合计算方法;
所述按照采样结果得出统计结果包括:按照聚合计算方法,由聚合周期中的采样计算结果得出聚合周期的统计值。
优选地,所述统计项还包括统计周期和统计计算方法;所述统计周期包括至少一个聚合周期;
所述按照采样结果得出统计结果还包括:按照统计计算方法,由统计周期中各聚合周期的统计值和/或采样计算结果得出统计周期的统计值。
优选地,所述方法在采集各统计域的采样数据前还包括:指定各统计域的统计对象;
所述采集各统计域的采样数据具体为:对匹配于所述统计对象的流量采集对应统计域的采样数据。
优选地,所述在网络流量中采集各统计域的采样数据具体为:在网络流量中采集处于激活状态的各统计域的采样数据;
所述方法还包括:当一个统计域的统计项数目为零时,置该统计域为非激活状态,否则该统计域为激活状态。
本发明还提供了一种网络流量统计装置,包括:
统计项单元,用于获取并存储统计项及其所属的统计域;所述统计域包括流量的至少一个特征参数,所述统计项描述基于所属统计域特征参数的统计需求;
采样单元,用于在网络流量中采集统计域的采样数据,每个采样数据包括该统计域所有特征参数的值;
计算单元,用于由统计域的采样数据计算其统计项的统计结果。
可选地,所述统计项包括关键字组合和采样计算方法;所述关键字组合包括至少一个关键字参数及其设定值KeyValue,关键字参数为所属统计域的一个特征参数;
所述计算单元包括:
关键字组合模块,用于检查采样数据中每个关键字参数的值是否与关键字组合中与对应的KeyValue均相同,如果相同则输出该采样数据;
采样计算模块,用于按照所述采样计算方法对关键字组合模块输出的采样数据进行采样计算。
可选地,所述统计项包括采样检查方法和采样计算方法;所述采样检查方法为采用至少一个所述统计域的特征参数描述的设定条件;
所述计算单元包括:
采样检查模块,用于检查采样数据中特征参数的值是否符合所述采样检查方法的设定条件,如果符合则输出该采样数据;
采样计算模块,用于按照所述采样计算方法对采样检查模块输出的采样数据进行采样计算。
可选地,所述统计项包括聚合掩码AggMask和采样计算方法,所述AggMask包括至少一个聚合特征参数,该聚合特征参数为所属统计域的一个特征参数;
所述计算单元包括:
聚合掩码模块,用于通知采样计算模块针对采样数据中聚合特征参数的每一个值分别进行统计;
采样计算模块,用于根据聚合掩码模块的指令,采用所述采样计算方法对采样数据进行采样计算。
优选地,所述统计项还包括聚合周期和聚合计算方法;
所述计算单元还包括聚合计算模块,用于按照所述聚合计算方法,由聚合周期中的采样计算模块的计算结果得出聚合周期的统计值。
优选地,所述统计项还包括统计周期和统计计算方法;所述统计周期包括至少一个聚合周期;
所述计算单元还包括统计计算模块,用于按照所述统计计算方法,由统计周期中聚合计算模块的计算结果和/或采样计算模块的计算结果得出统计周期的统计值。
优选地,所述装置还包括统计对象单元,用于指定统计域的统计对象;
所述采样单元对匹配于该统计对象的流量采集该统计域的采样数据。
本发明根据统计域从流量中采集特征参数的值,基于所采集的特征参数值通过统计项实现用户的统计需求。采用本发明,用户可以将具有相同或重复特征参数的多个统计项设置在一个统计域中,这样一个采样数据可以用于计算多个统计项,减少了内存和CPU的消耗,当来自不同业务模块的统计需求可以采用相同的统计项描述时能进一步降低CPU和内存的负荷;并且,用户可以通过修改或增加相应的统计项描述来变更或新增统计需求,减小了开发工作量。
附图说明
图1:本发明中网络流量统计的逻辑结构示意图;
图2:本发明所述网络流量统计方法实施例一的流程图;
图3:当统计域的统计对象不同时,图2中步骤S200的流程图;
图4:由统计域IPv4的一个采样数据计算统计项统计结果的流程;
图5:本发明所述网络流量统计装置的结构示意图。
具体实施方式
统计可以理解为对具有某种相同特性的流量进行收集、计算,以得到一个总括性的描述。统计的一个特点是要对具有某个或某些相同特征的数据进行聚合,将大量的数据汇总为一个或少数几个数据。
在网络中,对流量的一个具体的统计需求往往与至少一个业务功能有关。本发明采用业务功能与统计功能分离实现的方式,其结构可以如图1所示,业务模块将统计需求通知统计模块,由统计模块进行流量的采样和针对统计需求进行的统计计算,并将统计结果返回业务模块。这样,业务模块作为统计模块的用户,只需要提出统计需求,而不必关注如何实现采样数据的采集和统计结果的计算;而统计模块可以采用通用的流量统计模型来实现统计功能,降低开发工作量。
图1中,业务模块和统计模块可能位于某个网络设备内部同一个或不同的板卡上,也可能位于不同的网络设备中。
本发明中,通用的流量统计模型包括统计域和统计项。统计域是其统计对象的流量特征参数的集合。每个统计域有确定的统计对象,可以按照具体的统计需求设定,例如统计域A的统计对象为连接,统计域B的统计对象为IPv4(Internet Protocol Version 4,第4版网际协议)报文,统计域C的统计对象为IPv6(Internet Protocol Version 6,第6版网际协议)报文等。统计对象的特征参数可以是与流量相关的各种参数,包括但不限于一层至四层的报头信息、应用层信息、统计对象在某个网络设备上的出接口及入接口等,例如,统计域B的特征参数为IPv4报文的源IP地址、目的IP地址、应用层协议、报文长度。
对流量的采集按照统计域来进行。当流量中出现某个统计域的统计对象时,对该统计对象进行采集,每次采集生成一个采样数据,这个采样数据中包括该统计域所有的特征参数在该统计对象中的具体数值。例如,统计域B的一个采样数据可以是:源IP地址为67.10.1.1,目的IP地址为64.218.10.1,应用层协议为HTTP(Hyper Text Transfer Protocol,超文本传输协议),报文长度为336字节。
统计项以其所属统计域的特征参数为基础,对统计需求进行描述。换言之,只有一个统计需求所需的全部特征参数均包括在一个统计域中,并且该统计需求针对的统计对象即是该统计域的统计对象时,该统计需求才能被该统计域的统计项描述。统计项通常描述对符合什么条件的流量进行哪些数值的统计,其中所述的条件和数值均可以由其所属统计域的特征参数得出。例如,统计域B的一个统计项可以是:对源IP地址在67.10.1.0/24的网段、应用层协议为HTTP的IPv4报文的总长度进行统计。按照统计项对统计域的采样数据进行计算,可以得出统计项的统计结果。用户的一个统计需求可能由一个或一个以上的统计项来描述。
需要说明的是,在一些网络应用环境中可能不需要指定统计域的统计对象。例如,一个网络中传输的报文均为IPv4报文,而所有的统计域均以IPv4报文为统计对象,则不再需要为统计域指定统计对象,并且在流量采集中也不需要判断统计对象是否与统计域匹配。
本发明所述网络流量统计方法实施例的流程如图2所示。
步骤S100:获取统计项及其所属的统计域。
本发明中对统计域和统计项如何生成没有限制,以图1所示的结构为例,可以由统计模块提供统计域,业务模块按照其统计需求生成统计项通知统计模块并指定所属的统计域;也可以由业务模块生成统计域及其统计项后通知统计模块;还可以由管理员手工在统计模块上配置统计项和统计域。只要在对某个统计项的统计开始前,统计模块能够得知该统计项及其所属的统计域即可。
参见图2,步骤S200:在网络流量中采集各个统计域的采样数据。
如果由统计模块提供统计域,可能出现这样的情况:所有业务模块均没有生成属于某个统计域的统计项。此时,对这个统计域的采样没有必要进行,为了避免对CPU和内存资源造成浪费,可以为统计域设置激活状态和非激活状态,将具有至少一个统计项的统计域设置为激活状态,而将没有统计项的统计域设置为非激活状态。这样,在本步骤中只需对处于激活状态的统计域进行采样。
如前所述,当不须指定统计域的统计对象时,本步骤中的采样针对每个统计域分别进行即可。当不同的统计域具有不同的统计对象时,本步骤中对网络流量的一次采集流程可以如图3所示:
步骤S210:取得当前统计域的统计对象;
步骤S220:判断当前流量是否是该统计域的统计对象,如果是,执行步骤S230;否则转步骤S240;
步骤S230:对该统计对象进行采样,生成当前统计域的一个采样数据;
步骤S240:判断是否有下一个统计域需要对当前流量采样,如果是,执行步骤S250;否则本次采集流程结束;
步骤S250:将下一个统计域置为当前统计域,转步骤S210。
本领域技术人员知道,图3所示流程中的统计域可以只包括处于激活状态的统计域。另外,对于一个设定了统计对象的统计域,可以不包括任何特征参数,在这种情况下,可以完成一些简单的统计,如对该统计对象的数量进行统计。
参见图2,步骤S300:利用统计域的采样数据,计算其统计项的统计结果。
统计项对统计需求的描述方式可以根据网络环境来确定,只要在业务模块与统计模块之间具有约定的接口、并且统计模块采用相适应的计算方法得出统计结果即可。
本发明推荐一种统计项的优选实现方式,即提供一种模型化的统计需求描述方式,使得计算统计项统计结果的过程更为标准化,避免不同计算过程的独立开发,大大降低计算过程的开发成本。在该优选实现方式中,一个统计项可以采用如下参量来描述:
1)关键字组合。关键字组合包括至少一个关键字参数及其设定值KeyValue,其中关键字参数为该统计项所属统计域的一个特征参数,KeyValue为关键字参数的一个可能取值,关键字参数和KeyValue一一对应。关键字组合的含义为本统计项只对每个关键字参数的值均为其对应的KeyValue的采样数据进行统计。例如,统计域B中一个统计项的关键字组合为源IP地址及设定值67.10.1.1、和应用层协议及设定值HTTP,则只有当该统计域的采样数据中源IP地址为67.10.1.1、并且应用层协议为HTTP时,才可能利用该采样数据计算本统计项的统计结果;否则不利用该采样数据进行本统计项的计算;
2)采样检查方法。采样检查方法是采用至少一个所属统计域的特征参数来描述的设定条件,其含义为只有当采样数据中特征参数的取值能够满足采样检查方法给出的设定条件时,才利用该采样数据计算本统计项的统计结果。采样检查方法即是用特征参数设定的条件,只有采样数据满足这个条件才会被计入统计结果中。例如,统计域B中一个统计项的采样检查方法为源IP地址位于在67.10.1.0/24的网段、以及报文长度大于200字节,则只有满足以上两点的采样数据会被计入该统计项的统计结果。
3)聚合掩码AggMask。AggMask包括至少一个聚合特征参数,聚合特征参数为所属统计域的一个特征参数,一个聚合掩码中可以包括一个或一个以上的聚合特征参数。聚合掩码AggMask的含义为对采样数据中聚合特征参数的每一个具体取值分别进行统计结果的计算。例如,统计域B中一个统计项包括AggMask,其聚合特征参数为应用层协议,在统计开始后,该统计域的采样数据中出现了HTTP、FTP(File TransferProtocol,文件传输协议)两种应用层协议的取值,则以HTTP协议报文为一组计算该组的统计结果,以FTP协议报文为另一组计算该组的统计结果;当该统计域的采样数据中出现应用层协议为SNMP(SimpleNetwork Management Protocol,简单网络管理协议)的报文时,再以SNMP报文为第三组计算该组的统计结果。当AggMask中包括多个聚合特征参数时,则以每个聚合特征参数的每一个具体取值的组合来计算统计结果。例如,聚合掩码包括两个聚合特征参数Agg1和Agg2,Agg1出现的取值为a1、b1,Agg2出现的取值为c2、d2,则以a1和c2、a1和d2、b1和c2、b1和d2为四个组来分别计算统计结果;
4)采样计算方法。采样计算方法描述怎样对采样数据进行采样计算,以得到本统计项的采样计算结果。例如,采样计算方法为统计报文个数时,则每采样一个报文,即在原来的统计个数上加1;采样计算方法为统计总字节数,则每采样一个报文,即在原来的总字节数上增加该报文的长度值;
5)聚合周期、聚合计算方法。聚合周期为产生一个统计值的时间段,这个统计值为聚合周期的统计值;聚合计算方法为由聚合周期内的采样计算结果得出聚合周期统计值的计算方法。需要时还可以为聚合周期设置初始值,在计算聚合周期统计值时使用。例如,采样计算方法为统计报文的总长度,聚合周期为500ms(毫秒),当聚合计算结果是聚合周期的总流量时,聚合计算方法为累加聚合周期内所有报文的长度值;当聚合计算结果为聚合周期内最长报文的长度时,聚合计算方法为取得聚合周期内报文长度的最大值,这两种聚合计算方法的初始值均为0;
6)统计周期、统计计算方法。统计周期包括一个或者一个以上的聚合周期,是产生统计周期统计值的时间段;统计计算方法是由统计周期内采样计算结果或聚合周期统计值产生统计周期统计值的计算方法。需要时也可以为统计周期设置初始值,在计算统计周期统计值时使用。例如,可以采用统计计算方法对统计周期中多个聚合周期的报文流量求最大值、平均值等,或者计算统计周期内各聚合周期速率的最大速率、平均速率等;
7)统计开始时间、统计结束时间。
上述参量中,关键字组合和采样检查方法用来描述对哪些采样数据进行统计。其中,关键字组合针对特征参数的确定取值来限定进行统计计算的采样数据,而采样检查方法针对特征参数的设定条件来限定进行统计计算的采样数据。当需要对所有的采样数据都进行统计计算时,可以不采用关键字组合和采样检查方法。
上述参量中,聚合掩码、采样计算方法、聚合周期、聚合计算方法、统计周期、统计计算方法用来描述如何对采样数据进行统计计算。其中,采样计算方法确定了对采样数据的处理方法,是基本的统计计算方法,采样计算结果可以作为聚合计算方法和统计计算方法的基础。
可以视网络监控的需要在上述参量的基础上增加新的参量,例如描述采样计算结果、聚合周期统计值和/或统计周期统计值的单位的统计单位(可以是报文数、每秒报文数、带宽等),描述采样计算结果、聚合周期统计值和/或统计周期统计值的类型的结果类型(可以是最大值、平均值、当前值等),以及其他。
在一个统计项中通常会包括采样计算方法,除统计周期应以聚合周期为基础外,其他参量可以按照统计项统计结果的需要来任意选择其中的一个,或者选择一个以上的组合。此处不再一一列举。
以下以一个具体的统计需求为例来说明步骤S300中计算统计项统计结果的过程。设一个统计需求为统计公司内一个子网67.10.1.0/24中的每台终端Web(万维网)应用的流量情况,要求每分钟产生一个上一分钟总流量的统计数据。该统计需求用统计项1和统计项2来描述;这两个统计项所属的统计域为IPv4,其统计对象为IPv4报文,特征参数为源IP地址、目的IP地址、应用协议和报文长度。
统计项1用来统计终端发送的HTTP报文,其参量为:
关键字组合:一个关键字参数及其值KeyValue,关键字参数为应用层协议,KeyValue为HTTP;
采样检查方法:源IP地址为67.10.1.0/24网段;
聚合掩码AggMask:一个聚合特征参数,为源IP地址;
采样计算方法:累加报文长度;
聚合周期:1分钟;
聚合计算方法:将累计的报文长度保存到历史记录中;
聚合周期初始值:0。
统计项2用来统计终端接收的HTTP报文,其参量为:
关键字组合:一个关键字参数及其值KeyValue,关键字参数为应用层协议,KeyValue为HTTP;
采样检查方法:目的IP地址为67.10.1.0/24网段;
聚合掩码AggMask:一个聚合特征参数,为目的IP地址;
采样计算方法:累加报文长度;
聚合周期:1分钟;
聚合计算方法:将累计的报文长度保存到历史记录中;
聚合周期初始值:0。
针对统计域IPv4的一个采样数据,计算统计项统计结果的流程如图4所示。
步骤S301:取得统计域中所有的关键字组合。对统计域IPv4,由于统计项1和统计项2具有相同的关键字组合,因此其所有的关键字组合只有一个:即关键字参数为应用层协议、KeyValue为HTTP的关键字组合;
步骤S302:取得当前的关键字组合。对统计域IPv4,当前的关键字组合为应用层协议及HTTP;
步骤S303:判断采样数据是否匹配当前关键字组合,即采样数据中每个关键字参数的值是否均与对应的KeyValue相同,如果匹配则执行步骤S304,否则转步骤S312。对统计域IPv4,当采样数据的应用层协议为HTTP时执行步骤S304,否则转步骤S312;
步骤S304:将具有当前关键字组合的统计项作为当前统计项。对统计域IPv4,将具有当前关键字组合的统计项1作为当前统计项;
步骤S305:判断采样数据是否满足当前统计项中采样检查方法,如果满足执行步骤S306,否则转步骤S310。对统计域IPv4,如果采样数据中源IP地址为67.10.1.0/24网段,则执行步骤S306;否则转步骤S3 10;
步骤S306:根据采样数据中当前统计项的聚合特征参数的值查找对应的统计单元。统计单元是按照采样计算方法进行采样计算的最小单位,对包括聚合掩码的统计项而言,统计单元由聚合特征参数的值来标识,统计单元的数量对应于具有其关键字组合、满足采样检查方法的采样数据中聚合特征参数有多少个取值(当只有一个聚合特征参数时)或者取值组合(当包括两个以上的聚合特征参数时)。对本例来说,按照采样数据中聚合特征参数的取值查找是否有相同取值的统计单元;
步骤S307:判断是否找到对应的统计单元,如果找到则执行步骤S308,否则执行步骤S309;
步骤S308:利用采样数据,按照采样计算方法更新对应的统计单元的值,转步骤S310。对统计域IPv4,将采样数据的报文长度累加到找到的统计单元的值之上,并转步骤S310;
步骤S309:创建对应于聚合特征参数取值的新的统计单元,并按照采样计算方法计算该统计单元的值。对统计域IPv4,创建新的统计单元,并以采样数据的报文长度作为该统计单元的值;
步骤S310:判断是否有下一个具有相同关键字组合的统计项,如果有执行步骤S311,否则转步骤S312;
步骤S311:以下一个具有相同关键字组合的统计项作为当前统计项,转步骤S305。对统计域IPv4,将统计项2置为当前统计项,并转步骤S305,对采样数据进行统计项2的计算;
步骤S312:判断是否有下一个关键字组合,如果有执行步骤S313,否则对这个采样数据的处理结束。对统计域IPv4,在完成统计项1和统计项2的采样计算后,对该采样数据的处理结束;
步骤S313:以下一个关键字组合作为当前关键字组合,转步骤S303。
对统计项的聚合周期,其处理方式为:在聚合周期的开始,按照统计项的初始值初始化聚合周期的统计值;在聚合周期到时,按照聚合计算方法由聚合周期内的采样计算结果得出聚合周期统计值;在保存该聚合周期统计值后,按照统计项的初始值初始化该聚合周期统计值,以便下一个聚合周期的统计。对统计域IPv4,在每个聚合周期的开始,将聚合周期统计值初始化为0,在聚合周期到时,将采样计算累计的总流量保存起来。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,包括上述方法实施例中的全部或部分步骤;所述的存储介质包括:ROM/RAM(Read Only Memory/Random-Access/Memory,只读存储器/随机访问内存)、磁碟或者光盘等。
本发明所述网络流量统计装置可以具有图5所示的结构,网络流量统计装置包括统计项单元510、采样单元520和计算单元540,还可以包括统计对象单元530。
统计项单元510用来获取并保存各统计域及其统计项。采样单元520按照统计项单元510中保存的统计域的所有特征参数,采集网络流量生成该统计域的采样数据,每个采样数据中包括该统计域所有特征参数的值。计算单元540利用采样单元520输出的采样数据,计算相应统计域的统计项的统计结果。
可以增加统计对象单元530,来为各个统计域分别指定统计对象。此时采样单元520只对流量中属于某个统计域的统计对象采集采样数据,而对不匹配的统计对象不进行采样。
计算单元530通常包括采样计算模块544,还可以包括关键字组合模块541、采样检查模块542、聚合掩码模块543、聚合计算模块545以及统计计算模块546。
对输入的采样数据,采样计算模块544按照统计项中的采样计算方法进行采样计算,输出采样计算结果。
关键字组合模块541从统计项单元510读出统计项的关键字组合,检查采样单元520输出的采样数据中每个关键字参数的值是否与关键字组合中对应的KeyValue均相同,如果相同则输出该采样数据,否则不对该采样数据进行该统计项的计算。
采样检查模块542从统计项单元510读出统计项的采样检查方法,检查关键字组合模块541输出的采样数据中特征参数的值是否符合该统计项采样检查方法的设定条件,如果符合则输出该采样数据,否则不对该采样数据进行该统计项的计算。
聚合掩码模块543从统计项单元510读出统计项的聚合特征参数,通知采样计算模块544对采样数据中聚合特征参数的每一个值分别予以统计。采样计算模块544收到指令后,则按照采样计算方法对聚合特征参数的每一个值分别进行采样计算。
根据统计项中是否包括关键字组合、采样检查方法以及聚合掩码,计算单元530中的关键字组合模块541、采样检查模块542和聚合掩码模块543可以相应省略。换言之,采样计算模块544可以与关键字组合模块541、采样检查模块542、聚合掩码模块543中的一个或多个组合实现统计项的采样计算。
而对于采样计算模块544输出的采样计算结果,可以进一步由聚合计算模块545、统计计算模块546计算得出聚合周期统计值或统计周期统计值。
聚合计算模块545按照统计项的聚合计算方法,利用聚合周期中的采样计算结果算得聚合周期统计值。
统计计算模块546以聚合计算模块545为基础,利用聚合周期统计值,按照统计项的统计计算方法算得统计周期统计值。
采用本发明,用户可以将针对同一统计对象、具有相同或重复特征参数的多个统计需求设置在一个统计域中,按照这些统计需求确定统计域的特征参数,这样对这些统计需求的流量采集可以一次完成,降低了CPU的负荷和内存消耗;有的来自不同业务模块的统计需求可以采用相同的统计项进行描述,这样对相同统计项的计算也只需进行一次,进一步减轻了CPU和内存的负荷;用户可以通过修改或增加相应的统计项描述来变更或新增统计需求,减小了开发工作量。采用模型化的统计需求描述方式能够进一步降低实现统计计算的开发工作量。
需要声明的是,上述发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用,不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理内,当可作各种修改、等同替换、或改进。本发明的保护范围以所附权利要求书为准。

Claims (17)

1.一种网络流量统计方法,其特征在于,包括:
获取统计项及其所属的统计域;所述统计域包括流量的至少一个特征参数,所述统计项描述基于所属统计域特征参数的统计需求;
在网络流量中采集各统计域的采样数据,每个采样数据包括对应统计域所有特征参数的值;
根据统计域的采样数据计算其统计项的统计结果。
2.如权利要求1所述的网络流量统计方法,其特征在于,所述统计项包括关键字组合,所述关键字组合包括至少一个关键字参数及其设定值KeyValue,关键字参数为所属统计域的一个特征参数;
所述计算统计项的统计结果包括:当采样数据中每个关键字参数的值与对应的KeyValue均相同时,以该采样数据计算该关键字组合所属统计项的统计结果。
3.如权利要求1所述的网络流量统计方法,其特征在于,所述统计项包括聚合掩码AggMask,所述AggMask包括至少一个聚合特征参数,该聚合特征参数为所属统计域的一个特征参数;
所述计算统计项的统计结果包括:针对采样数据中聚合特征参数的每一个值分别计算该聚合掩码所属统计项的统计结果。
4.如权利要求1所述的网络流量计算方法,其特征在于,所述统计项包括采样检查方法,所述采样检查方法为采用至少一个所述统计域特征参数描述的设定条件;
所述计算统计项的统计结果包括:当采样数据中特征参数的值符合采样检查方法的设定条件时,以该采样数据计算该统计项的统计结果。
5.如权利要求1所述的网络流量计算方法,其特征在于,所述统计项包括关键字组合、聚合掩码AggMask和采样检查方法;其中关键字组合包括至少一个关键字参数及其设定值KeyValue,聚合掩码包括至少一个聚合特征参数,关键字参数、聚合特征参数分别为所属统计域的一个特征参数,采样检查方法为采用至少一个所述统计域特征参数描述的设定条件;
所述计算统计项的统计结果包括:
确定统计域中所有的关键字组合;
查找与采样数据的各个关键字参数及其值均相同的关键字组合;
对查找出的关键字组合,遍历具有相同关键字组合的各个统计项进行统计结果计算;对每个统计项,当所述采样数据中特征参数的值满足其采样检查方法的设定条件时,针对采样数据中聚合特征参数的每一个值分别计算该统计项的统计结果。
6.如权利要求2至5任意一项所述的网络流量计算方法,其特征在于,所述统计项还包括采样计算方法;
所述计算统计结果包括:利用采样计算方法对采样数据进行采样计算,按照采样计算结果得出该统计项的统计结果。
7.如权利要求6所述的网络流量计算方法,其特征在于,所述统计项还包括聚合周期和聚合计算方法;
所述按照采样结果得出统计结果包括:按照聚合计算方法,由聚合周期中的采样计算结果得出聚合周期的统计值。
8.如权利要求7所述的网络流量计算方法,其特征在于,所述统计项还包括统计周期和统计计算方法;所述统计周期包括至少一个聚合周期;
所述按照采样结果得出统计结果还包括:按照统计计算方法,由统计周期中各聚合周期的统计值和/或采样计算结果得出统计周期的统计值。
9.如权利要求1至5任意一项所述的网络流量统计方法,其特征在于,所述方法在采集各统计域的采样数据前还包括:指定各统计域的统计对象;
所述采集各统计域的采样数据具体为:对匹配于所述统计对象的流量采集对应统计域的采样数据。
10.如权利要求1至5任意一项所述的网络流量统计方法,其特征在于,所述在网络流量中采集各统计域的采样数据具体为:在网络流量中采集处于激活状态的各统计域的采样数据;
所述方法还包括:当一个统计域的统计项数目为零时,置该统计域为非激活状态,否则该统计域为激活状态。
11.一种网络流量统计装置,其特征在于,包括:
统计项单元,用于获取并存储统计项及其所属的统计域;所述统计域包括流量的至少一个特征参数,所述统计项描述基于所属统计域特征参数的统计需求;
采样单元,用于在网络流量中采集统计域的采样数据,每个采样数据包括该统计域所有特征参数的值;
计算单元,用于由统计域的采样数据计算其统计项的统计结果。
12.如权利要求11所述的网络流量统计装置,其特征在于,所述统计项包括关键字组合和采样计算方法;所述关键字组合包括至少一个关键字参数及其设定值KeyValue,关键字参数为所属统计域的一个特征参数;
所述计算单元包括:
关键字组合模块,用于检查采样数据中每个关键字参数的值是否与关键字组合中与对应的KeyValue均相同,如果相同则输出该采样数据;
采样计算模块,用于按照所述采样计算方法对关键字组合模块输出的采样数据进行采样计算。
13.如权利要求11所述的网络流量统计装置,其特征在于,所述统计项包括采样检查方法和采样计算方法;所述采样检查方法为采用至少一个所述统计域的特征参数描述的设定条件;
所述计算单元包括:
采样检查模块,用于检查采样数据中特征参数的值是否符合所述采样检查方法的设定条件,如果符合则输出该采样数据;
采样计算模块,用于按照所述采样计算方法对采样检查模块输出的采样数据进行采样计算。
14.如权利要求11所述的网络流量统计装置,其特征在于,所述统计项包括聚合掩码AggMask和采样计算方法,所述AggMask包括至少一个聚合特征参数,该聚合特征参数为所属统计域的一个特征参数;
所述计算单元包括:
聚合掩码模块,用于通知采样计算模块针对采样数据中聚合特征参数的每一个值分别进行统计;
采样计算模块,用于根据聚合掩码模块的指令,采用所述采样计算方法对采样数据进行采样计算。
15.如权利要求12至14任意一项所述的网络流量统计装置,其特征在于,所述统计项还包括聚合周期和聚合计算方法;
所述计算单元还包括聚合计算模块,用于按照所述聚合计算方法,由聚合周期中的采样计算模块的计算结果得出聚合周期的统计值。
16.如权利要求15所述的网络流量统计装置,其特征在于,所述统计项还包括统计周期和统计计算方法;所述统计周期包括至少一个聚合周期;
所述计算单元还包括统计计算模块,用于按照所述统计计算方法,由统计周期中聚合计算模块的计算结果和/或采样计算模块的计算结果得出统计周期的统计值。
17.如权利要求11至14任意一项所述的网络流量统计装置,其特征在于,所述装置还包括统计对象单元,用于指定统计域的统计对象;
所述采样单元对匹配于该统计对象的流量采集该统计域的采样数据。
CNA2007101753111A 2007-09-28 2007-09-28 网络流量统计方法及装置 Pending CN101132375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2007101753111A CN101132375A (zh) 2007-09-28 2007-09-28 网络流量统计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2007101753111A CN101132375A (zh) 2007-09-28 2007-09-28 网络流量统计方法及装置

Publications (1)

Publication Number Publication Date
CN101132375A true CN101132375A (zh) 2008-02-27

Family

ID=39129502

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007101753111A Pending CN101132375A (zh) 2007-09-28 2007-09-28 网络流量统计方法及装置

Country Status (1)

Country Link
CN (1) CN101132375A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447589A (zh) * 2010-09-30 2012-05-09 杭州华三通信技术有限公司 一种聚合记录的方法及装置
CN103001814A (zh) * 2011-09-09 2013-03-27 湖南神州祥网科技有限公司 一种网络流量特征统计描述方法
CN103581044A (zh) * 2013-11-04 2014-02-12 汉柏科技有限公司 一种流量统计方法和装置
CN105142125A (zh) * 2015-07-27 2015-12-09 中国联合网络通信集团有限公司 一种实现流量记录处理的方法及装置
CN105871847A (zh) * 2016-04-01 2016-08-17 国网江苏省电力公司电力科学研究院 一种智能变电站网络异常流量检测方法
CN106452868A (zh) * 2016-10-12 2017-02-22 中国电子科技集团公司第三十研究所 一种支持多维度聚合分类的网络流量统计实现方法
CN110071853A (zh) * 2019-04-30 2019-07-30 新华三技术有限公司 一种报文统计方法及网络设备
CN111162973A (zh) * 2019-12-31 2020-05-15 奇安信科技集团股份有限公司 数据流量采集方法、装置、电子设备和介质
CN112311791A (zh) * 2020-10-29 2021-02-02 贵州电网有限责任公司 一种适用于办公业务流量的统计方法及***
CN113538908A (zh) * 2021-07-09 2021-10-22 大连海事大学 一种基于组合特征参数的路况分区***
CN115996183A (zh) * 2021-10-15 2023-04-21 中国联合网络通信集团有限公司 流量确定方法及设备

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447589A (zh) * 2010-09-30 2012-05-09 杭州华三通信技术有限公司 一种聚合记录的方法及装置
CN102447589B (zh) * 2010-09-30 2014-07-30 杭州华三通信技术有限公司 一种聚合记录的方法及装置
CN103001814A (zh) * 2011-09-09 2013-03-27 湖南神州祥网科技有限公司 一种网络流量特征统计描述方法
CN103581044A (zh) * 2013-11-04 2014-02-12 汉柏科技有限公司 一种流量统计方法和装置
CN105142125A (zh) * 2015-07-27 2015-12-09 中国联合网络通信集团有限公司 一种实现流量记录处理的方法及装置
CN105142125B (zh) * 2015-07-27 2019-06-07 中国联合网络通信集团有限公司 一种实现流量记录处理的方法及装置
CN105871847A (zh) * 2016-04-01 2016-08-17 国网江苏省电力公司电力科学研究院 一种智能变电站网络异常流量检测方法
CN105871847B (zh) * 2016-04-01 2018-11-30 国网江苏省电力公司电力科学研究院 一种智能变电站网络异常流量检测方法
CN106452868B (zh) * 2016-10-12 2019-04-05 中国电子科技集团公司第三十研究所 一种支持多维度聚合分类的网络流量统计实现方法
CN106452868A (zh) * 2016-10-12 2017-02-22 中国电子科技集团公司第三十研究所 一种支持多维度聚合分类的网络流量统计实现方法
CN110071853A (zh) * 2019-04-30 2019-07-30 新华三技术有限公司 一种报文统计方法及网络设备
CN110071853B (zh) * 2019-04-30 2021-01-01 新华三技术有限公司 一种报文统计方法及网络设备
CN111162973A (zh) * 2019-12-31 2020-05-15 奇安信科技集团股份有限公司 数据流量采集方法、装置、电子设备和介质
CN112311791A (zh) * 2020-10-29 2021-02-02 贵州电网有限责任公司 一种适用于办公业务流量的统计方法及***
CN113538908A (zh) * 2021-07-09 2021-10-22 大连海事大学 一种基于组合特征参数的路况分区***
CN113538908B (zh) * 2021-07-09 2022-05-17 大连海事大学 一种基于组合特征参数的路况分区***
CN115996183A (zh) * 2021-10-15 2023-04-21 中国联合网络通信集团有限公司 流量确定方法及设备

Similar Documents

Publication Publication Date Title
CN101132375A (zh) 网络流量统计方法及装置
US9531620B2 (en) Control plane packet traffic statistics
US10747592B2 (en) Router management by an event stream processing cluster manager
RU2419986C2 (ru) Объединение многострочных протокольных вхождений
Dongshan et al. A new markov model for web access prediction
EP3796167B1 (en) Router management by an event stream processing cluster manager
CN111181799B (zh) 一种网络流量监控方法及设备
CN109344178A (zh) 一种数据报表实时统计方法、装置、设备及可读存储介质
CN107634848A (zh) 一种采集分析网络设备信息的***和方法
CN107147535A (zh) 一种分布式的网络测量数据统计分析方法
CN108989136A (zh) 业务端到端性能监控方法及装置
CN106254137A (zh) 监管***的告警根源分析***及方法
CN106371546A (zh) 一种整机柜功耗限制方法及装置
CN109587072A (zh) 分布式***全局限速***及方法
Liu et al. A SDN-based active measurement method to traffic QoS sensing for smart network access
CN117176802B (zh) 一种业务请求的全链路监控方法、装置、电子设备及介质
CN101860454A (zh) 一种网络性能数据处理方法及其装置
CN109194545A (zh) 一种网络试验平台流量生成***、方法、装置及电子设备
CN108494635A (zh) 一种基于云计算的网络流量探测***
CN110138720B (zh) 网络流量的异常分类检测方法、装置、存储介质和处理器
CN113722174B (zh) 一种PCIe带宽实时监控***及其监控方法
CN116910144A (zh) 算力网络资源中心、算力服务***以及数据处理方法
Guo et al. Sketchpolymer: Estimate per-item tail quantile using one sketch
CN106304122A (zh) 一种业务数据分析方法及***
EP3389223A1 (en) Method and device for determining resource indicator

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080227