CN100433659C - 一种流量统计方法及流量采集器 - Google Patents
一种流量统计方法及流量采集器 Download PDFInfo
- Publication number
- CN100433659C CN100433659C CNB200610112116XA CN200610112116A CN100433659C CN 100433659 C CN100433659 C CN 100433659C CN B200610112116X A CNB200610112116X A CN B200610112116XA CN 200610112116 A CN200610112116 A CN 200610112116A CN 100433659 C CN100433659 C CN 100433659C
- Authority
- CN
- China
- Prior art keywords
- message
- application
- apply property
- statistics
- network attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007619 statistical method Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims description 17
- 230000032683 aging Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 230000004907 flux Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 238000011112 process operation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种网络流量统计方法,其特征在于,预先建立报文载荷与应用属性的对应关系,该方法包括:获取来自于被测端口的报文,确定该报文的网络属性和报文载荷,根据预先建立的报文载荷与应用属性的对应关系,确定该报文的应用属性,并针对所确定的网络属性和应用属性进行流量统计,获得统计结果。本发明还公开了一种用于网络流量统计的流量采集器,其特征在于,该流量采集器包括:流会话管理模块、应用识别模块、应用协议统计模块。本发明能够针对网络应用进行流量统计。
Description
技术领域
本发明涉及网络流量统计技术,尤其涉及一种基于网络应用的流量统计方法及流量采集器。
背景技术
随着计算机及网络技术的快速发展,有线及无线网络的使用愈加频繁,用户数量也不断增加。为了能够获知网络中各种信息的传输情况,网络流量统计应运而生,并成为网络管理和网络应用的重要技术。
现有的网络流量统计基于网络流量的采集技术,流量采集器以报文的网络属性为对象进行统计。这里,报文的网络属性包括报文的源因特网协议(IP)地址、目的IP地址、源端口、目的端口以及所使用的协议等指标。图1示出了现有网络流量统计的方法流程图。参见图1,该方法包括:
在步骤101中,网络报文到达被测端口,该端口以中断方式通知流量采集器。
在步骤102~103中,流量采集器缓存该报文并获取报文的网络属性,对获取到的网络属性进行哈希(hash)操作,获得索引值;然后根据所获得的索引值检索采集流量表。
为了便于对流量采集的结果进行记录,通常在流量采集器中设置采集流量表,其中的每个表项均包含有索引值、诸如报文字节数、报文个数、时间戳等流量统计项目,这样,网络中每传输一个报文,采集流量表中相应记录的信息就会随之更新。
在步骤104~106中,判断是否命中采集流量表,如果是,则更新采集流量表中的相应流量统计记录,并执行步骤107;否则,按照采集流量表的形式生成新表项,加入到采集流量表中,并执行步骤107。
当经过hash操作获得的索引值与采集流量表中某一表项的索引值一致时,判定命中采集流量表。此时对采集流量表中的相应表项的内容进行更新,例如将报文的字节数加到该表项的报文字节数中,利用报文的时间戳更新表项中的时间戳等等。当采集流量表中各个表项的索引值都与对报文的网络属性进行hash之后获得的索引值不一致时,判定未命中采集流量表。此时在采集流量表中新增一个以hash结果作为索引值的表项,并根据该报文在表项的各个统计项目中填入对应的信息。
在步骤107~108中,根据老化标准判断采集流量表是否需要老化,如果是,则对不活跃的表项进行老化处理,并执行步骤109;否则,直接执行步骤109。
为了能够保证对采集流量表的空间的有效利用,通常预先设置老化标准,例如老化时间门限等,当采集流量表中存在符合老化标准的表项时,判定需要进行老化处理,此时将不活跃的表项,即长时间未被更新的表项,从采集流量表中提取出来,并将这些表项放入老化模块中。
在步骤109中,对采集流量表进行汇总,生成统计分析表并向用户显示。
至此,完成现有的流量统计流程。
在上述现有的流量统计过程中,流量采集器根据报文头来获取网络属性,针对获取到的网络属性进行流量统计。由于目前网络应用的种类繁多,例如点到点(P2P)、企业资源规划(ERP)等,准确获知各种应用的流量是运营商或网络管理人员等用户的迫切需求。而现有的流量统计方法无法针对报文的应用属性提供统计结果,从而用户无法根据应用属性进行分析,给网络管理带来不便。
发明内容
有鉴于此,本发明提供一种网络流量统计的方法,能够针对网络应用进行流量统计。
本发明中网络流量统计方法预先建立报文载荷与应用属性的对应关系,并按照如下步骤进行网络流量统计:
获取来自于被测端口的报文,确定该报文的网络属性和报文载荷,所述网络属性包括源因特网协议IP地址、目的IP地址、源端口、目的端口和所使用的协议,所述报文载荷为该报文在传输控制协议TCP层及以下部分的信息;
根据预先建立的报文载荷与应用属性的对应关系,确定该报文的应用属性,并针对所确定的网络属性和应用属性进行流量统计,获得统计结果。
其中,所述建立报文载荷与应用属性的对应关系为:确定各报文载荷与代表应用属性的应用标识之间的对应关系,并保存于预先设置的应用特征数据库中;
所述确定报文的应用属性为:根据所述报文载荷检索应用特征数据库,并判断是否命中该应用特征数据库中的记录,如果是,则从应用特征数据库中获取报文载荷对应的应用标识,否则,将该报文载荷对应的应用标识设置为未知。
其中,所述各报文载荷与应用标识之间的对应关系为包括根节点、至少一级枝节点和叶子节点的树状结构,则所述根据报文载荷检索应用特征数据库为:从树的根节点向叶子节点逐级与所述报文载荷匹配;
所述判断是否命中该应用特征数据库为:根节点、各级枝节点和叶子节点的内容顺序合并后,与所述报文载荷的内容一致,则判定命中应用特征数据库中的记录;否则,判定未命中应用特征数据库中的记录;
所述从应用特征数据库中获取报文载荷对应的应用标识为:将应用特征数据库中被命中的记录的叶子节点对应的应用标识作为该报文载荷对应的应用标识。
其中,预先设置采集流量表,用于保存网络属性与应用属性结合的结果和对应的统计项目,所述针对所确定的网络属性和应用属性进行流量统计为:
对所述报文的网络属性和应用标识进行哈希处理,获得索引值,根据该索引值检索所述采集流量表,并判断该采集流量表中是否存在与该索引值对应的表项,如果是,则根据该报文更新采集流量表中的该表项内容,否则,根据该报文生成包括该索引值的新表项,加入到所述采集流量表中;
所述获得流量统计结果为:确定用户需要统计的项目,从所述流量统计表中获取所确定的项目对应的统计信息,并进行汇总,将汇总结果作为流量统计结果。
其中,所述确定该报文的网络属性和报文载荷之后,进一步包括:对所述报文进行预处理,并根据预处理结果确定该报文是否为合法报文;
所述针对所确定的网络属性和应用属性进行流量统计是在根据预处理结果判定该报文为合法报文的情况下执行的。
其中,所述获得统计结果之前,进一步包括:
根据预先设置的老化标准,判断是否对采集流量表进行老化处理,如果是,则将符合老化标准的表项从流量采集中提取出来,并继续执行所述获得统计结果的操作;否则,直接执行所述获得统计结果的操作。
本发明还提供一种网络流量采集器,能够针对网络应用进行流量统计。
本发明中的网络流量采集器包括:流会话管理模块、应用识别模块、应用协议统计模块,其中,
所述流会话管理模块用于获取来自于被测端口的报文,确定该报文的网络属性和报文载荷,所述网络属性包括源因特网协议IP地址、目的IP地址、源端口、目的端口和所使用的协议,所述报文载荷为该报文在传输控制协议TCP层及以下部分的信息;将报文载荷传送给应用识别模块,接收来自于应用识别模块的应用属性,并将该报文的网络属性和应用属性传送给应用统计模块;
所述应用识别模块用于保存报文载荷与应用属性的对应关系,接收来自于流会话管理模块的报文载荷,确定对应的应用属性,并发送给所述流会话管理模块;
所述应用协议统计模块用于接收来自于所述流会话管理模块的报文的网络属性和应用属性,并针对接收到的网络属性和应用属性进行流量统计。
较佳地,所述应用识别模块包括:应用特征数据库和检索子模块,其中
所述应用特征数据库用于保存报文载荷与代表应用属性的应用标识之间的对应关系;
所述检索子模块用于接收来自于流会话管理模块的报文载荷,根据接收到的报文载荷对应用特征数据中的所述对应关系进行检索,获得该报文载荷对应的应用标识,并将该应用标识作为应用属性发送给所述流会话管理模块。
较佳地,所述应用协议统计模块包括:采集流量表和统计子模块,其中
所述采集流量表用于保存包括网络属性和应用属性的哈希处理结果以及对应的统计项目在内的表项,并在所述统计子模块的控制下更新统计项目的内容或者新建表项;
所述统计子模块用于接收来自于所述流会话管理模块的报文的网络属性和应用属性,对接收到的网络属性和应用属性进行哈希处理,以哈希处理结果作为索引值,检索所述采集流量表,在确定采集流量表中存在对应表项时,通知采集流量表根据报文更新所述对应表项,在确定采集流量表中不存在对应表项时,通知采集流量表根据报文新建表项。
较佳地,所述流量采集器进一步包括:
报文预处理模块,用于接收来自于流会话管理模块的报文,对接收到的报文进行预处理,并将预处理结果返回给流会话管理模块。
较佳地,所述流量采集器进一步包括:
应用统计表模块,用于接收来自于应用协议统计模块的统计结果,根据接收到的统计结果生成统计分析表,并向用户显示。
应用本发明,能够针对网络应用进行流量统计。具体而言,本发明具有如下有益效果:
本发明在执行网络流量统计时,通过报文头获取网络属性并通过报文载荷获取应用属性,然后针对网络属性和应用属性进行实时的流量统计。可见本发明中将报文的应用属性作为统计对象,因此能够准确获知各种应用的流量,便于用户根据应用属性进行分析,有效提高了网络管理的方便程度。
另外,由于本发明中能够基于应用进行网络流量统计,网络管理者能够根据各种应用的流量对用户进行计费,并根据流量状况调整服务质量(QOS),以保证网络传输的通畅与高效。
附图说明
下面将通过参照附图详细描述本发明的示例性实施例,使本领域的普通技术人员更清楚本发明的上述及其它特征和优点,附图中:
图1为现有网络流量统计的方法流程图;
图2为本发明流量统计方法的示例性流程图;
图3为本发明实施例中流量统计方法的流程图;
图4为本发明实施例中特征数据库的树状结构示意图;
图5为本发明实施例中流量采集器的结构示意图。
具体实施方式
为使本发明的目的、技术方案更加清楚明白,以下参照附图并举实施例,对本发明做进一步的详细说明。
本发明为一种网络流量统计的方法,其基本思想是:将报文的网络属性和应用属性结合在一起,进行流量统计。
图2示出了本发明中网络流量统计方法的示例性流程图。参见图2,该方法预先建立报文的载荷与应用标识的对应关系,该方法包括:
在步骤201中,获取来自于被测端口的报文,确定该报文的网络属性和报文载荷,根据预先建立的报文载荷与应用属性的对应关系,确定该报文的应用属性;
在步骤202中,针对所确定的网络属性和应用属性进行流量统计,获得统计结果。
这里,报文的载荷是指报文在TCP层及以下部分的信息。由于网络属性可以从报文头中获得,那么本发明在进行流量统计时,将报文的全部内容作为依据,而非仅仅针对报文头的内容。为了便于实际操作,可以对网络属性和应用标识进行hash处理,将获得的结果作为流量统计中各个项目的标识。
图3示出了本发明实施例中流量统计的方法流程图。参见图3,该方法包括以下步骤:
在步骤301中,网络报文到达被测端口,该端口以中断方式通知流量采集器。
本发明中采用流量采集器对网络报文的流量进行采集和统计,并且在进行采集之前,预先确定被测端口,当报文经过被测端口时,这些发现报文的端口通过发送中断请求的方式,向流量采集器指明有报文到达。
在步骤302中,流量采集器缓存报文,获取该报文的网络属性和载荷,并对该报文进行预处理。
本步骤中,流量采集器首先从发出中断通知的端口获取报文并将该报文缓存于自身之中,再从该报文的报文头中获取诸如源IP地址、目的IP地址、源端口、目的端口以及所用协议等网络属性,并将该报文在TCP层以下的内容作为载荷,即报文的载荷包括字符串和数字等。为了保证流量统计的真实性,避免将网络攻击产生的大量报文计入统计结果,本步骤中还通过预处理操作,验证该报文的合法性。只有在获取到合法报文时,才将其作为流量统计的对象,以便后续步骤中对该报文进行应用属性的识别。本实施例中的预处理操作包括:将IP分片报文合成为完整的IP报文,对报文进行诸如(CRC)之类的校验等。
在步骤303中,判断报文是否为合法报文,如果是,则执行步骤304;否则,结束本统计流程。
举例来说,当预处理操作是合成完整IP报文时,如果接收到的IP分片报文无法被合成为符合协议的完整IP报文,则判定该报文不合法;当预处理操作是进行CRC校验时,如果CRC校验后的结果为表示校验失败的数值1,则判定该报文为非法报文。
在步骤304~307中,根据报文载荷检索预先设置的应用特征数据库,判断是否命中应用特征数据库,如果是,则获取应用ID,并执行步骤308;否则,将该报文载荷对应的应用ID设为未知(unknow),并执行步骤308。
为了能够便于处理和识别,本实施例中采用应用ID来代表报文的应用属性,例如P2P报文的应用ID为1,ERP报文的应用ID为2,VoIP报文的应用ID为3等等。并且,本实施例中还预先建立了用于保存报文载荷与应用ID之间对应关系的应用特征数据库,以便根据报文载荷确定表示应用属性的应用ID。该应用特征数据库可以采用图4所示的树状结构,参见图4,该树包括根节点、至少一级枝节点以及叶子节点,其中的叶子节点为最末一级节点。在根据报文载荷检索应用特征数据库时,从树的根节点开始向叶子节点逐级匹配,只有将根节点、各级枝节点和叶子节点的内容顺序合并后,与报文载荷的内容完全一致,才判定应用特征数据库中存在与报文载荷匹配的内容,即命中应用特征数据库中的记录,此时将该叶子节点对应的应用ID作为该报文载荷对应的应用ID。如果未命中应用特征数据库中的任何记录,则表明流量采集器尚未为该报文载荷设置应用ID,那么此时的应用ID被设置为unknow。
以报文载荷为abc001为例,报文载荷的前三位与根节点的内容abc相同,则转向第一级枝节点,而报文载荷的第四和第五位与右侧的枝节点的内容00相同,则转向叶子节点,此时报文载荷的最后一位为1,那么该报文载荷对应的应用ID为1。上述示例较为简单,在实际应用中,由于报文载荷包括的内容较多,应用特征数据库中包括的枝节点级数也较多,检索匹配的过程更为复杂。尽管如此,实际应用中仍然按照上述示例的方法执行操作。
在步骤308~311中,对报文的网络属性和应用ID进行hash处理,获得索引值,根据该索引值检索采集流量表,并判断是否命中该采集流量表,如果是,则根据该报文更新采集流量表中的相应流量统计记录,而后执行步骤312;否则,生成包括该索引值在内的新表项,加入到采集流量表中,而后执行步骤312。
本实施例预先设置的采集流量表中,保存有网络属性与应用属性结合的结果和对应的统计项目,其中也包括应用属性未知时对应的统计项目。为了节省采集流量表的内存空间,采集流量表中的索引值为网络属性和应用ID经过hash处理而得到的数值。因此,为了在采集流量表中找到匹配的表项,这里首先将步骤301中到达的报文的网络属性和步骤306或者307中获得的应用ID组合成一段信息,通常网络属性占据前面的位置,应用ID占用后面的位置;然后,对组合后的信息进行hash处理,获得一个数值,该数值即为该报文对应的索引值;而后,查找采集流量表,并判断是否存在与报文索引值一致的表项,如果是,则判定命中采集流量表,否则,判定未命中采集流量表。
在命中采集流量表的情况下,表明此前网络中已经出现过网络属性和应用属性相同的报文,并进行了统计,则此时再次收到此种报文时,根据该报文更新对应表项中的各个统计项目,例如报文字节数、报文个数、时间戳等等。而在未命中采集流量表的情况下,表明此种网络属性和应用属性的报文未被统计过,则在采集流量表中新建表项,该表项的索引值为对网络属性和应用ID进行hash后的结果,其余部分为所需的统计项目。可见,添加新表项的目的在于:便于此后在出现相同应用类型的报文时,从应用的角度进行统计。
在步骤312~313中,判断是否需要对采集流量表进行老化处理,如果是,则将不活跃的表项老化,并执行步骤314;否则,直接执行步骤314。
这里的老化处理操作与现有技术中的老化处理操作相同。
在步骤314中,根据用户需求对采集流量表进行汇总,生成统计分析表并显示给用户。
本步骤中,首先确定用户的需求,即用户需要统计的项目;然后,从采集流量表中获取所确定的项目对应的统计信息,并在汇总后生成便于用户查看的统计分析表。例如,当用户需要统计的项目为应用协议类型时,经过汇总后的统计分析表中可以包含有诸如P2P、ERP等应用协议的报文数量、字节数、最近报文的时间戳等结果。这样用户在进行网络流量分析时,可以清楚准确的获知各种应用所对应的流量。
至此,完成本实施例中的网络流量统计流程。
由上述流程可见,本实施例在执行网络流量统计时,通过报文头获取网络属性并通过报文载荷获取应用属性,然后针对网络属性和应用属性进行实时的流量统计。
本实施例还提供了一种流量采集器,用于执行上述的网络流量统计流程。图5示出了本实施例中流量采集器的结构示意图。参见图5,该流量采集器包括:流会话管理模块、应用识别模块、应用协议统计模块。其中,流会话管理模块用于获取来自于被测端口的报文,确定该报文的网络属性和报文载荷,将报文载荷传送给应用识别模块,接收来自于应用识别模块的应用属性,并将该报文的网络属性和应用属性传送给应用统计模块;应用识别模块用于保存报文载荷与应用属性的对应关系,接收来自于流会话管理模块的报文载荷,确定对应的应用属性,并发送给所述流会话管理模块;应用协议统计模块用于接收来自于流会话管理模块的报文的网络属性和应用属性,并针对接收到的网络属性和应用属性进行流量统计。
对于本实施例中的流量统计流程而言,应用识别模块中包含有应用特征数据库和检索子模块,其中应用特征数据库用于保存报文载荷与代表应用属性的应用ID之间的对应关系;检索子模块用于接收来自于流会话管理模块的报文载荷,根据接收到的报文载荷对应用特征数据中的对应关系进行检索,获得该报文载荷对应的应用ID,并将该应用ID作为应用属性发送给所述流会话管理模块。换言之,检索子模块按照图3中的步骤304至307来确定报文载荷对应的应用ID。
应用协议统计模块中包含有采集流量表和统计子模块,其中,采集流量表用于保存包括网络属性和应用属性的哈希处理结果以及对应的统计项目在内的表项,并在统计子模块的控制下更新统计项目的内容或者新建表项;统计子模块用于接收来自于流会话管理模块的报文的网络属性和应用属性,对接收到的网络属性和应用属性进行hash处理,以hash处理结果作为索引值,检索采集流量表,在确定采集流量表中存在对应表项时,通知采集流量表根据报文更新所述对应表项,在确定采集流量表中不存在对应表项时,通知采集流量表根据报文新建表项,即统计子模块按照图3中的步骤308至311来进行面向应用的流量统计。另外,应用协议统计模块在完成流量统计后,确定采集流量表中是否存在需要进行老化处理的表项,并在存在需要老化的表项时,将这些表项发送给流会话管理模块;流会话管理模块中包括老化子模块,用于保存来自于应用协议统计模块的需要老化的采集流量表的表项。
本实施例中的流量采集器还包括报文预处理模块,用于接收来于流会话管理模块的报文,对接收到的报文进行预处理,并将预处理结果返回给流会话管理模块。
另外,这里的流量采集器还可以包括应用统计表模块,用于接收来自于应用协议统计模块的统计结果,根据接收到的统计结果生成统计分析表,并向用户显示。
在上述所举实施例的网络流量统计方法和流量采集器中,均将报文的应用属性作为统计对象,因此能够准确获知各种应用的流量,便于用户根据应用属性进行分析,有效提高了网络管理的方便程度。并且,正是由于上述实施例中所实现的基于应用的流量统计,网络管理者能够根据各种应用的流量对用户进行计费,并根据流量状况调整QOS,以保证网络传输的通畅与高效。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1、一种网络流量统计方法,其特征在于,预先建立报文载荷与应用属性的对应关系,该方法包括:
获取来自于被测端口的报文,确定该报文的网络属性和报文载荷,所述网络属性包括源因特网协议IP地址、目的IP地址、源端口、目的端口和所使用的协议,所述报文载荷为该报文在传输控制协议TCP层及以下部分的信息;
根据预先建立的报文载荷与应用属性的对应关系,确定该报文的应用属性,并针对所确定的网络属性和应用属性进行流量统计,获得统计结果。
2、如权利要求1所述的方法,其特征在于,所述建立报文载荷与应用属性的对应关系为:确定各报文载荷与代表应用属性的应用标识之间的对应关系,并保存于预先设置的应用特征数据库中;
所述确定报文的应用属性为:根据所述报文载荷检索应用特征数据库,并判断是否命中该应用特征数据库中的记录,如果是,则从应用特征数据库中获取报文载荷对应的应用标识,否则,将该报文载荷对应的应用标识设置为未知。
3、如权利要求2所述的方法,其特征在于,所述各报文载荷与应用标识之间的对应关系为包括根节点、至少一级枝节点和叶子节点的树状结构,则所述根据报文载荷检索应用特征数据库为:从树的根节点向叶子节点逐级与所述报文载荷匹配;
所述判断是否命中该应用特征数据库为:根节点、各级枝节点和叶子节点的内容顺序合并后,与所述报文载荷的内容一致,则判定命中应用特征数据库中的记录;否则,判定未命中应用特征数据库中的记录;
所述从应用特征数据库中获取报文载荷对应的应用标识为:将应用特征数据库中被命中的记录的叶子节点对应的应用标识作为该报文载荷对应的应用标识。
4、如权利要求2所述的方法,其特征在于,预先设置采集流量表,用于保存网络属性与应用属性结合的结果和对应的统计项目,所述针对所确定的网络属性和应用属性进行流量统计为:
对所述报文的网络属性和应用标识进行哈希处理,获得索引值,根据该索引值检索所述采集流量表,并判断该采集流量表中是否存在与该索引值对应的表项,如果是,则根据该报文更新采集流量表中的该表项内容,否则,根据该报文生成包括该索引值的新表项,加入到所述采集流量表中;
所述获得流量统计结果为:确定用户需要统计的项目,从所述流量统计表中获取所确定的项目对应的统计信息,并进行汇总,将汇总结果作为流量统计结果。
5、如权利要求1所述的方法,其特征在于,所述确定该报文的网络属性和报文载荷之后,进一步包括:对所述报文进行预处理,并根据预处理结果确定该报文是否为合法报文;
所述针对所确定的网络属性和应用属性进行流量统计是在预处理结果判定该报文为合法报文后执行的。
6、如权利要求1所述的方法,其特征在于,所述获得统计结果之前,进一步包括:
根据预先设置的老化标准,判断是否对采集流量表进行老化处理,如果是,则将符合老化标准的表项从流量采集中提取出来,并继续执行所述获得统计结果的操作;否则,直接执行所述获得统计结果的操作。
7、一种用于网络流量统计的流量采集器,其特征在于,该流量采集器包括:流会话管理模块、应用识别模块、应用协议统计模块,其中,
所述流会话管理模块用于获取来自于被测端口的报文,确定该报文的网络属性和报文载荷,所述网络属性包括源因特网协议IP地址、目的IP地址、源端口、目的端口和所使用的协议,所述报文载荷为该报文在传输控制协议TCP层及以下部分的信息;将报文载荷传送给应用识别模块,接收来自于应用识别模块的应用属性,并将该报文的网络属性和应用属性传送给应用统计模块;
所述应用识别模块用于保存报文载荷与应用属性的对应关系,接收来自于流会话管理模块的报文载荷,确定对应的应用属性,并发送给所述流会话管理模块;
所述应用协议统计模块用于接收来自于所述流会话管理模块的报文的网络属性和应用属性,并针对接收到的网络属性和应用属性进行流量统计。
8、如权利要求7所述的流量采集器,其特征在于,所述应用识别模块包括:应用特征数据库和检索子模块,其中
所述应用特征数据库用于保存报文载荷与代表应用属性的应用标识之间的对应关系;
所述检索子模块用于接收来自于流会话管理模块的报文载荷,根据接收到的报文载荷对应用特征数据中的所述对应关系进行检索,获得该报文载荷对应的应用标识,并将该应用标识作为应用属性发送给所述流会话管理模块。
9、如权利要求7所述的流量采集器,其特征在于,所述应用协议统计模块包括:采集流量表和统计子模块,其中
所述采集流量表用于保存包括网络属性和应用属性的哈希处理结果以及对应的统计项目在内的表项,并在所述统计子模块的控制下更新统计项目的内容或者新建表项;
所述统计子模块用于接收来自于所述流会话管理模块的报文的网络属性和应用属性,对接收到的网络属性和应用属性进行哈希处理,以哈希处理结果作为索引值,检索所述采集流量表,在确定采集流量表中存在对应表项时,通知采集流量表根据报文更新所述对应表项,在确定采集流量表中不存在对应表项时,通知采集流量表根据报文新建表项。
10、如权利要求7至9中任意一项所述的流量采集器,其特征在于,所述流量采集器进一步包括:
报文预处理模块,用于接收来自于流会话管理模块的报文,对接收到的报文进行预处理,并将预处理结果返回给流会话管理模块。
11、如权利要求7至9中任意一项所述的流量采集器,其特征在于,所述流量采集器进一步包括:
应用统计表模块,用于接收来自于应用协议统计模块的统计结果,根据接收到的统计结果生成统计分析表,并向用户显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB200610112116XA CN100433659C (zh) | 2006-08-11 | 2006-08-11 | 一种流量统计方法及流量采集器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB200610112116XA CN100433659C (zh) | 2006-08-11 | 2006-08-11 | 一种流量统计方法及流量采集器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1905491A CN1905491A (zh) | 2007-01-31 |
CN100433659C true CN100433659C (zh) | 2008-11-12 |
Family
ID=37674627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB200610112116XA Expired - Fee Related CN100433659C (zh) | 2006-08-11 | 2006-08-11 | 一种流量统计方法及流量采集器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100433659C (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101175038B (zh) * | 2007-10-16 | 2010-10-27 | 华为技术有限公司 | 一种数据流信息传输的方法、通讯***及设备 |
CN101286903B (zh) * | 2008-05-06 | 2010-09-15 | 北京锐安科技有限公司 | 一种网络审计领域提高会话完整性的方法 |
CN101325597B (zh) * | 2008-07-30 | 2011-04-06 | 北京星网锐捷网络技术有限公司 | 一种数据处理的方法、装置及*** |
CN101605069B (zh) * | 2009-06-30 | 2011-06-08 | 杭州华三通信技术有限公司 | 一种采集流量信息的方法和装置 |
CN102664773A (zh) * | 2012-05-22 | 2012-09-12 | 中国人民解放军信息工程大学 | 一种网络流量的探测方法和探测装置 |
CN102801624B (zh) * | 2012-08-16 | 2015-03-04 | 中国人民解放军信息工程大学 | 一种网络数据流抽样方法及装置 |
CN102916854B (zh) * | 2012-10-22 | 2018-02-09 | 北京瓦力网络科技有限公司 | 流量统计方法、装置及代理服务器 |
CN103796186B (zh) * | 2012-10-30 | 2017-11-28 | 中国电信股份有限公司 | 基于应用的通信流量统计方法与移动终端桌面*** |
CN103581044A (zh) * | 2013-11-04 | 2014-02-12 | 汉柏科技有限公司 | 一种流量统计方法和装置 |
CN103685057B (zh) * | 2013-12-26 | 2017-06-20 | 华为技术有限公司 | 流量统计方法和装置 |
CN104378263A (zh) * | 2014-11-27 | 2015-02-25 | 盛科网络(苏州)有限公司 | 基于tcp会话的网络流量监测方法、装置及报文处理芯片 |
CN104935526B (zh) * | 2015-06-11 | 2018-07-24 | 新华三技术有限公司 | 一种应用识别方法和设备 |
US10250466B2 (en) | 2016-03-29 | 2019-04-02 | Juniper Networks, Inc. | Application signature generation and distribution |
CN105978748A (zh) * | 2016-04-26 | 2016-09-28 | 上海斐讯数据通信技术有限公司 | 一种基于哈希节点的终端设备信息统计的方法及装置 |
CN106339244A (zh) * | 2016-08-30 | 2017-01-18 | 中国银行股份有限公司 | 一种实现统计信息收集的方法及装置 |
CN110166318B (zh) * | 2019-05-15 | 2021-01-26 | 杭州迪普科技股份有限公司 | 一种数据统计方法及装置 |
CN110661684B (zh) * | 2019-09-29 | 2021-06-29 | 北京浪潮数据技术有限公司 | 流量统计方法及装置 |
CN112235160B (zh) * | 2020-10-14 | 2022-02-01 | 福建奇点时空数字科技有限公司 | 一种基于协议数据深层检测的流量识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1341345A1 (en) * | 2002-01-29 | 2003-09-03 | Acme Packet, Inc. | System and method for collecting statistics within a packet network |
US6754662B1 (en) * | 2000-08-01 | 2004-06-22 | Nortel Networks Limited | Method and apparatus for fast and consistent packet classification via efficient hash-caching |
CN1601975A (zh) * | 2004-09-29 | 2005-03-30 | 重庆邮电学院 | 分组交换设备流量监测查询方法及线卡采集器 |
CN1612527A (zh) * | 2003-10-28 | 2005-05-04 | 华为技术有限公司 | 一种数据业务信息的采集装置及用该装置计费的方法 |
WO2005093576A1 (en) * | 2004-03-28 | 2005-10-06 | Robert Iakobashvili | Visualization of packet network performance, analysis and optimization for design |
-
2006
- 2006-08-11 CN CNB200610112116XA patent/CN100433659C/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6754662B1 (en) * | 2000-08-01 | 2004-06-22 | Nortel Networks Limited | Method and apparatus for fast and consistent packet classification via efficient hash-caching |
EP1341345A1 (en) * | 2002-01-29 | 2003-09-03 | Acme Packet, Inc. | System and method for collecting statistics within a packet network |
CN1612527A (zh) * | 2003-10-28 | 2005-05-04 | 华为技术有限公司 | 一种数据业务信息的采集装置及用该装置计费的方法 |
WO2005093576A1 (en) * | 2004-03-28 | 2005-10-06 | Robert Iakobashvili | Visualization of packet network performance, analysis and optimization for design |
CN1601975A (zh) * | 2004-09-29 | 2005-03-30 | 重庆邮电学院 | 分组交换设备流量监测查询方法及线卡采集器 |
Also Published As
Publication number | Publication date |
---|---|
CN1905491A (zh) | 2007-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100433659C (zh) | 一种流量统计方法及流量采集器 | |
US11855967B2 (en) | Method for identifying application information in network traffic, and apparatus | |
EP0994602B1 (en) | Computer system and network performance monitoring | |
US6279113B1 (en) | Dynamic signature inspection-based network intrusion detection | |
US9277012B2 (en) | Apparatus and method for tracking transaction related data | |
CN106209506B (zh) | 一种虚拟化深度包检测流量分析方法及*** | |
EP2240854B1 (en) | Method of resolving network address to host names in network flows for network device | |
CN108712426B (zh) | 基于用户行为埋点的爬虫识别方法及*** | |
US8370369B2 (en) | Method and system for network fault management | |
EP3852327A1 (en) | Exception access behavior identification method and server | |
CN109729183A (zh) | 请求处理方法、装置、设备及存储介质 | |
CN105022815A (zh) | 信息拦截方法及装置 | |
CN101626375B (zh) | 域名防护***及方法 | |
WO2020258982A1 (zh) | 一种分析基站安全日志的方法、***及计算机可读存储介质 | |
CN110198251B (zh) | 一种获得客户端地址的方法及装置 | |
CN108093428B (zh) | 用于鉴别真实流量的服务器 | |
CN101175038B (zh) | 一种数据流信息传输的方法、通讯***及设备 | |
CN104836700A (zh) | 基于ipid和概率统计模型的nat主机个数检测方法 | |
CN109309679A (zh) | 一种基于tcp流状态的网络扫描检测方法及检测*** | |
CN115225544A (zh) | 一种网络流量统计和监测方法、装置、电子设备及介质 | |
CN103580959A (zh) | 一种分布式统计上报的实现方法 | |
CN109840264B (zh) | 一种应用程序数据库访问审计的方法和装置 | |
CN102664813B (zh) | 一种p2p流量本地化***及方法 | |
KR100621996B1 (ko) | 인터넷 서비스 트래픽의 분석방법 및 시스템 | |
US6847996B2 (en) | Method for managing an open computer system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Patentee after: NEW H3C TECHNOLOGIES Co.,Ltd. Address before: 310053 Hangzhou hi tech Industrial Development Zone, Zhejiang province science and Technology Industrial Park, No. 310 and No. six road, HUAWEI, Hangzhou production base Patentee before: HANGZHOU H3C TECHNOLOGIES Co.,Ltd. |
|
CP03 | Change of name, title or address | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20081112 |