CN101335686B - 一种在网络设备上进行数据流量分析管理的方法 - Google Patents
一种在网络设备上进行数据流量分析管理的方法 Download PDFInfo
- Publication number
- CN101335686B CN101335686B CN2007100427844A CN200710042784A CN101335686B CN 101335686 B CN101335686 B CN 101335686B CN 2007100427844 A CN2007100427844 A CN 2007100427844A CN 200710042784 A CN200710042784 A CN 200710042784A CN 101335686 B CN101335686 B CN 101335686B
- Authority
- CN
- China
- Prior art keywords
- flow
- management
- polymerization
- source
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种在网络设备上进行数据流量分析管理的方法。该方法克服现有网管***对网络流量和流向分析功能的技术局限性，既能高效地对网络带宽使用率进行统计，又能根据不同类型业务的流量和流向进行分析和统计。所以采用该方法后不仅能为IP计费提供一种解决方案，同时也能为企业和网络管理员提供一种网络安全检测的工具，并且在路由器或者交换机终端配置一些特定的聚合方式，大大减轻发往网管中心管理服务器的流量粗粒度，确保管理***的处理能力能够适应未来网络规模的增长。
Description
技术领域：
本发明涉及计算机数据通信领域，主要涉及一种在网络设备上进行数据流量分析管理的方法。
背景技术：
近几年来中国的互联网业务迅猛发展，尤其是视频、话音等多媒体业务的迅速增长，IP网络也由以前单一的数据网变成了多业务的综合数字网，从而导致了网络数据复杂性和多样性。正是在这一趋势下，为了确保一个稳定，安全，高效的网络运营环境，人们希望能高效合理地管理网络。对于网络管理员方面，迫切地希望能实时地监控用户的网络应用行为以及有效的规划部署网络资源；对于网络运营商方面，则希望能对网络和其承载的各类业务进行及时、准确的流量和流向分析，及时的掌握自己运营网络的负载状况以及重要业务的带宽占用率，以及能够准确计量国际国内运营商间、骨干网/城域网间通信流量和业务类型，同时他们还希望能够根据不同的业务和服务质量来对企业和用户收费。而要解决这些问题，都要有一个网络流量分析管理***作为支撑。而当前的网络流量分析管理***都有着显著的技术局限性：对于利用SNMP协议来管理和监控网络中重点链路和网络连接点间进出端口的网络流量，它所采集到的数据包信息很粗糙，既有网络层的客户业务信息，又有数据链路层的的帧头信息，还有数据负载payload字段，最为关键的是利用SNMP协议无法对网络层中不同的业务流进行区分，同时也对数据包的流向不能作出分析；对于利用RMON协议对流量进行分析和管理，虽然可以部分解决利用SNMP协议的技术局限性，如可以区分网络层不同业务流，但是由于RMON协议必须针对每个数据帧进行采集和分析，这样会耗用大量的CPU资源，因此在网络设备中无法实现，只能额外购买并安装内置或者外置的RMON探针，并且利用RMON协议采集到的网络数据是分析每个数据包后得到的，数据量大而且分散，协议本身又缺乏内建的数据聚合机制，再加上数据包中不会有BGP的AS号和下一条nexthop的信息，所以对于大型网络的流量管理和分析能力是不能实现的。
发明内容：
本发明的首要目的是提供一种在网络设备上进行数据流量分析管理的方法。该方法克服现有网管***对网络流量和流向分析功能的技术局限性，既能高效地对网络带宽使用率进行统计，又能根据不同类型业务的流量和流向进行分析和统计。所以采用该方法后不仅能为IP计费提供一种解决方案，同时也能为企业和网络管理员提供一种网络安全检测的工具，并且在路由器或者交换机终端配置一些特定的聚合方式，大大减轻发往网管中心管理服务器的流量粗粒度，确保管理***的处理能力能够适应未来网络规模的增长。
根据上述发明目的，其具体技术方案如下：
一种在网络设备上进行数据流量分析管理的方法，其特征在于，所述方法应用一种新型的IPFLOW数据流；该数据流为一个包括源IP地址(srcIP)、目的IP地址(dstIP)、源端口号(srcPort)、目的端口号(dstPort)、协议类型(protocol)、服务类型(ToS)、输入接口(Ifindex)的7元组来定义；所述方法步骤包括：
(1)采用数据流缓存机制对IPFLOW数据流进行查找、添加、删除、老化处理，并同时借助Hash散列算法对IPFLOW数据流表进行管理，管理过程中用Hash链表解决Hash所存在的冲突问题；
(2)设置一个定时器每隔一定的时间去扫描遍历IPFLOW数据流的Hash表项以便判断该IPFLOW数据流是否已经老化；
(3)针对不同的网络应用程序和网络管理员所需要的特定网络流量信息，引入了多种特定的聚合方式。
(4)将老化后的IPFLOW数据流进行聚合汇总；
(5)根据老化输出后的IPFLOW数据流封装成UDP报文发往日志服务器。
上述方法中，所述步骤(1)中的高效的数据流缓存机制是用一种Hash散列算法来把IP数据流的信息保存在内存中，Hash散列关键字根据数据包中的7元组信息来计算，在没有Hash冲突的情况下可以一次就命中相应的IPFLOW数据流，这样就只需要更新数据包的包数和字节数。当存在Hash冲突时，只要搜索hash链表就可以定为到需要查找的IPFLOW数据流。
上述方法中，所述步骤(2)中的老化包含活跃老化(active age)、不活跃老化(inactive age)、Fin/Rst老化、字节溢出老化和命令行强制老化中的一种数据流老化方式。具体特征如下：
所述活跃老化(active age)是指数据包的首次到达时间到当前时间超过了活跃老化时间则老化输出，该活跃老化时间为5～30分钟。
所述不活跃老化(inactive age)是指最后一个网络包到当前时间超过了不活跃老化时间则老化输出，该不活跃老化时间为30～300秒。
所述Fin/Rst老化是指对FIN/RST标志置位的TCP报文流进行立即老化；所述字节溢出老化是指对字节统计超过上限的流进行立即老化。
所述字节溢出老化是指对字节统计超过上限的流进行立即老化。
上述方法中，所述步骤(3)中聚合方式包括AS聚合、ProtPort聚合、SrcPrefix聚合、DstPrefix聚合和Prefix聚合中的一种方式。具体来说：
所述AS聚合所需的字段信息为源As号，目的As号，源vlan，目的vlan；
所述ProtPort聚合所需的字段信息为Protocol，源端口号，目的端口号；
所述SrcPrefix聚合所需的字段信息为源IP地址，源子网掩码，源As号，源Vlan；
所述DstPrefix聚合所需的字段信息为目的IP地址，目的子网掩码，目的As号，目的Vlan；
所述Prefix聚合所需的字段信息为源IP地址，源子网掩码，源As号，源Vlan目的IP地址，目的子网掩码，目的As号，目的Vlan。
上述方法中，所述步骤(4)、(5)中的UDP报文采用V5格式，包含1个报文头部信息和30条flow记录；每一条flow记录都包括如下主要字段：flow的数据包数，flow的总字节数，flow的开始时间，flow的结束时间，源地址，目的地址，下一条地址，路由器或交换机的输入输出接口Ifindex，源端口号，目的端口号，协议类型(protocol)，源和目的自治***号(AS)，服务类型(tos)，TCP标志位。
上述发明方法及其所提供的应用***的有益效果为：弥补现有网络管理***的不足，在网络设备级别就实现了流量分析和统计的功能，可以灵活地针对网络层的不同业务流进行流量的分析和统计，使得IP计费更加细致，满足了运营商需要按照不同的服务和不同的服务质量进行不同的收费的需求，同时它不需要把数据包的负载Payload信息也发往日志服务器，并且又能根据实际需要进行聚合配置，使网络流量进行聚合汇总，进一步减少流量的粗粒度，确保管理***的处理能力能够适应未来网络规模的增长。可见该流量分析技术是一个高效可靠实用又具有商用价值的技术。
附图说明：
以下结合附图和具体实施方式来进一步说明本发明。
图1为根据本发明方法在实现过程中的***流程框图。
图2为本发明方法中采用V5格式的Flow记录样本的示意图。
具体实施方式：
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
根据上述发明内容中的技术方案，它的实现过程中的***流程如图1所示。其实质是应用一种新型的IPFLOW数据流；该数据流为一个包括源IP地址(srcIP)、目的IP地址(dstIP)、源端口号(srcPort)、目的端口号(dstPort)、协议类型(protocol)、服务类型(ToS)、输入接口(Ifindex)的7元组来定义；
在正常网络环境下，每当路由器或者三层交换机收到一个数据包，都会扫描这个数据包中这个7元组来判断是否此包是否属于已经存在的一个flow，如果已经存在则更新相应flow记录内的数据包数和字节数大小；如果还没有则要生成一条新的描述该session的flow在cache中生成。
在新flow不断生成的同时，按照本发明方法如下的步骤，来实现流的动态生成，信息统计和老化：
首先，建立一种高效的流缓存机制来快速的查找，添加，删除，老化IPFLOW数据流，如同发明内容中已经描述了用一种Hash散列算法来高效的管理IPFLOW数据流表。
其次，在网络设备***中需要安排一个定时器，每隔一定的时间去扫描遍历IPFLOW数据流的Hash表项以便查看流是否已经老化，对于任何网络数据流，不能笼统地都按照相同的时间去老化流，针对不同的网络应用程序引进了以下几种不同的流老化方式：
A.活跃老化(active age)：数据包的首次到达时间到当前时间超过了活跃老化时间则老化输出(活跃老化时间为5～30分钟)
B.不活跃老化(inactive age)：最后一个网络包到当前时间超过了不活跃老化时间则老化输出(不活跃老化时间为30～300秒)
C.Fin/Rst老化：对FIN/RST标志置位的TCP报文流进行立即老化
D.字节溢出老化：对字节统计超过上限的流进行立即老化
E.命令行强制老化
第三，让用户在命令终端配置一些特定的聚合方式，老化流的信息根据这些配置的聚合方式进行聚合汇总，进一步减少发往日志服务器的流量粗粒度。目前支持以下表格中5种聚合方式，表格中描述各种聚合方式所需要的字段信息以及该种聚合方式有什么用途。
上表中为5种常用聚合和可配置聚合方式
最后，IPFLOW要将老化输出的报文封装成UDP的格式发往日志服务器端，IPFLOW输出报文由报文头部和若干条报文记录构成，目前支持V5格式的报文，对V5版本而言，每个路由器上发送到日志服务器的UDP报文包含1个报文头部信息和30条flow记录。报文头部数据结构如下表描述。
| Type | Contents | Description |
| unsigned char | flow_id | Flow的标识位 |
| unsigned char | version | Flow输出报文格式版本号 |
| unsigned short | count | 当前报文中的流记录数 |
| unsigned long | sysuptime | 报文产生的时间，是***启动的毫秒数 |
| unsigned long | unix_secs | 从1970年1月1日起到报文产生时间的整数秒 |
| unsigned long | unix_nsecs | 报文产生时间的纳秒数 |
| unsigned char | engine_type | 流交换引擎类型 |
| unsigned char | engine_id | 交换引擎槽号 |
| unsigned short | reserverd | 保留字段，全零 |
每一条Flow记录都包括如下主要字段：flow的数据包数，flow的总字节数，flow的开始时间，flow的结束时间，源地址，目的地址，下一条地址，路由器或交换机的输入输出接口Ifindex，源端口号，目的端口号，协议类型(protocol)，源和目的自治***号(AS)，服务类型(tos)，TCP标志位。Flow记录样本如图2所示。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (12)
1.一种在网络设备上进行数据流量分析管理的方法，其特征在于，所述方法基于一种IPFLOW数据流；该IPFLOW数据流为一个包括源IP地址、目的IP地址、源端口号、目的端口号、协议类型、服务类型、输入接口的7元组来定义；所述方法步骤包括：
⑴采用数据流缓存机制对IPFLOW数据流进行查找、添加、删除、老化处理，并同时借助Hash散列算法对IPFLOW数据流表进行管理，管理过程中用Hash链表解决Hash所存在的冲突问题；
⑵设置一个定时器每隔一定的时间去扫描遍历IPFLOW数据流的Hash表项以便判断该IPFLOW数据流是否已经老化；
⑶针对不同的网络应用程序和网络管理员所需要的特定网络流量信息，引入了多种特定的聚合方式；
⑷将老化后的IPFLOW数据流进行聚合汇总；
⑸根据老化输出后的IPFLOW数据流封装成UDP报文发往日志服务器；
所述步骤⑵中的老化包含Fin/Rst老化和命令行强制老化中的一种数据流老化方式；
所述Fin/Rst老化是指对FIN/RST标志置位的TCP报文流进行立即老化。
2.根据权利要求1的在网络设备上进行数据流量分析管理的方法，其特征在于，所述步骤⑴中的数据流缓存机制是用一种Hash散列算法来把IP数据流的信息保存在内存中，Hash散列关键字根据数据包中的7元组信息来计算，在没有Hash冲突的情况下可以一次就命中相应的IPFLOW数据流，这样就只需要更新数据包的包数和字节数；当存在Hash冲突时，只要搜索hash链表就可以定为到需要查找的IPFLOW数据流。
3.根据权利要求1的在网络设备上进行数据流量分析管理的方法，其特征在于，所述活跃老化(active age)是指数据包的首次到达时间到当前时间超过了活跃老化时间则老化输出，该活跃老化时间为5～30分钟。
4.根据权利要求1的在网络设备上进行数据流量分析管理的方法，其特征在于，所述不活跃老化(inactive age)是指最后一个网络包到当前时间超过了不活跃老化时间则老化输出，该不活跃老化时间为30～300秒。
5.根据权利要求1的在网络设备上进行数据流量分析管理的方法，其特征在于，所述字节溢出老化是指对字节统计超过上限的流进行立即老化。
6.根据权利要求1的在网络设备上进行数据流量分析管理的方法，其特征在于，所述步骤⑶中聚合汇总采用的聚合方式包括AS聚合、ProtPort聚合、SrcPrefix聚合、DstPrefix聚合和Prefix聚合中的一种方式。
7.根据权利要求6的在网络设备上进行数据流量分析管理的方法，其特征在于，所述AS聚合所需的字段信息为源As号，目的As号，源vlan，目的vlan。
8.根据权利要求6的在网络设备上进行数据流量分析管理的方法，其特征在于，所述ProtPort聚合所需的字段信息为Protocol,源端口号，目的端口号。
9.根据权利要求6的在网络设备上进行数据流量分析管理的方法，其特征在于，所述SrcPrefix聚合所需的字段信息为源IP地址，源子网掩码，源As号，源Vlan。
10.根据权利要求6的在网络设备上进行数据流量分析管理的方法，其特征在于，所述DstPrefix聚合所需的字段信息为目的IP地址，目的子网掩码，目的As号，目的Vlan。
11.根据权利要求6的在网络设备上进行数据流量分析管理的方法，其特征在于，所述Prefix聚合所需的字段信息为源IP地址，源子网掩码，源As号，源Vlan目的IP地址，目的子网掩码，目的As号，目的Vlan。
12.根据权利要求1的在网络设备上进行数据流量分析管理的方法，其特征在于，所述步骤⑷、(5)中的UDP报文采用V5格式，包含1个报文头部信息和30条flow记录；每一条flow记录都包括如下主要字段：flow的数据包数，flow的总字节数，flow的开始时间，flow的结束时间，源地址，目的地址，下一条地址，路由器或交换机的输入输出接口Ifindex，源端口号，目的端口号，协议类型，源和目的自治***号，服务类型，TCP标志位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007100427844A CN101335686B (zh) | 2007-06-27 | 2007-06-27 | 一种在网络设备上进行数据流量分析管理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007100427844A CN101335686B (zh) | 2007-06-27 | 2007-06-27 | 一种在网络设备上进行数据流量分析管理的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101335686A CN101335686A (zh) | 2008-12-31 |
| CN101335686B true CN101335686B (zh) | 2013-03-27 |
Family
ID=40198012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007100427844A Active CN101335686B (zh) | 2007-06-27 | 2007-06-27 | 一种在网络设备上进行数据流量分析管理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101335686B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102547786A (zh) * | 2010-12-31 | 2012-07-04 | 上海博泰悦臻电子设备制造有限公司 | 车载设备3g流量分析方法和装置 |
| CN103166807B (zh) * | 2011-12-15 | 2016-09-07 | 中国电信股份有限公司 | 基于应用的流量流向分析处理方法与*** |
| CN102497385B (zh) * | 2011-12-31 | 2015-09-16 | 曙光信息产业股份有限公司 | 一种网络流量审计方法及审计*** |
| CN104639350B (zh) * | 2013-11-11 | 2019-09-13 | 南京中兴新软件有限责任公司 | 综合网管中性能对象聚合路径界面显示方法及装置 |
| WO2015123853A1 (zh) * | 2014-02-21 | 2015-08-27 | 华为技术有限公司 | 一种数据流处理方法及装置 |
| CN106330746B (zh) * | 2016-08-30 | 2019-04-16 | 成都科来软件有限公司 | 一种统计网络中国家流量的方法及装置 |
| CN106375235A (zh) * | 2016-08-30 | 2017-02-01 | 成都科来软件有限公司 | 一种统计指定ip流量信息的方法及装置 |
| CN107147545A (zh) * | 2017-05-11 | 2017-09-08 | 成都极玩网络技术有限公司 | 一种并发检测多站点网络延迟的方法 |
| CN107196879B (zh) * | 2017-05-18 | 2020-10-09 | 杭州敦崇科技股份有限公司 | Udp报文的处理方法、装置以及网络转发装置 |
| CN107888625A (zh) * | 2017-12-25 | 2018-04-06 | 杭州迪普科技股份有限公司 | 包过滤日志汇聚方法及装置 |
| CN108243107B (zh) * | 2018-01-30 | 2020-11-20 | 盛科网络（苏州）有限公司 | 一种动态调整硬件表项老化周期的方法及装置 |
| CN109714266B (zh) * | 2018-12-25 | 2022-06-07 | 迈普通信技术股份有限公司 | 一种数据处理方法及网络设备 |
| CN109901084A (zh) * | 2019-02-25 | 2019-06-18 | 南京邮电大学 | 一种基于udp的实时开关电源监测与控制*** |
| CN111031567B (zh) * | 2020-01-14 | 2022-06-24 | 南通先进通信技术研究院有限公司 | 一种核心网设备的流量统计方法 |
| CN115515173A (zh) * | 2021-06-04 | 2022-12-23 | 中兴通讯股份有限公司 | 基站性能的分析方法、***、电子设备和存储介质 |
| CN114553583B (zh) * | 2022-03-01 | 2024-01-30 | 恒安嘉新（北京）科技股份公司 | 一种网络安全分析***、方法、设备与存储介质 |
| CN116389322B (zh) * | 2023-06-02 | 2023-08-15 | 腾讯科技（深圳）有限公司 | 流量数据处理方法、装置、计算机设备和存储介质 |
| CN117575544B (zh) * | 2024-01-15 | 2024-03-22 | 北京智芯微电子科技有限公司 | 配电台区设备管理方法、装置、存储介质及电子设备 |
-
2007
- 2007-06-27 CN CN2007100427844A patent/CN101335686B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN101335686A (zh) | 2008-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101335686B (zh) | 一种在网络设备上进行数据流量分析管理的方法 | |
| CN106101015B (zh) | 一种移动互联网流量类别标记方法和*** | |
| Lee et al. | Network monitoring: Present and future | |
| US10296551B2 (en) | Analytics for a distributed network | |
| Panarello et al. | Energy saving and network performance: a trade-off approach | |
| CN101800707B (zh) | 建立流转发表项的方法及数据通信设备 | |
| Shi et al. | An openflow-based load balancing strategy in SDN | |
| JPWO2012098786A1 (ja) | ネットワークシステム、コントローラ、スイッチ、及びトラフィック監視方法 | |
| JP2007336512A (ja) | 統計情報収集システム及び統計情報収集装置 | |
| Xu et al. | Minimizing flow statistics collection cost using wildcard-based requests in SDNs | |
| CN101321088A (zh) | 一种统计ip数据流信息的方法及装置 | |
| CN104378264A (zh) | 一种基于sFlow的虚拟机进程流量监控方法 | |
| Szabo et al. | Traffic analysis of mobile broadband networks | |
| CN101741608A (zh) | 一种基于流量特征的p2p应用识别***及方法 | |
| CN107517143A (zh) | 一种基于bgp协议的网络流量采集和监控方法 | |
| Lu et al. | A real implementation of DPI in 3G network | |
| CN105262682B (zh) | 一种用于电力数据通信的软件定义网络***及其流量疏导方法 | |
| CN100414894C (zh) | 一种检测分组交换网络服务质量的方法 | |
| CN111726410B (zh) | 用于分散计算网络的可编程实时计算和网络负载感知方法 | |
| CN114389915B (zh) | 一种基于震荡抑制的云vpn管理优化方法和*** | |
| CN111800311B (zh) | 分散计算状态实时感知方法 | |
| CN102664810A (zh) | 3g流量管理和优化平台*** | |
| JP2008135871A (ja) | ネットワーク監視システム、ネットワーク監視方法及びネットワーク監視プログラム | |
| Gupta et al. | Understanding and exploiting network traffic redundancy | |
| Sinha et al. | Flow-level upstream traffic behavior in broadband access networks: DSL versus broadband fixed wireless |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |