CN101741745B - 识别对等网络应用流量的方法及其*** - Google Patents
识别对等网络应用流量的方法及其*** Download PDFInfo
- Publication number
- CN101741745B CN101741745B CN2009102640406A CN200910264040A CN101741745B CN 101741745 B CN101741745 B CN 101741745B CN 2009102640406 A CN2009102640406 A CN 2009102640406A CN 200910264040 A CN200910264040 A CN 200910264040A CN 101741745 B CN101741745 B CN 101741745B
- Authority
- CN
- China
- Prior art keywords
- packet
- flow
- ciphertext
- memory module
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种识别对等网络应用流量的方法和***。试探装置获取全部的数据包,经初级过滤后进行已知P2P应用的明文特征串检测,将数据包对应加入明文或密文标识后送入P2P处理模块,分别对包含明文标识和密文标识的数据包进行查找,统计以明文或密文方式传输的P2P流量;对不匹配的密文数据包,则构造主动探测数据包发送给被探测目标,按被探测目标回复的响应数据包,设别出按密文方式传输的P2P流量或者其他未知流量。本发明提供的技术方案能有效减少流量检测的处理工作量,提高***的效率,且单个模块的故障、更新均不会影响整个***。该项技术对现有网络的拓扑和性能不会造成任何影响,便于部署和实施。
Description
技术领域
本发明涉及计算机网络流量管理技术领域,尤其涉及一种在计算机网络流量中识别对等网络应用流量的方法和***。
背景技术
近年来,计算机网络中的各种对等网络(Peer-to-Peer,P2P)应用越来越丰富,出现了许多全新的P2P协议和应用。这些P2P应用占用了大量的网络带宽,降低了Web、Email等传统Internet应用的服务质量,同时P2P应用所传播的内容还涉及著作权、病毒和淫秽内容等问题。因此,为了有效利用网络资源,保护知识产权,抑制病毒和淫秽内容的传播,必须对P2P应用的流量进行有效的管理,首先必须能够实现对P2P流量的高效、准确的检测。
P2P流量的检测方法可以分为三类:端口映射(Port Mapping)、深度数据包检测(Deep Packet Inspection,DPI)、流量特征检测(Transport LayerIdentification,TLI)。
端口映射方法,是根据各种P2P应用所使用的运输层端口号(Port),来检测P2P流量的。但现有P2P应用为了躲避检测,开始使用动态端口,甚至使用传统Internet应用的端口,如HTTP的80端口,因此该方法已不能准确检测P2P流量。
深度数据包检测方法,通过检测应用层载荷(payload),提取出各种P2P应用的特征串,从而检测P2P应用。该方法的准确性高、易于实现,是目前运用最普遍的方法。如中国发明专利“一种流量监控的方法、设备和***”(CN101350781A),利用一个DPI设备对应用层数据报文进行识别。但是该方法只能针对以明文方式传输数据的P2P应用进行检测,目前P2P应用大多开始采用加密方式传输数据,因此该方法也将逐步失效。
流量特征检测方法,通过对网络流量中所有数据包的进行统计分析,如数据包大小、间隔时间、连接数量等,利用机器学习、数据挖掘等方法,发现P2P应用的流量特征,以此来检测P2P应用的流量,该方法能够检测未知和加密的P2P流量。如中国发明专利“基于支持向量机的混合式点对点流量检测方法”(CN101510873)和“基于支持向量机的对等网络流量检测方法”(CN101345704),将支持向量机技术应用到P2P流量检测中。由于这类方法需要在对大量数据包进行统计分析后,才能做出判断,因此需要处理的数据量较大,机器学习的实现复杂,因此不能做到高效、实时的检测。而且这类方法的检测依据是P2P应用的流量特征,这是一个统计量,无法准确区分各种具体的P2P应用流量。
发明内容
本发明的目的是针对现有技术存在的不足,提供一种能够实时、高效、准确地对以明文和密文方式传输的对等网络流量进行检测的方法和***。
为达到上述目的,本发明所采用的技术方案是提供一种识别对等网络应用流量的方法,其特征在于包括如下步骤:
(1)试探设备从网络上获取全部的数据包,对数据包进行过滤,滤除无关的以及可识别的非对等网络的数据包;所述的无关数据包包括传输层以下层次的数据包,以及步骤(4)中待检处理模块发送的探测数据包和被探测目标回复的响应数据包;其余数据包送入数据识别模块;
(2)在数据识别模块中,按已知的P2P应用的协议特征码,对数据包进行串匹配检测,将检测到的包含P2P协议特征码的数据包添加明文标识,送入P2P处理模块执行步骤(3);将检测到的未能识别协议特征码的数据包,添加密文标识,送入P2P处理模块执行步骤(4);
(3)P2P处理模块通过明文标识将确定以明文方式传输的P2P流量存储于明文P2P流量存储模块中,累计得到识别到的明文对等网络应用流量;
(4)数据识别模块提取该数据包的<源IP,目的IP,源端口,目的端口,应用层载荷字节数,密文标识>六元组信息,按其中的五元组<源IP,目的IP,源端口,目的端口,密文标识>为检索项,查找密文P2P流量存储模块;若存在该数据包的对应存储记录,则将该数据包五元组中<应用层载荷字节数>,累加到密文P2P流量存储模块中对应存储记录的<累计传输字节数>字段,进行密文P2P应用流量统计;否则,执行步骤(5);
(5)按不同的P2P应用所约定的信息,构造主动探测明文数据包,经试探设备的网络接口向被探测目标发送主动探测明文数据包;
(6)在设定的等待时间内,试探设备将收到的与发送的主动探测明文数据包内容相对应的被探测目标回复的响应数据包,若探测目标返回明文数据包,执行步骤(3),若返回密文数据包,则提取该探测数据包对应的原数据包中的<源IP,目的IP,源端口,目的端口,应用层载荷字节数>五元组,添加密文标识构成<源IP,目的IP,源端口,目的端口,应用层载荷字节数,密文标识>六元组,新增该条记录存储于密文P2P流量存储模块中,若被探测目标返回未知数据包或不返回,则将对应的原数据包执行步骤(7);
(7)P2P处理模块提取该未知的应用流量数据包的<源IP,目的IP,源端口,目的端口,应用层载荷字节数>五元组信息,按其中的<源IP,目的IP,源端口,目的端口>为检索项,查找未知流量存储模块,若未知流量存储模块中存在该数据包的对应存储记录,则将该数据包五元组中<应用层载荷字节数>,累加到未知流量存储模块中对应存储记录的<累计传输字节数>字段;否则,试探装置将提取的该数据包的五元组信息,添加到未知流量存储模块中,成为一条新的记录。
上述步骤(1)中所述的获取全部的数据包包括所有通过该设备的原始数据包。
上述步骤(3)中所述的P2P处理模块统计得到以明文方式传输的P2P流量的步骤包括:P2P处理模块提取包含明文特征串的数据包的<源IP,目的IP,源端口,目的端口,应用层载荷字节数,明文标识>六元组信息,按其中的<源IP,目的IP,源端口,目的端口,明文标识>为检索项,查找明文P2P流量存储模块;若该数据包已存对应存储记录,则将该数据包中的<应用层载荷字节数>,累加到明文P2P流量存储模块中对应存储记录的<累计传输字节数>字段;否则,P2P处理模块将提取的该数据包的六元组信息<源IP,目的IP,源端口,目的端口,应用层载荷字节数,明文标识>,添加到明文P2P流量存储模块中,成为一条新的记录,统计得到识别到的明文对等网络应用流量。
一种识别对等网络应用流量的***,其特征在于:它包括试探装置、数据识别模块、P2P处理模块、未知数据处理模块、明文P2P流量存储模块、密文P2P流量存储模块和未知流量存储模块;
所述的试探装置,用于从获取的原始数据包中滤除错误和无关的数据包,将其余数据包传送至数据识别模块;
所述的数据识别模块,用于将经过初级过滤设备过滤的数据包,进行P2P明文特征串匹配,将数据包分成明文和密文两类,分别添加对应的识别标识,交由P2P处理模块进行处理;
所述的P2P处理模块,用于将经过数据识别模块处理过的明文或密文数据包,以<源IP,目的IP,源端口,目的端口,明文标识>或<源IP,目的IP,源端口,目的端口,密文标识>为检索项,查找并更新明文或密文P2P流量存储模块中的信息,检测和统计P2P流量;针对未知数据,构造主动探测数据包;它还包括一个网络接口,用于向被探测目标发送主动探测数据包和接收被探测目标回复的响应数据包;在设定的等待时间内,根据被探测目标回复的响应数据包,检测P2P流量,并将检测结果按密文方式传输的P2P流量以及未知流量,分别发送到密文P2P流量存储模块和未知数据处理模块;
所述的未知数据处理模块,用于从P2P处理模块接收未确定类型的数据包,通过五元组信息查找并更新未知流量存储模块中的信息,检测和统计未知数据流量;
所述的明文P2P流量存储模块,接收并存储明文处理模块统计出的按明文方式传输的P2P流量信息;
所述的密文P2P流量存储模块,接收并存储待检处理模块检测出的按密文方式传输的P2P流量信息;
所述的未知流量存储模块,接收并存储待检处理模块所有未能正确检测的数据包的流量信息。
所述的数据识别模块为试探装置上的一个物理输出通道或逻辑输出通道,实现方法包括物理光纤接口、物理网线接口或逻辑队列接口中的一种。
所述的明文P2P流量存储模块、密文P2P流量存储模块、未知流量存储模块的实现方法为数据库***或文件***。
所述的网络接口包括以下至少一种:物理光纤接口;物理网线接口。
与现有技术相比,从以上技术方案可以看出,本发明具有的显著特点是:试探装置从网络转发设备上获取全部数据包,首先滤除错误和无关的数据包,有效减少后续的处理工作,提高***的效率。其次,数据识别模块根据预先配置的明文特征串,对数据包进行串匹配检测,将数据包分为明文和密文两种类型,送入P2P处理模块,不同的数据包不会混淆,而且明文处理模块和未知处理模块可以只处理一部分的数据包,简化各自的处理流程。明文处理模块负责统计以明文方式传输的P2P流量。P2P处理模块通过向被探测目标发送经过特殊构造的主动探测数据包,只需等待规定的等待时间后,根据被探测目标回复的响应数据包的情况,从而检测是否是以密文方式传输的P2P流量或者是未知流量,因此实时性较好。而且P2P处理模块和未知处理模块,可以分别由不同的设备或者一个设备上两个不同的部分,并发的完成对数据包的进一步处理,提高了***的并发处理能力,且一个处理单元的故障、更新和性能降低均不会影响另一个处理单元,提高了***的可靠性和可扩展性。在处理数据包时,还需要搜索、更新明文P2P流量存储模块,密文P2P流量存储模块和未知流量存储模块,这三者都可以用数据库***或者文件***实现。对三者的搜索、更新过程是由数据库***或者文件***中相应的操作完成,使得本***可以专注于P2P流量的检测,减少不必要的开销,提高***的效率。数据库***或者文件***与P2P处理模块或未知处理模块可以用不同的设备实现,也可以在同一个设备的不同部分实现,任何一个设备或部分的故障、更新或性能降低,不会相互影响,有利于扩展应用。
附图说明
图1为本发明实施例提供的一种识别对等网络应用流量的工作流程示意图;
图2为本发明实施例提供的一种识别对等网络应用流量***的结构示意图;
图3为本发明实施例提供的一种识别对等网络应用流量***的组网示意图。
具体实施方式
下面结合实施例和附图对本发明作进一步描述。
实施例1:
本发明实施例提供了一种通过引诱试探识别对等网络应用流量的***,用于实现对加密和未加密的P2P应用流量进行实时、高效、准确的识别与检测。
图1是本发明实施例提供的一种识别对等网络应用流量的工作流程示意图,以下通过具体步骤进行详细说明:
步骤101,试探装置从网络转发设备获取数据包,对具有光纤接口的网络转发设备,试探装置可以通过网络转发设备上的光纤分光获得原始数据包。对具有端口镜像功能的网络转发设备,试探装置可以通过网络转发设备上的镜像端口获得原始数据包。对不具备光纤接口且不具备端口镜像功能的网络转发设备,可以在网络转发设备的上行(Up-Link)线路上连接网络分接器或者集线器,试探装置通过网络分接器或者集线器获取原始数据包。上述试探装置获取的原始数据包应包括所有的数据包,不是有选择的获取部分数据包。
网络转发设备具体可以是路由器、三层交换机、二层交换机等具备数据包转发功能的设备。
步骤102,试探装置对数据包进行初级过滤,具体是要滤除三种类型的数据包。第一种滤除的是因传输干扰问题而发生错误的数据包,如校验和错误的数据包、小于64字节的数据包等,因此必须滤除。第二种滤除的是传输层以下层次的数据包。由于P2P应用的数据包是传输层以上应用层的数据包,因此传输层以下层次的数据包不可能是P2P应用的数据包,因此必须滤除。第三种滤除的是本***中P2P处理模块发送的主动探测数据包和被探测目标的响应数据包;主动探测数据包是步骤107中,因检测加密P2P流量需要,而发送的一种数据包。响应数据包是被探测目标对主动探测数据包的响应。这两种数据包均不是网络中原始的数据包,一般情况下在现有网络中不会出现,是由于本***的检测需要而引入的数据包,因此必须滤除。
在本步骤中,第一种和第二种数据包的过滤具体是由试探装置上的过滤电路自动完成。第三种数据包的过滤,需根据本***中P2P处理模块的网络接口的IP地址,对试探装置设置过滤条件,由试探设备上的过滤电路自动完成。如***中P2P处理模块的IP地址为10.0.0.6,则设置的过滤条件为no ipaddress10.0.0.6。
本步骤中,通过试探装置对这三种类型的数据包进行初级过滤后,可以有效减少后续的处理工作,提高***的效率。而且这三种类型数据包的过滤,是由试探装置上的过滤电路完成的,可以达到很高的处理性能和可靠性。
步骤103,数据识别模块对数据包进行特征串匹配,将数据包增加明文和密文标识,送入P2P处理模块。
数据识别模块根据已知的P2P应用的明文特征串,对经过初级过滤的数据包进行串匹配检测。串匹配检测具体是由试探装置的串匹配电路完成,串匹配电路根据设定的明文特征串检测条件,实现对明文数据包的检测。具体的明文特征串检测条件,可以是字符串,如“abcde”,或者是明文特征串的十六进制数,如“0x F2 35 4D”;或者是明文特征串的正则表达式,如“1:t4:.{4}1:v4:UT”。
对经过明文特征串匹配检测的数据包,如果包含某个已知P2P应用的明文特征串,则数据识别模块将其增加明文标识,否则增加密文标识,分别送入P2P处理模块。
步骤104,P2P处理模块根据明文数据包查找明文P2P流量,并更新明文数据包记录;根据密文数据包查找密文P2P流量,并更新密文数据包记录,对未知数据则构造主动探测数据包。
本步骤中具有明文标识的数据包,将根据的<源IP,目的IP,源端口,目的端口,明文标识>的五元组信息查找明文P2P流量存储模块,交由步骤105处理。
本步骤中具有密文标识的数据包,将根据的<源IP,目的IP,源端口,目的端口,密文标识>的五元组信息查找明文P2P流量存储模块,交由步骤106处理。
对本步骤中未查找到的密文数据包交由步骤107处理。
步骤105,更新明文P2P流量存储模块
P2P处理模块提取包含明文特征串的数据包的<源IP,目的IP,源端口,目的端口,应用层载荷字节数,明文标识>六元组信息,按其中的<源IP,目的IP,源端口,目的端口,明文标识>为检索项,查找明文P2P流量存储模块;若该数据包已存对应存储记录,则将该数据包中的<应用层载荷字节数>,累加到明文P2P流量存储模块中对应存储记录的<累计传输字节数>字段;否则,P2P处理模块将提取的该数据包的六元组信息<源IP,目的IP,源端口,目的端口,应用层载荷字节数,明文标识>,添加到明文P2P流量存储模块中,成为一条新的记录,统计得到识别到的明文对等网络应用流量。
本步骤中,明文P2P流量存储模块具体是指数据库***中一个独立的数据表或者文件***中一个独立的格式存储的文本文件。查找明文P2P流量存储模块具体可以通过数据库***的数据表查找或者文件***文件搜索过程完成。
步骤106,更新密文P2P流量存储模块
密文P2P流量存储模块中存储的为已知的按密文方式传输的P2P流量信息,具体为每个数据流的<源IP,目的IP,源端口,目的端口,累计载荷字节数>。数据识别模块提取该数据包的<源IP,目的IP,源端口,目的端口,应用层载荷字节数,密文标识>六元组信息,按其中的五元组<源IP,目的IP,源端口,目的端口,密文标识>为检索项,查找密文P2P流量存储模块;若存在该数据包的对应存储记录,则将该数据包五元组中<应用层载荷字节数>,累加到密文P2P流量存储模块中对应存储记录的<累计传输字节数>字段,进行密文P2P应用流量统计;否则,执行步骤107。
本步骤中,密文P2P流量存储模块具体是指数据库***中一个独立的数据表或者文件***中一个独立的格式存储的文本文件。查找密文P2P流量存储模块具体可以通过数据库***的数据表查找或者文件***文件搜索过程完成。
步骤107,构造并发送主动探测数据包
P2P处理模块根据未知密文数据包的五元组信息,构造主动探测(Probe)数据包,简称P数据包,并通过网络接口将P数据包发送出去。P数据包的内容是根据不同的P2P应用所设定的,通过传输层TCP协议实现承载的。
P数据包发送的目标,具体是以未知密文数据包五元组中的<源IP,源端口>或者<目的IP,目的端口>为目标。一般的,如果<源IP,源端口>指向内部网络的主机,则以<源IP,源端口>为发送目标;反之,则以<目的IP,目的端口>为目标。同时不局限于内部网络的主机。
P数据包的源,具体是指二元组<P2P处理模块的IP地址,某个端口>。P2P处理模块的IP地址,一般根据P2P处理模块所连接的网络中的地址分配情况进行设置,如10.0.0.6。但注意与步骤102中,试探装置上设置的P2P处理模块的IP地址保持一致。P2P处理模块的某个端口,可以取固定的某个端口,如10000。或者取随机的端口,取值范围从0~65535。一般建议取随机的端口。
P数据包具体是通过P2P处理模块的网络接口发送,P2P处理模块的网络接口是直接连接在网络转发设备上。该网络转发设备不一定是步骤101中的试探装置获取数据包的那个网络转发设备,只要该网络转发设备能够保证待检处理模块可以正常连接到网络中。
步骤108,被探测主机是否有响应
检测相应是否明文P2P流量,如是,则转入步骤109进行处理,如否,则转入步骤110进行处理。
步骤109,未知处理模块更新未知流量存储模块
未知流量存储模块中存储的是所有未能正确检测的数据包的五元组信息,具体为<源IP,目的IP,源端口,目的端口,应用层载荷字节数>。未知处理模块按数据包五元组中的<源IP,目的IP,源端口,目的端口>这四项为检索项,去查找未知流量存储模块。如果存在对应存储记录,则未知处理模块将数据包五元组中<应用层载荷字节数>,累加到未知流量存储模块中对应存储记录的<累计传输字节数>字段。否则,未知处理模块将提取的数据包的五元组信息,添加到未知流量存储模块中,成为一条新的记录。
未知流量存储模块具体是指数据库***中一个独立的数据表或者文件***中一个独立的格式存储的文本文件。未知处理模块查找未知流量存储模块具体可以通过数据库***的数据表查找或者文件***文件搜索过程完成。更新未知流量存储模块具体可以通过数据库***的数据表更新或者文件***文件更新过程完成。
图2为本实施例提供的一种识别对等网络应用流量的***结构示意图,该***包括试探装置201,数据识别模块202,P2P处理模块203,未知处理模块204,明文P2P流量存储模块205,密文P2P流量存储模块206,未知流量存储模块207。其中,
试探装置201,用于从获取的原始数据包中滤除三种类型的数据包,交由数据识别模块处理。
其中,试探装置需要滤除的三种数据包分别是传输错误的数据包,传输层以下层次的数据包,以及本***中P2P处理模块发送的主动探测数据包和被探测目标的响应数据包。通过对这三种类型的数据包进行初级过滤后,可以有效减少后续的处理工作,提高***的效率。
数据识别模块202,用于将经过试探装置过滤的数据包进行明文特征串匹配,将数据包分成两类,并相应添加明文、密文标识,发送给P2P处理模块处理。
其中,数据识别模块根据预先配置的P2P应用的明文特征串,对经过初级过滤的数据包进行串匹配检测。具体的明文特征串检测条件,可以是字符串、特征串的十六进制数、特征串的正则表达式,条件设置十分灵活。经过串匹配检测的数据包,添加明文或密文标识,交由P2P处理模块处理。
P2P处理模块203,用于对由数据识别模块传输下来的数据根据明文标识和密文标识分别处理。对具有明文标识的数据包,根据五元组查找并更新明文P2P流量存储模块;对具有密文标识的数据包,根据五元组查找并更新密文P2P流量存储模块;对未在密文P2P流量存储模块中查找到的密文数据包,根据该密文数据包构造主动探测数据包P并向被探测目标发送P数据包,根据被探测目标的响应更新密文P2P流量存储模块或者转入204。
未知处理模块204,用于从P2P处理模块中接收未知数据包,并根据数据包的五元组,查找并更新未知流量存储模块。
明文P2P流量存储模块205,用于存储已知的按明文方式传输的P2P流量信息。
密文P2P流量存储模块206,用于存储已知的按密文方式传输的P2P流量信息。
未知流量存储模块207,用于存储所有未能正确检测的数据包的流量信息。
明文P2P流量存储模块205、密文P2P流量存储模块206、未知流量存储模块207,均可以灵活的通过数据库***或者文件***实现,根据具体的组网情况,三者可以共享一个数据库***或文件***,也可以独立实现,十分灵活。对三者的搜索、更新过程是交由数据库***或者文件***中相应的操作完成,使得本***可以专注于P2P流量的检测,减少不必要的开销,提高***的效率。此外,本***与数据库***或文件***之间是相互独立的,任何一个***的故障、更新或性能降低,不会相互影响,利于扩展应用。
图3为本实施例提供的一种对识别等网络应用流量***的组网示意图,包括网络301、网络转发设备A302、试探装置303、服务器A304、服务器B305、网络转发设备B306。其中:
网络301,即为本实施例中图3所示的网络301,可以是因特网、城域网、校园网、企业网等网络。
网络转发设备A302,可以是路由器、三层交换机、二层交换机等具备数据包转发功能的设备。该网络转发设备只是初级过滤设备的数据包获取源。
试探装置303,即为本实施例中图2所示的初级过滤设备201。
服务器A304,具体实现了实施例1中图2所示的明文P2P流量存储模块、密文P2P流量存储模块和未知流量存储模块,三者是通过服务器A上的文件***中的文件实现。
服务器B305,具体实现了图2中的数据识别模块、P2P处理模块和未知处理模块。其中数据识别模块的输出端是试探装置与服务器B间物理连接上的两个逻辑通道输出。服务器B还与网络转发设备B通过网络接口进行连接,用于发送主动探测数据包和接收被探测目标的响应数据包。
网络转发设备B306,连接到网络,用于转发服务器B中P2P处理模块产生的主动探测数据包和被探测目标的响应数据包。
综上所述,本发明针对现有的P2P应用流量检测方法存在的不足,主要是对加密P2P流量的检测和***性能不高的问题,提出了一种P2P流量检测的方法和***。通过试探装置从网络转发设备上获取全部的数据包,首先利用过滤电路,高速滤除传输错误的数据包、传输层以下的数据包、以及本***中P2P处理模块发送的主动探测数据包和被探测目标回复的响应数据包,有效减少后续的处理工作,提高***的效率。其次,数据识别模块根据预先配置的明文特征串,对数据包进行串匹配检测,将数据包分为两种类型,分别增加明文标识和密文标识,交由P2P处理模块做进一步处理。这样,不同的数据包不会混淆。P2P处理模块通过向被探测目标发送经过特殊构造的主动探测数据包,只需等待规定的等待时间后,根据被探测目标回复的响应数据包,从而检测出是否是以密文方式传输的P2P流量或者是未知流量,因此实时性较好。而且P2P处理模块和未知处理模块可以分别由不同的设备或者一个设备上两个不同的部分,并发的完成对数据包的进一步处理,提高了***的并发处理能力,且一个处理单元的故障、更新和性能降低均不会影响另一个处理单元,提高了***的可靠性和可扩展性。P2P处理模块和未知处理模块在处理数据包时,还需要搜索、更新明文P2P流量存储模块,密文P2P流量存储模块和未知流量存储模块,这三者都可以用数据库***或者文件***实现。对三者的搜索、更新过程是由数据库***或者文件***中相应的操作完成,使得本***可以专注于P2P流量的检测,减少不必要的开销,提高***的效率。数据库***或者文件***与明文处理模块或待检处理模块可以用不同的设备实现,也可以在同一个设备的不同部分实现,任何一个设备或部分的故障、更新或性能降低,不会相互影响,利于扩展应用。
Claims (4)
1.一种识别对等网络应用流量的方法,其特征在于包括如下步骤:
(1)试探设备从网络上获取全部的数据包,对数据包进行过滤,滤除无关的以及可识别的非对等网络的数据包;所述的无关数据包包括传输层以下层次的数据包,以及步骤(5)中发送的探测数据包和步骤(6)中的被探测目标回复的响应数据包;其余数据包送入数据识别模块;
(2)在数据识别模块中,按已知的P2P应用的协议特征码,对数据包进行串匹配检测,将检测到的包含P2P协议特征码的数据包添加明文标识,送入P2P处理模块执行步骤(3);将检测到的未能识别协议特征码的数据包,添加密文标识,送入P2P处理模块执行步骤(4);
(3)P2P处理模块通过明文标识将确定以明文方式传输的P2P流量存储于明文P2P流量存储模块中,累计得到识别到的明文对等网络应用流量;
(4)数据识别模块提取该数据包的<源IP,目的IP,源端口,目的端口,应用层载荷字节数,密文标识>六元组信息,按其中的五元组<源IP,目的IP,源端口,目的端口,密文标识>为检索项,查找密文P2P流量存储模块;若存在该数据包的对应存储记录,则将该数据包六元组中<应用层载荷字节数>,累加到密文P2P流量存储模块中对应存储记录的<累计传输字节数>字段,进行密文P2P应用流量统计;否则,执行步骤(5);
(5)按不同的P2P应用所约定的信息,构造主动探测明文数据包,经试探设备的网络接口向被探测目标发送主动探测明文数据包;
(6)在设定的等待时间内,试探设备将收到的与发送的主动探测明文数据包内容相对应的被探测目标回复的响应数据包,若探测目标返回明文数据包,执行步骤(3),若返回密文数据包,则提取该探测数据包对应的原数据包中的<源IP,目的IP,源端口,目的端口,应用层载荷字节数>五元组,添加密文标识构成<源IP,目的IP,源端口,目的端口,应用层载荷字节数,密文标识>六元组,新增该条记录存储于密文P2P流量存储模块中,若被探测目标返回未知数据包或不返回,则将对应的原数据包执行步骤(7);
(7)未知数据处理模块提取该未知的应用流量数据包的<源IP,目的IP,源端口,目的端口,应用层载荷字节数>五元组信息,按其中的<源IP,目的IP,源端口,目的端口>为检索项,查找未知流量存储模块,若未知流量存储模块中存在该数据包的对应存储记录,则将该数据包五元组中<应用层载荷字节数>,累加到未知流量存储模块中对应存储记录的<累计传输字节数>字段;否则,试探装置将提取的该数据包的五元组信息,添加到未知流量存储模块中,成为一条新的记录。
2.根据权利要求1所述的一种识别对等网络应用流量的方法,其特征在于:步骤(1)中所述的获取全部的数据包包括所有通过该设备的原始数据包。
3.根据权利要求1所述的一种识别对等网络应用流量的方法,其特征在于:步骤(3)中所述的P2P处理模块统计得到以明文方式传输的P2P流量的步骤包括:P2P处理模块提取包含明文特征串的数据包的<源IP,目的IP,源端口,目的端口,应用层载荷字节数,明文标识>六元组信息,按其中的<源IP,目的IP,源端口,目的端口,明文标识>为检索项,查找明文P2P流量存储模块;若该数据包已存对应存储记录,则将该数据包中的<应用层载荷字节数>,累加到明文P2P流量存储模块中对应存储记录的<累计传输字节数>字段;否则,P2P处理模块将提取的该数据包的六元组信息<源IP,目的IP,源端口,目的端口,应用层载荷字节数,明文标识>,添加到明文P2P流量存储模块中,成为一条新的记录,统计得到识别到的明文对等网络应用流量。
4.一种识别对等网络应用流量的***,其特征在于:它包括试探装置、数据识别模块、P2P处理模块、未知数据处理模块、明文P2P流量存储模块、密文P2P流量存储模块和未知流量存储模块;
所述的试探装置,用于从获取的原始数据包中滤除错误和无关的数据包,将其余数据包传送至数据识别模块;
所述的数据识别模块,用于将经过试探装置处理的数据包,进行P2P明文特征串匹配,将数据包分成明文和密文两类,分别添加对应的识别标识,交由P2P处理模块进行处理;
所述的P2P处理模块,用于将经过数据识别模块处理过的明文或密文数据包,以<源IP,目的IP,源端口,目的端口,明文标识>或<源IP,目的IP,源端口,目的端口,密文标识>为检索项,查找并更新明文或密文P2P流量存储模块中的信息,检测和统计P2P流量;针对未知数据,构造主动探测数据包;它还包括一个网络接口,用于向被探测目标发送主动探测数据包和接收被探测目标回复的响应数据包;在设定的等待时间内,根据被探测目标回复的响应数据包,检测P2P流量,并将检测结果按密文方式传输的P2P流量以及未知流量,分别发送到密文P2P流量存储模块和未知数据处理模块;
所述的未知数据处理模块,用于从P2P处理模块接收未确定类型的数据包,通过<源IP,目的IP,源端口,目的端口,应用层载荷字节数>五元组信息查找并更新未知流量存储模块中的信息,检测和统计未知数据流量;
所述的明文P2P流量存储模块,接收并存储明文处理模块统计出的按明文方式传输的P2P流量信息;
所述的密文P2P流量存储模块,接收并存储待检处理模块检测出的按密文方式传输的P2P流量信息;
所述的未知流量存储模块,接收并存储待检处理模块所有未能正确检测的数据包的流量信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102640406A CN101741745B (zh) | 2009-12-29 | 2009-12-29 | 识别对等网络应用流量的方法及其*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102640406A CN101741745B (zh) | 2009-12-29 | 2009-12-29 | 识别对等网络应用流量的方法及其*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101741745A CN101741745A (zh) | 2010-06-16 |
CN101741745B true CN101741745B (zh) | 2012-01-04 |
Family
ID=42464651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009102640406A Expired - Fee Related CN101741745B (zh) | 2009-12-29 | 2009-12-29 | 识别对等网络应用流量的方法及其*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101741745B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075443B (zh) * | 2011-02-28 | 2012-11-21 | 电子科技大学 | 基于主动探测的主机ip出流量估算方法 |
CN103312621B (zh) * | 2013-06-07 | 2016-08-10 | 深圳中兴网信科技有限公司 | 流量控制***和流量控制方法 |
CN103701670B (zh) * | 2013-12-30 | 2017-12-19 | 北京神州绿盟信息安全科技股份有限公司 | 一种数据包负载的处理方法和装置 |
CN104765884B (zh) * | 2015-04-30 | 2018-06-22 | 哈尔滨工业大学 | 一种https网页的指纹识别方法 |
CN107070745A (zh) * | 2017-03-31 | 2017-08-18 | 武汉绿色网络信息服务有限责任公司 | 一种规则遗漏导致的未知流量分析方法 |
CN111147486B (zh) * | 2019-12-25 | 2022-06-07 | 国家电网有限公司 | 一种精细化安全防护***和方法及其应用 |
CN112235160B (zh) * | 2020-10-14 | 2022-02-01 | 福建奇点时空数字科技有限公司 | 一种基于协议数据深层检测的流量识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1852164A (zh) * | 2006-04-25 | 2006-10-25 | 清华大学 | 基于联邦模型的p2p网络管理方法 |
CN101309218A (zh) * | 2008-07-09 | 2008-11-19 | 南京邮电大学 | 基于移动代理的层次式对等网络流量检测与控制方法 |
-
2009
- 2009-12-29 CN CN2009102640406A patent/CN101741745B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1852164A (zh) * | 2006-04-25 | 2006-10-25 | 清华大学 | 基于联邦模型的p2p网络管理方法 |
CN101309218A (zh) * | 2008-07-09 | 2008-11-19 | 南京邮电大学 | 基于移动代理的层次式对等网络流量检测与控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101741745A (zh) | 2010-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101741745B (zh) | 识别对等网络应用流量的方法及其*** | |
US9871781B2 (en) | Systems and methods for path maximum transmission unit discovery | |
CN110113345B (zh) | 一种基于物联网流量的资产自动发现的方法 | |
KR100922582B1 (ko) | 중심점 분할 기법을 이용한 로그 기반의 역추적 시스템 및방법 | |
CN101662393B (zh) | 域间前缀劫持检测与定位方法 | |
JP5050781B2 (ja) | マルウエア検出装置、監視装置、マルウエア検出プログラム、およびマルウエア検出方法 | |
CN102821009B (zh) | 基于链路层发现协议监控环形网络的方法和装置 | |
CN107534690A (zh) | 采集域名***流量 | |
US11546356B2 (en) | Threat information extraction apparatus and threat information extraction system | |
CN106470213A (zh) | 一种攻击报文的溯源方法和装置 | |
CN112202609A (zh) | 一种工控资产探测方法、装置、电子设备及存储介质 | |
CN101605132B (zh) | 一种网络数据流识别方法 | |
CN104639391A (zh) | 一种生成网络流量记录的方法及相应的流量检测设备 | |
CN1703890B (zh) | 数据网络中识别和分析协议的方法 | |
CN114172854B (zh) | 报文镜像、镜像配置方法、虚拟交换机及镜像配置装置 | |
CN101753456B (zh) | 一种对等网络流量检测方法及其*** | |
CN108833430B (zh) | 一种软件定义网络的拓扑保护方法 | |
CN102648604A (zh) | 借助于描述性的元数据监测网络通信量的方法 | |
CN111404719B (zh) | 网络拓扑信息采集方法及*** | |
CN111010362B (zh) | 一种异常主机的监控方法及装置 | |
CN109547281B (zh) | 一种Tor网络的溯源方法 | |
CN115499179A (zh) | 一种面向主干网中DoH隧道流量的检测方法 | |
JP2010239392A (ja) | サービス不能攻撃制御システム、装置、および、プログラム | |
CN115065592A (zh) | 信息处理方法、装置及存储介质 | |
KR20110040152A (ko) | 공격자 패킷 역추적 방법 및 이를 위한 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120104 Termination date: 20211229 |