CN112468416B - 网络流量镜像方法、装置、计算机设备和存储介质 - Google Patents

网络流量镜像方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112468416B
CN112468416B CN202011148211.1A CN202011148211A CN112468416B CN 112468416 B CN112468416 B CN 112468416B CN 202011148211 A CN202011148211 A CN 202011148211A CN 112468416 B CN112468416 B CN 112468416B
Authority
CN
China
Prior art keywords
message
mirror image
receiving port
strategy
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011148211.1A
Other languages
English (en)
Other versions
CN112468416A (zh
Inventor
桂晨
聂军
季超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Network Technology Co ltd
Original Assignee
Dawning Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Network Technology Co ltd filed Critical Dawning Network Technology Co ltd
Priority to CN202011148211.1A priority Critical patent/CN112468416B/zh
Publication of CN112468416A publication Critical patent/CN112468416A/zh
Application granted granted Critical
Publication of CN112468416B publication Critical patent/CN112468416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/20Support for services
    • H04L49/208Port mirroring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/30Peripheral units, e.g. input or output ports
    • H04L49/3009Header conversion, routing tables or routing tags

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种网络流量镜像方法、装置、计算机设备和存储介质。所述方法包括:获取与本地镜像策略匹配成功的报文,报文中携带有接收端口的标识信息,本地镜像策略为存储在接收端口所属的总线内存中的镜像策略;根据标识信息,在标识信息与总线内存的对应关系中,查找到接收端口所属的总线内存,并在总线内存中对报文进行复制,得到镜像报文。采用本方法能够避免跨总线内存进行访问,提高了多核处理器的处理性能。

Description

网络流量镜像方法、装置、计算机设备和存储介质
技术领域
本申请涉及镜像技术领域,特别是涉及一种网络流量镜像方法、装置、计算机设备和存储介质。
背景技术
网络流量镜像技术在数据通信领域是一项基本而且重要的技术,该技术支持通过镜像策略过滤流量并对已命中策略的流量报文进行镜像。使得用户可以对镜像后的网络流量报文进行二次分析来实现网络监控和数据分析。承载这种网络流量镜像技术的硬件为多核处理器,该处理器每个物理核心上都有多个pcie总线,不同的pcie总线管理自己独有的一块内存。
目前的网络流量镜像技术在接收到原始报文后,每次都需要通过远端下发策略来过滤报文,即策略服务器通过预设的接口及TCP传输协议,根据下发的镜像策略内容进行报文过滤,这样跨pcie(peripheral component interconnect express,高速串行计算机扩展总线标准)的内存访问镜像策略的方式,会拉低整个CPU(中央处理器)***的性能。另外,在网络流量镜像过程中对于命中策略的报文进行镜像时,申请的内存不属于该发包端口对应的所属内存,也会出现跨pcie的内存访问,拉低整个CPU(中央处理器)***的处理性能,降低CPU的利用率。
发明内容
基于此,有必要针对上述技术问题,提供一种网络流量镜像方法、装置、计算机设备和存储介质。
一种网络流量镜像方法,所述方法包括:
获取与本地镜像策略匹配成功的报文,所述匹配成功的报文中携带有接收端口的标识信息,所述本地镜像策略为存储在所述接收端口所属的总线内存中的镜像策略;
根据所述标识信息,在所述标识信息与所述总线内存的对应关系中,查找到所述接收端口所属的总线内存,并在所述总线内存中对所述匹配成功的报文进行复制,得到镜像报文。
采用本方法通过本地的镜像策略对报文进行过滤筛选,以及对于命中策略的报文根据报文的标识信息在预先规划的所述标识信息与所述总线内存的对应关系中,确定出报文的接收端口所属的总线内存,并在该总线内存中完成报文镜像,避免跨总线内存的访问拉低中央处理器的***性能,提高了中央处理器的利用率。
在其中一个实施例中,所述获取与本地镜像策略匹配成功的报文,包括:
通过接收端口接收网络流量包含的报文,将所述报文打上所述接收端口的标识信息,并对所述报文进行预处理,得到预处理后的所述报文的特征信息;
根据存储在所述接收端口所属的总线内存中的镜像策略及所述报文的特征信息,对所述报文进行匹配;
若所述报文的特征信息与所述镜像策略中的条件相符,则所述报文与所述镜像策略匹配成功,将所述报文打上镜像标记。
本实施例中,利用本地的镜像策略对网络流量报文进行过滤,得到需要镜像处理的报文,达到高效的网络流量报文的筛选,同时,将网络流量镜像技术与多核处理器的架构结合起来,能够达到更高效的镜像功能,提升多核处理器的性能。
在其中一个实施例中,在所述获取与本地镜像策略匹配成功的报文之前,所述方法还包括:
根据全局镜像策略以及预设的有限状态机算法,得到对应的全局镜像策略引擎;
将所述全局镜像策略引擎分别拷贝到每个总线内存中,作为每个所述总线内存的本地镜像策略引擎。
本实施例中,通过将全局内存中的镜像策略引擎在远端下发后分别拷贝至每个总线内存中,使得多核处理器在进行网络流量过滤时,无需跨总线内存进行策略访问,可以在本地的接收端口所属内存中直接访问镜像策略,提高了多核处理器的处理性能。
在其中一个实施例中,所述根据存储在所述接收端口所属的总线内存中的镜像策略及所述报文的特征信息,对所述报文进行匹配,包括:
根据所述接收端口获取到对应的本地镜像策略引擎;
将所述报文的特征信息输入至所述本地镜像策略引擎中,根据所述本地镜像策略引擎中镜像策略的多种预设的特征组合对所述报文进行特征匹配。
本实施例中,通过接收端口获取到对应的本地镜像策略引擎,并根据预设的有限状态机算法匹配接收端口所属的总线内存中的本地镜像策略,该镜像策略中包含的筛选条件为不同策略的组合,进而根据该本地镜像策略引擎对报文进行筛选,可以实现百万级别的网络流量报文的镜像策略匹配过程。能够达到更高效的镜像筛选功能,提升多核处理器的性能。
在其中一个实施例中,所述方法还包括:
根据所述接收端口的标识信息,将得到的所述镜像报文打上相同的标识信息;
根据所述镜像报文携带的标识信息,在所述标识信息与所述总线内存的对应关系中,查找到所述镜像报文所处的总线内存归属的接收端口,将所述镜像报文通过所述接收端口发出。
本实施例中,通过对镜像报文采用相同的接收端口标识信息进行标记,使得由某一接收端口接收的报文在所属的内存中完成镜像的同时,再对应的由同样的接收端口发出,再次避免了跨总线内存的访问,提高了多核处理器的处理性能。
一种网络流量镜像装置,所述装置包括:
获取模块,用于获取与本地镜像策略匹配成功的报文,所述匹配成功的报文中携带有接收端口的标识信息,所述本地镜像策略为存储在所述接收端口所属的总线内存中的镜像策略;
镜像模块,用于根据所述标识信息,在所述标识信息与所述总线内存的对应关系中,查找到所述接收端口所属的总线内存,并在所述总线内存中对所述匹配成功的报文进行复制,得到镜像报文。
在其中一个实施例中,所述装置还包括:
处理模块,用于通过接收端口接收网络流量包含的报文,将所述报文打上所述接收端口的标识信息,并对所述报文进行预处理,得到预处理后的所述报文的特征信息;
匹配模块,用于根据存储在所述接收端口所属的总线内存中的镜像策略及所述报文的特征信息,对所述报文进行匹配;
标记模块,用于若所述报文的特征信息与所述镜像策略中的条件相符,则所述报文与所述镜像策略匹配成功,将所述报文打上镜像标记。
本实施例中,该网络流量镜像装置利用本地的镜像策略对网络流量报文进行过滤,得到需要镜像处理的报文,达到高效的网络流量报文的筛选,同时,将网络流量镜像技术与多核处理器的架构结合起来,能够达到更高效的镜像功能,提升多核处理器的性能。
在其中一个实施例中,所述匹配模块具体用于根据所述接收端口获取到对应的本地镜像策略引擎;
将所述报文的特征信息输入至所述本地镜像策略引擎中,根据所述本地镜像策略引擎中镜像策略的多种预设的特征组合对所述报文进行特征匹配。
本实施例中,匹配模块通过接收端口获取到对应的本地镜像策略引擎,并根据预设的有限状态机算法匹配接收端口所属的总线内存中的本地镜像策略,该镜像策略中包含的筛选条件为不同策略的组合,进而根据该本地镜像策略引擎进行报文筛选,可以实现百万级别的网络流量报文的镜像策略匹配过程。能够达到更高效的镜像筛选功能,提升多核处理器的性能。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取与本地镜像策略匹配成功的报文,所述匹配成功的报文中携带有接收端口的标识信息,所述本地镜像策略为存储在所述接收端口所属的总线内存中的镜像策略;
根据所述标识信息,在所述标识信息与所述总线内存的对应关系中,查找到所述接收端口所属的总线内存,并在所述总线内存中对所述匹配成功的报文进行复制,得到镜像报文。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取与本地镜像策略匹配成功的报文,所述匹配成功的报文中携带有接收端口的标识信息,所述本地镜像策略为存储在所述接收端口所属的总线内存中的镜像策略;
根据所述标识信息,在所述标识信息与所述总线内存的对应关系中,查找到所述接收端口所属的总线内存,并在所述总线内存中对所述匹配成功的报文进行复制,得到镜像报文。
上述网络流量镜像方法、装置、计算机设备和存储介质,获取与本地镜像策略匹配成功的报文,所述匹配成功的报文中携带有接收端口的标识信息,所述本地镜像策略为存储在所述接收端口所属的总线内存中的镜像策略;根据所述标识信息,在所述标识信息与所述总线内存的对应关系中,查找到所述接收端口所属的总线内存,并在所述总线内存中对所述匹配成功的报文进行复制,得到镜像报文。采用本方法通过本地的镜像策略对报文进行过滤筛选,以及对于命中策略的报文根据报文的标识信息在预先规划的所述标识信息与所述总线内存的对应关系中,确定出报文的接收端口所属的总线内存,并在该总线内存中完成报文镜像,避免了跨总线内存的访问拉低中央处理器的***性能,提高了中央处理器的利用率。
附图说明
图1为一个实施例中网络流量镜像方法的应用环境图;
图2为一个实施例中网络流量镜像方法的流程示意图;
图3为一个实施例中镜像报文转发方法的流程示意图;
图4为一个实施例中镜像策略本地化的方法的流程示意图;
图5为一个实施例中进行镜像策略匹配的方法的流程示意图;
图6为一个实施例中镜像策略引擎匹配报文的方法的流程示意图;
图7为一个实施例中网络流量镜像方法的示例流程图;
图8为一个实施例中网络流量镜像装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的网络流量镜像方法,可以应用于如图1所示的服务器100中。其中,服务器100中的多核处理器(即中央处理器CPU,Central Processing Unit),每个物理核心上都有多个总线110,不同的总线110可以管理一块独有的内存130,每个总线110与对应的内存130之间都具有所归属的接收端口120,通过接收端口(port)120可以实现网络流量报文的收发。其中,多核处理器通过接收端口获取与本地镜像策略匹配成功的报文,匹配成功的报文中携带有接收端口的标识信息,根据标识信息,在标识信息与总线内存的对应关系中,查找到接收端口所属的总线内存,并在总线内存中对匹配成功的报文进行复制,得到镜像报文。
可选的,总线110可以但不限于是pcie(peripheral component interconnectexpress,高速串行计算机扩展总线标准)总线,也可以为多核处理器中其他可以管理独立内存的总线;内存130对应的接收端口120的数目可以但不限于是两个,也可以是一个或多个。
在一个实施例中,如图2所示,提供了一种网络流量镜像方法,以该方法应用于图1中的多核处理器进行说明,包括以下步骤:
步骤201,获取与本地镜像策略匹配成功的报文,匹配成功的报文中携带有接收端口的标识信息,本地镜像策略为存储在接收端口所属的总线内存中的镜像策略。
在实施中,多核处理器(CPU)的每个总线对应的接收端口均可以获取与本地镜像策略匹配成功的报文(即命中策略的报文)。其中,该报文中携带有对应的接收端口的标识信息。多核处理器中的本地镜像策略为存储在接收端口所属的总线内存中的镜像策略。例如,如图1所示,以多核处理器中的总线为pcie总线为例,多核处理器中每个物理核对应多个pcie总线,则本地镜像策略为每个pcie总线对应管理的内存(Memory)中存储的镜像策略。
步骤202,根据标识信息,在标识信息与总线内存的对应关系中,查找到接收端口所属的总线内存,并在总线内存中对匹配成功的报文进行复制,得到镜像报文。
在实施中,多核处理器根据获取到的报文中携带的接收端口的标识信息,在预设的标识信息与总线内存的对应关系中,查找到接收端口所属的总线内存,并在所属总线内存中申请一块内存对报文进行复制处理,得到镜像报文。
具体的,如图1所示,若报文携带的接收端口的标识信息为第一总线内存的第一端口的标识信息,多核处理器根据该标识信息,确定出第一端口对应的总线内存为Memory1,将获取到的待镜像处理的报文规划到Memory1中进行复制,得到该报文的镜像报文。
上述网络流量镜像方法中,多核处理器获取与本地镜像策略匹配成功的报文,该报文中携带有接收端口的标识信息,其中,本地镜像策略为存储在接收端口所属的总线内存中的镜像策略;然后,多核处理器根据该标识信息,在标识信息与总线内存的对应关系中,查找到接收端口所属的总线内存,并在总线内存中对匹配成功的报文进行复制,得到镜像报文。采用本方法通过本地的镜像策略对报文进行过滤筛选,以及对于命中策略的报文根据报文的标识信息在预设的对应关系中,确定出报文的接收端口所属的总线内存,并在该总线内存中完成报文镜像,避免跨总线内存的访问会拉低中央处理器的***性能,进而提高了中央处理器的利用率。
在一个实施例中,如图3所示,该方法还包括:
步骤203,根据接收端口的标识信息,将得到的镜像报文打上相同的标识信息。
在实施中,当对报文镜像处理后,多核处理器根据接收端口的标识信息,将拷贝得到的镜像报文打上相同的标识信息。
步骤204,根据镜像报文携带的标识信息,在标识信息与总线内存的对应关系中,查找到镜像报文所处的总线内存归属的接收端口,将镜像报文通过接收端口发出。
在实施中,多核处理器根据该镜像报文携带的标识信息,在标识信息与总线内存的对应关系中,查找到该镜像报文所处的总线内存归属的接收端口,然后,将该镜像报文通过该总线内存归属的接收端口发出,完成镜像报文转发操作。
具体的,当拷贝生成的镜像报文携带有第一总线内存的第一接收端口的标识信息时,多核处理器根据第一接收端口与第一总线内存的对应关系,查找到第一总线内存归属的第一接收端口,然后,将存储在该第一总线内存中该镜像报文通过第一接收端口发出,实现报文由哪个接收端口接收,对应的生成的镜像报文由哪个接收端口发出。
本实施例中,通过对镜像报文采用相同的接收端口标识信息进行标记,使得由某一接收端口接收的报文在所属的内存中完成镜像的同时,再对应的由同样的接收端口发出,再次避免了跨总线内存的访问,提高了多核处理器的处理性能。
在一个实施例中,如图4所示,在步骤201之前,该方法还包括:
步骤201a,根据全局镜像策略以及预设的有限状态机算法,得到对应的全局镜像策略引擎。
在实施中,多核处理器根据全局内存(非多核处理器中的内存)中的镜像策略利用预设的有限状态机算法,得到对应的全局镜像策略引擎。
步骤201b,将全局镜像策略引擎分别拷贝到每个总线内存中,作为每个总线内存的本地镜像策略引擎。
在实施中,多核处理器将得到的全局镜像策略引擎分别拷贝到每个总线内存中,作为每个总线内存的本地镜像策略引擎。即在初次访问镜像策略时,需要远端下发镜像策略,策略服务器根据协商好的接口,通过TCP传输协议将全局镜像策略引擎传输给多核处理器的多个总线(例如,pcie总线),对应的在多个总线的所属内存中拷贝得到本地镜像策略引擎。
其中,本申请中的镜像策略内容支持按照协议、业务类型、网站、特征字段等条件或组合条件进行过滤网络流量;支持按照URL、域名对HTTP协议的流量按照数据流进行镜像;UPR和域名可配置,并且支持包含通配符;支持按照报文内容进行镜像筛选,可镜像的报文内容包括文本、图片、视频等,内容类型可以通过对应的报文文件的后缀确定;支持按IP地址段判断是否镜像;支持按端口判断是否镜像;支持根据报文的流向(上行、下行、双向)配置判断是否镜像。因此,具体的镜像策略内容本申请实施例不做限定。
本实施例中,通过将全局内存中的全局镜像策略引擎在远端下发后分别拷贝至每个总线内存中,得到本地镜像策略引擎,进而使得多核处理器在进行网络流量过滤时,无需跨总线内存进行策略访问,可以在本地的接收端口所属内存中直接访问本地镜像策略,提高了多核处理器的处理性能。
在一个实施例中,如图5所示,步骤201的具体处理过程如下所示:
步骤2011,通过接收端口接收网络流量包含的报文,将报文打上接收端口的标识信息,并对报文进行预处理,得到预处理后的报文的特征信息。
在实施中,底层的收包驱动从网卡的收包队列上获取网络流量包含的所有报文,多核处理器通过接收端口接收报文,将接收到的报文打上对应的接收端口的标识信息,以用于识别该报文是通过具体哪个总线的所属端口接收的,然后,对报文进行预处理,进而得到预处理后的报文的特征信息。可选的,接收端口的标识信息可以为接收端口的id(identification,身份标识信息),也可以是其他的特殊符号,本申请实施例不做限定。
具体的,对报文后预处理得到的特征信息可以包括:报文属性信息:源目的IP地址信息、源目的端口信息,报文负载及负载长度信息,域名,URI(Uniform ResourceIdentifier,通用资源标志符)等报文特征字段。报文的归属信息(即报文的关联属性信息),包括:报文的源IP地址归属行政区,目的IP地址归属行政区,源IP地址归属的用户,目的IP归属的机房等报文关联属性。因此,对于报文的特征信息,本申请实施例不做限定。
步骤2012,根据存储在接收端口所属的总线内存中的镜像策略及报文的特征信息,对报文进行匹配。
在实施中,多核处理器根据存储在该报文的接收端口所属的总线内存中的镜像策略,利用有限状态机方法,对报文的特征信息进行匹配。
具体的,有限状态机方法为将匹配报文特征信息的过程分解为不同的状态,即不同的特征信息对应不同的状态,当匹配到了报文中的哪个字符(特征信息),对应从该状态变成另一种状态(另一个特征信息的状态),从而触发这个状态的事件(另一个特征信息的匹配过程),直至遍历有限状态机中全部的状态,停止触发。通过该有限状态机方法,实现对报文特征信息的匹配。
步骤2013,若报文的特征信息与镜像策略中的条件相符,则报文与镜像策略匹配成功,将报文打上镜像标记。
在实施中,若报文的特征信息与镜像策略中的报文的属性及关联属性的条件相符,则判定该报文命中策略,也即该报文与镜像策略匹配成功,对应的多核处理器可以将该报文打上镜像标记。
可选的,若报文的特征信息与镜像策略中的条件不相符,即报文未命中策略,则表明该报文无需镜像,则此报文的镜像过程结束。
本实施例中,通过有限状态机的方法,利用本地的镜像策略对网络流量报文进行过滤,得到需要镜像处理的报文,达到高效的网络流量报文的筛选,同时,将网络流量镜像技术与多核处理器的架构结合起来,能够达到更高效的镜像功能,提升多核处理器的性能。
在一个实施例中,如图6所示,步骤2012的具体处理过程如下所示:
步骤20121,根据接收端口获取到对应的本地镜像策略引擎。
在实施中,多核处理器根据接收端口获取到该接收端口所属的总线内存中的本地镜像策略引擎。例如,基于hyper scan方法所开发的匹配引擎(镜像策略引擎),能支持百万级别的镜像策略匹配,还可以定制化的解析不同类型的镜像策略。因此,对于镜像策略引擎的具体实现方式,本申请实施例不做限定。
步骤20122,将报文的特征信息输入至本地镜像策略引擎中,根据本地镜像策略引擎中镜像策略的多种预设的特征组合对报文进行特征匹配。
在实施中,多核处理器将报文的特征信息输入至得到的本地镜像策略引擎中,然后,根据本地镜像策略引擎中对于镜像策略的多种预设的特征组合(即不同的状态),对报文进行特征匹配。
本实施例中,通过接收端口获取到对应的本地镜像策略引擎,并根据预设的有限状态机算法匹配接收端口所属的总线内存中的本地镜像策略,该镜像策略中包含的筛选条件为不同策略的组合,进而根据该本地镜像策略引擎进行报文筛选,可以实现百万级别的网络流量报文的镜像策略匹配过程。能够达到更高效的镜像筛选功能,提升多核处理器的性能。
在一个实施例中,如图7所示,本申请实施例还提供了一种网络流量镜像方法的示例,其中以总线为pcie总线为例,具体过程如下所示:
步骤701,对接收的网络流量报文进行预处理,得到预处理后报文的特征信息。
步骤702,根据报文的接收端口所属的总线内存中的镜像策略引擎对报文的特征信息进行镜像策略匹配,判断镜像策略是否匹配成功,若镜像策略匹配成功,为该报文打上相应的镜像标记,并执行步骤703,若镜像策略匹配失败,则网络流量镜像过程结束。
步骤703,判断报文是否携带有镜像标记,若携带有镜像标记则执行步骤704;若未携带有镜像标记,则网络流量镜像过程结束。
步骤704,根据报文携带的接收端口的标识信息,确定该命中策略的报文归属的pcie总线内存。
步骤705,在确定出的pcie总线内存中拷贝原始报文,得到镜像报文,并为镜像报文打上该pcie总线内存对应的接收端口的标识信息。
步骤706,根据镜像报文上携带的接收端口的标识信息,将构造好的镜像报文从pcie内存对应的所属接收端口转发出去。
应该理解的是,虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种网络流量镜像装置,包括:获取模块810和镜像模块820,其中:
获取模块810,用于获取与本地镜像策略匹配成功的报文,匹配成功的报文中携带有接收端口的标识信息,本地镜像策略为存储在接收端口所属的总线内存中的镜像策略。
镜像模块820,用于根据标识信息,在标识信息与总线内存的对应关系中,查找到接收端口所属的总线内存,并在总线内存中对匹配成功的报文进行复制,得到镜像报文。
在一个实施例中,该装置800还包括:
处理模块,用于通过接收端口接收网络流量包含的报文,将报文打上接收端口的标识信息,并对报文进行预处理,得到预处理后的报文的特征信息。
匹配模块,用于根据存储在接收端口所属的总线内存中的镜像策略及报文的特征信息,对报文进行匹配。
标记模块,用于若报文的特征信息与镜像策略中的条件相符,则报文与镜像策略匹配成功,将报文打上镜像标记。
在一个实施例中,该装置800还包括:
生成模块,用于根据全局镜像策略以及预设的有限状态机算法,得到对应的全局镜像策略引擎;
拷贝模块,用于将全局镜像策略引擎分别拷贝到每个总线内存中,作为每个总线内存的本地镜像策略引擎。
在一个实施例中,匹配模块具体用于根据接收端口获取到对应的本地镜像策略引擎;
将报文的特征信息输入至本地镜像策略引擎中,根据本地镜像策略引擎中镜像策略的多种预设的特征组合对报文进行特征匹配。
在一个实施例中,该装置800还包括:
标识模块,用于根据接收端口的标识信息,将得到的镜像报文打上相同的标识信息。
发送模块,用于根据镜像报文携带的标识信息,在标识信息与总线内存的对应关系中,查找到镜像报文所处的总线内存归属的接收端口,将镜像报文通过接收端口发出。
上述网络流量镜像装置中,多核处理器获取与本地镜像策略匹配成功的报文,该报文中携带有接收端口的标识信息,其中,本地镜像策略为存储在接收端口所属的总线内存中的镜像策略;然后,多核处理器根据该标识信息,在标识信息与总线内存的对应关系中,查找到接收端口所属的总线内存,并在总线内存中对报文进行复制,得到镜像报文。采用本装置通过本地的镜像策略对报文进行过滤筛选,以及对于命中策略的报文根据报文的标识信息在预设的对应关系中,确定出报文的接收端口所属的总线内存,并在该总线内存中完成报文镜像,避免跨总线内存的访问会拉低中央处理器的***性能,进而提高了中央处理器的利用率。
关于网络流量镜像装置的具体限定可以参见上文中对于网络流量镜像方法的限定,在此不再赘述。上述网络流量镜像装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储网络流量镜像策略和网络流量报文数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种网络流量镜像方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取与本地镜像策略匹配成功的报文,匹配成功的报文中携带有接收端口的标识信息,本地镜像策略为存储在接收端口所属的总线内存中的镜像策略;
根据标识信息,在标识信息与总线内存的对应关系中,查找到接收端口所属的总线内存,并在总线内存中对匹配成功的报文进行复制,得到镜像报文。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
通过接收端口接收网络流量包含的报文,将报文打上接收端口的标识信息,并对报文进行预处理,得到预处理后的报文的特征信息;
根据存储在接收端口所属的总线内存中的镜像策略及报文的特征信息,对报文进行匹配;
若报文的特征信息与镜像策略中的条件相符,则报文与镜像策略匹配成功,将报文打上镜像标记,并将携带有镜像标记的报文打上对应的接收端口标识信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据全局镜像策略以及预设的有限状态机算法,得到对应的全局镜像策略引擎;
将全局镜像策略引擎分别拷贝到每个总线内存中,作为每个总线内存的本地镜像策略引擎。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据接收端口获取到对应的本地镜像策略引擎;
将报文的特征信息输入至本地镜像策略引擎中,根据本地镜像策略引擎中镜像策略的多种预设的特征组合对报文进行特征匹配。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据接收端口的标识信息,将得到的镜像报文打上相同的标识信息;
根据镜像报文携带的标识信息,在标识信息与总线内存的对应关系中,查找到镜像报文所处的总线内存归属的接收端口,将镜像报文通过接收端口发出。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取与本地镜像策略匹配成功的报文,匹配成功的报文中携带有接收端口的标识信息,本地镜像策略为存储在接收端口所属的总线内存中的镜像策略;
根据标识信息,在标识信息与总线内存的对应关系中,查找到接收端口所属的总线内存,并在总线内存中对匹配成功的报文进行复制,得到镜像报文。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
通过接收端口接收网络流量包含的报文,将报文打上接收端口的标识信息,并对报文进行预处理,得到预处理后的报文的特征信息;
根据存储在接收端口所属的总线内存中的镜像策略及报文的特征信息,对报文进行匹配;
若报文的特征信息与镜像策略中的条件相符,则报文与镜像策略匹配成功,将报文打上镜像标记。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据全局镜像策略以及预设的有限状态机算法,得到对应的全局镜像策略引擎;
将全局镜像策略引擎分别拷贝到每个总线内存中,作为每个总线内存的本地镜像策略引擎。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据接收端口获取到对应的本地镜像策略引擎;
将报文的特征信息输入至本地镜像策略引擎中,根据本地镜像策略引擎中镜像策略的多种预设的特征组合对报文进行特征匹配。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据接收端口的标识信息,将得到的镜像报文打上相同的标识信息;
根据镜像报文携带的标识信息,在标识信息与总线内存的对应关系中,查找到镜像报文所处的总线内存归属的接收端口,将镜像报文通过接收端口发出。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种网络流量镜像方法,其特征在于,所述方法包括:
获取与本地镜像策略匹配成功的报文,所述匹配成功的报文中携带有接收端口的标识信息,所述本地镜像策略为存储在所述接收端口所属的总线内存中的镜像策略;
根据所述标识信息,在所述标识信息与所述总线内存的对应关系中,查找到所述接收端口所属的总线内存,并在所述总线内存中对所述匹配成功的报文进行复制,得到镜像报文;
根据所述接收端口的标识信息,将得到的所述镜像报文打上相同的标识信息;
根据所述镜像报文携带的标识信息,在所述标识信息与所述总线内存的对应关系中,查找到所述镜像报文所处的总线内存归属的接收端口,将所述镜像报文通过所述接收端口发出。
2.根据权利要求1所述的方法,其特征在于,所述获取与本地镜像策略匹配成功的报文,包括:
通过接收端口接收网络流量包含的报文,将所述报文打上所述接收端口的标识信息,并对所述报文进行预处理,得到预处理后的所述报文的特征信息;
根据存储在所述接收端口所属的总线内存中的镜像策略及所述报文的特征信息,对所述报文进行匹配;
若所述报文的特征信息与所述镜像策略中的条件相符,则所述报文与所述镜像策略匹配成功,将所述报文打上镜像标记。
3.根据权利要求1所述的方法,其特征在于,在获取与本地镜像策略匹配成功的报文之前,所述方法还包括:
根据全局镜像策略以及预设的有限状态机算法,得到对应的全局镜像策略引擎;
将所述全局镜像策略引擎分别拷贝到每个总线内存中,作为每个所述总线内存的本地镜像策略引擎。
4.根据权利要求2所述的方法,其特征在于,所述根据存储在所述接收端口所属的总线内存中的镜像策略及所述报文的特征信息,对所述报文进行匹配,包括:
根据所述接收端口获取到对应的本地镜像策略引擎;
将所述报文的特征信息输入至所述本地镜像策略引擎中,根据所述本地镜像策略引擎中镜像策略的多种预设的特征组合对所述报文进行特征匹配。
5.一种网络流量镜像装置,其特征在于,所述装置包括:
获取模块,用于获取与本地镜像策略匹配成功的报文,所述匹配成功的报文中携带有接收端口的标识信息,所述本地镜像策略为存储在所述接收端口所属的总线内存中的镜像策略;
镜像模块,用于根据所述标识信息,在所述标识信息与所述总线内存的对应关系中,查找到所述接收端口所属的总线内存,并在所述总线内存中对所述匹配成功的报文进行复制,得到镜像报文;
标识模块,用于根据所述接收端口的标识信息,将得到的所述镜像报文打上相同的标识信息;
发送模块,用于根据所述镜像报文携带的标识信息,在所述标识信息与所述总线内存的对应关系中,查找到所述镜像报文所处的总线内存归属的接收端口,将所述镜像报文通过所述接收端口发出。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
处理模块,用于通过接收端口接收网络流量包含的报文,将所述报文打上所述接收端口的标识信息,并对所述报文进行预处理,得到预处理后的所述报文的特征信息;
匹配模块,用于根据存储在所述接收端口所属的总线内存中的镜像策略及所述报文的特征信息,对所述报文进行匹配;
标记模块,用于若所述报文的特征信息与所述镜像策略中的条件相符,则所述报文与所述镜像策略匹配成功,将所述报文打上镜像标记。
7.根据权利要求6所述的装置,其特征在于,所述匹配模块具体用于根据所述接收端口获取到对应的本地镜像策略引擎;
将所述报文的特征信息输入至所述本地镜像策略引擎中,根据所述本地镜像策略引擎中镜像策略的多种预设的特征组合对所述报文进行特征匹配。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括:
生成模块,用于根据全局镜像策略以及预设的有限状态机算法,得到对应的全局镜像策略引擎;
拷贝模块,用于将所述全局镜像策略引擎分别拷贝到每个总线内存中,作为每个所述总线内存的本地镜像策略引擎。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202011148211.1A 2020-10-23 2020-10-23 网络流量镜像方法、装置、计算机设备和存储介质 Active CN112468416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011148211.1A CN112468416B (zh) 2020-10-23 2020-10-23 网络流量镜像方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011148211.1A CN112468416B (zh) 2020-10-23 2020-10-23 网络流量镜像方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112468416A CN112468416A (zh) 2021-03-09
CN112468416B true CN112468416B (zh) 2022-08-30

Family

ID=74834744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011148211.1A Active CN112468416B (zh) 2020-10-23 2020-10-23 网络流量镜像方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112468416B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113079172B (zh) * 2021-04-13 2022-08-16 宁波和利时信息安全研究院有限公司 一种审计策略的匹配方法及装置
CN113438503B (zh) * 2021-05-28 2023-04-21 曙光网络科技有限公司 视频文件还原方法、装置、计算机设备和存储介质
CN113438506B (zh) * 2021-06-02 2023-04-07 曙光网络科技有限公司 视频文件的还原方法、装置、计算机设备和存储介质
CN113438505A (zh) * 2021-06-02 2021-09-24 曙光网络科技有限公司 视频文件的还原方法、装置、计算机设备和存储介质
CN118041824A (zh) * 2024-04-12 2024-05-14 杭州优云科技股份有限公司 测试旁路镜像功能的方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657031A (zh) * 2016-01-29 2016-06-08 盛科网络(苏州)有限公司 一种业务感知的芯片缓存资源管理方法
CN106559395A (zh) * 2015-09-29 2017-04-05 北京东土军悦科技有限公司 一种基于工业网络的数据报文检测方法及装置
CN107682446A (zh) * 2017-10-24 2018-02-09 新华三信息安全技术有限公司 一种报文镜像方法、装置及电子设备
CN108021524A (zh) * 2017-12-29 2018-05-11 北京海泰方圆科技股份有限公司 一种usb设备及其数据传输端口的切换方法
CN109120554A (zh) * 2018-09-25 2019-01-01 杭州迪普科技股份有限公司 一种基于true镜像的流镜像方法和交换设备
CN109634902A (zh) * 2018-12-19 2019-04-16 锐捷网络股份有限公司 一种适用于pcie总线的数据传输方法、装置及***
CN110798414A (zh) * 2019-12-03 2020-02-14 锐捷网络股份有限公司 一种端口镜像的方法和路由器
CN111143244A (zh) * 2019-12-30 2020-05-12 海光信息技术有限公司 计算机设备的内存访问方法和计算机设备
CN111478862A (zh) * 2020-03-09 2020-07-31 邦彦技术股份有限公司 远程数据镜像处理***和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10778610B2 (en) * 2018-11-06 2020-09-15 Mellanox Technologies Tlv Ltd. Deduplication of mirror traffic in analyzer aggregation network

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106559395A (zh) * 2015-09-29 2017-04-05 北京东土军悦科技有限公司 一种基于工业网络的数据报文检测方法及装置
CN105657031A (zh) * 2016-01-29 2016-06-08 盛科网络(苏州)有限公司 一种业务感知的芯片缓存资源管理方法
CN107682446A (zh) * 2017-10-24 2018-02-09 新华三信息安全技术有限公司 一种报文镜像方法、装置及电子设备
CN108021524A (zh) * 2017-12-29 2018-05-11 北京海泰方圆科技股份有限公司 一种usb设备及其数据传输端口的切换方法
CN109120554A (zh) * 2018-09-25 2019-01-01 杭州迪普科技股份有限公司 一种基于true镜像的流镜像方法和交换设备
CN109634902A (zh) * 2018-12-19 2019-04-16 锐捷网络股份有限公司 一种适用于pcie总线的数据传输方法、装置及***
CN110798414A (zh) * 2019-12-03 2020-02-14 锐捷网络股份有限公司 一种端口镜像的方法和路由器
CN111143244A (zh) * 2019-12-30 2020-05-12 海光信息技术有限公司 计算机设备的内存访问方法和计算机设备
CN111478862A (zh) * 2020-03-09 2020-07-31 邦彦技术股份有限公司 远程数据镜像处理***和方法

Also Published As

Publication number Publication date
CN112468416A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112468416B (zh) 网络流量镜像方法、装置、计算机设备和存储介质
US9842230B1 (en) System and method for automatically detecting and then self-repairing corrupt, modified or non-existent files via a communication medium
CN107341160B (zh) 一种拦截爬虫的方法及装置
JP5681095B2 (ja) クロスドメインクッキーを使用したウェブアクセス
CN112039942A (zh) 一种订阅发布方法及服务器
CN107819891B (zh) 数据处理方法、装置、计算机设备和存储介质
CN107341395B (zh) 一种拦截爬虫的方法
US20070288613A1 (en) Providing support for responding to location protocol queries within a network node
CN110430188B (zh) 一种快速url过滤方法及装置
CN108989151B (zh) 用于网络或应用性能管理的流量采集方法
CN102752300A (zh) 动态防盗链***和动态防盗链方法
US10931688B2 (en) Malicious website discovery using web analytics identifiers
CN108429785A (zh) 一种爬虫识别加密串的生成方法、爬虫识别方法及装置
CN113452780A (zh) 针对客户端的访问请求处理方法、装置、设备及介质
CN113810381A (zh) 一种爬虫检测方法、web应用云防火墙、装置和存储介质
CN109788050B (zh) 一种获取源站ip地址方法、***、电子设备和介质
US7971054B1 (en) Method of and system for real-time form and content classification of data streams for filtering applications
CN110891056A (zh) Https请求认证方法及装置、电子设备、存储介质
US11582226B2 (en) Malicious website discovery using legitimate third party identifiers
CN110099015A (zh) 确定设备属性
CN109302406B (zh) 一种分布式网页取证的方法及***
CN116346649A (zh) 负载均衡设备的虚服务抓包方法及装置
CN110351275A (zh) 一种主机端口流量监控方法、***、装置和存储设备
CN114338809B (zh) 访问控制方法、装置、电子设备和存储介质
JP4617898B2 (ja) アクセス制御方式および方法、サーバ装置、端末装置ならびにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant