CN111064637B - NetFlow数据去重方法及装置 - Google Patents
NetFlow数据去重方法及装置 Download PDFInfo
- Publication number
- CN111064637B CN111064637B CN201911280899.6A CN201911280899A CN111064637B CN 111064637 B CN111064637 B CN 111064637B CN 201911280899 A CN201911280899 A CN 201911280899A CN 111064637 B CN111064637 B CN 111064637B
- Authority
- CN
- China
- Prior art keywords
- netflow
- data
- information
- netflow data
- repeated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/028—Capturing of monitoring data by filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/50—Address allocation
- H04L61/5007—Internet protocol [IP] addresses
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种NetFlow数据去重方法及装置,该方法包括:获取NetFlow数据信息和NetFlow数据导出设备的IP地址信息;根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息;根据关键字信息对NetFlow重复数据进行标识;根据标识结果对重复的NetFlow数据进行去重处理。本发明可以对重复的NetFlow数据进行去重处理,避免了一份NetFlow数据多次被采集设备收集计算或流转,从而消耗大量资源,并造成后续的数据统计结果不准确。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种NetFlow数据去重方法及装置。
背景技术
NetFlow是一种网络监测功能,用于提供网络流量的会话级视图,记录下每个TCP/IP(Transmission Control Protocol/Internet Protocol,传输控制协议/网际协议)的会话信息。但是,网络管理员一般对NetFlow本身的技术实现机制或对要监控的网络拓扑了解不深入,从而会导致相同的网络TCP/IP会话信息被NetFlow数据导出设备导出成多条重复的NetFlow数据。如果无法对这些重复的NetFlow数据进行识别和消除,则会导致一份NetFlow数据多次被采集设备收集计算或流转,不仅资源消耗较大,而且还会使后续的数据统计结果不准确。而目前并没有能够对NetFlow数据实现去重的方法。
发明内容
本发明实施例提供一种NetFlow数据去重方法,用以对重复的NetFlow数据进行去重处理,避免了一份NetFlow数据多次被采集设备收集计算或流转,从而消耗大量资源,并造成后续的数据统计结果不准确,该方法包括:
获取NetFlow数据信息和NetFlow数据导出设备的IP地址信息;
根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息;
根据关键字信息对NetFlow重复数据进行标识;
根据标识结果对重复的NetFlow数据进行去重处理。
可选的,用于识别关键字信息的NetFlow数据信息和NetFlow数据导出设备IP地址信息,包括:
NetFlow数据中的源地址信息、目的地址信息、源端口信息、目的端口信息、协议类型信息、下一跳地址信息与NetFlow数据导出设备IP地址信息。
可选的,根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息,包括:
在预设时间段内,对比获取到的多个NetFlow数据导出设备IP地址信息,以及与每个NetFlow数据导出设备IP地址信息对应的多组NetFlow数据信息;
根据多个NetFlow数据导出设备IP地址信息,判断在多组NetFlow数据信息中存在相同的NetFlow数据信息的NetFlow数据导出设备是否为同一NetFlow数据导出设备;
根据判断结果识别出用于反映NetFlow重复数据的关键字信息。
可选的,根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息,还包括:
若NetFlow数据信息中存在下一跳地址信息与导出设备的IP地址相同的情况,则确认存在NetFlow重复数据,识别出用于反映NetFlow重复数据的关键字信息。
可选的,根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息,还包括:
若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则确认存在NetFlow重复数据;
若同一NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的NetFlow数据信息,则确认为NetFlow数据导出设备的配置存在错误。
可选的,根据关键字信息对NetFlow重复数据进行标识,包括:
若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则记录不同的NetFlow数据导出设备的IP地址信息,并对具有相同关键字信息的NetFlow数据信息中除第一条NetFlow数据以外的NetFlow数据进行标识。
可选的,所述方法还包括:
在获取NetFlow重复数据后,对工作人员进行告警。
可选的,根据标识结果对重复的NetFlow数据进行去重处理,包括:
对具有标识的NetFlow重复数据进行删除处理。
本发明实施例还提供一种NetFlow数据去重装置,用以对重复的NetFlow数据进行去重处理,避免了一份NetFlow数据多次被采集设备收集计算或流转,从而消耗大量资源,并造成后续的数据统计结果不准确,该装置包括:
信息获取模块,用于获取NetFlow数据信息和NetFlow数据导出设备的IP地址信息;
数据识别模块,用于根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息;
数据标识模块,用于根据关键字信息对NetFlow重复数据进行标识;
数据去重模块,用于根据标识结果对重复的NetFlow数据进行去重处理。
可选的,用于识别关键字信息的NetFlow数据信息和NetFlow数据导出设备IP地址信息,包括:
NetFlow数据中的源地址信息、目的地址信息、源端口信息、目的端口信息、协议类型信息、下一跳地址信息与NetFlow数据导出设备IP地址信息。
可选的,数据识别模块进一步用于:
在预设时间段内,对比获取到的多个NetFlow数据导出设备IP地址信息,以及与每个NetFlow数据导出设备IP地址信息对应的多组NetFlow数据信息;
根据多个NetFlow数据导出设备IP地址信息,判断在多组NetFlow数据信息中存在相同的NetFlow数据信息的NetFlow数据导出设备是否为同一NetFlow数据导出设备;
根据判断结果识别出用于反映NetFlow重复数据的关键字信息。
可选的,数据识别模块进一步用于:
若NetFlow数据信息中存在下一跳地址信息与导出设备的IP地址相同的情况,则确认存在NetFlow重复数据,识别出用于反映NetFlow重复数据的关键字信息。
可选的,数据识别模块进一步用于:
若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则确认存在NetFlow重复数据;
若同一NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的NetFlow数据信息,则确认为NetFlow数据导出设备的配置存在错误。
可选的,数据标识模块进一步用于:
若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则记录不同的NetFlow数据导出设备的IP地址信息,并对具有相同关键字信息的NetFlow数据信息中除第一条NetFlow数据以外的NetFlow数据进行标识。
可选的,所述装置还包括:
告警模块,用于在识别NetFlow重复数据后,对工作人员进行告警。
可选的,数据去重模块进一步用于:
对具有标识的NetFlow重复数据进行删除处理。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明实施例中,通过获取NetFlow数据信息和NetFlow数据导出设备的IP地址信息,根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息,后续只需根据关键字信息对NetFlow重复数据进行标识,根据标识结果对重复的NetFlow数据进行去重处理。综上,本发明可以对重复的NetFlow数据进行去重处理,避免了一份NetFlow数据多次被采集设备收集计算或流转,从而消耗大量资源,并造成后续的数据统计结果不准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中NetFlow数据去重方法的流程图;
图2为本发明实施例中NetFlow数据去重方法的另一流程图;
图3为本发明实施例中NetFlow数据去重装置的结构示意图;
图4为本发明实施例中NetFlow数据去重装置的另一结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
附图1为本发明实施例提供的NetFlow数据去重方法的流程图,如附图1所示,该方法包括:
步骤101、获取NetFlow数据信息和NetFlow数据导出设备的IP地址信息。
在本实施例中,获取NetFlow数据信息,包括:接收并解析NetFlow数据信息(因为一般接收到的NetFlow数据信息无法直接获取其内容,需要进行数据解析)。
用于识别关键字信息的NetFlow数据信息和NetFlow数据导出设备IP地址信息,包括:NetFlow数据中的源地址信息、目的地址信息、源端口信息、目的端口信息、协议类型信息、下一跳地址信息与NetFlow数据导出设备IP地址信息。即,关键字信息是通过NetFlow数据中的源地址信息、目的地址信息、源端口信息、目的端口信息、协议类型信息、下一跳地址信息与NetFlow数据导出设备IP地址信息的组合进行识别的。
NetFlow数据导出设备可以为:路由器、交换机等。
具体实施时,对原始NetFlow数据进行解析。解析后的数据附加上NetFlow数据导出设备的IP地址组成一条数据。表示一次TCP/IP会话信息。
步骤102、根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息。
在本实施例中,步骤102包括:在预设时间段内,对比获取到的多个NetFlow数据导出设备IP地址信息,以及与每个NetFlow数据导出设备IP地址信息对应的多组NetFlow数据信息。其中,“预设时间段”可以为50s-70s(如55s、60s、65s等)。
根据多个NetFlow数据导出设备IP地址信息,判断在多组NetFlow数据信息中存在相同的NetFlow数据信息的NetFlow数据导出设备是否为同一NetFlow数据导出设备;
根据判断结果识别出用于反映NetFlow重复数据的关键字信息。
具体地,若NetFlow数据信息中存在下一跳地址信息与导出设备的IP地址相同的情况,则确认存在NetFlow重复数据,识别出用于反映NetFlow重复数据的关键字信息。
其中,若NetFlow数据中存在下一跳地址信息与导出设备的IP地址相同的情况,则确认用于反映NetFlow数据的同一网络会话经过多个连续的导出设备导致NetFlow数据导出后重复。导出设备指的是路由器,“连续”指的是:多个路由器顺次连接。
若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则确认存在NetFlow重复数据。其中,若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的数据关键信息,则确认用于反映NetFlow数据的同一网络会话经过多个不连续的导出设备导致NetFlow数据导出后重复。导出设备指的是路由器,“不连续”指的是:多个路由器并不是两两相连的,可能会存在某一个路由器与其它路由器之间没有连接关系。
若同一NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的NetFlow数据信息,则确认为NetFlow数据导出设备的配置存在错误。
步骤103、根据关键字信息对NetFlow重复数据进行标识。
在本实施例中,若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则记录不同的NetFlow数据导出设备的IP地址信息,并对具有相同关键字信息的NetFlow数据信息中除第一条NetFlow数据以外的NetFlow数据进行标识。
为了便于工作人员及时发现错误,如附图2所示,该方法还包括:
步骤201、在获取NetFlow重复数据后,对工作人员进行告警。
具体实施时,采集设备一旦识别到采集的NetFlow数据存在重复时,会首先向工作人员告警(工作人员依据告警信息可调整NetFlow导出设备的配置),然后自动记录重复数据发生的NetFlow数据导出设备的IP,将相同的NetFlow数据除第一条以外进行标识。
识别的重复NetFlow数据信息与NetFlow数据导出设备IP地址信息可用于数据传输路径的计算(一个会话经过多个NetFlow数据导出设备也就是这个会话的传输路径了)。
步骤104、根据标识结果对重复的NetFlow数据进行去重处理。
在本实施例中,步骤104包括:对具有标识的NetFlow重复数据进行删除处理。
具体实施时,还可以根据标识对NetFlow重复数据进行忽略丢弃等操作。
本发明实施例提供的NetFlow数据去重方法,通过获取NetFlow数据信息和NetFlow数据导出设备的IP地址信息,根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息,后续只需根据关键字信息对NetFlow重复数据进行标识,根据标识结果对重复的NetFlow数据进行去重处理。综上,本发明可以对重复的NetFlow数据进行去重处理,避免了一份NetFlow数据多次被采集设备收集计算或流转,从而消耗大量资源,并造成后续的数据统计结果不准确。
下面以一个具体事例对本发明进行举例说明:
S1:采集设备接收并解析NetFlow数据。
S2:提取解析后NetFlow数据中的源地址、目的地址、源端口、目的端口、协议类型、下一跳IP(以下简称为六元组)和NetFlow数据导出设备IP地址信息,共七个字段信息,组成新的数据信息。
S3:在一段时间(一般为60秒)内缓存步骤S2生成的六元组信息。
S4:实时比对步骤S3缓存的信息,如果出现相同的六元组信息但不是同一NetFlow数据导出设备发出,则表示NetFlow数据存在重复的问题。
S5:发出NetFlow数据重复的警告,缓存步骤S4识别到的六元组和导出设备IP信息(共七个字段信息)。
S6:依据步骤S5的缓存信息实时对所有NetFlow数据进行标识的,凡是具有同缓存信息相同的源地址、目的地址、源端口、目的端口、协议类型(五个字段)对应的NetFlow数据,只保留第一个NetFlow数据,其余相同的NetFlow数据均标识为重复数据。
S7:对NetFlow数据进行标识后,采集设备就可以根据这个标识对数据进行忽略丢弃等操作,完成对NetFlow重复数据的去重处理。
基于同一发明构思,本发明实施例中还提供了一种NetFlow数据去重装置,如下面的实施例所述。由于NetFlow数据去重装置解决问题的原理与NetFlow数据去重方法相似,因此,NetFlow数据去重装置的实施可以参见NetFlow数据去重方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
附图3为本发明实施例提供的NetFlow数据去重装置的结构示意图,如附图3所示,该装置包括:
信息获取模块301,用于获取NetFlow数据信息和NetFlow数据导出设备的IP地址信息;
数据识别模块302,用于根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息;
数据标识模块303,用于根据关键字信息对NetFlow重复数据进行标识;
数据去重模块304,用于根据标识结果对重复的NetFlow数据进行去重处理。
在本发明实施例中,NetFlow数据信息包括:用于识别关键字信息的NetFlow数据信息和NetFlow数据导出设备IP地址信息,包括:
NetFlow数据中的源地址信息、目的地址信息、源端口信息、目的端口信息、协议类型信息、下一跳地址信息与NetFlow数据导出设备IP地址信息。
在本发明实施例中,数据识别模块302进一步用于:
在预设时间段内,对比获取到的多个NetFlow数据导出设备IP地址信息,以及与每个NetFlow数据导出设备IP地址信息对应的多组NetFlow数据信息;
根据多个NetFlow数据导出设备IP地址信息,判断在多组NetFlow数据信息中存在相同的NetFlow数据信息的NetFlow数据导出设备是否为同一NetFlow数据导出设备;
根据判断结果识别出用于反映NetFlow重复数据的关键字信息。
在本发明实施例中,数据识别模块302进一步用于:
若NetFlow数据信息中存在下一跳地址信息与导出设备的IP地址相同的情况,则确认存在NetFlow重复数据,识别出用于反映NetFlow重复数据的关键字信息。
在本发明实施例中,数据识别模块302进一步用于:
若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则确认存在NetFlow重复数据;
若同一NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的NetFlow数据信息,则确认为NetFlow数据导出设备的配置存在错误。
在本发明实施例中,数据标识模块303进一步用于:
若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则记录不同的NetFlow数据导出设备的IP地址信息,并对具有相同关键字信息的NetFlow数据信息中除第一条NetFlow数据以外的NetFlow数据进行标识。
在本发明实施例中,如附图4所示,该装置还包括:
告警模块401,用于在获取NetFlow重复数据后,对工作人员进行告警。
在本发明实施例中,数据去重模块304进一步用于:
对具有标识的NetFlow重复数据进行删除处理。
本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种NetFlow数据去重方法,其特征在于,包括:
获取NetFlow数据信息和NetFlow数据导出设备的IP地址信息;
根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息;
根据关键字信息对NetFlow重复数据进行标识;
根据标识结果对重复的NetFlow数据进行去重处理;
其中,用于识别关键字信息的NetFlow数据信息和NetFlow数据导出设备IP地址信息,包括:NetFlow数据中的源地址信息、目的地址信息、源端口信息、目的端口信息、协议类型信息、下一跳地址信息与NetFlow数据导出设备IP地址信息;
其中,根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息,包括:在预设时间段内,对比获取到的多个NetFlow数据导出设备IP地址信息,以及与每个NetFlow数据导出设备IP地址信息对应的多组NetFlow数据信息;根据多个NetFlow数据导出设备IP地址信息,判断在多组NetFlow数据信息中存在相同的NetFlow数据信息的NetFlow数据导出设备是否为同一NetFlow数据导出设备;根据判断结果识别出用于反映NetFlow重复数据的关键字信息;
其中,所述NetFlow数据导出设备为路由器或交换机。
2.如权利要求1所述的方法,其特征在于,根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息,还包括:
若NetFlow数据信息中存在下一跳地址信息与导出设备的IP地址相同的情况,则确认存在NetFlow重复数据,识别出用于反映NetFlow重复数据的关键字信息。
3.如权利要求2所述的方法,其特征在于,根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息,还包括:
若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则确认存在NetFlow重复数据;
若同一NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的NetFlow数据信息,则确认为NetFlow数据导出设备的配置存在错误。
4.如权利要求3所述的方法,其特征在于,根据关键字信息对NetFlow重复数据进行标识,包括:
若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则记录不同的NetFlow数据导出设备的IP地址信息,并对具有相同关键字信息的NetFlow数据信息中除第一条NetFlow数据以外的NetFlow数据进行标识。
5.如权利要求1所述的方法,其特征在于,还包括:
在获取NetFlow重复数据后,对工作人员进行告警。
6.如权利要求1所述的方法,其特征在于,根据标识结果对重复的NetFlow数据进行去重处理,包括:
对具有标识的NetFlow重复数据进行删除处理。
7.一种NetFlow数据去重装置,其特征在于,包括:
信息获取模块,用于获取NetFlow数据信息和NetFlow数据导出设备的IP地址信息;
数据识别模块,用于根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息;
数据标识模块,用于根据关键字信息对NetFlow重复数据进行标识;
数据去重模块,用于根据标识结果对重复的NetFlow数据进行去重处理;
其中,用于识别关键字信息的NetFlow数据信息和NetFlow数据导出设备IP地址信息,包括:NetFlow数据中的源地址信息、目的地址信息、源端口信息、目的端口信息、协议类型信息、下一跳地址信息与NetFlow数据导出设备IP地址信息;
其中,所述数据识别模块进一步用于:在预设时间段内,对比获取到的多个NetFlow数据导出设备IP地址信息,以及与每个NetFlow数据导出设备IP地址信息对应的多组NetFlow数据信息;根据多个NetFlow数据导出设备IP地址信息,判断在多组NetFlow数据信息中存在相同的NetFlow数据信息的NetFlow数据导出设备是否为同一NetFlow数据导出设备;根据判断结果识别出用于反映NetFlow重复数据的关键字信息;
其中,所述NetFlow数据导出设备为路由器或交换机。
8.如权利要求7所述的装置,其特征在于,数据识别模块进一步用于:
若NetFlow数据信息中存在下一跳地址信息与导出设备的IP地址相同的情况,则确认存在NetFlow重复数据,识别出用于反映NetFlow重复数据的关键字信息。
9.如权利要求8所述的装置,其特征在于,数据识别模块进一步用于:
若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则确认存在NetFlow重复数据;
若同一NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的NetFlow数据信息,则确认为NetFlow数据导出设备的配置存在错误。
10.如权利要求9所述的装置,其特征在于,数据标识模块进一步用于:
若不同的NetFlow数据导出设备发出的多组NetFlow数据信息中存在相同的关键字信息,则记录不同的NetFlow数据导出设备的IP地址信息,并对具有相同关键字信息的NetFlow数据信息中除第一条NetFlow数据以外的NetFlow数据进行标识。
11.如权利要求7所述的装置,其特征在于,还包括:
告警模块,用于在识别NetFlow重复数据后,对工作人员进行告警。
12.如权利要求7所述的装置,其特征在于,数据去重模块进一步用于:
对具有标识的NetFlow重复数据进行删除处理。
13.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至6任一所述方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911280899.6A CN111064637B (zh) | 2019-12-13 | 2019-12-13 | NetFlow数据去重方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911280899.6A CN111064637B (zh) | 2019-12-13 | 2019-12-13 | NetFlow数据去重方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111064637A CN111064637A (zh) | 2020-04-24 |
CN111064637B true CN111064637B (zh) | 2021-10-01 |
Family
ID=70300981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911280899.6A Active CN111064637B (zh) | 2019-12-13 | 2019-12-13 | NetFlow数据去重方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111064637B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112468486B (zh) * | 2020-11-24 | 2023-05-02 | 北京天融信网络安全技术有限公司 | Netflow数据去重方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102158401A (zh) * | 2011-03-03 | 2011-08-17 | 江苏方天电力技术有限公司 | 基于电力自动化***的流量监测模型 |
CN205336305U (zh) * | 2015-12-07 | 2016-06-22 | 贵州电网公司信息通信分公司 | 一种ns3并行模拟仿真***用的硬件构架 |
CN106027406A (zh) * | 2016-05-23 | 2016-10-12 | 电子科技大学 | 基于Netflow的NS3仿真***流量导入方法 |
CN106209840A (zh) * | 2016-07-12 | 2016-12-07 | ***股份有限公司 | 一种网络包去重方法及装置 |
CN110557302A (zh) * | 2019-08-30 | 2019-12-10 | 西南交通大学 | 网络设备报文观测数据采集方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090161578A1 (en) * | 2007-12-21 | 2009-06-25 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Data routing method and device thereof |
CN101483491B (zh) * | 2008-01-11 | 2013-01-02 | 华为技术有限公司 | 共享保护环及其组播源路由保护方法和节点 |
US20130332596A1 (en) * | 2012-06-11 | 2013-12-12 | James O. Jones | Network traffic tracking |
-
2019
- 2019-12-13 CN CN201911280899.6A patent/CN111064637B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102158401A (zh) * | 2011-03-03 | 2011-08-17 | 江苏方天电力技术有限公司 | 基于电力自动化***的流量监测模型 |
CN205336305U (zh) * | 2015-12-07 | 2016-06-22 | 贵州电网公司信息通信分公司 | 一种ns3并行模拟仿真***用的硬件构架 |
CN106027406A (zh) * | 2016-05-23 | 2016-10-12 | 电子科技大学 | 基于Netflow的NS3仿真***流量导入方法 |
CN106209840A (zh) * | 2016-07-12 | 2016-12-07 | ***股份有限公司 | 一种网络包去重方法及装置 |
CN110557302A (zh) * | 2019-08-30 | 2019-12-10 | 西南交通大学 | 网络设备报文观测数据采集方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111064637A (zh) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112114995B (zh) | 基于进程的终端异常分析方法、装置、设备及存储介质 | |
JP5961354B2 (ja) | 効率的なネットフローデータ解析のための方法及び装置 | |
CN107508722B (zh) | 一种业务监控方法和装置 | |
WO2019223062A1 (zh) | ***异常的处理方法和*** | |
CN108964960A (zh) | 一种告警事件的处理方法及装置 | |
JP5933463B2 (ja) | ログ生起異常検知装置及び方法 | |
CN111935063B (zh) | 一种终端设备异常网络访问行为监测***及方法 | |
US10884805B2 (en) | Dynamically configurable operation information collection | |
CN110275992B (zh) | 应急处理方法、装置、服务器及计算机可读存储介质 | |
US20140040279A1 (en) | Automated data exploration | |
CN112636942B (zh) | 业务主机节点的监测方法及装置 | |
JP6190539B2 (ja) | ログ分析装置、ログ分析システム、ログ分析方法及びコンピュータプログラム | |
CN106649344B (zh) | 一种网络日志压缩方法和装置 | |
CN107911232B (zh) | 一种确定业务操作规则的方法及装置 | |
CN111064637B (zh) | NetFlow数据去重方法及装置 | |
CN108255659A (zh) | 一种应用程序性能监控方法及其*** | |
US20090055420A1 (en) | Method, system, and computer program product for identifying common factors associated with network activity with reduced resource utilization | |
CN112565232A (zh) | 一种基于模板和流量状态的日志解析方法及*** | |
CN111917660B (zh) | 网关设备策略的优化方法及装置 | |
CN112910842B (zh) | 一种基于流量还原的网络攻击事件取证方法与装置 | |
CN111130921B (zh) | 核心网网元的性能指标处理方法及装置 | |
CN113285824A (zh) | 一种监控网络配置命令安全性的方法及装置 | |
CN109067603B (zh) | 一种确定变电站网络vlan配置问题的方法及*** | |
CN112579833A (zh) | 基于用户操作数据的业务关联关系获取方法及装置 | |
CN112866044B (zh) | 网络设备状态信息采集方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: Room 702-2, No. 4811, Cao'an Highway, Jiading District, Shanghai Patentee after: CHINA UNITECHS Address before: 100872 5th floor, Renmin culture building, 59 Zhongguancun Street, Haidian District, Beijing Patentee before: CHINA UNITECHS |
|
CP02 | Change in the address of a patent holder |