CN110569282A - 数据处理方法、装置、计算设备以及计算机可读存储介质 - Google Patents

数据处理方法、装置、计算设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN110569282A
CN110569282A CN201910835643.0A CN201910835643A CN110569282A CN 110569282 A CN110569282 A CN 110569282A CN 201910835643 A CN201910835643 A CN 201910835643A CN 110569282 A CN110569282 A CN 110569282A
Authority
CN
China
Prior art keywords
protocol type
historical data
target
determining
data packets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910835643.0A
Other languages
English (en)
Inventor
马钰博
莫敬涛
宋浩
石建勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201910835643.0A priority Critical patent/CN110569282A/zh
Publication of CN110569282A publication Critical patent/CN110569282A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开提供了一种数据处理方法，包括：获取流量数据，流量数据包括多个历史数据包；处理流量数据，得到多个历史数据包的至少一个协议类型，其中，多个历史数据包中的每个历史数据包各自属于至少一个协议类型中的一个协议类型；确定与至少一个协议类型中每个协议类型对应的历史数据包的数量；以及展示至少一个协议类型以及与每个协议类型对应的历史数据包的数量，以便确定流量数据的异常情况。本公开还提供了一种数据处理装置、计算设备以及计算机可读存储介质。

Description

数据处理方法、装置、计算设备以及计算机可读存储介质
技术领域
本公开涉及计算机技术领域，特别是涉及一种数据处理方法、一种数据处理装置、一种计算设备以及一种计算机可读介质。
背景技术
随着互联网技术的发展，网络已经成为全球化的基础设施，其开放性的网络体系结构，给企业带来了巨大影响。随着企业内部架构的增加和网络方案的更新迭代，网络底层结构的复杂性和上层应用异构性也在不断增强。因此，对网络环境的监控、测量与维护将变得越来越复杂。长期以来，监控并定位网络中的异常流量数据是运维人员发现问题并解决问题的重要手段。通过对流量数据进行分析和整理，以便发现异常流量数据并快速定位，实现快速解决实际生产中遇到的问题。相关技术中，通常通过抓取流量数据，并针对流量数据中的每个数据包进行独立判断，以便发现异常流量数据。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：相关技术无法展示流量数据的整体情况，运维人员需要对流量数据中的每个数据包逐个进行独立判断，并逐个记录可能发生异常的数据包，其后进一步分析判断所记录的可能发生异常的数据包是否异常。因此，相关技术不能在整体角度发现流量数据中的异常问题，导致异常检测的效率低、准确性低。
发明内容
本公开的一个方面提供了一种数据处理方法，包括：获取流量数据，所述流量数据包括多个历史数据包，处理所述流量数据，得到所述多个历史数据包的至少一个协议类型，其中，所述多个历史数据包中的每个历史数据包各自属于所述至少一个协议类型中的一个协议类型，确定与所述至少一个协议类型中每个协议类型对应的历史数据包的数量，展示所述至少一个协议类型以及与每个协议类型对应的历史数据包的数量，以便确定所述流量数据的异常情况。
可选地，上述方法还包括：从所述多个历史数据包中确定至少一个目标历史数据包。
可选地，上述从所述多个历史数据包中确定至少一个目标历史数据包包括：确定所述至少一个协议类型中的目标协议类型，从所述多个历史数据包中确定属于所述目标协议类型的历史数据包作为所述至少一个目标历史数据包。
可选地，上述确定所述至少一个协议类型中的目标协议类型包括：获取用户的输入操作，基于所述输入操作确定目标端口，基于所述目标端口确定所述目标协议类型，其中，所述目标端口用于传输属于所述目标协议类型的历史数据包。
可选地，上述基于所述目标端口确定所述目标协议类型包括：获取自定义规则，其中，所述自定义规则包括所述至少一个协议类型以及与所述至少一个协议类型相关联的端口信息，基于所述自定义规则，确定与所述目标端口对应的所述目标协议类型。
可选地，上述从所述多个历史数据包中确定至少一个目标历史数据包包括：获取参考数据包，确定所述参考数据包与所述多个历史数据包中每个历史数据包之间的相似度，确定所述相似度满足预设条件的历史数据包作为所述至少一个目标历史数据包。
可选地，上述方法还包括：确定与每个协议类型对应的历史数据包的数量是否为预设数量，响应于确定所述历史数据包的数量不等于所述预设数量，生成告警信息。
本公开的另一个方面提供了一种数据处理装置，包括：获取模块、处理模块、第一确定模块以及展示模块。其中，获取模块，获取流量数据，所述流量数据包括多个历史数据包。处理模块，处理所述流量数据，得到所述多个历史数据包的至少一个协议类型，其中，所述多个历史数据包中的每个历史数据包各自属于所述至少一个协议类型中的一个协议类型。第一确定模块，确定与所述至少一个协议类型中每个协议类型对应的历史数据包的数量。展示模块，展示所述至少一个协议类型以及与每个协议类型对应的历史数据包的数量，以便确定所述流量数据的异常情况。
可选地，上述装置还包括：第二确定模块，从所述多个历史数据包中确定至少一个目标历史数据包。
可选地，上述第二确定模块包括：第一确定子模块以及第二确定子模块。其中，第一确定子模块，确定所述至少一个协议类型中的目标协议类型，第二确定子模块，从所述多个历史数据包中确定属于所述目标协议类型的历史数据包作为所述至少一个目标历史数据包。
可选地，上述确定所述至少一个协议类型中的目标协议类型包括：获取用户的输入操作，基于所述输入操作确定目标端口，基于所述目标端口确定所述目标协议类型，其中，所述目标端口用于传输属于所述目标协议类型的历史数据包。
可选地，上述基于所述目标端口确定所述目标协议类型包括：获取自定义规则，其中，所述自定义规则包括所述至少一个协议类型以及与所述至少一个协议类型相关联的端口信息，基于所述自定义规则，确定与所述目标端口对应的所述目标协议类型。
可选地，上述第二确定模块还包括：获取子模块、第三确定子模块以及第四确定子模块。其中，获取子模块，获取参考数据包。第三确定子模块，确定所述参考数据包与所述多个历史数据包中每个历史数据包之间的相似度。第四确定子模块，确定所述相似度满足预设条件的历史数据包作为所述至少一个目标历史数据包。
可选地，上述装置还包括：第三确定模块以及生成模块。其中，第三确定模块，确定与每个协议类型对应的历史数据包的数量是否为预设数量。生成模块，响应于确定所述历史数据包的数量不等于所述预设数量，生成告警信息。
本公开的另一方面提供了一种计算设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
本公开的另一方面提供了一种非易失性可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开实施例的数据处理方法和数据处理装置的***架构；
图2示意性示出了根据本公开实施例的数据处理方法的流程图；
图3示意性示出了根据本公开实施例的数据展示的示意图；
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图；
图5示意性示出了根据本公开实施例的确定目标历史数据包的示例方法S410A的流程图；
图6示意性示出了根据本公开实施例的确定目标历史数据包的另一示例方法S410B的流程图；
图7示意性示出了根据本公开实施例的数据处理装置的框图；
图8示意性示出了根据本公开另一实施例的数据处理装置的框图；
图9示意性示出了根据本公开实施例的第二确定模块的示例模块810A的框图；
图10示意性示出了根据本公开实施例的第二确定模块的另一示例模块810B的框图；以及
图11示意性示出了根据本公开实施例的用于实现数据处理的计算机***的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程控制装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本公开的实施例提供了一种数据处理方法，包括：获取流量数据，流量数据包括多个历史数据包，处理流量数据，得到多个历史数据包的至少一个协议类型，其中，多个历史数据包中的每个历史数据包各自属于至少一个协议类型中的一个协议类型。然后，确定与至少一个协议类型中每个协议类型对应的历史数据包的数量。最后，展示至少一个协议类型以及与每个协议类型对应的历史数据包的数量，以便确定流量数据的异常情况。
图1示意性示出了根据本公开实施例的数据处理方法和数据处理装置的***架构。需要注意的是，图1所示仅为可以应用本公开实施例的***架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示，根据该实施例的***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的数据处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
例如，本公开实施例的流量数据可以存储在终端设备101、102、103中，通过终端设备101、102、103将流量数据发送至服务器105中，服务器105可以处理流量数据每个协议类型对应的历史数据包的数量，并展示与每个协议类型对应的历史数据包的数量。另外，流量数据还可以由服务器105接收并直接存储在服务器105中，由服务器105直接处理流量数据每个协议类型对应的历史数据包的数量，并展示与每个协议类型对应的历史数据包的数量。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面结合图1的***架构，参考图2～图6来描述根据本公开示例性实施方式的数据处理方法。需要注意的是，上述***架构仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示，该方法可以包括操作S210～S240。
在操作S210，获取流量数据，流量数据包括多个历史数据包。
根据本公开实施例，流量数据例如可以是在网络链路中传输的数据。例如可以获取过去一段时间内在网络链路中传输的流量数据，该流量数据中例如包括多个历史数据包。
在操作S220，处理流量数据，得到多个历史数据包的至少一个协议类型，其中，多个历史数据包中的每个历史数据包各自属于至少一个协议类型中的一个协议类型。
在本公开实施例中，在网络链路中传输历史数据包时，需要基于传输协议来传输历史数据包。传输协议例如包括DNS(Domain Name System)协议、HTTP(Hyper TextTransfer Protocol)协议、FTP(File Transfer Protocol)协议等等。
在获取流量数据之后，通过对流量数据中的每个历史数据包进行分析，得到每个历史数据包所属的协议类型。
例如，获取过去一个小时内在网络链路中的流量数据，该流量数据中例如包括1000个历史数据包，确定该1000个历史数据包中每个历史数据包所属的协议类型。
在操作S230，确定与至少一个协议类型中每个协议类型对应的历史数据包的数量。
例如，在1000个历史数据包中，协议类型为DNS协议的数据包有600个，协议类型为HTTP协议的数据包有200个，协议类型为FTP协议的数据包有200个。因此，DNS协议、HTTP协议、FTP协议各自对应的历史数据包的数量为600、200、200。
在操作S240，展示至少一个协议类型以及与每个协议类型对应的历史数据包的数量，以便确定流量数据的异常情况。
根据本公开实施例，通过统计流量数据中不同协议类型的历史数据包的数量，并展示统计结果，便于从整体上直观地发现流量数据的异常情况。其中，可以通过可视化方式展示统计结果，例如，可以以图形、图表等方式展示统计结果，便于运维人员可以从整体角度发现异常数据。
例如，图3示出了通过可视化方式展示统计结果的其中一种方式。本领域技术人员可以理解，图3所示的可视化方式仅为示例，本公开实施例并不局限于此。
图3示意性示出了根据本公开实施例的数据展示的示意图。
如图3所示，例如可以以饼状图展示统计结果。其中，例如多个历史数据包中属于DNS协议的历史数据包数量为600，属于HTTP协议的历史数据包数量为200，属于FTP协议的历史数据包数量为200。换言之，属于DNS协议的历史数据包所占比例为60％，属于HTTP协议的历史数据包所占比例为20％，属于FTP协议的历史数据包所占比例为20％。
其中，以可视化的方式展示关于协议类型的统计结果，可以直观地发现流量数据的异常情况。如果流量数据存在异常，则可以进行告警，便于运维人员及时检查异常。
具体地，例如可以首先确定与每个协议类型对应的历史数据包的数量是否为预设数量，如果历史数据包的数量不等于预设数量，则可以生成告警信息。
根据本公开实施例，例如流量数据在正常情况下，通常属于各个协议类型的历史数据包的数量大致均等。因此，在流量数据正常的情况下，例如属于各个协议类型的历史数据包的数量均为预设数量200。但是，如图3所示，从统计结果中可知属于DNS协议的历史数据包的数量为600，远远超出了预设数量200，因此，通过可视化的统计结果可以初步得知流量数据异常。
或者，流量数据在正常情况下，历史数据包的协议类型例如仅包括DNS协议、HTTP协议、FTP协议，如果流量数据中出现了属于其他协议类型的历史数据包，则可以表明流量数据异常。
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图4所示，该方法可以包括操作S210～S240以及操作S410。其中，操作S210～S240与上参考图2描述的操作相同或类似，在此不再赘述。
在操作S410，从多个历史数据包中确定至少一个目标历史数据包。
根据本公开实施例，用户可以通过从多个历史数据包中筛选出目标历史数据包，便于分析目标历史数据包的异常情况。例如，当从统计结果中得知属于DNS协议的历史数据包的数量为600，远远超出了预设数量200，可以从1000个历史数据包中选择属于DNS协议的600个历史数据包作为目标历史数据包。
具体地，操作S410例如可以参考以下图5和图6的描述。
图5示意性示出了根据本公开实施例的确定目标历史数据包的示例方法S410A的流程图。
如图5所示，操作S410A包括操作S411a～s412a。
在操作S411a，确定至少一个协议类型中的目标协议类型。
根据本公开实施例，可以从多个协议类型中确定出目标协议类型。例如，当从统计结果中得知属于DNS协议的历史数据包发生异常时，可以确定DNS协议为目标协议类型。
在操作S412a，从多个历史数据包中确定属于目标协议类型的历史数据包作为至少一个目标历史数据包。
例如，当确定DNS协议为目标协议类型之后，可以将1000个历史数据包中属于DNS协议的600个历史数据包作为目标历史数据包。
具体地，上述操作S411a例如可以包括如下步骤(1)～(3)。
(1)获取用户的输入操作。
在本公开实施例中，不同的协议例如可以对应不同的端口。例如A端口可以用于传输属于DNS协议的历史数据包，B端口可以用于传输属于HTTP协议的历史数据包，C端口可以用于传输属于FTP协议的历史数据包。其中，用户的输入操作例如可以用于选择相应的端口，例如，用户的输入操作可以是“A端口”。
(2)基于输入操作确定目标端口。例如，例如根据输入操作确定目标端口为“A端口”。
(3)基于目标端口确定目标协议类型，其中，目标端口用于传输属于目标协议类型的历史数据包。
根据本公开实施例，由于不同的协议对应不同的端口，因此，在确定目标端口之后，可以基于目标端口确定相应的目标协议类型。例如，如果目标端口为A端口，则将A端口对应的DNS协议类型作为目标协议类型。
根据本公开实施例，上述所举例的A端口、B端口、C端口分别对应DNS协议、HTTP协议、FTP协议的规则例如可以是标准规则。但是，不同企业可以根据自身需求自定义不同的规则。例如，对于有较多自主开发应用的企业或较大型企业而言，由于自身需求难以遵守标准规则，特别是出于安全目的，会自定义一套规则来处理企业内部的数据。
例如企业可以自定义D端口对应DNS协议，E端口对应HTTP协议等等。当自定义不同的规则时，上述步骤(3)例如包括以下子步骤1)～2)。
1)获取自定义规则，其中，自定义规则包括至少一个协议类型以及与至少一个协议类型相关联的端口信息。
其中，自定义规则例如包括D端口对应DNS协议，E端口对应HTTP协议等等。
2)基于自定义规则，确定与目标端口对应的目标协议类型。例如，例如目标端口为D端口，在确定目标端口之后，可以基于自定义规则确定D端口对应的DNS协议类型作为目标协议类型。
根据本公开实施例，通过协议与端口的对应关系，可以基于端口确定所需的满足相关协议类型的历史数据包，实现定位异常数据的功能。另外，由于不同企业可以根据自身需求自定义相应的规则，本公开实施例可以实现针对企业自身所使用的自定义规则筛选出所需的数据包，实现有效定位异常数据。
根据本公开实施例，除了上述如图5描述的根据协议类型确定目标历史数据包的方式之外，本公开实施例还可以根据如下图6所示的方式确定目标历史数据包。
图6示意性示出了根据本公开实施例的确定目标历史数据包的另一示例方法S410B的流程图。
如图6所示，操作S410B包括操作S411b～s413b。
在操作S411b，获取参考数据包。
根据本公开实施例，例如当从统计结果得知1000个历史数据包中存在异常的600个属于DNS协议的历史数据包之后，可以首先选择一个属于DNS协议的历史数据包作为参考数据包，可以理解，该参考数据包可以是1000个历史数据包中的一个，也可以不属于1000个历史数据包。
在操作S412b，确定参考数据包与多个历史数据包中每个历史数据包之间的相似度。
在本公开实施例中，可以将参考数据包与1000个历史数据包中的每个历史数据包进行对比，得到比较结果，比较结果包括参考数据包与其他历史数据包之间的相似度。
在操作S413b，确定相似度满足预设条件的历史数据包作为至少一个目标历史数据包。其中，预设条件例如可以包括相似度大于80％。例如，如果1000个历史数据包中600个历史数据包与参考数据包的相似度均大于80％，则可以确定600个历史数据包作为目标历史数据包，该目标历史数据包所属的协议类型与参考数据包所属的协议类型相同的可能性较大。
通过本公开实施例的技术方案，可以首先确定可能出现异常的历史数据包的协议类型，并将满足该协议类型的数据包作为参考数据包，然后，基于参考数据包来获取与之相似的历史数据包，实现有效定位异常数据。
图7示意性示出了根据本公开实施例的数据处理装置的框图。
如图7所示，数据处理装置700可以包括获取模块710、处理模块720、第一确定模块730以及展示模块740。
获取模块710可以用于获取流量数据，流量数据包括多个历史数据包。根据本公开实施例，获取模块710例如可以执行上文参考图2描述的操作S210，在此不再赘述。
处理模块720可以用于处理流量数据，得到多个历史数据包的至少一个协议类型，其中，多个历史数据包中的每个历史数据包各自属于至少一个协议类型中的一个协议类型。根据本公开实施例，处理模块720例如可以执行上文参考图2描述的操作S220，在此不再赘述。
第一确定模块730可以用于确定与至少一个协议类型中每个协议类型对应的历史数据包的数量。根据本公开实施例，第一确定模块730例如可以执行上文参考图2描述的操作S230，在此不再赘述。
展示模块740可以用于展示至少一个协议类型以及与每个协议类型对应的历史数据包的数量，以便确定流量数据的异常情况。根据本公开实施例，展示模块740例如可以执行上文参考图2描述的操作S240，在此不再赘述。
图8示意性示出了根据本公开另一实施例的数据处理装置的框图。
如图8所示，数据处理装置800可以包括获取模块710、处理模块720、第一确定模块730、展示模块740以及第二确定模块810。其中，获取模块710、处理模块720、第一确定模块730以及展示模块740与上参考图7描述的模块相同或类似，在此不再赘述。其中，第二确定模块810例如包括模块810A和模块810B。
第二确定模块810可以用于从多个历史数据包中确定至少一个目标历史数据包。根据本公开实施例，第二确定模块810例如可以执行上文参考图4描述的操作S410，在此不再赘述。
根据本公开实施例，装置800还可以包括：第三确定模块以及生成模块。其中，第三确定模块，确定与每个协议类型对应的历史数据包的数量是否为预设数量。生成模块，响应于确定历史数据包的数量不等于预设数量，生成告警信息。
图9示意性示出了根据本公开实施例的第二确定模块的示例模块810A的框图。
如图9所示，第二确定模块810A可以包括第一确定子模块811a以及第二确定子模块812a。
第一确定子模块811a可以用于确定至少一个协议类型中的目标协议类型。根据本公开实施例，第一确定子模块811a例如可以执行上文参考图5描述的操作S411a，在此不再赘述。
第二确定子模块812a可以用于从多个历史数据包中确定属于目标协议类型的历史数据包作为至少一个目标历史数据包。根据本公开实施例，第二确定子模块812a例如可以执行上文参考图5描述的操作S412a，在此不再赘述。
根据本公开实施例，确定至少一个协议类型中的目标协议类型包括：获取用户的输入操作，基于输入操作确定目标端口，基于目标端口确定目标协议类型，其中，目标端口用于传输属于目标协议类型的历史数据包。
根据本公开实施例，基于目标端口确定目标协议类型包括：获取自定义规则，其中，自定义规则包括至少一个协议类型以及与至少一个协议类型相关联的端口信息，基于自定义规则，确定与目标端口对应的目标协议类型。
图10示意性示出了根据本公开实施例的第二确定模块的另一示例模块810B的框图。
如图10所示，第二确定模块810B可以包括获取子模块811b、第三确定子模块812b以及第四确定子模块813b。
获取子模块811b可以用于获取参考数据包。根据本公开实施例，获取子模块811b例如可以执行上文参考图6描述的操作S411b，在此不再赘述。
第三确定子模块812b可以用于确定参考数据包与多个历史数据包中每个历史数据包之间的相似度。根据本公开实施例，第三确定子模块812b例如可以执行上文参考图6描述的操作S412b，在此不再赘述。
第四确定子模块813b可以用于确定相似度满足预设条件的历史数据包作为至少一个目标历史数据包。根据本公开实施例，第四确定子模块813b例如可以执行上文参考图6描述的操作S413b，在此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，获取模块710、处理模块720、第一确定模块730、展示模块740以及第二确定模块810、第一确定子模块811a、第二确定子模块812a、获取子模块811b、第三确定子模块812b以及第四确定子模块813b中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块710、处理模块720、第一确定模块730、展示模块740以及第二确定模块810、第一确定子模块811a、第二确定子模块812a、获取子模块811b、第三确定子模块812b以及第四确定子模块813b中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块710、处理模块720、第一确定模块730、展示模块740以及第二确定模块810、第一确定子模块811a、第二确定子模块812a、获取子模块811b、第三确定子模块812b以及第四确定子模块813b中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图11示意性示出了根据本公开实施例的用于实现数据处理的计算机***的方框图。图11示出的计算机***仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示，计算机***1100包括处理器1101、计算机可读存储介质1102。该***1100可以执行根据本公开实施例的方法。
具体地，处理器1101例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质1102，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
计算机可读存储介质1102可以包括计算机程序1103，该计算机程序1103可以包括代码/计算机可执行指令，其在由处理器1101执行时使得处理器1101执行根据本公开实施例的方法或其任何变形。
计算机程序1103可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序1103中的代码可以包括一个或多个程序模块，例如包括1103A、模块1103B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器1101执行时，使得处理器1101可以执行根据本公开实施例的方法或其任何变形。
根据本公开的实施例，获取模块710、处理模块720、第一确定模块730、展示模块740以及第二确定模块810、第一确定子模块811a、第二确定子模块812a、获取子模块811b、第三确定子模块812b以及第四确定子模块813b中的至少一个可以实现为参考图11描述的计算机程序模块，其在被处理器1101执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/***中所包含的；也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现上述方法。
根据本公开的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种数据处理方法，包括：
获取流量数据，所述流量数据包括多个历史数据包；
处理所述流量数据，得到所述多个历史数据包的至少一个协议类型，其中，所述多个历史数据包中的每个历史数据包各自属于所述至少一个协议类型中的一个协议类型；
确定与所述至少一个协议类型中每个协议类型对应的历史数据包的数量；以及
展示所述至少一个协议类型以及与每个协议类型对应的历史数据包的数量，以便确定所述流量数据的异常情况。
2.根据权利要求1所述的方法，还包括：
从所述多个历史数据包中确定至少一个目标历史数据包。
3.根据权利要求2所述的方法，其中，所述从所述多个历史数据包中确定至少一个目标历史数据包包括：
确定所述至少一个协议类型中的目标协议类型；以及
从所述多个历史数据包中确定属于所述目标协议类型的历史数据包作为所述至少一个目标历史数据包。
4.根据权利要求3所述的方法，其中，所述确定所述至少一个协议类型中的目标协议类型包括：
获取用户的输入操作；
基于所述输入操作确定目标端口；以及
基于所述目标端口确定所述目标协议类型，其中，所述目标端口用于传输属于所述目标协议类型的历史数据包。
5.根据权利要求4所述的方法，其中，所述基于所述目标端口确定所述目标协议类型包括：
获取自定义规则，其中，所述自定义规则包括所述至少一个协议类型以及与所述至少一个协议类型相关联的端口信息；以及
基于所述自定义规则，确定与所述目标端口对应的所述目标协议类型。
6.根据权利要求2-5中任意一项所述的方法，其中，所述从所述多个历史数据包中确定至少一个目标历史数据包包括：
获取参考数据包；
确定所述参考数据包与所述多个历史数据包中每个历史数据包之间的相似度；以及
确定所述相似度满足预设条件的历史数据包作为所述至少一个目标历史数据包。
7.根据权利要求1所述的方法，还包括：
确定与每个协议类型对应的历史数据包的数量是否为预设数量；以及
响应于确定所述历史数据包的数量不等于所述预设数量，生成告警信息。
8.一种数据处理装置，包括：
获取模块，获取流量数据，所述流量数据包括多个历史数据包；
处理模块，处理所述流量数据，得到所述多个历史数据包的至少一个协议类型，其中，所述多个历史数据包中的每个历史数据包各自属于所述至少一个协议类型中的一个协议类型；
第一确定模块，确定与所述至少一个协议类型中每个协议类型对应的历史数据包的数量；以及
展示模块，展示所述至少一个协议类型以及与每个协议类型对应的历史数据包的数量，以便确定所述流量数据的异常情况。
9.一种计算设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至7中任一项所述的方法。
CN201910835643.0A 2019-09-04 2019-09-04 数据处理方法、装置、计算设备以及计算机可读存储介质 Pending CN110569282A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910835643.0A CN110569282A (zh) 2019-09-04 2019-09-04 数据处理方法、装置、计算设备以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910835643.0A CN110569282A (zh) 2019-09-04 2019-09-04 数据处理方法、装置、计算设备以及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110569282A true CN110569282A (zh) 2019-12-13

Family

ID=68777852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910835643.0A Pending CN110569282A (zh) 2019-09-04 2019-09-04 数据处理方法、装置、计算设备以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110569282A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562909A (zh) * 2020-05-06 2020-08-21 北京金堤科技有限公司 基于类的应用实现方法和装置、电子设备和存储介质
CN112597368A (zh) * 2020-12-18 2021-04-02 深圳集智数字科技有限公司 一种数据处理方法和相关装置
CN113904811A (zh) * 2021-09-16 2022-01-07 深圳供电局有限公司 异常检测方法、装置、计算机设备和存储介质
CN114374745A (zh) * 2021-12-30 2022-04-19 北京网太科技发展有限公司 一种协议格式的处理方法及***
CN115426265A (zh) * 2022-11-02 2022-12-02 之江实验室 一种多模态网络下交换资源分配优化方法及装置、介质
CN114374745B (zh) * 2021-12-30 2024-06-28 北京网太科技发展有限公司 一种协议格式的处理方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173333B1 (en) * 1997-07-18 2001-01-09 Interprophet Corporation TCP/IP network accelerator system and method which identifies classes of packet traffic for predictable protocols
CN102130800A (zh) * 2011-04-01 2011-07-20 苏州赛特斯网络科技有限公司 基于数据流行为分析的网络访问异常检测装置及方法
CN102821002A (zh) * 2011-06-09 2012-12-12 ***通信集团河南有限公司信阳分公司 网络流量异常检测方法和***
CN104469901A (zh) * 2013-09-17 2015-03-25 华为终端有限公司 数据处理的方法及装置
CN105656848A (zh) * 2014-11-13 2016-06-08 腾讯数码（深圳）有限公司 应用层快速攻击检测方法和相关装置
CN105847283A (zh) * 2016-05-13 2016-08-10 深圳市傲天科技股份有限公司 一种基于信息熵方差分析的异常流量检测方法
US20160285912A1 (en) * 2015-03-23 2016-09-29 Sonicwall, Inc. Non rfc-compliant protocol classification based on real use
CN107800674A (zh) * 2016-09-07 2018-03-13 百度在线网络技术（北京）有限公司 一种用于检测分布式拒绝服务的攻击流量的方法和装置
CN108008806A (zh) * 2017-11-23 2018-05-08 努比亚技术有限公司 一种数据处理方法、终端及计算机可读存储介质
CN108322433A (zh) * 2017-12-18 2018-07-24 中国软件与技术服务股份有限公司 一种基于流检测的网络安全检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173333B1 (en) * 1997-07-18 2001-01-09 Interprophet Corporation TCP/IP network accelerator system and method which identifies classes of packet traffic for predictable protocols
CN102130800A (zh) * 2011-04-01 2011-07-20 苏州赛特斯网络科技有限公司 基于数据流行为分析的网络访问异常检测装置及方法
CN102821002A (zh) * 2011-06-09 2012-12-12 ***通信集团河南有限公司信阳分公司 网络流量异常检测方法和***
CN104469901A (zh) * 2013-09-17 2015-03-25 华为终端有限公司 数据处理的方法及装置
CN105656848A (zh) * 2014-11-13 2016-06-08 腾讯数码（深圳）有限公司 应用层快速攻击检测方法和相关装置
US20160285912A1 (en) * 2015-03-23 2016-09-29 Sonicwall, Inc. Non rfc-compliant protocol classification based on real use
CN105847283A (zh) * 2016-05-13 2016-08-10 深圳市傲天科技股份有限公司 一种基于信息熵方差分析的异常流量检测方法
CN107800674A (zh) * 2016-09-07 2018-03-13 百度在线网络技术（北京）有限公司 一种用于检测分布式拒绝服务的攻击流量的方法和装置
CN108008806A (zh) * 2017-11-23 2018-05-08 努比亚技术有限公司 一种数据处理方法、终端及计算机可读存储介质
CN108322433A (zh) * 2017-12-18 2018-07-24 中国软件与技术服务股份有限公司 一种基于流检测的网络安全检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562909A (zh) * 2020-05-06 2020-08-21 北京金堤科技有限公司 基于类的应用实现方法和装置、电子设备和存储介质
CN111562909B (zh) * 2020-05-06 2024-04-02 北京金堤科技有限公司 基于类的应用实现方法和装置、电子设备和存储介质
CN112597368A (zh) * 2020-12-18 2021-04-02 深圳集智数字科技有限公司 一种数据处理方法和相关装置
CN113904811A (zh) * 2021-09-16 2022-01-07 深圳供电局有限公司 异常检测方法、装置、计算机设备和存储介质
CN113904811B (zh) * 2021-09-16 2023-11-24 深圳供电局有限公司 异常检测方法、装置、计算机设备和存储介质
CN114374745A (zh) * 2021-12-30 2022-04-19 北京网太科技发展有限公司 一种协议格式的处理方法及***
CN114374745B (zh) * 2021-12-30 2024-06-28 北京网太科技发展有限公司 一种协议格式的处理方法及***
CN115426265A (zh) * 2022-11-02 2022-12-02 之江实验室 一种多模态网络下交换资源分配优化方法及装置、介质
CN115426265B (zh) * 2022-11-02 2023-04-18 之江实验室 一种多模态网络下交换资源分配优化方法及装置、介质

Similar Documents

Publication Publication Date Title
US11539578B2 (en) Generating actionable alert messages for resolving incidents in an information technology environment
US11934417B2 (en) Dynamically monitoring an information technology networked entity
US11106442B1 (en) Information technology networked entity monitoring with metric selection prior to deployment
US11736378B1 (en) Collaborative incident management for networked computing systems
US10567320B2 (en) Messaging balancing and control on blockchain
US11283596B2 (en) API request and response balancing and control on blockchain
US11882099B1 (en) Trusted tunnel bridge
US11461768B2 (en) Systems and methods for data file transfer balancing and control on blockchain
US11924021B1 (en) Actionable event responder architecture
CN110569282A (zh) 数据处理方法、装置、计算设备以及计算机可读存储介质
US11023511B1 (en) Mobile device composite interface for dual-sourced incident management and monitoring system
US10599668B2 (en) Adaptive parsing and normalizing of logs at MSSP
US10771492B2 (en) Enterprise graph method of threat detection
US11601324B1 (en) Composite display of multi-sourced IT incident related information
US20190095478A1 (en) Information technology networked entity monitoring with automatic reliability scoring
US11822597B2 (en) Geofence-based object identification in an extended reality environment
US11145123B1 (en) Generating extended reality overlays in an industrial environment
CN110851342A (zh) 故障预测方法、装置、计算设备以及计算机可读存储介质
US11307949B2 (en) Decreasing downtime of computer systems using predictive detection
US20200252354A1 (en) Multi-profile chat environment
US20170207990A1 (en) Reducing an amount of captured network traffic data to analyze
CN109284466B (zh) 用于在区块链中实现网页访问的方法、装置和存储介质
US11108835B2 (en) Anomaly detection for streaming data
CN110545277B (zh) 应用于安全***的风险处理方法、装置、计算设备、介质
US11895237B1 (en) Scaled authentication of endpoint devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213