CN114301709B - 报文的处理方法和装置、存储介质及计算设备 - Google Patents
报文的处理方法和装置、存储介质及计算设备 Download PDFInfo
- Publication number
- CN114301709B CN114301709B CN202111670460.1A CN202111670460A CN114301709B CN 114301709 B CN114301709 B CN 114301709B CN 202111670460 A CN202111670460 A CN 202111670460A CN 114301709 B CN114301709 B CN 114301709B
- Authority
- CN
- China
- Prior art keywords
- target
- message
- probe
- analysis platform
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 8
- 239000000523 sample Substances 0.000 claims abstract description 205
- 238000004458 analytical method Methods 0.000 claims abstract description 172
- 238000000034 method Methods 0.000 claims abstract description 87
- 230000008569 process Effects 0.000 claims abstract description 28
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005206 flow analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种报文的处理方法和装置、存储介质及计算设备。该方法包括：探针依据威胁情报库对原始流量进行匹配分析，抓取到所述原始流量中的报文集合；从所述报文集合中选取目标报文，其中，所述目标报文是所述报文集合中属于威胁情报的概率最大的报文；所述探针对所述目标报文进行处理，得到目标数据，其中，所述目标数据用于发送至分析平台，以进行威胁情报分析。通过本申请，解决了相关技术中通过探针进行报文抓取，需要进行全流量报文抓取，导致浪费探针的性能的问题。
Description
技术领域
本申请涉及网络安全领域，具体而言，涉及一种报文的处理方法和装置、存储介质及计算设备。
背景技术
网络中存在各种各样的威胁流量，一般情况下，一个企业的内部都会部署网络安全设备进行流量分析和威胁检测。通过威胁情报来进行流量分析和威胁检测是目前常用的一种手段。对于部署一个分析平台管理多个探针的网络环境，目前大部分都是分析平台内置威胁情报，探针将流量发送到分析平台后，分析平台根据内置规则和算法等进行综合分析，并产生威胁事件。而对于检测的威胁事件，溯源和取证是非常重要的。只有有效地溯源到威胁事件的攻击根源和受害者，管理员才能进行后续处理。现有技术中通过探针进行报文抓取时，需要进行全流量报文抓取，存在浪费探针性能的问题。
针对相关技术中通过探针进行报文抓取，需要进行全流量报文抓取，导致浪费探针的性能的问题，目前尚未提出有效的解决方案。
发明内容
在本申请的主要目的在于提供一种报文的处理方法和装置、存储介质及计算设备，以解决相关技术中通过探针进行报文抓取，需要进行全流量报文抓取，导致浪费探针的性能的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种报文的处理方法。该方法包括：探针依据威胁情报库对原始流量进行匹配分析，抓取到所述原始流量中的报文集合；从所述报文集合中选取目标报文，其中，所述目标报文是所述报文集合中属于威胁情报的概率最大的报文；所述探针对所述目标报文进行处理，得到目标数据，其中，所述目标数据用于发送至分析平台，以进行威胁情报分析。
进一步地，在所述探针对所述目标报文进行处理，得到目标数据之后，所述方法还包括：所述探针将所述目标数据上传至所述分析平台；所述分析平台对所述探针上传的目标数据进行分析后，报出威胁事件的信号；依据所述目标数据，从所述分析平台中获取所述目标数据对应的目标报文。
进一步地，在依据威胁情报库，探针对原始流量进行匹配，得到目标报文之前，所述方法还包括：所述探针向所述分析平台发送注册报文，并与所述分析平台建立对应的TCP连接，其中所述TCP连接用于所述探针与所述分析平台进行数据传输；所述分析平台按照预设时间周期更新所述威胁情报库；所述分析平台将更新后的威胁情报库推送至所有已经注册的探针。
进一步地，所述探针对所述目标报文进行处理，得到目标数据，包括：所述探针按照预设的命名规则对所述目标报文进行命名并保存至本地，其中，所述目标报文的文件名至少包括：UUID和时间戳；所述探针将所述UUID和所述时间戳作为Packet ID；所述探针将所述Packet ID和所述探针的SN码添加到所述目标数据中；所述探针将带有所述Packet ID和所述SN码的目标数据上传至分析平台。
进一步地，所述探针按照预设的命名规则对所述目标报文进行命名并保存至本地，包括：确定目标文件的可存储空间；当所述目标报文占用的存储空间小于所述可存储空间时，则将所述目标报文保存在所述目标文件中。
进一步地，所述方法还包括：当所述目标报文占用的存储空间不小于所述可存储空间时，创建新的文件，用于保存所述目标报文。
进一步地，在依据所述目标数据，从所述分析平台中获取所述目标数据对应的目标报文之前，所述方法还包括：依据所述SN码，通过所述分析平台确定所述目标数据对应的探针；所述分析平台将所述Packet ID发送至所述探针；所述探针对所述Packet ID进行解析，得到所述Packet ID对应的UUID和所述Packet ID对应的时间戳；依据所述时间戳，查询得到存储所述目标数据的目标文件；依据所述UUID和所述时间戳，在所述目标文件中查询得到所述目标数据对应的目标报文；将所述目标数据对应的目标报文发送至所述分析平台。
为了实现上述目的，根据本申请的另一方面，提供了一种报文处理装置。该装置包括：抓取单元，用于探针依据威胁情报库对原始流量进行匹配分析，抓取到所述原始流量中的报文集合；选取单元，用于从所述报文集合中选取目标报文，其中，所述目标报文是所述报文集合中属于威胁情报的概率最大的报文；处理单元，用于所述探针对所述目标报文进行处理，得到目标数据，其中，所述目标数据用于发送至分析平台，以进行威胁情报分析。
进一步地，所述装置还包括：发送单元，用于在所述探针对所述目标报文进行处理，得到目标数据之后，所述探针将所述目标数据上传至所述分析平台；汇报单元，用于所述分析平台对所述探针上传的目标数据进行分析后，报出威胁事件的信号；获取单元，用于依据所述目标数据，从所述分析平台中获取所述目标数据对应的目标报文。
进一步地，所述装置还包括：第一发送单元，用于在依据威胁情报库，探针对原始流量进行匹配，得到目标报文之前，所述探针向所述分析平台发送注册报文，并与所述分析平台建立对应的TCP连接，其中所述TCP连接用于所述探针与所述分析平台进行数据传输；更新单元，用于所述分析平台按照预设时间周期更新所述威胁情报库；推送单元，用于所述分析平台将更新后的威胁情报库推送至所有已经注册的探针。
进一步地，所述处理单元包括：第一处理子单元，用于所述探针按照预设的命名规则对所述目标报文进行命名并保存至本地，其中，所述目标报文的文件名至少包括：UUID和时间戳；第二处理子单元，用于所述探针将所述UUID和所述时间戳作为Packet ID；添加子单元，用于所述探针将所述Packet ID和所述探针的SN码添加到所述目标数据中；上传子单元，用于所述探针将带有所述Packet ID和所述SN码的目标数据上传至分析平台。
进一步地，所述第一处理子单元包括：确定模块，用于确定目标文件的可存储空间；保存模块，用于当所述目标报文占用的存储空间小于所述可存储空间时，则将所述目标报文保存在所述目标文件中。
进一步地，所述装置还包括：创建单元，用于当所述目标报文占用的存储空间不小于所述可存储空间时，创建新的文件，用于保存所述目标报文。
进一步地，所述装置还包括：确定单元，用于在依据所述目标数据，从所述分析平台中获取所述目标数据对应的目标报文之前，依据所述SN码，通过所述分析平台确定所述目标数据对应的探针；第二发送单元，用于所述分析平台将所述Packet ID发送至所述探针；解析单元，用于所述探针对所述Packet ID进行解析，得到所述Packet ID对应的UUID和所述Packet ID对应的时间戳；第一查询单元，用于依据所述时间戳，查询得到存储所述目标数据的目标文件；第一查询单元，用于依据所述UUID和所述时间戳，在所述目标文件中查询得到所述目标数据对应的目标报文；第三发送单元，用于将所述目标数据对应的目标报文发送至所述分析平台。
为了实现上述目的，根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质存储程序，其中，所述程序执行上述任意一项所述的报文的处理方法。
为了实现上述目的，根据本申请的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的报文的处理方法。
通过本申请，采用以下步骤：探针依据威胁情报库对原始流量进行匹配分析，抓取到原始流量中的报文集合；从报文集合中选取目标报文，其中，目标报文是报文集合中属于威胁情报的概率最大的报文；探针对目标报文进行处理，得到目标数据，其中，目标数据用于发送至分析平台，以进行威胁情报分析。通过本申请，解决了相关技术中通过探针进行报文抓取，需要进行全流量报文抓取，导致浪费探针的性能的问题。探针通过威胁情报库进行匹配，进行报文抓取，并且选择是威胁情报概率最大的报文进行处理和上送至分析平台，进而达到了提高探针性能的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的报文的处理方法的流程图；
图2是根据本申请实施例提供的可选的报文的处理方法的流程图；
图3是根据本申请实施例提供的报文处理装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
UUID：Universally Unique Identifier通用唯一识别码；
Packet ID：数据包标识符；
SN：Serial Number产品序列号。
下面结合优选的实施步骤对本发明进行说明，图1是根据本申请实施例提供的报文的处理方法的流程图，如图1所示，该方法包括如下步骤：
步骤S101，探针依据威胁情报库对原始流量进行匹配分析，抓取到原始流量中的报文集合。
探针依据配置的威胁情报库对原始流量进行匹配分析，对原始流量中可能是威胁情报的报文进行预抓取，得到报文集合。
步骤S102，从报文集合中选取目标报文，其中，目标报文是报文集合中属于威胁情报的概率最大的报文。
探针对报文集合中的报文进行筛选得到目标报文，即报文集合中属于威胁情报的概率最大的报文，并将报文集合中的其它报文丢弃。
步骤S103，探针对目标报文进行处理，得到目标数据，其中，目标数据用于发送至分析平台，以进行威胁情报分析。
探针对目标报文进行处理，得到目标数据（即metadata）。metadata用于发送至分析平台，以便分析平台进行威胁情报分析。
综上所述，由探针进行威胁情报流量分析和报文抓取，对比全流量抓包存储，只存储是威胁情报的概率最大的原始报文，很大程度上节省了磁盘空间，提高了探针的性能。
可选地，在本申请实施例提供的报文的处理方法中，在探针对目标报文进行处理，得到目标数据之后，该方法还包括：探针将目标数据上传至分析平台；分析平台对探针上传的目标数据进行分析后，报出威胁事件的信号；依据目标数据，从分析平台中获取目标数据对应的目标报文。
例如，一个分析平台可以接入多台探针，每个探针将处理得到的metadata上传至分析平台。分析平台对所有探针上传的metadata进行整体分析，报出威胁事件的信号。分析平台报出威胁事件的信号后，提供目标报文下载功能，可以在分析平台对所有metadata对应的目标报文进行一对一下载。
对于分析平台检测出的威胁事件，提供在分析平台进行目标报文下载的功能，这样可以有效地溯源到威胁事件的攻击根源，解决了分析平台对所有探针上传的metadata经过综合分析产生一条威胁事件后，在分析平台进行无法进行完全溯源的问题。
可选地，在本申请实施例提供的报文的处理方法中，在依据威胁情报库，探针对原始流量进行匹配，得到目标报文之前，该方法还包括：探针向分析平台发送注册报文，并与分析平台建立对应的TCP连接，其中TCP连接用于探针与分析平台进行数据传输；分析平台按照预设时间周期更新威胁情报库；分析平台将更新后的威胁情报库推送至所有已经注册的探针。
探针向分析平台发送注册报文，探针与分析平台之间建立一个加密的TCP连接，用来进行数据传输。连接建立后，分析平台将威胁情报库推送给探针，探针接收并安装威胁情报库。探针定时向分析平台发送心跳报文进行TCP连接保活。分析平台周期性从云端下载更新威胁情报库，更新后，分析平台将新的威胁情报库推送给所有已经注册的探针。探针安装更新分析平台推送的威胁情报库。
探针进行威胁情报库的配置与更新，能够更加准确对原始流量进行匹配分析，以便准确抓取报文。
可选地，在本申请实施例提供的报文的处理方法中，探针对目标报文进行处理，得到目标数据，包括：探针按照预设的命名规则对目标报文进行命名并保存至本地，其中，目标报文的文件名至少包括：UUID和时间戳；探针将UUID和时间戳作为Packet ID；探针将Packet ID和探针的SN码添加到目标数据中；探针将带有Packet ID和SN码的目标数据上传至分析平台。
探针得到目标报文后，将目标报文按照特定的规则命名并保存在本地，命名规则需要保证所有目标报文的文件名不同。保存的文件名为UUID和当前***时间戳。例如，当前***时间为2021-09-15 19:20:54，那么对应的时间戳为1631704854000，本次自动生成的UUID为0d6ad54e-58cb-411e-90c3-dbc541aa7d33，因此本次目标报文保存的名称为0d6ad54e-58cb-411e-90c3-dbc541aa7d33+1631704854000。并将目标报文的文件名作为Packet ID。将Packet ID和探针的SN码添加到metadata中，将带有Packet ID和SN码的metadata上传至分析平台。
通过探针的SN码和Packet ID可以保证后续目标报文下载的准确性。
可选地，在本申请实施例提供的报文的处理方法中，探针按照预设的命名规则对目标报文进行命名并保存至本地，包括：确定目标文件的可存储空间；当目标报文占用的存储空间小于可存储空间时，则将目标报文保存在目标文件中。
在目标报文保存时会将多个目标报文保存在一个文件中。根据探针和网络流量实际情况设置每个文件的可存储空间。保存目标报文时，如果目标报文占用的存储空间小于文件的可存储空间时，将目标报文保存在此文件中，否则创建一个新文件保存目标报文。并且文件的名称为保存的第一个报文的名称中的时间戳。例如，设置保存目标报文的文件的可存储空间为A，现在需要保存第一个目标报文，第一个目标报文的名称为0d6ad54e-58cb-411e-90c3-dbc541aa7d33+163170485400，第一个目标报文占用的存储空间小于文件的可存储空间A，那么在该文件中保存第一个目标报文，并将该文件的名称设置为163170485400。
通过创建文件来保存目标报文，既能够节约存储空间，又可以快速查询目标报文。
可选地，在本申请实施例提供的报文的处理方法中，该方法还包括：当目标报文占用的存储空间不小于可存储空间时，创建新的文件，用于保存目标报文。
当需要保存目标报文0d6ad54e-58cb-411e-90c3-dbc541aa8b56+16317148555时，如果此时目标报文占用的存储空间大于文件1631714854000的可存储空间，那么创建一个新的文件，并将0d6ad54e-58cb-411e-90c3-dbc541aa8b56+163171485555保存在此文件中。
可选地，在本申请实施例提供的报文的处理方法中，在依据目标数据，从分析平台中获取目标数据对应的目标报文之前，该方法还包括：依据SN码，通过分析平台确定目标数据对应的探针；分析平台将Packet ID发送至探针；探针对Packet ID进行解析，得到PacketID对应的UUID和Packet ID对应的时间戳；依据时间戳，查询得到存储目标数据的目标文件；依据UUID和时间戳，在目标文件中查询得到目标数据对应的目标报文；将目标数据对应的目标报文发送至分析平台。
分析平台根据SN码，确定metadata对应的探针，探针收到分析平台的报文下载请求时，解析出分析平台发送的Packet ID中的时间戳，在所有保存报文的文件中找到小于等于自己且与自己差值最小的时间戳文件，然后根据Packet ID在此文件中找到对应的目标报文，并将目标报文返回给分析平台。例如，探针此时有三个存储报文的文件，文件名分别为：163170485400、163170888888、163176666666。
163170485400保存的报文为：
0d6ad54e-58cb-411e-90c3-dbc541aa7d33+163170485400
0d6ad54e-58cb-411e-90c3-dbc541aa7d55+163170486666
0d6ad54e-58cb-411e-90c3-dbc541aa7d77+163170487777
163170888888保存的报文为：
0d6ad54e-58cb-411e-90c3-dbc541aaaaaa+163170888888
0d6ad54e-58cb-411e-90c3-dbc541aaaaa4+163170888999
0d6ad54e-58cb-411e-90c3-dbc541aaaaa5+163170881000
163176666666保存的报文为：
0d6ad54e-58cb-411e-90c3-dbc541aabbcc+163176666666
0d6ad54e-58cb-411e-90c3-dbc541aabba1+163176666777
探针收到分析平台的下载报文请求，Packet ID为0d6ad54e-58cb-411e-90c3-dbc541aaaaa4+163170888999，探针解析出Packet ID中的时间戳，即163170888999，然后去存储的文件中找到比163170888999小的文件即163170485400、163170888888，然后找出两者中与自己差值更小的文件即163170888888，在163170888888中。然后根据Packet ID在163170888888找到对应报文0d6ad54e-58cb-411e-90c3-dbc541aaaaa4+163170888999，并将报文返回给分析平台。
本申请实施例提供的报文的处理方法，通过探针依据威胁情报库对原始流量进行匹配分析，抓取到原始流量中的报文集合；从报文集合中选取目标报文，其中，目标报文是报文集合中属于威胁情报的概率最大的报文；探针对目标报文进行处理，得到目标数据，其中，目标数据用于发送至分析平台，以进行威胁情报分析。通过本申请，解决了相关技术中通过探针进行报文抓取，需要进行全流量报文抓取，导致浪费探针的性能的问题。探针通过威胁情报库进行匹配，进行报文抓取，并且选择是威胁情报概率最大的报文进行处理和上送至分析平台，进而达到了提高探针性能的效果。
如图2所示，为根据本申请实施例提供的可选的报文的处理方法的流程图。将网络流量镜像到探针设备（根据不同网络场景，可以在不同位置部署探针）。探针根据威胁情报库分析原始流量后，得到目标报文，并将目标报文保存。对目标报文处理，得到metadata。把metadata发送到分析平台，分析平台收到多个探针上送的metadata后，对metadata进行统一分析后报出威胁事件的信号。在分析平台可以下载每条metadata对应的原始报文，用来进行威胁溯源。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种报文处理装置，需要说明的是，本申请实施例的报文处理装置可以用于执行本申请实施例所提供的用于报文的处理方法。以下对本申请实施例提供的报文处理装置进行介绍。
图3是根据本申请实施例的报文处理装置的示意图。如图3所示，该装置包括：抓取单元801，选取单元802和处理单元803。
抓取单元801，用于探针依据威胁情报库对原始流量进行匹配分析，抓取到原始流量中的报文集合。
选取单元802，用于从报文集合中选取目标报文，其中，目标报文是报文集合中属于威胁情报的概率最大的报文。
处理单元803，用于探针对目标报文进行处理，得到目标数据，其中，目标数据用于发送至分析平台，以进行威胁情报分析。
本申请实施例提供的报文处理装置，通过抓取单元801探针依据威胁情报库对原始流量进行匹配分析，抓取到原始流量中的报文集合；选取单元802从报文集合中选取目标报文，其中，目标报文是报文集合中属于威胁情报的概率最大的报文；处理单元803探针对目标报文进行处理，得到目标数据，其中，目标数据用于发送至分析平台，以进行威胁情报分析，解决了相关技术中通过探针进行报文抓取，需要进行全流量报文抓取，导致浪费探针的性能的问题，探针通过威胁情报库进行匹配，进行报文抓取，并且选择是威胁情报概率最大的报文进行处理和上送至分析平台，进而达到了提高探针性能的效果。
可选地，在本申请实施例提供的报文处理装置中，该装置还包括：发送单元，用于在探针对目标报文进行处理，得到目标数据之后，探针将目标数据上传至分析平台；汇报单元，用于分析平台对探针上传的目标数据进行分析后，报出威胁事件的信号；获取单元，用于依据目标数据，从分析平台中获取目标数据对应的目标报文。
可选地，在本申请实施例提供的报文处理装置中，该装置还包括：第一发送单元，用于在依据威胁情报库，探针对原始流量进行匹配，得到目标报文之前，探针向分析平台发送注册报文，并与分析平台建立对应的TCP连接，其中TCP连接用于探针与分析平台进行数据传输；更新单元，用于分析平台按照预设时间周期更新威胁情报库；推送单元，用于分析平台将更新后的威胁情报库推送至所有已经注册的探针。
可选地，在本申请实施例提供的报文处理装置中，处理单元包括：第一处理子单元，用于探针按照预设的命名规则对目标报文进行命名并保存至本地，其中，目标报文的文件名至少包括：UUID和时间戳；第二处理子单元，用于探针将UUID和时间戳作为Packet ID；添加子单元，用于探针将Packet ID和探针的SN码添加到目标数据中；上传子单元，用于探针将带有Packet ID和SN码的目标数据上传至分析平台。
可选地，在本申请实施例提供的报文处理装置中，第一处理子单元包括：确定模块，用于确定目标文件的可存储空间；保存模块，用于当目标报文占用的存储空间小于可存储空间时，则将目标报文保存在目标文件中。
可选地，在本申请实施例提供的报文处理装置中，该装置还包括：创建单元，用于当目标报文占用的存储空间不小于可存储空间时，创建新的文件，用于保存目标报文。
可选地，在本申请实施例提供的报文处理装置中，该装置还包括：确定单元，用于在依据目标数据，从分析平台中获取目标数据对应的目标报文之前，依据SN码，通过分析平台确定目标数据对应的探针；第二发送单元，用于分析平台将Packet ID发送至探针；解析单元，用于探针对Packet ID进行解析，得到Packet ID对应的UUID和Packet ID对应的时间戳；第一查询单元，用于依据时间戳，查询得到存储目标数据的目标文件；第二查询单元，用于依据UUID和时间戳，在目标文件中查询得到目标数据对应的目标报文；第三发送单元，用于将目标数据对应的目标报文发送至分析平台。
所述报文处理装置包括处理器和存储器，上述抓取单元801，选取单元802和处理单元803等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现对报文的处理工作。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述报文的处理方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述报文的处理方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：探针依据威胁情报库对原始流量进行匹配分析，抓取到原始流量中的报文集合；从报文集合中选取目标报文，其中，目标报文是报文集合中属于威胁情报的概率最大的报文；探针对目标报文进行处理，得到目标数据，其中，目标数据用于发送至分析平台，以进行威胁情报分析。
可选地，在探针对目标报文进行处理，得到目标数据之后，该方法还包括：探针将目标数据上传至分析平台；分析平台对探针上传的目标数据进行分析后，报出威胁事件的信号；依据目标数据，从分析平台中获取目标数据对应的目标报文。
可选地，在依据威胁情报库，探针对原始流量进行匹配，得到目标报文之前，该方法还包括：探针向分析平台发送注册报文，并与分析平台建立对应的TCP连接，其中TCP连接用于探针与分析平台进行数据传输；分析平台按照预设时间周期更新威胁情报库；分析平台将更新后的威胁情报库推送至所有已经注册的探针。
可选地，探针对目标报文进行处理，得到目标数据，包括：探针按照预设的命名规则对目标报文进行命名并保存至本地，其中，目标报文的文件名至少包括：UUID和时间戳；探针将UUID和时间戳作为Packet ID；探针将Packet ID和探针的SN码添加到目标数据中；探针将带有Packet ID和SN码的目标数据上传至分析平台。
可选地，探针按照预设的命名规则对目标报文进行命名并保存至本地，包括：确定目标文件的可存储空间；当目标报文占用的存储空间小于可存储空间时，则将目标报文保存在目标文件中。
可选地，该方法还包括：当目标报文占用的存储空间不小于可存储空间时，创建新的文件，用于保存目标报文。
可选地，在依据目标数据，从分析平台中获取目标数据对应的目标报文之前，方法还包括：依据SN码，通过分析平台确定目标数据对应的探针；分析平台将Packet ID发送至探针；探针对Packet ID进行解析，得到Packet ID对应的UUID和Packet ID对应的时间戳；依据时间戳，查询得到存储目标数据的目标文件；依据UUID和时间戳，在目标文件中查询得到目标数据对应的目标报文；将目标数据对应的目标报文发送至分析平台。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：探针依据威胁情报库对原始流量进行匹配分析，抓取到原始流量中的报文集合；从报文集合中选取目标报文，其中，目标报文是报文集合中属于威胁情报的概率最大的报文；探针对目标报文进行处理，得到目标数据，其中，目标数据用于发送至分析平台，以进行威胁情报分析。
可选地，在探针对目标报文进行处理，得到目标数据之后，该方法还包括：探针将目标数据上传至分析平台；分析平台对探针上传的目标数据进行分析后，报出威胁事件的信号；依据目标数据，从分析平台中获取目标数据对应的目标报文。
可选地，在依据威胁情报库，探针对原始流量进行匹配，得到目标报文之前，该方法还包括：探针向分析平台发送注册报文，并与分析平台建立对应的TCP连接，其中TCP连接用于探针与分析平台进行数据传输；分析平台按照预设时间周期更新威胁情报库；分析平台将更新后的威胁情报库推送至所有已经注册的探针。
可选地，探针对目标报文进行处理，得到目标数据，包括：探针按照预设的命名规则对目标报文进行命名并保存至本地，其中，目标报文的文件名至少包括：UUID和时间戳；探针将UUID和时间戳作为Packet ID；探针将Packet ID和探针的SN码添加到目标数据中；探针将带有Packet ID和SN码的目标数据上传至分析平台。
可选地，探针按照预设的命名规则对目标报文进行命名并保存至本地，包括：确定目标文件的可存储空间；当目标报文占用的存储空间小于可存储空间时，则将目标报文保存在目标文件中。
可选地，该方法还包括：当目标报文占用的存储空间不小于可存储空间时，创建新的文件，用于保存目标报文。
可选地，在依据目标数据，从分析平台中获取目标数据对应的目标报文之前，方法还包括：依据SN码，通过分析平台确定目标数据对应的探针；分析平台将Packet ID发送至探针；探针对Packet ID进行解析，得到Packet ID对应的UUID和Packet ID对应的时间戳；依据时间戳，查询得到存储目标数据的目标文件；依据UUID和时间戳，在目标文件中查询得到目标数据对应的目标报文；将目标数据对应的目标报文发送至分析平台。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(通过CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种报文的处理方法，其特征在于，包括：
探针依据威胁情报库对原始流量进行匹配分析，抓取到所述原始流量中的报文集合；
从所述报文集合中选取目标报文，其中，所述目标报文是所述报文集合中属于威胁情报的概率最大的报文；
所述探针对所述目标报文进行处理，得到目标数据，其中，所述目标数据用于发送至分析平台，以进行威胁情报分析；
其中，在所述探针对所述目标报文进行处理，得到目标数据之后，所述方法还包括：
所述探针按照预设的命名规则对所述目标报文进行命名并保存至本地，其中，所述目标报文的文件名至少包括：UUID和时间戳；
所述探针将所述UUID和所述时间戳作为Packet ID；
所述探针将所述Packet ID和所述探针的SN码添加到所述目标数据中；
所述探针将带有所述Packet ID和所述SN码的目标数据上传至分析平台；
在所述探针对所述目标报文进行处理，得到目标数据之后，所述方法还包括：
依据所述SN码，通过所述分析平台确定所述目标数据对应的探针；
所述分析平台将所述Packet ID发送至所述探针；
所述探针对所述Packet ID进行解析，得到所述Packet ID对应的UUID和所述PacketID对应的时间戳；
依据所述时间戳，查询得到存储所述目标数据的目标文件；
依据所述UUID和所述时间戳，在所述目标文件中查询得到所述目标数据对应的目标报文；
将所述目标数据对应的目标报文发送至所述分析平台；
依据所述目标数据，从所述分析平台中获取所述目标数据对应的目标报文。
2.根据权利要求1所述的方法，其特征在于，在所述探针对所述目标报文进行处理，得到目标数据之后，所述方法还包括：
所述探针将所述目标数据上传至所述分析平台；
所述分析平台对所述探针上传的目标数据进行分析后，报出威胁事件的信号。
3.根据权利要求1所述的方法，其特征在于，在依据威胁情报库，探针对原始流量进行匹配，得到目标报文之前，所述方法还包括：
所述探针向所述分析平台发送注册报文，并与所述分析平台建立对应的TCP连接，其中所述TCP连接用于所述探针与所述分析平台进行数据传输；
所述分析平台按照预设时间周期更新所述威胁情报库；
所述分析平台将更新后的威胁情报库推送至所有已经注册的探针。
4.根据权利要求1所述的方法，其特征在于，所述探针按照预设的命名规则对所述目标报文进行命名并保存至本地，包括：
确定目标文件的可存储空间；
当所述目标报文占用的存储空间小于所述可存储空间时，则将所述目标报文保存在所述目标文件中。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当所述目标报文占用的存储空间不小于所述可存储空间时，创建新的文件，用于保存所述目标报文。
6.一种报文处理装置，其特征在于，包括：
抓取单元，用于探针依据威胁情报库对原始流量进行匹配分析，抓取到所述原始流量中的报文集合；
选取单元，用于从所述报文集合中选取目标报文，其中，所述目标报文是所述报文集合中属于威胁情报的概率最大的报文；
处理单元，用于所述探针对所述目标报文进行处理，得到目标数据，其中，所述目标数据用于发送至分析平台，以进行威胁情报分析；
其中，所述装置还包括：第一处理子单元，用于在所述探针对所述目标报文进行处理，得到目标数据之后，所述探针按照预设的命名规则对所述目标报文进行命名并保存至本地，其中，所述目标报文的文件名至少包括：UUID和时间戳；第二处理子单元，用于所述探针将所述UUID和所述时间戳作为Packet ID；添加子单元，用于所述探针将所述Packet ID和所述探针的SN码添加到所述目标数据中；上传子单元，用于所述探针将带有所述Packet ID和所述SN码的目标数据上传至分析平台；
其中，所述装置还包括：确定单元，用于在依据所述目标数据，从所述分析平台中获取所述目标数据对应的目标报文之前，依据所述SN码，通过所述分析平台确定所述目标数据对应的探针；第二发送单元，用于所述分析平台将所述Packet ID发送至所述探针；解析单元，用于所述探针对所述Packet ID进行解析，得到所述Packet ID对应的UUID和所述Packet ID对应的时间戳；第一查询单元，用于依据所述时间戳，查询得到存储所述目标数据的目标文件；第二查询单元，用于依据所述UUID和所述时间戳，在所述目标文件中查询得到所述目标数据对应的目标报文；第三发送单元，用于将所述目标数据对应的目标报文发送至所述分析平台；
所述装置还包括：获取单元，用于依据所述目标数据，从所述分析平台中获取所述目标数据对应的目标报文。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
发送单元，用于在所述探针对所述目标报文进行处理，得到目标数据之后，所述探针将所述目标数据上传至所述分析平台；
汇报单元，用于所述分析平台对所述探针上传的目标数据进行分析后，报出威胁事件的信号。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一发送单元，用于在依据威胁情报库，探针对原始流量进行匹配，得到目标报文之前，所述探针向所述分析平台发送注册报文，并与所述分析平台建立对应的TCP连接，其中所述TCP连接用于所述探针与所述分析平台进行数据传输；
更新单元，用于所述分析平台按照预设时间周期更新所述威胁情报库；
推送单元，用于所述分析平台将更新后的威胁情报库推送至所有已经注册的探针。
9.根据权利要求6所述的装置，其特征在于，所述第一处理子单元包括：
确定模块，用于确定目标文件的可存储空间；
保存模块，用于当所述目标报文占用的存储空间小于所述可存储空间时，则将所述目标报文保存在所述目标文件中。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
创建单元，用于当所述目标报文占用的存储空间不小于所述可存储空间时，创建新的文件，用于保存所述目标报文。
11.一种存储介质，其特征在于，所述存储介质存储程序，其中，所述程序被处理器执行时，实现权利要求1至5中任意一项所述的报文的处理方法。
12.一种计算设备，其特征在于，所述计算设备包括一个或多个处理器，所述处理器用于运行程序，其中，所述程序被处理器执行时，实现权利要求1至5中任意一项所述的报文的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111670460.1A CN114301709B (zh) | 2021-12-30 | 2021-12-30 | 报文的处理方法和装置、存储介质及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111670460.1A CN114301709B (zh) | 2021-12-30 | 2021-12-30 | 报文的处理方法和装置、存储介质及计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114301709A CN114301709A (zh) | 2022-04-08 |
| CN114301709B true CN114301709B (zh) | 2024-04-02 |
Family
ID=80974478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111670460.1A Active CN114301709B (zh) | 2021-12-30 | 2021-12-30 | 报文的处理方法和装置、存储介质及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114301709B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103905261A (zh) * | 2012-12-26 | 2014-07-02 | 中国电信股份有限公司 | 协议特征库在线更新方法及*** |
| CN107995162A (zh) * | 2017-10-27 | 2018-05-04 | 深信服科技股份有限公司 | 网络安全感知***、方法及可读存储介质 |
| CN109067815A (zh) * | 2018-11-06 | 2018-12-21 | 深信服科技股份有限公司 | 攻击事件溯源分析方法、***、用户设备及存储介质 |
| CN112073437A (zh) * | 2020-10-09 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 多维度的安全威胁事件分析方法、装置、设备及存储介质 |
| WO2021017614A1 (zh) * | 2019-07-31 | 2021-02-04 | 平安科技（深圳）有限公司 | 威胁情报数据采集处理方法、***、装置及存储介质 |
| CN112788022A (zh) * | 2020-12-31 | 2021-05-11 | 山石网科通信技术股份有限公司 | 流量异常检测方法、装置、存储介质及处理器 |
-
2021
- 2021-12-30 CN CN202111670460.1A patent/CN114301709B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103905261A (zh) * | 2012-12-26 | 2014-07-02 | 中国电信股份有限公司 | 协议特征库在线更新方法及*** |
| CN107995162A (zh) * | 2017-10-27 | 2018-05-04 | 深信服科技股份有限公司 | 网络安全感知***、方法及可读存储介质 |
| CN109067815A (zh) * | 2018-11-06 | 2018-12-21 | 深信服科技股份有限公司 | 攻击事件溯源分析方法、***、用户设备及存储介质 |
| WO2021017614A1 (zh) * | 2019-07-31 | 2021-02-04 | 平安科技（深圳）有限公司 | 威胁情报数据采集处理方法、***、装置及存储介质 |
| CN112073437A (zh) * | 2020-10-09 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 多维度的安全威胁事件分析方法、装置、设备及存储介质 |
| CN112788022A (zh) * | 2020-12-31 | 2021-05-11 | 山石网科通信技术股份有限公司 | 流量异常检测方法、装置、存储介质及处理器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114301709A (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10129118B1 (en) | Real time anomaly detection for data streams | |
| CN111935082B (zh) | 一种网络威胁信息关联分析***及方法 | |
| US20170250854A1 (en) | Distribued system for self updating agents and analytics | |
| EP3223165A1 (en) | File processing method, system and server-clustered system for cloud storage | |
| CN103152391B (zh) | 一种日志输出方法和装置 | |
| CN107169094B (zh) | 信息聚合方法及装置 | |
| US20110296394A1 (en) | Systems and methods for generating cached representations of encoded package profile | |
| CN111090440B (zh) | 信息处理方法、***、设备及存储介质 | |
| CN111478889B (zh) | 一种告警方法及装置 | |
| CN106201839B (zh) | 一种业务对象的信息加载方法和装置 | |
| CN113656245B (zh) | 数据的巡检方法、装置、存储介质及处理器 | |
| CN108900547B (zh) | 回源控制方法及装置 | |
| CN112165451A (zh) | Apt攻击分析方法、***及服务器 | |
| CN117389830A (zh) | 集群日志采集方法、装置、计算机设备及存储介质 | |
| CN108228197B (zh) | 一种在集群中安装软件的方法和装置 | |
| CN114301709B (zh) | 报文的处理方法和装置、存储介质及计算设备 | |
| CN111104212A (zh) | 一种调度任务执行方法、装置、电子设备及存储介质 | |
| US11140183B2 (en) | Determining criticality of identified enterprise assets using network session information | |
| US20200028897A1 (en) | Load balancing system | |
| CN109426559B (zh) | 命令下发方法和装置、存储介质、处理器 | |
| CN107784040B (zh) | 一种文件下发方法及装置 | |
| CN111291127B (zh) | 一种数据同步方法、装置、服务器及存储介质 | |
| CN112579189A (zh) | 配置文件更新方法及装置 | |
| CN115757041B (zh) | 可动态配置的多集群日志采集的方法及应用 | |
| CN112579877B (zh) | 信源***的控制方法、装置、存储介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |