CN114124376B - 基于网络数据采集的数据处理方法及*** - Google Patents

Abstract

本发明公开一种基于网络数据采集的数据处理方法及***，涉及互联网数据技术领域。所述方法包括基于所述网络数据请求信息进行网络数据采集；当前应用类型确定数据加密方式，根据所述网络数据请求信息中所包含的当前用户信息得到临时密码，基于当前用户信息生成第一随机数，根据所述数据加密方式对所述临时密码进行加密得到加密密码，使用所述第一随机数对采集到的网络数据进行加密，将加密后的网络数据、所述加密密码和当前用户信息返回给发送该网络数据请求信息的服务器。本发明不仅可以采集多种类型的网络数据，使采集的网络数据种类增多，而且在对采集的网络数据进行传输时根据应用类型确定数据加密方式，使得网络数据传输的安全性更高。

Description

基于网络数据采集的数据处理方法及***

技术领域

本发明涉及互联网数据技术领域，尤其涉及一种基于网络数据采集的数据处理方法及***。

背景技术

伴随着当今社会信息之间的交流越来越频繁和紧密，工业生产领域的电子设备同互联网的联系朝着更方便和更快捷的方向进行着，利用该类电子设备同互联网的连接，将广泛存在于互联网中的大数据进行采集、处理、分析，进而对工业生产进行指导具有提高产品质量、提高生产效率的作用。随着网络信息的发展，产生了的越来越多不同类型的网络数据，而现有技术中的网络数据采集和处理***，数据采集样式比较单一，对要采集的数据缺乏识别判断，从数据采集到数据传输再到大数据分析过程中，还存在着数据安全性较低的问题。

发明内容

有鉴于此，本发明提供一种基于网络数据采集的数据处理方法及***，能够解决现有技术中网络采集数据的多样性和安全性问题。

第一方面，本发明实施例提供一种基于网络数据采集的数据处理方法，包括当接收到网络数据请求信息时，执行以下步骤：

步骤S1、基于所述网络数据请求信息进行网络数据采集；

步骤S2、根据当前客户端连接的应用类型确定数据加密方式，根据所述网络数据请求信息中所包含的当前用户信息得到临时密码，基于当前用户信息生成第一随机数；

步骤S3、根据所述数据加密方式对所述临时密码进行加密得到加密密码，使用所述第一随机数对采集到的网络数据进行加密，将加密后的网络数据、所述加密密码和当前用户信息返回给发送该网络数据请求信息的服务器。

上述方法还包括，所述服务器接收到客户端返回的数据后，根据预设规则从数据中获得加密后的网络数据、加密密码和当前用户信息，并将所述加密密码与当前用户信息对应保存；

当需要进行大数据分析时，所述服务器根据所述当前用户信息生成第二随机数，根据所述第二随机数对所述加密后的网络数据进行解密以获得解密后的网络数据，基于解密后的网络数据进行数据分析得到数据分析结果。

进一步的，上述方法还包括，当接收到网络数据请求时，判断所述网络数据请求信息是否属于攻击类请求信息，是则基于该网络数据请求信息确定攻击对象数据，根据确定的攻击对象数据生成攻击对象替代数据，向发送该网络数据请求信息的目标攻击设备返回生成的攻击对象替代数据，否则执行所述步骤S1。

上述攻击对象数据的确定方法具体包括：

第一步，获取所述攻击对象数据所对应的所有历史版本对象数据，按生成时间信息从早到晚先后顺序，对所述历史版本对象数据进行排序处理，得到对应的历史版本对象数据序列；

第二步，基于历史版本对象数据序列中数据之间的数据变化信息，确定出所述攻击对象数据的非关键部分数据；

第三步，基于所述非关键部分数据对所述攻击对象数据进行替换处理，得到对应的攻击对象替代数据。

上述步骤S1具体包括，根据预先定义的网络数据识别规则和所述网络数据请求信息中携带的数据采集条件进行网络数据采集，对无法识别的网络数据进行拦截剔除，以及对被编码的网络数据进行解码以获取符合条件的网络数据并进行存储。

第二方面，本发明实施例提供一种基于网络数据采集的数据处理***，包括：

网络数据请求信息接收模块，用于接收网络数据请求信息；

网络数据采集模块，用于基于网络数据请求信息进行网络数据采集；

数据加密方式确定模块，用于根据当前应用类型确定数据加密方式；

数据生成模块，用于根据所述网络数据请求信息中所包含的当前用户信息得到临时密码，基于当前用户信息生成第一随机数；

加密模块，用于根据所述数据加密方式对所述临时密码进行加密得到加密密码，使用所述第一随机数对采集到的网络数据进行加密，将加密后的网络数据、所述加密密码和当前用户信息返回给发送所述网络数据请求信息的服务器。

所述服务器，用于当接收到返回的数据后，根据预设规则从数据中获得加密后的网络数据、加密密码和当前用户信息，并将所述加密密码与当前用户信息对应保存。

进一步的，所述服务器包含数据分析模块，用于当需要进行大数据分析时，根据所述当前用户信息生成第二随机数，根据所述第二随机数对所述加密后的网络数据进行解密以获得解密后的网络数据，基于解密后的网络数据进行数据分析得到数据分析结果。

进一步的，所述***还包括：

定义模块，用于定义网络数据识别规则和数据转换规则，以及定义返回给所述服务器的数据的拼接规则；

剔除模块，用于在进行网络数据采集时对无法识别的网络数据进行拦截剔除；

数据转换模块，用于将经过剔除模块剔除的网络数据根据预先定义的数据转换规则转换为通用网络数据。

判断模块，用于判断所述网络数据请求信息是否属于攻击类请求信息；

替代模块，用于当所述网络数据请求信息是攻击类请求信息时，根据所述网络数据请求信息确定攻击对象数据，根据确定的攻击对象数据生成攻击对象替代数据，向发送该网络数据请求信息的目标攻击设备返回生成的攻击对象替代数据。

本发明相比现有技术，具备以下有益效果：本申请提供的基于基于网络数据采集的数据处理方法及***，不仅可以有效识别并防范目标攻击设备发出的数据攻击请求信息，并且通过向目标攻击设备发送数据，可以避免目标攻击设备进行后续的持续攻击，另一方面可以采集多种类型的网络数据，使采集的网络数据种类增多，不再受到局限，在对采集的网络数据进行传输时根据应用类型确定数据加密方式，使得网络数据传输的安全性更高，从而改善现有技术中存在的网络数据安全性较低的问题，使得具有较高的实用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一的基于网络数据采集的数据处理方法流程图；

图2为本发明实施例二的基于网络数据采集的数据处理***示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

参见图1，本实施例提供的一种基于网络数据采集的数据处理方法，包括：

步骤1、当客户端接收到网络数据请求信息时，判断所述网络数据请求信息是否属于攻击类请求信息，是则步骤2，否则步骤3；

具体的，判断所述网络数据请求信息是否属于攻击类请求信息，具体实现时可以基于所述网络数据请求信息和预先建立的网络攻击行为数据库中的历史网络攻击行为数据来确定该网络数据请求信息是否属于目标攻击设备所发出的攻击类请求信息。

可选地，基于所述网络数据请求信息和所述历史网络攻击行为数据，确定所述网络数据请求信息是否属于攻击类请求信息的具体方式不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，可以基于以下步骤确定所述网络数据请求信息是否属于攻击类请求信息：

第一步，确定预先建立的网络攻击行为数据库中的历史网络攻击行为数据是否包括所述网络数据请求信息对应的历史数据请求信息；

第二步，若所述历史网络攻击行为数据未包括所述网络数据请求信息对应的历史数据请求信息，则确定该数据请求信息不属于所述目标攻击设备发出的攻击类请求信息；

第三步，若所述历史网络攻击行为数据包括所述网络数据请求信息对应的历史数据请求信息，则基于该历史数据请求信息确定该网络数据请求信息属于所述目标攻击设备所发出的数据攻击请求信息的概率值；

第四步，判断所述概率值是否大于预设概率阈值（该预设概率阈值可以基于用户的配置操作生成，在此不做具体限定，如这对安全性需求较高的应用环境，该预设概率阈值可以较小）；

第五步，若所述概率值大于所述预设概率阈值，则确定所述网络数据请求信息属于所述目标攻击设备发出的攻击类请求信息；

第六步，若所述概率值小于或等于所述预设概率阈值，则确定所述网络数据请求信息不属于所述目标攻击设备发出的攻击类请求信息。

步骤2、基于该网络数据请求信息确定攻击对象数据，根据确定的攻击对象数据生成攻击对象替代数据，向发送该网络数据请求信息的目标攻击设备返回生成的攻击对象替代数据，结束；

基于上述方法，一方面通过向目标攻击设备发送数据，可以避免目标攻击设备进行后续的持续攻击，另一方面通过采用攻击对象替代数据来代替攻击对象数据，可以避免攻击对象数据被获取的问题，使得网络数据的安全性更高，从而改善现有技术中存在的网络数据安全性较低的问题。

例如，在另一种可以替代的示例中，可以基于以下步骤生成所述攻击对象替代数据：

第一步，获取所述攻击对象数据所对应的所有历史版本对象数据，按生成时间信息从早到晚先后顺序，对所述历史版本对象数据进行排序处理，得到对应的历史版本对象数据序列；

第二步，基于历史版本对象数据序列中数据之间的数据变化信息，确定出所述攻击对象数据的非关键部分数据；

第三步，基于所述非关键部分数据对所述攻击对象数据进行替换处理，得到对应的攻击对象替代数据；

例如，可以基于所述非关键部分数据对所述攻击对象数据中的关键部分数据进行替换处理得到对应的攻击对象替代数据，或者，可以基于该非关键部分数据和随机生成的其它数据进行组合得到对应的攻击对象替代数据，或者，可以将该非关键部分数据作为攻击对象替代数据。

步骤3、基于该网络数据请求信息进行网络数据采集；

具体的，根据预先定义的网络数据识别规则和所述网络数据请求信息中携带的数据采集条件进行网络数据采集，对无法识别的网络数据进行拦截剔除，以及对被编码的网络数据进行解码以获取符合条件的网络数据并进行存储。

在本发明的一些实施例中，不对采集的方式作限定，预先定义网络数据识别规则和解码规则；例如网络数据识别规则可以具体包括匹配条件、识别内容、处理动作、和下一跳模块配置，其中，匹配条件可以包括：网络数据采集入口标识符、媒体访问控制MAC层匹配地址、虚拟局域网VLAN层匹配标识符、网络地址IP层匹配地址、以及应用层匹配端口号；上述处理动作可以包括：根据识别结果对上述网络数据进行处理，将报文转发到协议解码和事件消息合成模块进行处理、或转发给抓包服务器处理，其中，在需要进行负载均衡分发时，负载均衡配置包括：负载均衡类型和分发关键字；上述下一跳模块配置包括：每个下一跳处理服务器的索引号、流量分拣和负载均衡模块的出口索引号、下一跳处理服务器的地址和端口、下一跳处理服务器上的业务处理模块的索引号、下一跳处理服务器上的业务处理模块的负荷百分比、以及下一跳处理服务器上的业务处理模块的在线状态；上述解码规则可以包括：网络类型、网络中的逻辑接口以及该接口上的协议栈协议、每层协议的消息种类、消息中的字段、字段中的参数、以及指明该字段是否必须的标识，其中，对网络类型、逻辑接口、协议类型、消息类型、消息字段、以及字段中的参数赋予身份标识ID标记，确保每个解码的字段参数有唯一的编码标识符标识，编码基本格式为：网络ID逻辑接口ID上下行方向ID协议类型ID消息类型ID消息字段ID参数ID；上述解码规则中还包括解码后的消息是否进入的事件合成状态机的标识符、以及消息中的字段和状态机关键字之间的一一映射关系，以指明消息的下一步处理。

对无法识别的网络数据进行拦截剔除；这样设置的目的在于，过滤掉不匹配的网络数据，减少不必要的数据，减轻存储器负担多类型数据转换模块60，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据。

进一步的，还可以对采集的网络数据按照统一的转换规则转换为处理器能识别的通用网络数据；这样，增加网络数据采集类型，有效解决了现有技术中的网络数据采集***的采集样式比较单一，只能采集几种固定格式的网络数据的问题。

步骤4、根据当前客户端连接的应用类型确定数据加密方式，根据所述网络数据请求信息中所包含的当前用户信息得到临时密码，基于当前用户信息生成第一随机数；

本发明将应用类型划分为金融类、购物类、医疗健康类、视频类、生活服务类等，用户根据自身的需求，为各类别的应用设置相应加密强度的加密方式。当用户通过网站或应用程序注册或登录使用某应用时，首先判断该网站或者应用程序所属于的应用类型，调用客户端本地预先存储的用户加密策略，根据应用类型确定相应的加密强度范围，随机选择加密强度范围内的任一加密强度值所对应的加密方式，作为本次数据的加密方式。进行数据加密防护过程中，加密强度越大，数据的安全性越高，但是相应的处理花销也越大。因此，本发明在安全性及处理花销间进行有效的平衡。实际应用中，用户在不同应用的密码数据所需要的安全性不同。例如，对于网上银行的登录密码，通常需要很高的安全性，以保护用户的财产安全。而对于视频网站上的登录密码，则不需要很高的安全性。因此，本发明中，不同用户针对不同的应用类型，设置不同的加密强度，进一步根据加密强度确定相应的加密方式。

步骤5、根据所述数据加密方式对所述临时密码进行加密得到加密密码，使用所述第一随机数对采集到的网络数据进行加密，将加密后的网络数据、所述加密密码和当前用户信息返回给发送该网络数据请求信息的服务器。

具体的，服务器接收到客户端返回的数据后，根据预设规则从数据中获得加密后的网络数据、加密密码和当前用户信息，并将所述加密密码与当前用户信息对应保存。

当需要进行大数据分析时，所述方法还包括，根据所述当前用户信息生成第二随机数（第二随机数的生成方式与第一随机数的生成方式相同），根据所述第二随机数对所述加密后的网络数据进行解密以获得解密后的网络数据，基于解密后的网络数据进行数据分析得到数据分析结果。

由于服务器端仅保存了加密密码，即使攻击者对其进行破解，也只能得到临时密码，要得到用户的明文密码需要进行进一步的破解，处理难度极大，大大提高了网络数据的安全性，对用户数据进行了有效的防护。

此外，为了进一步提高数据的安全性，对所述临时密码进行加密所采用的加密密钥可以是每次加密时随机生成，不断更新，在进行登录的同时发送新生成的加密密钥并计算相应的加密密码，在用户毫无察觉的情况下实现加密密钥的更新，提升用户体验。

实施例二

本实施例提供一种基于网络数据采集的数据处理***，在实际使用时可以理解为运行在任一客户端上的***，与其进行交互的是服务器，如图2所示，本实施例提供的***包括网络数据请求信息接收模块、网络数据采集模块、数据加密方式确定模块、数据生成模块和加密模块，其中：

网络数据请求信息接收模块，用于接收网络数据请求信息；

网络数据采集模块，用于基于网络数据请求信息进行网络数据采集；

数据加密方式确定模块，用于根据当前应用类型确定数据加密方式；

数据生成模块，用于根据所述网络数据请求信息中所包含的当前用户信息得到临时密码，基于当前用户信息生成第一随机数；

加密模块，用于根据所述数据加密方式对所述临时密码进行加密得到加密密码，使用所述第一随机数对采集到的网络数据进行加密，将加密后的网络数据、所述加密密码和当前用户信息返回给发送所述网络数据请求信息的服务器。

本实施例中，所述服务器，用于当接收到返回的数据后，根据预设规则从数据中获得加密后的网络数据、加密密码和当前用户信息，并将所述加密密码与当前用户信息对应保存。所述服务器包含数据分析模块，用于当需要进行大数据分析时，根据所述当前用户信息生成第二随机数，根据所述第二随机数对所述加密后的网络数据进行解密以获得解密后的网络数据，基于解密后的网络数据进行数据分析得到数据分析结果。

本实施例提供的***，还可以包括定义模块、剔除模块、数据转换模块，其中：

定义模块，用于定义网络数据识别规则和数据转换规则，以及定义返回给所述服务器的数据的拼接规则；

剔除模块，用于在进行网络数据采集时对无法识别的网络数据进行拦截剔除；

数据转换模块，用于将经过剔除模块剔除的网络数据根据预先定义的数据转换规则转换为通用网络数据。

优选地，本实施例提供的***，还可以包括：

判断模块，用于判断所述网络数据请求信息是否属于攻击类请求信息；

以及替代模块，用于当所述网络数据请求信息是攻击类请求信息时，根据所述网络数据请求信息确定攻击对象数据，根据确定的攻击对象数据生成攻击对象替代数据，向发送该网络数据请求信息的目标攻击设备返回生成的攻击对象替代数据。

本实施例提供的***，其中上述各个模块的功能可参照实施例1方法中的描述，此处不再赘述。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.基于网络数据采集的数据处理***，其特征在于，包括：

网络数据请求信息接收模块，用于接收网络数据请求信息；

网络数据采集模块，用于基于网络数据请求信息进行网络数据采集；

数据加密方式确定模块，用于根据当前应用类型确定数据加密方式；

数据生成模块，用于根据所述网络数据请求信息中所包含的当前用户信息得到临时密码，基于当前用户信息生成第一随机数；

加密模块，用于根据所述数据加密方式对所述临时密码进行加密得到加密密码，使用所述第一随机数对采集到的网络数据进行加密，将加密后的网络数据、所述加密密码和当前用户信息返回给发送所述网络数据请求信息的服务器；

服务器接收到客户端返回的数据后，根据预设规则从数据中获得加密后的网络数据、加密密码和当前用户信息，并将所述加密密码与当前用户信息对应保存；

当需要进行大数据分析时，根据所述当前用户信息生成第二随机数，第二随机数的生成方式与第一随机数的生成方式相同，根据所述第二随机数对所述加密后的网络数据进行解密以获得解密后的网络数据，基于解密后的网络数据进行数据分析得到数据分析结果；

由于服务器端仅保存了加密密码，即使攻击者对其进行破解，也只能得到临时密码，要得到用户的明文密码需要进行进一步的破解，处理难度极大，大大提高了网络数据的安全性，对用户数据进行了有效的防护。

2.根据权利要求1所述的***，其特征在于：所述***还包括：

定义模块，用于定义网络数据识别规则和数据转换规则，以及定义返回给所述服务器的数据的拼接规则；

剔除模块，用于在进行网络数据采集时对无法识别的网络数据进行拦截剔除；

数据转换模块，用于将经过剔除模块剔除的网络数据根据预先定义的数据转换规则转换为通用网络数据。

3.根据权利要求1所述的***，其特征在于：所述***还包括：

判断模块，用于判断所述网络数据请求信息是否属于攻击类请求信息；

替代模块，用于当所述网络数据请求信息是攻击类请求信息时，根据所述网络数据请求信息确定攻击对象数据，根据确定的攻击对象数据生成攻击对象替代数据，向发送该网络数据请求信息的目标攻击设备返回生成的攻击对象替代数据。

4.基于网络数据采集的数据处理方法，其特征在于：所述方法包括当接收到网络数据请求信息时，执行以下步骤：

步骤S1、基于所述网络数据请求信息进行网络数据采集；

步骤S2、根据当前客户端连接的应用类型确定数据加密方式，根据所述网络数据请求信息中所包含的当前用户信息得到临时密码，基于当前用户信息生成第一随机数；

步骤S3、根据所述数据加密方式对所述临时密码进行加密得到加密密码，使用所述第一随机数对采集到的网络数据进行加密，将加密后的网络数据、所述加密密码和当前用户信息返回给发送该网络数据请求信息的服务器；

服务器接收到客户端返回的数据后，根据预设规则从数据中获得加密后的网络数据、加密密码和当前用户信息，并将所述加密密码与当前用户信息对应保存；

当需要进行大数据分析时，所述方法还包括，根据所述当前用户信息生成第二随机数，第二随机数的生成方式与第一随机数的生成方式相同，根据所述第二随机数对所述加密后的网络数据进行解密以获得解密后的网络数据，基于解密后的网络数据进行数据分析得到数据分析结果；

由于服务器端仅保存了加密密码，即使攻击者对其进行破解，也只能得到临时密码，要得到用户的明文密码需要进行进一步的破解，处理难度极大，大大提高了网络数据的安全性，对用户数据进行了有效的防护。

5.根据权利要求4所述的方法，其特征在于：所述方法还包括，当接收到网络数据请求时，判断所述网络数据请求信息是否属于攻击类请求信息，是则基于该网络数据请求信息确定攻击对象数据，根据确定的攻击对象数据生成攻击对象替代数据，向发送该网络数据请求信息的目标攻击设备返回生成的攻击对象替代数据，否则执行所述步骤S1。

6.根据权利要求5所述的方法，其特征在于：所述攻击对象数据的确定方法具体包括：

第一步，获取所述攻击对象数据所对应的所有历史版本对象数据，按生成时间信息从早到晚先后顺序，对所述历史版本对象数据进行排序处理，得到对应的历史版本对象数据序列；

第二步，基于历史版本对象数据序列中数据之间的数据变化信息，确定出所述攻击对象数据的非关键部分数据；

第三步，基于所述非关键部分数据对所述攻击对象数据进行替换处理，得到对应的攻击对象替代数据。

7.根据权利要求4所述的方法，其特征在于：所述步骤S1具体包括，根据预先定义的网络数据识别规则和所述网络数据请求信息中携带的数据采集条件进行网络数据采集，对无法识别的网络数据进行拦截剔除，以及对被编码的网络数据进行解码以获取符合条件的网络数据并进行存储。

Images