CN112671932B - 一种基于大数据和云计算的数据处理方法及云计算节点 - Google Patents

一种基于大数据和云计算的数据处理方法及云计算节点 Download PDF

Info

Publication number
CN112671932B
CN112671932B CN202110099666.7A CN202110099666A CN112671932B CN 112671932 B CN112671932 B CN 112671932B CN 202110099666 A CN202110099666 A CN 202110099666A CN 112671932 B CN112671932 B CN 112671932B
Authority
CN
China
Prior art keywords
data
access
cloud computing
computing node
access data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110099666.7A
Other languages
English (en)
Other versions
CN112671932A (zh
Inventor
梁志彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhonglin Yunxin (Shanghai) Network Technology Co., Ltd
Original Assignee
Zhonglin Yunxin Shanghai Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhonglin Yunxin Shanghai Network Technology Co Ltd filed Critical Zhonglin Yunxin Shanghai Network Technology Co Ltd
Priority to CN202110099666.7A priority Critical patent/CN112671932B/zh
Publication of CN112671932A publication Critical patent/CN112671932A/zh
Application granted granted Critical
Publication of CN112671932B publication Critical patent/CN112671932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提出一种基于大数据和云计算的数据处理方法及云计算节点,涉及云计算技术领域,针对获取到的数据处理请求,通过在第一云计算节点创建第一数据处理缓存空间,以及在第二云计算节点创建第二数据处理缓存空间,并构建第一数据处理缓存空间和第二数据处理缓存空间之间的数据传输链路和数据传输信令,从而通过数据传输链路和数据传输信令,使得第一云计算节点与第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与客户端之间的访问数据处理结果;如此,可以提升访问数据处理的安全性。

Description

一种基于大数据和云计算的数据处理方法及云计算节点
技术领域
本申请涉及云计算技术领域,具体而言,涉及一种基于大数据和云计算的数据处理方法及云计算节点。
背景技术
随着互联网以及云计算技术的发展,服务提供商通过开发的服务平台,能够为用户提供诸如打车、购物、直播等服务,以方便人们的生活。
受限于单台设备性能的限制,服务提供商可以采用云计算技术,由多台设备分别作为云计算节点,从而构建服务网络,提供大量的算力。
然而,现有技术中不同的云计算节点之间的访问数据往往仅进行了简单的处理,安全性较差。
发明内容
本申请的目的在于提供一种基于大数据和云计算的数据处理方法及云计算节点,以解决上述的至少部分技术问题。
为了实现上述目的,本申请采用的技术方案如下:
第一方面,本申请提供一种基于大数据和云计算的数据处理方法,所述方法包括:获取针对访问数据的数据处理请求;其中,所述数据处理请求指示有需要与第一云计算节点进行访问数据交互的第二云计算节点;根据所述数据处理请求,在第一云计算节点创建第一数据处理缓存空间,并使得所述第二云计算节点在所述第二云计算节点的本地创建第二数据处理缓存空间;当所述第一数据处理缓存空间和所述第二数据处理缓存空间的空间配置信息满足预先配置的缓存控制策略时,构建所述第一数据处理缓存空间和所述第二数据处理缓存空间之间的数据传输链路和数据传输信令;通过所述数据传输链路和所述数据传输信令,与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
第二方面,本申请提供一种云计算节点,所述云计算节点包括存储器,用于存储一个或多个程序;处理器;当所述一个或多个程序被所述处理器执行时,实现上述的一种基于大数据和云计算的数据处理方法。
本申请提供的一种基于大数据和云计算的数据处理方法及云计算节点,针对获取到的数据处理请求,通过在第一云计算节点创建第一数据处理缓存空间,以及在第二云计算节点创建第二数据处理缓存空间,并构建第一数据处理缓存空间和第二数据处理缓存空间之间的数据传输链路和数据传输信令,从而通过数据传输链路和数据传输信令,使得第一云计算节点与第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与客户端之间的访问数据处理结果;由于该方案通过在第一云计算节点与第二云计算节点中分别创建数据处理缓存空间,并构建第一数据处理缓存空间和第二数据处理缓存空间之间的数据传输链路和数据传输信令,从而可以提升访问数据处理的安全性。
附图说明
图1为本申请提供的云计算节点的结构框图。
图2为本申请提供的一种基于大数据和云计算的数据处理方法的流程图。
图3为本申请提供的一种基于大数据和云计算的数据处理方法的另一种流程图。
图4为本申请提供的一种基于大数据和云计算的数据处理装置的流程图。
具体实施方式
可以理解的是,本申请提供的一种基于大数据和云计算的数据处理方法,可以应用在多种场景中,比如城市智能集群***、大规模新能源汽车管理***、大规模网络平台、云游戏***、网络直播服务器***、网络购物***、利用云计算技术的云办公***、利用云计算技术的金融数据管理***等等。
请参阅图1,图1为本申请提供的云计算节点100的结构框图,所述云计算节点100包括存储器101、处理器102和通信接口103,该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器101可用于存储软件程序及模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理,进而执行本申请提供的一种基于大数据和云计算的数据处理方法的步骤。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中,存储器101可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器102可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
请参阅图2,图2为本申请提供的一种基于大数据和云计算的数据处理方法的流程图,所述数据处理方法包括以下步骤:
S210,获取针对访问数据的数据处理请求;其中,所述数据处理请求指示有需要与第一云计算节点进行访问数据交互的第二云计算节点。
在本实施例中,以所述第一云计算节点作为执行主体为例,所述第一云计算节点可以接收第二云计算节点发送的数据处理请求,所述数据处理请求用于指示对所述第一云计算节点的访问数据进行处理。
S220,根据所述数据处理请求,在第一云计算节点创建第一数据处理缓存空间,并使得所述第二云计算节点在所述第二云计算节点的本地创建第二数据处理缓存空间。
在本实施例中,响应于所述数据处理请求,所述第一云计算节点和所述第二云计算节点可以分别在本地创建数据处理缓存空间,即第一云计算节点创建在本地创建的是第一数据处理缓存空间,所述第二云计算节点在本地创建的是第二数据处理缓存空间,所述第一数据处理缓存空间和所述第二数据处理缓存空间均是用于对数据进行处理。
S230,当所述第一数据处理缓存空间和所述第二数据处理缓存空间的空间配置信息满足预先配置的缓存控制策略时,构建所述第一数据处理缓存空间和所述第二数据处理缓存空间之间的数据传输链路和数据传输信令。
在本实施例中,当所述第一数据处理缓存空间和所述第二数据处理缓存空间创建完成,所述第一云计算节点和所述第二云计算节点可以分别对所述第一数据处理缓存空间和所述第二数据处理缓存空间进行校验,比如采用预先配置的策略进行安全性校验以及稳定性校验等,直至当所述第一数据处理缓存空间和所述第二数据处理缓存空间的空间配置信息满足预先配置的缓存控制策略时,构建所述第一数据处理缓存空间和所述第二数据处理缓存空间之间的数据传输链路和数据传输信令。
S240,通过所述数据传输链路和所述数据传输信令,与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
在本实施例中,所述第一云计算节点可以基于前述创建的数据传输链路和数据传输信令,与所述第二云计算节点进行访问数据交互,从而基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
因此,通过本申请提供的上述技术方案,针对获取到的数据处理请求,通过在第一云计算节点创建第一数据处理缓存空间,以及在第二云计算节点创建第二数据处理缓存空间,并构建第一数据处理缓存空间和第二数据处理缓存空间之间的数据传输链路和数据传输信令,从而通过数据传输链路和数据传输信令,使得第一云计算节点与第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与客户端之间的访问数据处理结果;由于该方案通过在第一云计算节点与第二云计算节点中分别创建数据处理缓存空间,并构建第一数据处理缓存空间和第二数据处理缓存空间之间的数据传输链路和数据传输信令,从而可以提升访问数据处理的安全性。
其中,在本实施例中,所述第一云计算节点在执行步骤S240以得到访问数据处理结果时,可以先通过所述数据传输链路,与所述第二云计算节点交换各自保存的访问数据的元数据信息;其中,所述元数据信息包括第一云计算节点的第一访问数据的数据包大小和所述第二云计算节点的第二访问数据的数据包大小;然后,将所述第二访问数据的数据包大小与所述第一访问数据的数据包大小进行对比,以确定所述第二云计算节点的数据管理模式;接下来,根据所述数据传输链路、第一数据处理缓存空间和数据传输信令,采用所述第二云计算节点的数据管理模式对应的访问数据处理策略与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果。如此,可以针对处于不同数据管理模式下的第二云计算节点进行针对性的处理,提高访问数据处理的可靠性。
其中,示例性地,所述第一云计算节点在将所述第二访问数据的数据包大小与所述第一访问数据的数据包大小进行对比,以确定所述第二云计算节点的数据管理模式时,可以先计算出所述第二访问数据的数据包大小与第一云计算节点的第一访问数据的数据包大小的数据包差异比;一方面,当所述数据包差异比未超过预设的差异比阈值时,确定所述第二云计算节点的数据管理模式为平行计算模式,比如,所述平行计算模式可以用于指示所述第二云计算节点与所述第一云计算节点采用相同的算力进行计算;另一方面,当所述数据包差异比超过所述预设的差异比阈值时,确定所述第二云计算节点的数据管理模式为差异计算模式。比如,所述差异计算模式可以用于指示所述第二云计算节点与所述第一云计算节点采用不同的算力进行计算。
另外,在本实施例中,所述第一云计算节点在根据所述数据传输链路、第一数据处理缓存空间和数据传输信令,采用所述第二云计算节点的数据管理模式对应的访问数据处理策略与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以先根据所述第二云计算节点的数据管理模式,在所述第二云计算节点中确定出用于与第一云计算节点进行访问数据交互的目标数据交互单元,并确定出所述目标数据交互单元的访问数据处理策略;然后,根据所述访问数据处理策略和所述数据传输信令,将所述第一访问数据与所述目标数据交互单元的第二访问数据通过所述数据传输链路和所述第一数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
其中,所述第一云计算节点在根据所述第二云计算节点的数据管理模式,在所述第二云计算节点中确定出用于与第一云计算节点进行访问数据交互的目标数据交互单元,并确定出所述目标数据交互单元的访问数据处理策略时,一方面,当所述第二云计算节点的数据管理模式为平行计算模式时,将所述平行计算模式下所述第二云计算节点所使用的数据交互单元作为与第一云计算节点进行访问数据交互的所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为平行访问数据交互;另一方面,当所述第二云计算节点的数据管理模式为差异计算模式时,在所述差异计算模式下所述第二云计算节点所使用的所有数据交互单元中确定出预设数量的数据交互单元作为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为差异访问数据交互;再一方面,当所述第二云计算节点的数据管理模式包括所述平行计算模式和所述差异计算模式时,在所述差异计算模式下所述第二云计算节点所使用的所有数据交互单元中确定出预设数量的数据交互单元,将所述预设数量的数据交互单元和全部的平行计算模式下所述第二云计算节点所使用的数据交互单元作为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为混合访问数据交互;其中,所述混合访问数据交互为与所述平行计算模式下进行平行访问数据交互,并在平行访问数据交互完成之后,在所述差异计算模式下进行差异访问数据交互。
另外,在本实施例中,所述第一云计算节点在根据所述访问数据处理策略和所述数据传输信令,将所述第一访问数据与所述目标数据交互单元的第二访问数据通过所述数据传输链路和所述第一数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,一方面,当所述访问数据处理策略为平行访问数据交互时,通过所述数据传输链路和所述数据传输信令,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结果;另一方面,当所述访问数据处理策略为差异访问数据交互时,接收所述差异计算模式下所述第二云计算节点发送的待计算访问数据,并根据所述待计算访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果;再一方面,当所述访问数据处理策略为混合访问数据交互时,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果。如此,针对不同模式下的第二云计算节点进行适应性处理,从而提高访问数据处理的灵活性。
可以理解的是,在一些场景中,所述数据传输信令包括交互校验信息、链路校验信息和数据加密校验信息;基于此,所述第一云计算节点在通过所述数据传输链路和所述数据传输信令,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以先根据所述平行计算模式下所述第一云计算节点本地所保存的元数据信息,确定出所述第一云计算节点在所述平行计算模式下进行访问数据交互的预设数据量大小以及用于存储访问数据的数据存储单元的存储单元数量;然后,在所述第一云计算节点的缓存空间中除所述第一数据处理缓存空间以外的缓存区域创建与所述存储单元数量对应的第一数据存储单元;接下来,对所述交互校验信息进行校验,得到交互校验结果;其中,所述交互校验结果在一次访问数据交互内保持激活状态;然后,采用所述交互校验结果对所述第一访问数据进行数据标记;接下来,将数据标记后的第一云计算节点访问数据进行数据分割,得到与所述存储单元数量相对应的子访问数据,并确定出每一子访问数据存储在第一数据存储单元的存储单元序号;然后,将每一个所述子访问数据分别保存至各自的所述存储单元序号所对应的第一数据存储单元;接下来,在所有的所述第一数据存储单元中确定出所述预设数据量大小对应的第一访问数据作为目标第一访问数据,并将所述目标第一访问数据保存至所述第一数据处理缓存空间;然后,在所述第一数据处理缓存空间中采用所述链路校验信息和所述数据加密校验信息对所述目标第一访问数据进行数据标记,并通过所述数据传输链路将数据标记后的目标第一访问数据发送至所述平行计算模式下的第二云计算节点;接下来,接收所述平行计算模式下的第二云计算节点发送的目标第二访问数据,并在所述第一数据处理缓存空间中,采用所述数据加密校验信息对所述目标第二访问数据进行解密校验;然后,当所述目标第二访问数据的解密校验通过时,采用所述链路校验信息对所述目标第二访问数据进行数据标记;接下来,计算出数据标记后的目标第二访问数据与未发送给所述平行计算模式下所述第二云计算节点的剩余第一访问数据之间的关联度,得到第一中间访问处理结果;然后,将所述第一中间访问处理结果发送至所述平行计算模式下的第二云计算节点,并接收所述平行计算模式下的第二云计算节点发送的第二中间访问处理结果;其中,所述第二中间访问处理结果用于指示所述平行计算模式的第二云计算节点计算出的未发送给第一云计算节点的剩余第二访问数据与所述目标第一访问数据之间的关联度;接下来,将所述第一中间访问处理结果和所述第二中间访问处理结果进行合并,得到第一云计算节点与所述第二云计算节点之间的访问数据处理结果。如此,能够综合的计算出第一云计算节点与第二云计算节点之间的访问数据处理结果,从而提高访问数据处理结果的可靠性。
另外,在一些实施例中,所述待计算访问数据包括第一待计算访问数据和第二待计算访问数据;所述数据传输信令包括数据加密校验信息、链路校验信息以及交互校验信息。基于此,所述第一云计算节点在接收所述差异计算模式下所述第二云计算节点发送的待计算访问数据,并根据所述待计算访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果的过程中,当所述第一访问数据的数据包大小大于所述差异计算模式下所述第二云计算节点的第二访问数据的数据包大小时,接收所述差异计算模式下所述第二云计算节点发送的所述第一待计算访问数据,并在所述第一数据处理缓存空间中采用所述数据加密校验信息对所述第一待计算访问数据的进行解密校验;其中,当所述第一待计算访问数据的解密校验通过时,在所述第一数据处理缓存空间采用所述链路校验信息对所述第一待计算访问数据进行数据标记;在所述第一数据处理缓存空间中计算数据标记后的第一待计算访问数据与所述第一访问数据之间的关联度,得到目标访问数据处理结果,将所述目标访问数据处理结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;其中,所述第一待计算访问数据为所述差异计算模式下所述第二云计算节点按照预设的过滤策略进行数据清洗后的第二访问数据;反之,当所述第一访问数据的数据包大小小于或等于所述差异计算模式的第二访问数据的数据包大小时,采用所述交互校验信息对所述第一访问数据进行数据标记,并将数据标记后的第一访问数据存储至数据存储单元;然后,将所述数据存储单元存储至所述第一数据处理缓存空间,并采用所述链路校验信息和数据加密校验信息对所述数据存储单元中的第一访问数据进行数据标记,得到数据标记后第一访问数据;接下来,将所述数据标记后第一访问数据发送至所述差异计算模式下的第二云计算节点,使得所述差异计算模式的第二云计算节点将所述数据标记后第一访问数据与自身保存的第二访问数据的进行合并,得到所述第二待计算访问数据;然后,接收所述差异计算模式下的第二云计算节点发送的所述第二待计算访问数据,并将所述第二待计算访问数据作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
另外,在一些实施例中,所述第一云计算节点在将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以先在所述第一访问数据中确定出用于访问数据交互的第一目标待计算访问数据,并采用所述数据传输信令对所述第一目标待计算访问数据进行数据标记;然后,将数据标记后的所述第一目标待计算访问数据通过所述数据传输链路发送至所述平行计算模式下的第二云计算节点,并接收所述平行计算模式下的第二云计算节点发送的第二目标待计算访问数据;接下来,在所述第一数据处理缓存空间中计算出所述第二目标待计算访问数据与所述第一访问数据中除开所述第一目标待计算访问数据之外的其他访问数据的关联度,以得到所述第一访问数据与所述平行计算模式下的第二云计算节点所发送的第二访问数据之间的中间访问处理结果;然后,当所述中间访问处理结果中的访问数据的数据包大小大于所述差异计算模式的第二访问数据的数据包大小时,接收所述差异计算模式下的第二云计算节点发送的当前第二访问数据,并计算出所述中间访问处理结果与所述当前第二访问数据之间的关联度,得到当前访问数据处理结果,然后将所述当前访问数据处理结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;接下来,当所述中间访问处理结果中的访问数据的数据包大小小于或大于所述差异计算模式下的第二云计算节点的第二访问数据的数据包大小时,根据所述数据传输信令,将所述中间访问处理结果进行标记后发送至所述差异计算模式下的第二云计算节点,并接收所述差异计算模式下的第二云计算节点针对所述中间访问处理结果计算关联度后发送的访问数据关联结果,并将所述访问数据关联结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果。如此,按照本申请提供的上述方案,能够提高访问数据处理结果的可靠性。
另外,基于本申请提供的上述方案得到的访问数据处理结果,所述第一云计算节点还可以将所述访问数据处理结果进行保存。
因此,作为一种实施方式,结合图3所示,上述的数据处理方法还可以包括以下步骤:
S310,将所述访问数据处理结果进行封装,得到待进行入库保存的目标数据包。
S320,对所述目标数据包中的多个数据区块分别进行业务数据提取和协议数据提取,得到业务数据序列和协议数据序列。
在本实施例中,所述目标数据库中的所有数据可以按照接收的时间顺序划分为多个数据区块,每一个数据区块均可以包括有业务数据和协议数据。比如,所述业务数据可以是监控相机拍摄的监控视频码流,或者智能货架产生的货物销售数据;所述协议数据可以是心跳报文或者是ARP(Address Resolution Protocol,地址解析协议)报文等。
在本实施例中,在执行步骤S320得到的业务数据序列和协议数据序列中,业务数据序列中包括有对应的数据区块中所有的业务数据,协议数据序列中包括有对应的数据区块中所有的协议数据。
S330,通过对所述业务数据序列进行第一关键信息提取,得到包括有业务数据的第一关键信息数据集。
S340,通过第二关键信息提取策略,对所述协议数据序列进行第二关键信息提取,得到包括有协议数据的第二关键信息数据集。
在本实施例中,针对提取到的所述业务数据序列以及所述协议数据序列,通过预先为业务数据配置的第一关键信息提取策略,以及预先为协议数据配置的第二关键信息提取策略,分别对业务数据序列和协议数据序列进行关键信息提取,从而分别得到包括第一关键信息数据集和第二关键信息数据集。可以理解的是,基于上述步骤S330得到的第一关键信息数据集为包括有业务数据的数据集,而基于上述步骤S340得到的第二关键信息数据集则为包括有协议数据的数据集。
S350,基于所述第一关键信息数据集和所述第二关键信息数据集进行目标信息匹配,得到所述目标数据包中与目标提取内容相对应的目标提取数据集。
在本实施例中,所述目标提取内容可以为用户输入的提取内容,即:该目标提取内容表征的是用户需要提取的内容;其中,所述目标提取内容包括业务数据和协议数据中的至少之一,也即:用户可以提取一部分业务数据,也可以提取一部分协议数据,还可以提取一部分业务数据和一部分协议数据。如此,在获得所述第一关键信息数据集合所述第二关键信息数据集后,通过基于所述目标提取内容对所述第一关键信息数据集合所述第二关键信息数据集进行目标信息匹配,从而得到所述目标数据包中与所述目标提取内容对应的目标提取数据集,进而可以基于所述目标提取数据集对所述目标数据包进行入库保存,比如可以将所述目标提取数据集对应的哈希值作为压缩秘钥对所述目标数据包进行压缩加密,从而将压缩加密后的所述目标数据包进行入库保存。
因此,采用本申请提供的上述技术方案,通过对待进行入库保存的目标数据包的多个数据区块分别进行业务数据提取和协议数据提取,得到业务数据序列和协议数据序列,即对目标数据包中的数据区块进行了分类,分为业务数据类和协议数据类;然后分别通过第一关键信息提取策略和第二关键信息提取策略对业务数据序列和协议数据序列进行关键信息提取,得到包含有业务数据的第一关键信息数据集和包含协议数据的第二关键信息数据集;接着基于第一关键信息数据集和第二关键信息数据集进行目标信息匹配,得到与目标提取内容相对应的目标提取数据集,从而基于目标提取数据集对目标数据包进行入库保存;相比于现有技术,能够提高数据包保存的安全性。
其中,作为一种实施方式,在执行步骤S320提取业务数据序列和协议数据序列时,为了提高业务数据与协议数据的准确性,可以采用以下方案:首先,对所述目标数据包中的多个数据区块分别进行业务数据提取,得到各个数据区块中的业务数据提取窗口、以及各业务数据提取窗口所对应的初始业务数据,比如,在本实施例中,每一个所述业务数据提取窗口可以是一种业务数据对应的提取窗口,比如视频数据、音频数据等等;然后,基于各数据区块中的业务数据提取窗口和相应的初始业务数据,确定业务数据序列;接下来,对所述目标数据包中的多个数据区块分别进行协议数据识别,得到各数据区块分别对应的协议数据内容;接着,对所述目标数据包中的多个数据区块分别进行协议类型识别,得到各数据区块各自所遵循的目标协议类型;然后,将存在对应关系的协议数据内容和目标协议类型进行关联;接下来,基于所述目标数据包中与预设的目标协议数据内容相关联的目标协议类型的数据包进行协议数据提取,得到协议数据序列。
另外,作为一种实施方式,在执行步骤330以提取第一关键信息数据集时,可以先针对对应于所述业务数据序列中的每个数据区块,当数据区块的初始业务数据的数量为至少两个时,获取每个初始业务数据的业务标记值;其中,所述业务标记值用于指示对应的业务数据在预设时间区间内被统计的次数;一方面,当业务标记值最高的初始业务数据为一个时,将所述业务标记值最高的初始业务数据作为相应数据区块的目标业务数据;另一方面,当所述业务标记值最高的初始业务数据为至少两个时,针对每个业务标记值最高的初始业务数据,获取对应的业务数据提取窗口的业务类型优先级;接下来,根据对应的优先级最高的业务类型优先级所对应的初始业务数据,确定出相应数据区块所对应的目标业务数据;然后,对于每个数据区块,获取各数据区块中与相应目标业务数据对应的业务数据提取窗口的目标窗口比值;其中,所述目标窗口比值用于指示对应的业务数据提取窗口的长度占所有的业务数据提取窗口的长度的比值;接下来,当所述目标窗口比值在预设的窗口比值区间内时,保留相对应的业务数据提取结果;其中,保留的所述业务数据提取结果包括业务数据提取窗口、以及所述业务数据提取窗口对应的目标业务数据;然后,当所述目标窗口比值不在所述预设的窗口比值区间内时,将相应的数据区块的业务数据提取结果设置为空业务数据集;接下来,基于各数据区块各自对应的业务数据提取结果,得到更新后的业务数据序列;然后,对所述更新后的业务数据序列进行时间戳标签识别,得到多组的业务起始数据和业务结束数据;接下来,确定每组业务起始数据和业务结束数据之间的业务数据持续时长;然后,当所述业务数据持续时长大于或等于第一设定时长阈值时,将相应组的业务起始数据和业务结束数据所构成的关键信息数据集作为第一备选关键信息数据集;接下来,对于每个第一备选关键信息数据集,根据所述第一备选关键信息数据集中各数据区块分别对应的更新后的目标业务数据,确定出现统计次数最多的特征业务类别;然后,将所述特征业务类别,作为相对应第一备选关键信息数据集所包括的业务数据所属的业务类别;然后,确定各所述第一备选关键信息数据集各自所属的业务类别;接下来,当按时间顺序相邻的至少两个的第一备选关键信息数据集均属于相同的业务类别时,将所述至少两个的第一备选关键信息数据集进行合并,得到与所述相同的业务类别对应的第一关键信息数据集。如此,采用本申请提供的上述方案,能够准确的提取第一关键信息数据集,避免脏数据的污染。
其中,在一些场景,所述业务数据序列中的业务数据提取结果包括空业务数据集和非空业务数据集;也即:一些业务数据序列的提取结果为没有业务数据的空集合。
基于此,在对所述更新后的业务数据序列进行时间戳标签识别,得到多组的业务起始数据和业务结束数据时,可以先将所述更新后的业务数据序列中,处于当前识别循环中的第一个非空业务数据集所对应的数据区块作为当前组的业务起始数据;然后,遍历所述当前组的业务起始数据之后的数据区块;其中,当遍历至的当前数据区块对应的业务数据提取结果为空业务数据集、且从所述当前数据区块开始的第二设定时长阈值内数据区块所对应的业务数据提取结果均为空业务数据集时,将所述当前数据区块作为所述当前组的业务结束数据;然后,将所述当前组的业务结束数据之后的第一个非空业务数据集所对应的数据区块,作为下一次识别循环的当前组的业务起始数据,并返回所述遍历所述当前组的业务起始数据之后的数据区块的步骤继续执行,直至得到多组的业务起始数据和业务结束数据。
另外,为了提高数据处理的完整性,避免数据遗漏,当遍历至的当前数据区块对应的业务数据提取结果为空业务数据集、且从所述当前数据区块开始的第二设定时长阈值内数据区块所对应的业务数据提取结果均为空业务数据集时,将所述当前数据区块作为所述当前组的业务结束数据之前,当由遍历至的当前数据区块与所述当前组的业务起始数据所确定的关键信息数据集时长小于第三设定时长阈值时,还可以先确定所述当前数据区块对应的业务数据提取结果是否为空业务数据集;其中,在所述当前数据区块对应的业务数据提取结果为非空业务数据集时,将所述当前数据区块作为所述当前组所对应的关键信息数据集中的其中之一;然后,在所述当前数据区块对应空业务数据集、且从所述当前数据区块开始的第二设定时长阈值内的业务数据提取结果中包括非空业务数据集时,将从所述当前数据区块开始的所述第二设定时长阈值内的第一个非空业务数据集所对应的数据区块,作为遍历的下一个当前数据区块,并返回所述当由遍历至的当前数据区块与所述当前组的业务起始数据所确定的关键信息数据集时长小于第三设定时长阈值时,确定所述当前数据区块对应的业务数据提取结果是否为空业务数据集的步骤继续执行。
可选地,在本实施例中,在将所述更新后的业务数据序列中,处于当前识别循环中的第一个非空业务数据集所对应的数据区块作为当前组的业务起始数据时,可以先获取所述更新后的业务数据序列中,处于当前识别循环中的第一个非空业务数据集所对应的目标数据包;然后,当所述目标数据包的后一个数据包所对应的业务数据提取结果为空业务数据集时,将所述目标数据包对应的业务数据提取结果置为空业务数据集;或者,当所述目标数据包的后一个数据包所对应的业务数据提取结果为非空业务数据集时,将所述目标数据包作为当前组的业务起始数据。
另外,在本实施例中,作为一种实施方式,在通过第二关键信息提取策略,对所述协议数据序列进行第二关键信息提取,得到包括有协议数据的第二关键信息数据集时,可以先对所述协议数据序列中的各个协议数据进行时间戳标签识别,得到多个包括有协议数据的第二备选关键信息数据集;然后根据各所述第二备选关键信息数据集所对应的协议类型,对属于相同协议类型的第二备选关键信息数据集进行合并,得到包括有协议数据的第二关键信息数据集。可以理解的是,如繁多种类的业务数据不同,协议数据一般是遵循严格的协议标准,因此可以采用较为简洁的提取方式。
另外,在本实施例中,作为一种实施方式,在基于所述第一关键信息数据集和所述第二关键信息数据集进行目标信息匹配,得到所述目标数据包中与目标提取内容相对应的目标提取数据集时,可以先获取维护设备发送的目标提取内容中的核心关键信息,可以理解的是,所述维护设备为管理人员所使用的设备;然后,对所述核心关键信息进行关键词筛选,得到筛选后的核心关键信息,并将所述筛选后的核心关键信息添加至对应的信息处理节点;接下来,基于所述筛选后的核心关键信息和所述信息处理节点,对所述第一关键信息数据集和所述第二关键信息数据集进行关键信息匹配,得到至少一个初始匹配关键信息;然后,确定出所有初始匹配关键信息中符合预设信息筛选策略的至少一个目标匹配关键信息,并将所有的目标匹配关键信息构建成目标提取数据集。
可选地,作为一种实施方式,所述核心关键信息包括多个核心关键词;基于此,在对所述核心关键信息进行关键词筛选,得到筛选后的核心关键信息时,可以先获取所述核心关键信息中各个核心关键词的历史统计次数、阈值统计次数;然后,将历史统计次数与阈值统计次数的差值超过设定的次数阈值的核心关键词删除,将剩余的核心关键词作为筛选后的核心关键信息。
另外,在本实施例中,作为一种实施方式,在基于所述筛选后的核心关键信息和所述信息处理节点,对所述第一关键信息数据集和所述第二关键信息数据集进行关键信息匹配,得到至少一个初始匹配关键信息时,可以先利用所述信息处理节点分别计算出每一个所述筛选后的核心关键信息各自与所述第一关键信息数据集的第一关键信息关联度和所述信息处理节点的第二关键信息关联度;然后,针对每一个所述筛选后的核心关键信息,当对应的第一关键信息关联度和对应的第二关键信息关联度中的任一个关键信息关联度大于预设的关联度阈值时,将对应的核心关键信息确定为初始匹配关键信息;接下来,针对每一个所述筛选后的核心关键信息,当对应的第一关键信息关联度和对应的第二关键信息关联度均小于或等于预设的关联度阈值时,则将对应的核心关键信息确定为初始匹配关键信息;然后,针对每一个所述筛选后的核心关键信息,当对应的第一关键信息关联度和对应的第二关键信息关联度中的其中之一大于预设的关联度阈值,且另一个小于或等于预设的关联度阈值,则将对应的核心关键信息丢弃。如此,按照本申请提供的上述方案,可以提高关键信息的获取准确度。
并且,作为一种实施方式,在确定出所有初始匹配关键信息中符合预设信息筛选策略的至少一个目标匹配关键信息时,可以先基于预先配置的至少一个特征值计算策略计算出每个初始匹配关键信息的各个特征匹配值,并基于各个特征匹配值计算出每个初始匹配关键信息的初始评价得分;然后,基于每个初始匹配关键信息各自所属的关键信息类型,确定出每个初始匹配关键信息各自对应的评价得分阈值;接下来,可以先判断每个初始匹配关键信息的初始评价得分是否大于各自对应的评价得分阈值;然后,将对应的初始评价得分大于各自对应的评价得分阈值的至少一个初始匹配关键信息确定为目标匹配关键信息。
另外,请参阅图4,图4为本申请提供的一种基于大数据和云计算的数据处理装置400的结构框图,所述数据处理装置400包括获取模块410及处理模块420。
获取模块410,用于获取针对访问数据的数据处理请求;其中,所述数据处理请求指示有需要与第一云计算节点进行访问数据交互的第二云计算节点;
处理模块420,用于根据所述数据处理请求,在第一云计算节点创建第一数据处理缓存空间,并使得所述第二云计算节点在所述第二云计算节点的本地创建第二数据处理缓存空间;
所述处理模块420还用于,当所述第一数据处理缓存空间和所述第二数据处理缓存空间的空间配置信息满足预先配置的缓存控制策略时,构建所述第一数据处理缓存空间和所述第二数据处理缓存空间之间的数据传输链路和数据传输信令;
所述处理模块420还用于,通过所述数据传输链路和所述数据传输信令,与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述处理模块420在通过所述数据传输链路和所述数据传输信令,与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于:
通过所述数据传输链路,与所述第二云计算节点交换各自保存的访问数据的元数据信息;其中,所述元数据信息包括第一云计算节点的第一访问数据的数据包大小和所述第二云计算节点的第二访问数据的数据包大小;
将所述第二访问数据的数据包大小与所述第一访问数据的数据包大小进行对比,以确定所述第二云计算节点的数据管理模式;
根据所述数据传输链路、第一数据处理缓存空间和数据传输信令,采用所述第二云计算节点的数据管理模式对应的访问数据处理策略与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述处理模块420在将所述第二访问数据的数据包大小与所述第一访问数据的数据包大小进行对比,以确定所述第二云计算节点的数据管理模式时,可以用于:
计算出所述第二访问数据的数据包大小与第一云计算节点的第一访问数据的数据包大小的数据包差异比;
当所述数据包差异比未超过预设的差异比阈值时,确定所述第二云计算节点的数据管理模式为平行计算模式;
当所述数据包差异比超过所述预设的差异比阈值时,确定所述第二云计算节点的数据管理模式为差异计算模式。
可选地,所述处理模块420在根据所述数据传输链路、第一数据处理缓存空间和数据传输信令,采用所述第二云计算节点的数据管理模式对应的访问数据处理策略与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于:
根据所述第二云计算节点的数据管理模式,在所述第二云计算节点中确定出用于与第一云计算节点进行访问数据交互的目标数据交互单元,并确定出所述目标数据交互单元的访问数据处理策略;
根据所述访问数据处理策略和所述数据传输信令,将所述第一访问数据与所述目标数据交互单元的第二访问数据通过所述数据传输链路和所述第一数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
其中,所述处理模块420在根据所述第二云计算节点的数据管理模式,在所述第二云计算节点中确定出用于与第一云计算节点进行访问数据交互的目标数据交互单元,并确定出所述目标数据交互单元的访问数据处理策略时,可以用于
当所述第二云计算节点的数据管理模式为平行计算模式时,将所述平行计算模式下所述第二云计算节点所使用的数据交互单元作为与第一云计算节点进行访问数据交互的所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为平行访问数据交互;
当所述第二云计算节点的数据管理模式为差异计算模式时,在所述差异计算模式下所述第二云计算节点所使用的所有数据交互单元中确定出预设数量的数据交互单元作为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为差异访问数据交互;
当所述第二云计算节点的数据管理模式包括所述平行计算模式和所述差异计算模式时,在所述差异计算模式下所述第二云计算节点所使用的所有数据交互单元中确定出预设数量的数据交互单元,将所述预设数量的数据交互单元和全部的平行计算模式下所述第二云计算节点所使用的数据交互单元作为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为混合访问数据交互;其中,所述混合访问数据交互为与所述平行计算模式下进行平行访问数据交互,并在平行访问数据交互完成之后,在所述差异计算模式下进行差异访问数据交互;
所述处理模块420在根据所述访问数据处理策略和所述数据传输信令,将所述第一访问数据与所述目标数据交互单元的第二访问数据通过所述数据传输链路和所述第一数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于:
当所述访问数据处理策略为平行访问数据交互时,通过所述数据传输链路和所述数据传输信令,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述访问数据处理策略为差异访问数据交互时,接收所述差异计算模式下所述第二云计算节点发送的待计算访问数据,并根据所述待计算访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述访问数据处理策略为混合访问数据交互时,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述数据传输信令包括交互校验信息、链路校验信息和数据加密校验信息;所述处理模块420在通过所述数据传输链路和所述数据传输信令,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,具体用于:
根据所述平行计算模式下所述第一云计算节点本地所保存的元数据信息,确定出所述第一云计算节点在所述平行计算模式下进行访问数据交互的预设数据量大小以及用于存储访问数据的数据存储单元的存储单元数量;
在所述第一云计算节点的缓存空间中除所述第一数据处理缓存空间以外的缓存区域创建与所述存储单元数量对应的第一数据存储单元;
对所述交互校验信息进行校验,得到交互校验结果;其中,所述交互校验结果在一次访问数据交互内保持激活状态;
采用所述交互校验结果对所述第一访问数据进行数据标记;
将数据标记后的第一云计算节点访问数据进行数据分割,得到与所述存储单元数量相对应的子访问数据,并确定出每一子访问数据存储在第一数据存储单元的存储单元序号;
将每一个所述子访问数据分别保存至各自的所述存储单元序号所对应的第一数据存储单元;
在所有的所述第一数据存储单元中确定出所述预设数据量大小对应的第一访问数据作为目标第一访问数据,并将所述目标第一访问数据保存至所述第一数据处理缓存空间;
在所述第一数据处理缓存空间中采用所述链路校验信息和所述数据加密校验信息对所述目标第一访问数据进行数据标记,并通过所述数据传输链路将数据标记后的目标第一访问数据发送至所述平行计算模式下的第二云计算节点;
接收所述平行计算模式下的第二云计算节点发送的目标第二访问数据,并在所述第一数据处理缓存空间中,采用所述数据加密校验信息对所述目标第二访问数据进行解密校验;
当所述目标第二访问数据的解密校验通过时,采用所述链路校验信息对所述目标第二访问数据进行数据标记;
计算出数据标记后的目标第二访问数据与未发送给所述平行计算模式下所述第二云计算节点的剩余第一访问数据之间的关联度,得到第一中间访问处理结果;
将所述第一中间访问处理结果发送至所述平行计算模式下的第二云计算节点,并接收所述平行计算模式下的第二云计算节点发送的第二中间访问处理结果;其中,所述第二中间访问处理结果用于指示所述平行计算模式的第二云计算节点计算出的未发送给第一云计算节点的剩余第二访问数据与所述目标第一访问数据之间的关联度;
将所述第一中间访问处理结果和所述第二中间访问处理结果进行合并,得到第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述待计算访问数据包括第一待计算访问数据和第二待计算访问数据;所述数据传输信令包括数据加密校验信息、链路校验信息以及交互校验信息;
所述处理模块420在接收所述差异计算模式下所述第二云计算节点发送的待计算访问数据,并根据所述待计算访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于
当所述第一访问数据的数据包大小大于所述差异计算模式下所述第二云计算节点的第二访问数据的数据包大小时,接收所述差异计算模式下所述第二云计算节点发送的所述第一待计算访问数据,并在所述第一数据处理缓存空间中采用所述数据加密校验信息对所述第一待计算访问数据的进行解密校验;
当所述第一待计算访问数据的解密校验通过时,在所述第一数据处理缓存空间采用所述链路校验信息对所述第一待计算访问数据进行数据标记;
在所述第一数据处理缓存空间中计算数据标记后的第一待计算访问数据与所述第一访问数据之间的关联度,得到目标访问数据处理结果,将所述目标访问数据处理结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;其中,所述第一待计算访问数据为所述差异计算模式下所述第二云计算节点按照预设的过滤策略进行数据清洗后的第二访问数据;
当所述第一访问数据的数据包大小小于或等于所述差异计算模式的第二访问数据的数据包大小时,采用所述交互校验信息对所述第一访问数据进行数据标记,并将数据标记后的第一访问数据存储至数据存储单元;
将所述数据存储单元存储至所述第一数据处理缓存空间,并采用所述链路校验信息和数据加密校验信息对所述数据存储单元中的第一访问数据进行数据标记,得到数据标记后第一访问数据;
将所述数据标记后第一访问数据发送至所述差异计算模式下的第二云计算节点,使得所述差异计算模式的第二云计算节点将所述数据标记后第一访问数据与自身保存的第二访问数据的进行合并,得到所述第二待计算访问数据;
接收所述差异计算模式下的第二云计算节点发送的所述第二待计算访问数据,并将所述第二待计算访问数据作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述处理模块420在将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于:
在所述第一访问数据中确定出用于访问数据交互的第一目标待计算访问数据,并采用所述数据传输信令对所述第一目标待计算访问数据进行数据标记;
将数据标记后的所述第一目标待计算访问数据通过所述数据传输链路发送至所述平行计算模式下的第二云计算节点,并接收所述平行计算模式下的第二云计算节点发送的第二目标待计算访问数据;
在所述第一数据处理缓存空间中计算出所述第二目标待计算访问数据与所述第一访问数据中除开所述第一目标待计算访问数据之外的其他访问数据的关联度,以得到所述第一访问数据与所述平行计算模式下的第二云计算节点所发送的第二访问数据之间的中间访问处理结果;
当所述中间访问处理结果中的访问数据的数据包大小大于所述差异计算模式的第二访问数据的数据包大小时,接收所述差异计算模式下的第二云计算节点发送的当前第二访问数据,并计算出所述中间访问处理结果与所述当前第二访问数据之间的关联度,得到当前访问数据处理结果,然后将所述当前访问数据处理结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述中间访问处理结果中的访问数据的数据包大小小于或大于所述差异计算模式下的第二云计算节点的第二访问数据的数据包大小时,根据所述数据传输信令,将所述中间访问处理结果进行标记后发送至所述差异计算模式下的第二云计算节点,并接收所述差异计算模式下的第二云计算节点针对所述中间访问处理结果计算关联度后发送的访问数据关联结果,并将所述访问数据关联结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述处理模块420还用于:将所述访问数据处理结果进行封装,得到待进行入库保存的目标数据包;
对所述目标数据包中的多个数据区块分别进行业务数据提取和协议数据提取,得到业务数据序列和协议数据序列;
通过第一关键信息提取策略,对所述业务数据序列进行第一关键信息提取,得到包括有业务数据的第一关键信息数据集;
通过第二关键信息提取策略,对所述协议数据序列进行第二关键信息提取,得到包括有协议数据的第二关键信息数据集;
基于所述第一关键信息数据集和所述第二关键信息数据集进行目标信息匹配,得到所述目标数据包中与目标提取内容相对应的目标提取数据集;其中,所述目标提取内容包括业务数据和协议数据中的至少之一,所述目标提取数据集用于对所述目标数据包进行入库保存。
可选地,所述处理模块420在对所述目标数据包中的多个数据区块分别进行业务数据提取和协议数据提取,得到业务数据序列和协议数据序列时,可以用于
对所述目标数据包中的多个数据区块分别进行业务数据提取,得到各个数据区块中的业务数据提取窗口、以及各业务数据提取窗口所对应的初始业务数据;
基于各数据区块中的业务数据提取窗口和相应的初始业务数据,确定业务数据序列;
对所述目标数据包中的多个数据区块分别进行协议数据识别,得到各数据区块分别对应的协议数据内容;
对所述目标数据包中的多个数据区块分别进行协议类型识别,得到各数据区块各自所遵循的目标协议类型;
将存在对应关系的协议数据内容和目标协议类型进行关联;
基于所述目标数据包中与预设的目标协议数据内容相关联的目标协议类型的数据包进行协议数据提取,得到协议数据序列。
可选地,所述处理模块420在通过第一关键信息提取策略,对所述业务数据序列进行第一关键信息提取,得到包括有业务数据的第一关键信息数据集时,可以用于
针对对应于所述业务数据序列中的每个数据区块,当数据区块的初始业务数据的数量为至少两个时,获取每个初始业务数据的业务标记值;其中,所述业务标记值用于指示对应的业务数据在预设时间区间内被统计的次数;
当业务标记值最高的初始业务数据为一个时,将所述业务标记值最高的初始业务数据作为相应数据区块的目标业务数据;
当所述业务标记值最高的初始业务数据为至少两个时,针对每个业务标记值最高的初始业务数据,获取对应的业务数据提取窗口的业务类型优先级;
根据对应的优先级最高的业务类型优先级所对应的初始业务数据,确定出相应数据区块所对应的目标业务数据;
对于每个数据区块,获取各数据区块中与相应目标业务数据对应的业务数据提取窗口的目标窗口比值;其中,所述目标窗口比值用于指示对应的业务数据提取窗口的长度占所有的业务数据提取窗口的长度的比值;
当所述目标窗口比值在预设的窗口比值区间内时,保留相对应的业务数据提取结果;其中,保留的所述业务数据提取结果包括业务数据提取窗口、以及所述业务数据提取窗口对应的目标业务数据;
当所述目标窗口比值不在所述预设的窗口比值区间内时,将相应的数据区块的业务数据提取结果设置为空业务数据集;
基于各数据区块各自对应的业务数据提取结果,得到更新后的业务数据序列;
对所述更新后的业务数据序列进行时间戳标签识别,得到多组的业务起始数据和业务结束数据;
确定每组业务起始数据和业务结束数据之间的业务数据持续时长;
当所述业务数据持续时长大于或等于第一设定时长阈值时,将相应组的业务起始数据和业务结束数据所构成的关键信息数据集作为第一备选关键信息数据集;
对于每个第一备选关键信息数据集,根据所述第一备选关键信息数据集中各数据区块分别对应的更新后的目标业务数据,确定出现统计次数最多的特征业务类别;
将所述特征业务类别,作为相对应第一备选关键信息数据集所包括的业务数据所属的业务类别;
确定各所述第一备选关键信息数据集各自所属的业务类别;
当按时间顺序相邻的至少两个的第一备选关键信息数据集均属于相同的业务类别时,将所述至少两个的第一备选关键信息数据集进行合并,得到与所述相同的业务类别对应的第一关键信息数据集。
可选地,所述业务数据序列中的业务数据提取结果包括空业务数据集和非空业务数据集;
所述处理模块420在对所述更新后的业务数据序列进行时间戳标签识别,得到多组的业务起始数据和业务结束数据时,可以用于:
将所述更新后的业务数据序列中,处于当前识别循环中的第一个非空业务数据集所对应的数据区块作为当前组的业务起始数据;
遍历所述当前组的业务起始数据之后的数据区块;
当遍历至的当前数据区块对应的业务数据提取结果为空业务数据集、且从所述当前数据区块开始的第二设定时长阈值内数据区块所对应的业务数据提取结果均为空业务数据集时,将所述当前数据区块作为所述当前组的业务结束数据;
将所述当前组的业务结束数据之后的第一个非空业务数据集所对应的数据区块,作为下一次识别循环的当前组的业务起始数据,并返回所述遍历所述当前组的业务起始数据之后的数据区块的步骤继续执行,直至得到多组的业务起始数据和业务结束数据。
可选地,当遍历至的当前数据区块对应的业务数据提取结果为空业务数据集、且从所述当前数据区块开始的第二设定时长阈值内数据区块所对应的业务数据提取结果均为空业务数据集时,将所述当前数据区块作为所述当前组的业务结束数据之前,所述处理模块420还用于:
当由遍历至的当前数据区块与所述当前组的业务起始数据所确定的关键信息数据集时长小于第三设定时长阈值时,确定所述当前数据区块对应的业务数据提取结果是否为空业务数据集;
在所述当前数据区块对应的业务数据提取结果为非空业务数据集时,将所述当前数据区块作为所述当前组所对应的关键信息数据集中的其中之一;
在所述当前数据区块对应空业务数据集、且从所述当前数据区块开始的第二设定时长阈值内的业务数据提取结果中包括非空业务数据集时,将从所述当前数据区块开始的所述第二设定时长阈值内的第一个非空业务数据集所对应的数据区块,作为遍历的下一个当前数据区块,并返回所述当由遍历至的当前数据区块与所述当前组的业务起始数据所确定的关键信息数据集时长小于第三设定时长阈值时,确定所述当前数据区块对应的业务数据提取结果是否为空业务数据集的步骤继续执行。
可选地,所述处理模块420在将所述更新后的业务数据序列中,处于当前识别循环中的第一个非空业务数据集所对应的数据区块作为当前组的业务起始数据时,可以用于
获取所述更新后的业务数据序列中,处于当前识别循环中的第一个非空业务数据集所对应的目标数据包;
当所述目标数据包的后一个数据包所对应的业务数据提取结果为空业务数据集时,将所述目标数据包对应的业务数据提取结果置为空业务数据集;
当所述目标数据包的后一个数据包所对应的业务数据提取结果为非空业务数据集时,将所述目标数据包作为当前组的业务起始数据。
可选地,所述处理模块420在通过第二关键信息提取策略,对所述协议数据序列进行第二关键信息提取,得到包括有协议数据的第二关键信息数据集时,可以用于:
对所述协议数据序列中的各个协议数据进行时间戳标签识别,得到多个包括有协议数据的第二备选关键信息数据集;
根据各所述第二备选关键信息数据集所对应的协议类型,对属于相同协议类型的第二备选关键信息数据集进行合并,得到包括有协议数据的第二关键信息数据集。
可选地,所述处理模块420在基于所述第一关键信息数据集和所述第二关键信息数据集进行目标信息匹配,得到所述目标数据包中与目标提取内容相对应的目标提取数据集时,可以用于:
获取维护设备发送的目标提取内容中的核心关键信息;
对所述核心关键信息进行关键词筛选,得到筛选后的核心关键信息,并将所述筛选后的核心关键信息添加至对应的信息处理节点;
基于所述筛选后的核心关键信息和所述信息处理节点,对所述第一关键信息数据集和所述第二关键信息数据集进行关键信息匹配,得到至少一个初始匹配关键信息;
确定出所有初始匹配关键信息中符合预设信息筛选策略的至少一个目标匹配关键信息,并将所有的目标匹配关键信息构建成目标提取数据集。
可选地,所述核心关键信息包括多个核心关键词;
所述处理模块420在对所述核心关键信息进行关键词筛选,得到筛选后的核心关键信息时,可以用于:
获取所述核心关键信息中各个核心关键词的历史统计次数、阈值统计次数;
将历史统计次数与阈值统计次数的差值超过设定的次数阈值的核心关键词删除,将剩余的核心关键词作为筛选后的核心关键信息。
可选地,所述处理模块420在基于所述筛选后的核心关键信息和所述信息处理节点,对所述第一关键信息数据集和所述第二关键信息数据集进行关键信息匹配,得到至少一个初始匹配关键信息时,可以用于:
利用所述信息处理节点分别计算出每一个所述筛选后的核心关键信息各自与所述第一关键信息数据集的第一关键信息关联度和所述信息处理节点的第二关键信息关联度;
针对每一个所述筛选后的核心关键信息,当对应的第一关键信息关联度和对应的第二关键信息关联度中的任一个关键信息关联度大于预设的关联度阈值时,将对应的核心关键信息确定为初始匹配关键信息;
针对每一个所述筛选后的核心关键信息,当对应的第一关键信息关联度和对应的第二关键信息关联度均小于或等于预设的关联度阈值时,则将对应的核心关键信息确定为初始匹配关键信息;
针对每一个所述筛选后的核心关键信息,当对应的第一关键信息关联度和对应的第二关键信息关联度中的其中之一大于预设的关联度阈值,且另一个小于或等于预设的关联度阈值,则将对应的核心关键信息丢弃。
可选地,所述处理模块420在确定出所有初始匹配关键信息中符合预设信息筛选策略的至少一个目标匹配关键信息时,可以用于:
基于预先配置的至少一个特征值计算策略计算出每个初始匹配关键信息的各个特征匹配值,并基于各个特征匹配值计算出每个初始匹配关键信息的初始评价得分;
基于每个初始匹配关键信息各自所属的关键信息类型,确定出每个初始匹配关键信息各自对应的评价得分阈值;
判断每个初始匹配关键信息的初始评价得分是否大于各自对应的评价得分阈值;
将对应的初始评价得分大于各自对应的评价得分阈值的至少一个初始匹配关键信息确定为目标匹配关键信息。
并且,本申请还提供一种基于大数据和云计算的数据处理***,所述数据处理***包括获取节点及计算节点。
获取节点,用于获取针对访问数据的数据处理请求;其中,所述数据处理请求指示有需要与第一云计算节点进行访问数据交互的第二云计算节点;
计算节点,用于根据所述数据处理请求,在第一云计算节点创建第一数据处理缓存空间,并使得所述第二云计算节点在所述第二云计算节点的本地创建第二数据处理缓存空间;
所述计算节点还用于,当所述第一数据处理缓存空间和所述第二数据处理缓存空间的空间配置信息满足预先配置的缓存控制策略时,构建所述第一数据处理缓存空间和所述第二数据处理缓存空间之间的数据传输链路和数据传输信令;
所述计算节点还用于,通过所述数据传输链路和所述数据传输信令,与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述计算节点在通过所述数据传输链路和所述数据传输信令,与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于:
通过所述数据传输链路,与所述第二云计算节点交换各自保存的访问数据的元数据信息;其中,所述元数据信息包括第一云计算节点的第一访问数据的数据包大小和所述第二云计算节点的第二访问数据的数据包大小;
将所述第二访问数据的数据包大小与所述第一访问数据的数据包大小进行对比,以确定所述第二云计算节点的数据管理模式;
根据所述数据传输链路、第一数据处理缓存空间和数据传输信令,采用所述第二云计算节点的数据管理模式对应的访问数据处理策略与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述计算节点在将所述第二访问数据的数据包大小与所述第一访问数据的数据包大小进行对比,以确定所述第二云计算节点的数据管理模式时,可以用于:
计算出所述第二访问数据的数据包大小与第一云计算节点的第一访问数据的数据包大小的数据包差异比;
当所述数据包差异比未超过预设的差异比阈值时,确定所述第二云计算节点的数据管理模式为平行计算模式;
当所述数据包差异比超过所述预设的差异比阈值时,确定所述第二云计算节点的数据管理模式为差异计算模式。
可选地,所述计算节点在根据所述数据传输链路、第一数据处理缓存空间和数据传输信令,采用所述第二云计算节点的数据管理模式对应的访问数据处理策略与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于:
根据所述第二云计算节点的数据管理模式,在所述第二云计算节点中确定出用于与第一云计算节点进行访问数据交互的目标数据交互单元,并确定出所述目标数据交互单元的访问数据处理策略;
根据所述访问数据处理策略和所述数据传输信令,将所述第一访问数据与所述目标数据交互单元的第二访问数据通过所述数据传输链路和所述第一数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
其中,所述计算节点在根据所述第二云计算节点的数据管理模式,在所述第二云计算节点中确定出用于与第一云计算节点进行访问数据交互的目标数据交互单元,并确定出所述目标数据交互单元的访问数据处理策略时,可以用于
当所述第二云计算节点的数据管理模式为平行计算模式时,将所述平行计算模式下所述第二云计算节点所使用的数据交互单元作为与第一云计算节点进行访问数据交互的所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为平行访问数据交互;
当所述第二云计算节点的数据管理模式为差异计算模式时,在所述差异计算模式下所述第二云计算节点所使用的所有数据交互单元中确定出预设数量的数据交互单元作为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为差异访问数据交互;
当所述第二云计算节点的数据管理模式包括所述平行计算模式和所述差异计算模式时,在所述差异计算模式下所述第二云计算节点所使用的所有数据交互单元中确定出预设数量的数据交互单元,将所述预设数量的数据交互单元和全部的平行计算模式下所述第二云计算节点所使用的数据交互单元作为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为混合访问数据交互;其中,所述混合访问数据交互为与所述平行计算模式下进行平行访问数据交互,并在平行访问数据交互完成之后,在所述差异计算模式下进行差异访问数据交互;
所述计算节点在根据所述访问数据处理策略和所述数据传输信令,将所述第一访问数据与所述目标数据交互单元的第二访问数据通过所述数据传输链路和所述第一数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于:
当所述访问数据处理策略为平行访问数据交互时,通过所述数据传输链路和所述数据传输信令,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述访问数据处理策略为差异访问数据交互时,接收所述差异计算模式下所述第二云计算节点发送的待计算访问数据,并根据所述待计算访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述访问数据处理策略为混合访问数据交互时,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述数据传输信令包括交互校验信息、链路校验信息和数据加密校验信息;所述计算节点在通过所述数据传输链路和所述数据传输信令,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,具体用于:
根据所述平行计算模式下所述第一云计算节点本地所保存的元数据信息,确定出所述第一云计算节点在所述平行计算模式下进行访问数据交互的预设数据量大小以及用于存储访问数据的数据存储单元的存储单元数量;
在所述第一云计算节点的缓存空间中除所述第一数据处理缓存空间以外的缓存区域创建与所述存储单元数量对应的第一数据存储单元;
对所述交互校验信息进行校验,得到交互校验结果;其中,所述交互校验结果在一次访问数据交互内保持激活状态;
采用所述交互校验结果对所述第一访问数据进行数据标记;
将数据标记后的第一云计算节点访问数据进行数据分割,得到与所述存储单元数量相对应的子访问数据,并确定出每一子访问数据存储在第一数据存储单元的存储单元序号;
将每一个所述子访问数据分别保存至各自的所述存储单元序号所对应的第一数据存储单元;
在所有的所述第一数据存储单元中确定出所述预设数据量大小对应的第一访问数据作为目标第一访问数据,并将所述目标第一访问数据保存至所述第一数据处理缓存空间;
在所述第一数据处理缓存空间中采用所述链路校验信息和所述数据加密校验信息对所述目标第一访问数据进行数据标记,并通过所述数据传输链路将数据标记后的目标第一访问数据发送至所述平行计算模式下的第二云计算节点;
接收所述平行计算模式下的第二云计算节点发送的目标第二访问数据,并在所述第一数据处理缓存空间中,采用所述数据加密校验信息对所述目标第二访问数据进行解密校验;
当所述目标第二访问数据的解密校验通过时,采用所述链路校验信息对所述目标第二访问数据进行数据标记;
计算出数据标记后的目标第二访问数据与未发送给所述平行计算模式下所述第二云计算节点的剩余第一访问数据之间的关联度,得到第一中间访问处理结果;
将所述第一中间访问处理结果发送至所述平行计算模式下的第二云计算节点,并接收所述平行计算模式下的第二云计算节点发送的第二中间访问处理结果;其中,所述第二中间访问处理结果用于指示所述平行计算模式的第二云计算节点计算出的未发送给第一云计算节点的剩余第二访问数据与所述目标第一访问数据之间的关联度;
将所述第一中间访问处理结果和所述第二中间访问处理结果进行合并,得到第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述待计算访问数据包括第一待计算访问数据和第二待计算访问数据;所述数据传输信令包括数据加密校验信息、链路校验信息以及交互校验信息;
所述计算节点在接收所述差异计算模式下所述第二云计算节点发送的待计算访问数据,并根据所述待计算访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于
当所述第一访问数据的数据包大小大于所述差异计算模式下所述第二云计算节点的第二访问数据的数据包大小时,接收所述差异计算模式下所述第二云计算节点发送的所述第一待计算访问数据,并在所述第一数据处理缓存空间中采用所述数据加密校验信息对所述第一待计算访问数据的进行解密校验;
当所述第一待计算访问数据的解密校验通过时,在所述第一数据处理缓存空间采用所述链路校验信息对所述第一待计算访问数据进行数据标记;
在所述第一数据处理缓存空间中计算数据标记后的第一待计算访问数据与所述第一访问数据之间的关联度,得到目标访问数据处理结果,将所述目标访问数据处理结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;其中,所述第一待计算访问数据为所述差异计算模式下所述第二云计算节点按照预设的过滤策略进行数据清洗后的第二访问数据;
当所述第一访问数据的数据包大小小于或等于所述差异计算模式的第二访问数据的数据包大小时,采用所述交互校验信息对所述第一访问数据进行数据标记,并将数据标记后的第一访问数据存储至数据存储单元;
将所述数据存储单元存储至所述第一数据处理缓存空间,并采用所述链路校验信息和数据加密校验信息对所述数据存储单元中的第一访问数据进行数据标记,得到数据标记后第一访问数据;
将所述数据标记后第一访问数据发送至所述差异计算模式下的第二云计算节点,使得所述差异计算模式的第二云计算节点将所述数据标记后第一访问数据与自身保存的第二访问数据的进行合并,得到所述第二待计算访问数据;
接收所述差异计算模式下的第二云计算节点发送的所述第二待计算访问数据,并将所述第二待计算访问数据作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述计算节点在将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于:
在所述第一访问数据中确定出用于访问数据交互的第一目标待计算访问数据,并采用所述数据传输信令对所述第一目标待计算访问数据进行数据标记;
将数据标记后的所述第一目标待计算访问数据通过所述数据传输链路发送至所述平行计算模式下的第二云计算节点,并接收所述平行计算模式下的第二云计算节点发送的第二目标待计算访问数据;
在所述第一数据处理缓存空间中计算出所述第二目标待计算访问数据与所述第一访问数据中除开所述第一目标待计算访问数据之外的其他访问数据的关联度,以得到所述第一访问数据与所述平行计算模式下的第二云计算节点所发送的第二访问数据之间的中间访问处理结果;
当所述中间访问处理结果中的访问数据的数据包大小大于所述差异计算模式的第二访问数据的数据包大小时,接收所述差异计算模式下的第二云计算节点发送的当前第二访问数据,并计算出所述中间访问处理结果与所述当前第二访问数据之间的关联度,得到当前访问数据处理结果,然后将所述当前访问数据处理结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述中间访问处理结果中的访问数据的数据包大小小于或大于所述差异计算模式下的第二云计算节点的第二访问数据的数据包大小时,根据所述数据传输信令,将所述中间访问处理结果进行标记后发送至所述差异计算模式下的第二云计算节点,并接收所述差异计算模式下的第二云计算节点针对所述中间访问处理结果计算关联度后发送的访问数据关联结果,并将所述访问数据关联结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
可选地,所述计算节点还用于:将所述访问数据处理结果进行封装,得到待进行入库保存的目标数据包;
对所述目标数据包中的多个数据区块分别进行业务数据提取和协议数据提取,得到业务数据序列和协议数据序列;
通过第一关键信息提取策略,对所述业务数据序列进行第一关键信息提取,得到包括有业务数据的第一关键信息数据集;
通过第二关键信息提取策略,对所述协议数据序列进行第二关键信息提取,得到包括有协议数据的第二关键信息数据集;
基于所述第一关键信息数据集和所述第二关键信息数据集进行目标信息匹配,得到所述目标数据包中与目标提取内容相对应的目标提取数据集;其中,所述目标提取内容包括业务数据和协议数据中的至少之一,所述目标提取数据集用于对所述目标数据包进行入库保存。
可选地,所述计算节点在对所述目标数据包中的多个数据区块分别进行业务数据提取和协议数据提取,得到业务数据序列和协议数据序列时,可以用于
对所述目标数据包中的多个数据区块分别进行业务数据提取,得到各个数据区块中的业务数据提取窗口、以及各业务数据提取窗口所对应的初始业务数据;
基于各数据区块中的业务数据提取窗口和相应的初始业务数据,确定业务数据序列;
对所述目标数据包中的多个数据区块分别进行协议数据识别,得到各数据区块分别对应的协议数据内容;
对所述目标数据包中的多个数据区块分别进行协议类型识别,得到各数据区块各自所遵循的目标协议类型;
将存在对应关系的协议数据内容和目标协议类型进行关联;
基于所述目标数据包中与预设的目标协议数据内容相关联的目标协议类型的数据包进行协议数据提取,得到协议数据序列。
可选地,所述计算节点在通过第一关键信息提取策略,对所述业务数据序列进行第一关键信息提取,得到包括有业务数据的第一关键信息数据集时,可以用于
针对对应于所述业务数据序列中的每个数据区块,当数据区块的初始业务数据的数量为至少两个时,获取每个初始业务数据的业务标记值;其中,所述业务标记值用于指示对应的业务数据在预设时间区间内被统计的次数;
当业务标记值最高的初始业务数据为一个时,将所述业务标记值最高的初始业务数据作为相应数据区块的目标业务数据;
当所述业务标记值最高的初始业务数据为至少两个时,针对每个业务标记值最高的初始业务数据,获取对应的业务数据提取窗口的业务类型优先级;
根据对应的优先级最高的业务类型优先级所对应的初始业务数据,确定出相应数据区块所对应的目标业务数据;
对于每个数据区块,获取各数据区块中与相应目标业务数据对应的业务数据提取窗口的目标窗口比值;其中,所述目标窗口比值用于指示对应的业务数据提取窗口的长度占所有的业务数据提取窗口的长度的比值;
当所述目标窗口比值在预设的窗口比值区间内时,保留相对应的业务数据提取结果;其中,保留的所述业务数据提取结果包括业务数据提取窗口、以及所述业务数据提取窗口对应的目标业务数据;
当所述目标窗口比值不在所述预设的窗口比值区间内时,将相应的数据区块的业务数据提取结果设置为空业务数据集;
基于各数据区块各自对应的业务数据提取结果,得到更新后的业务数据序列;
对所述更新后的业务数据序列进行时间戳标签识别,得到多组的业务起始数据和业务结束数据;
确定每组业务起始数据和业务结束数据之间的业务数据持续时长;
当所述业务数据持续时长大于或等于第一设定时长阈值时,将相应组的业务起始数据和业务结束数据所构成的关键信息数据集作为第一备选关键信息数据集;
对于每个第一备选关键信息数据集,根据所述第一备选关键信息数据集中各数据区块分别对应的更新后的目标业务数据,确定出现统计次数最多的特征业务类别;
将所述特征业务类别,作为相对应第一备选关键信息数据集所包括的业务数据所属的业务类别;
确定各所述第一备选关键信息数据集各自所属的业务类别;
当按时间顺序相邻的至少两个的第一备选关键信息数据集均属于相同的业务类别时,将所述至少两个的第一备选关键信息数据集进行合并,得到与所述相同的业务类别对应的第一关键信息数据集。
可选地,所述业务数据序列中的业务数据提取结果包括空业务数据集和非空业务数据集;
所述计算节点在对所述更新后的业务数据序列进行时间戳标签识别,得到多组的业务起始数据和业务结束数据时,可以用于:
将所述更新后的业务数据序列中,处于当前识别循环中的第一个非空业务数据集所对应的数据区块作为当前组的业务起始数据;
遍历所述当前组的业务起始数据之后的数据区块;
当遍历至的当前数据区块对应的业务数据提取结果为空业务数据集、且从所述当前数据区块开始的第二设定时长阈值内数据区块所对应的业务数据提取结果均为空业务数据集时,将所述当前数据区块作为所述当前组的业务结束数据;
将所述当前组的业务结束数据之后的第一个非空业务数据集所对应的数据区块,作为下一次识别循环的当前组的业务起始数据,并返回所述遍历所述当前组的业务起始数据之后的数据区块的步骤继续执行,直至得到多组的业务起始数据和业务结束数据。
可选地,当遍历至的当前数据区块对应的业务数据提取结果为空业务数据集、且从所述当前数据区块开始的第二设定时长阈值内数据区块所对应的业务数据提取结果均为空业务数据集时,将所述当前数据区块作为所述当前组的业务结束数据之前,所述计算节点还用于:
当由遍历至的当前数据区块与所述当前组的业务起始数据所确定的关键信息数据集时长小于第三设定时长阈值时,确定所述当前数据区块对应的业务数据提取结果是否为空业务数据集;
在所述当前数据区块对应的业务数据提取结果为非空业务数据集时,将所述当前数据区块作为所述当前组所对应的关键信息数据集中的其中之一;
在所述当前数据区块对应空业务数据集、且从所述当前数据区块开始的第二设定时长阈值内的业务数据提取结果中包括非空业务数据集时,将从所述当前数据区块开始的所述第二设定时长阈值内的第一个非空业务数据集所对应的数据区块,作为遍历的下一个当前数据区块,并返回所述当由遍历至的当前数据区块与所述当前组的业务起始数据所确定的关键信息数据集时长小于第三设定时长阈值时,确定所述当前数据区块对应的业务数据提取结果是否为空业务数据集的步骤继续执行。
可选地,所述计算节点在将所述更新后的业务数据序列中,处于当前识别循环中的第一个非空业务数据集所对应的数据区块作为当前组的业务起始数据时,可以用于
获取所述更新后的业务数据序列中,处于当前识别循环中的第一个非空业务数据集所对应的目标数据包;
当所述目标数据包的后一个数据包所对应的业务数据提取结果为空业务数据集时,将所述目标数据包对应的业务数据提取结果置为空业务数据集;
当所述目标数据包的后一个数据包所对应的业务数据提取结果为非空业务数据集时,将所述目标数据包作为当前组的业务起始数据。
可选地,所述计算节点在通过第二关键信息提取策略,对所述协议数据序列进行第二关键信息提取,得到包括有协议数据的第二关键信息数据集时,可以用于:
对所述协议数据序列中的各个协议数据进行时间戳标签识别,得到多个包括有协议数据的第二备选关键信息数据集;
根据各所述第二备选关键信息数据集所对应的协议类型,对属于相同协议类型的第二备选关键信息数据集进行合并,得到包括有协议数据的第二关键信息数据集。
可选地,所述计算节点在基于所述第一关键信息数据集和所述第二关键信息数据集进行目标信息匹配,得到所述目标数据包中与目标提取内容相对应的目标提取数据集时,可以用于:
获取维护设备发送的目标提取内容中的核心关键信息;
对所述核心关键信息进行关键词筛选,得到筛选后的核心关键信息,并将所述筛选后的核心关键信息添加至对应的信息处理节点;
基于所述筛选后的核心关键信息和所述信息处理节点,对所述第一关键信息数据集和所述第二关键信息数据集进行关键信息匹配,得到至少一个初始匹配关键信息;
确定出所有初始匹配关键信息中符合预设信息筛选策略的至少一个目标匹配关键信息,并将所有的目标匹配关键信息构建成目标提取数据集。
可选地,所述核心关键信息包括多个核心关键词;
所述计算节点在对所述核心关键信息进行关键词筛选,得到筛选后的核心关键信息时,可以用于:
获取所述核心关键信息中各个核心关键词的历史统计次数、阈值统计次数;
将历史统计次数与阈值统计次数的差值超过设定的次数阈值的核心关键词删除,将剩余的核心关键词作为筛选后的核心关键信息。
可选地,所述计算节点在基于所述筛选后的核心关键信息和所述信息处理节点,对所述第一关键信息数据集和所述第二关键信息数据集进行关键信息匹配,得到至少一个初始匹配关键信息时,可以用于:
利用所述信息处理节点分别计算出每一个所述筛选后的核心关键信息各自与所述第一关键信息数据集的第一关键信息关联度和所述信息处理节点的第二关键信息关联度;
针对每一个所述筛选后的核心关键信息,当对应的第一关键信息关联度和对应的第二关键信息关联度中的任一个关键信息关联度大于预设的关联度阈值时,将对应的核心关键信息确定为初始匹配关键信息;
针对每一个所述筛选后的核心关键信息,当对应的第一关键信息关联度和对应的第二关键信息关联度均小于或等于预设的关联度阈值时,则将对应的核心关键信息确定为初始匹配关键信息;
针对每一个所述筛选后的核心关键信息,当对应的第一关键信息关联度和对应的第二关键信息关联度中的其中之一大于预设的关联度阈值,且另一个小于或等于预设的关联度阈值,则将对应的核心关键信息丢弃。
可选地,所述计算节点在确定出所有初始匹配关键信息中符合预设信息筛选策略的至少一个目标匹配关键信息时,可以用于:
基于预先配置的至少一个特征值计算策略计算出每个初始匹配关键信息的各个特征匹配值,并基于各个特征匹配值计算出每个初始匹配关键信息的初始评价得分;
基于每个初始匹配关键信息各自所属的关键信息类型,确定出每个初始匹配关键信息各自对应的评价得分阈值;
判断每个初始匹配关键信息的初始评价得分是否大于各自对应的评价得分阈值;
将对应的初始评价得分大于各自对应的评价得分阈值的至少一个初始匹配关键信息确定为目标匹配关键信息。

Claims (7)

1.一种基于大数据和云计算的数据处理方法,其特征在于,所述方法包括:
获取针对访问数据的数据处理请求;其中,所述数据处理请求指示有需要与第一云计算节点进行访问数据交互的第二云计算节点;
根据所述数据处理请求,在第一云计算节点创建第一数据处理缓存空间,并使得所述第二云计算节点在所述第二云计算节点的本地创建第二数据处理缓存空间;
当所述第一数据处理缓存空间和所述第二数据处理缓存空间的空间配置信息满足预先配置的缓存控制策略时,构建所述第一数据处理缓存空间和所述第二数据处理缓存空间之间的数据传输链路和数据传输信令;
通过所述数据传输链路和所述数据传输信令,与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
将所述访问数据处理结果进行封装,得到待进行入库保存的目标数据包;
对所述目标数据包中的多个数据区块分别进行业务数据提取和协议数据提取,得到业务数据序列和协议数据序列;
通过第一关键信息提取策略,对所述业务数据序列进行第一关键信息提取,得到包括有业务数据的第一关键信息数据集;
通过第二关键信息提取策略,对所述协议数据序列进行第二关键信息提取,得到包括有协议数据的第二关键信息数据集;
基于所述第一关键信息数据集和所述第二关键信息数据集进行目标信息匹配,得到所述目标数据包中与目标提取内容相对应的目标提取数据集;其中,所述目标提取内容包括业务数据和协议数据中的至少之一,所述目标提取数据集用于对所述目标数据包进行入库保存;
其中,所述通过第一关键信息提取策略,对所述业务数据序列进行第一关键信息提取,得到包括有业务数据的第一关键信息数据集,包括:
针对对应于所述业务数据序列中的每个数据区块,当数据区块的初始业务数据的数量为至少两个时,获取每个初始业务数据的业务标记值;其中,所述业务标记值用于指示对应的业务数据在预设时间区间内被统计的次数;
当业务标记值最高的初始业务数据为一个时,将所述业务标记值最高的初始业务数据作为相应数据区块的目标业务数据;
当所述业务标记值最高的初始业务数据为至少两个时,针对每个业务标记值最高的初始业务数据,获取对应的业务数据提取窗口的业务类型优先级;
根据对应的优先级最高的业务类型优先级所对应的初始业务数据,确定出相应数据区块所对应的目标业务数据;
对于每个数据区块,获取各数据区块中与相应目标业务数据对应的业务数据提取窗口的目标窗口比值;其中,所述目标窗口比值用于指示对应的业务数据提取窗口的长度占所有的业务数据提取窗口的长度的比值;
当所述目标窗口比值在预设的窗口比值区间内时,保留相对应的业务数据提取结果;其中,保留的所述业务数据提取结果包括业务数据提取窗口、以及所述业务数据提取窗口对应的目标业务数据;
当所述目标窗口比值不在所述预设的窗口比值区间内时,将相应的数据区块的业务数据提取结果设置为空业务数据集;
基于各数据区块各自对应的业务数据提取结果,得到更新后的业务数据序列;
对所述更新后的业务数据序列进行时间戳标签识别,得到多组的业务起始数据和业务结束数据;
确定每组业务起始数据和业务结束数据之间的业务数据持续时长;
当所述业务数据持续时长大于或等于第一设定时长阈值时,将相应组的业务起始数据和业务结束数据所构成的关键信息数据集作为第一备选关键信息数据集;
对于每个第一备选关键信息数据集,根据所述第一备选关键信息数据集中各数据区块分别对应的更新后的目标业务数据,确定出现统计次数最多的特征业务类别;
将所述特征业务类别,作为相对应第一备选关键信息数据集所包括的业务数据所属的业务类别;
确定各所述第一备选关键信息数据集各自所属的业务类别;
当按时间顺序相邻的至少两个的第一备选关键信息数据集均属于相同的业务类别时,将所述至少两个的第一备选关键信息数据集进行合并,得到与所述相同的业务类别对应的第一关键信息数据集;
所述通过第二关键信息提取策略,对所述协议数据序列进行第二关键信息提取,得到包括有协议数据的第二关键信息数据集,包括:
对所述协议数据序列中的各个协议数据进行时间戳标签识别,得到多个包括有协议数据的第二备选关键信息数据集;
根据各所述第二备选关键信息数据集所对应的协议类型,对属于相同协议类型的第二备选关键信息数据集进行合并,得到包括有协议数据的第二关键信息数据集;
所述通过所述数据传输链路和所述数据传输信令,与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:
通过所述数据传输链路,与所述第二云计算节点交换各自保存的访问数据的元数据信息;其中,所述元数据信息包括第一云计算节点的第一访问数据的数据包大小和所述第二云计算节点的第二访问数据的数据包大小;
将所述第二访问数据的数据包大小与所述第一访问数据的数据包大小进行对比,以确定所述第二云计算节点的数据管理模式;
根据所述数据传输链路、第一数据处理缓存空间和数据传输信令,采用所述第二云计算节点的数据管理模式对应的访问数据处理策略与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述第二访问数据的数据包大小与所述第一访问数据的数据包大小进行对比,以确定所述第二云计算节点的数据管理模式,包括:
计算出所述第二访问数据的数据包大小与第一云计算节点的第一访问数据的数据包大小的数据包差异比;
当所述数据包差异比未超过预设的差异比阈值时,确定所述第二云计算节点的数据管理模式为平行计算模式;
当所述数据包差异比超过所述预设的差异比阈值时,确定所述第二云计算节点的数据管理模式为差异计算模式。
3.根据权利要求2所述的方法,其特征在于,所述根据所述数据传输链路、第一数据处理缓存空间和数据传输信令,采用所述第二云计算节点的数据管理模式对应的访问数据处理策略与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:
根据所述第二云计算节点的数据管理模式,在所述第二云计算节点中确定出用于与第一云计算节点进行访问数据交互的目标数据交互单元,并确定出所述目标数据交互单元的访问数据处理策略;
根据所述访问数据处理策略和所述数据传输信令,将所述第一访问数据与所述目标数据交互单元的第二访问数据通过所述数据传输链路和所述第一数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
其中,所述根据所述第二云计算节点的数据管理模式,在所述第二云计算节点中确定出用于与第一云计算节点进行访问数据交互的目标数据交互单元,并确定出所述目标数据交互单元的访问数据处理策略,包括:
当所述第二云计算节点的数据管理模式为平行计算模式时,将所述平行计算模式下所述第二云计算节点所使用的数据交互单元作为与第一云计算节点进行访问数据交互的所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为平行访问数据交互;
当所述第二云计算节点的数据管理模式为差异计算模式时,在所述差异计算模式下所述第二云计算节点所使用的所有数据交互单元中确定出预设数量的数据交互单元作为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为差异访问数据交互;
当所述第二云计算节点的数据管理模式包括所述平行计算模式和所述差异计算模式时,在所述差异计算模式下所述第二云计算节点所使用的所有数据交互单元中确定出预设数量的数据交互单元,将所述预设数量的数据交互单元和全部的平行计算模式下所述第二云计算节点所使用的数据交互单元作为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为混合访问数据交互;其中,所述混合访问数据交互为与所述平行计算模式下进行平行访问数据交互,并在平行访问数据交互完成之后,在所述差异计算模式下进行差异访问数据交互;
所述根据所述访问数据处理策略和所述数据传输信令,将所述第一访问数据与所述目标数据交互单元的第二访问数据通过所述数据传输链路和所述第一数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:
当所述访问数据处理策略为平行访问数据交互时,通过所述数据传输链路和所述数据传输信令,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述访问数据处理策略为差异访问数据交互时,接收所述差异计算模式下所述第二云计算节点发送的待计算访问数据,并根据所述待计算访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述访问数据处理策略为混合访问数据交互时,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
4.根据权利要求3所述的方法,其特征在于,所述数据传输信令包括交互校验信息、链路校验信息和数据加密校验信息;
所述通过所述数据传输链路和所述数据传输信令,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:
根据所述平行计算模式下所述第一云计算节点本地所保存的元数据信息,确定出所述第一云计算节点在所述平行计算模式下进行访问数据交互的预设数据量大小以及用于存储访问数据的数据存储单元的存储单元数量;
在所述第一云计算节点的缓存空间中除所述第一数据处理缓存空间以外的缓存区域创建与所述存储单元数量对应的第一数据存储单元;
对所述交互校验信息进行校验,得到交互校验结果;其中,所述交互校验结果在一次访问数据交互内保持激活状态;
采用所述交互校验结果对所述第一访问数据进行数据标记;
将数据标记后的第一云计算节点访问数据进行数据分割,得到与所述存储单元数量相对应的子访问数据,并确定出每一子访问数据存储在第一数据存储单元的存储单元序号;
将每一个所述子访问数据分别保存至各自的所述存储单元序号所对应的第一数据存储单元;
在所有的所述第一数据存储单元中确定出所述预设数据量大小对应的第一访问数据作为目标第一访问数据,并将所述目标第一访问数据保存至所述第一数据处理缓存空间;
在所述第一数据处理缓存空间中采用所述链路校验信息和所述数据加密校验信息对所述目标第一访问数据进行数据标记,并通过所述数据传输链路将数据标记后的目标第一访问数据发送至所述平行计算模式下的第二云计算节点;
接收所述平行计算模式下的第二云计算节点发送的目标第二访问数据,并在所述第一数据处理缓存空间中,采用所述数据加密校验信息对所述目标第二访问数据进行解密校验;
当所述目标第二访问数据的解密校验通过时,采用所述链路校验信息对所述目标第二访问数据进行数据标记;
计算出数据标记后的目标第二访问数据与未发送给所述平行计算模式下所述第二云计算节点的剩余第一访问数据之间的关联度,得到第一中间访问处理结果;
将所述第一中间访问处理结果发送至所述平行计算模式下的第二云计算节点,并接收所述平行计算模式下的第二云计算节点发送的第二中间访问处理结果;其中,所述第二中间访问处理结果用于指示所述平行计算模式的第二云计算节点计算出的未发送给第一云计算节点的剩余第二访问数据与所述目标第一访问数据之间的关联度;
将所述第一中间访问处理结果和所述第二中间访问处理结果进行合并,得到第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
5.根据权利要求4所述的方法,其特征在于,所述待计算访问数据包括第一待计算访问数据和第二待计算访问数据;所述数据传输信令包括数据加密校验信息、链路校验信息以及交互校验信息;
所述接收所述差异计算模式下所述第二云计算节点发送的待计算访问数据,并根据所述待计算访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:
当所述第一访问数据的数据包大小大于所述差异计算模式下所述第二云计算节点的第二访问数据的数据包大小时,接收所述差异计算模式下所述第二云计算节点发送的所述第一待计算访问数据,并在所述第一数据处理缓存空间中采用所述数据加密校验信息对所述第一待计算访问数据的进行解密校验;
当所述第一待计算访问数据的解密校验通过时,在所述第一数据处理缓存空间采用所述链路校验信息对所述第一待计算访问数据进行数据标记;
在所述第一数据处理缓存空间中计算数据标记后的第一待计算访问数据与所述第一访问数据之间的关联度,得到目标访问数据处理结果,将所述目标访问数据处理结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;其中,所述第一待计算访问数据为所述差异计算模式下所述第二云计算节点按照预设的过滤策略进行数据清洗后的第二访问数据;
当所述第一访问数据的数据包大小小于或等于所述差异计算模式的第二访问数据的数据包大小时,采用所述交互校验信息对所述第一访问数据进行数据标记,并将数据标记后的第一访问数据存储至数据存储单元;
将所述数据存储单元存储至所述第一数据处理缓存空间,并采用所述链路校验信息和数据加密校验信息对所述数据存储单元中的第一访问数据进行数据标记,得到数据标记后第一访问数据;
将所述数据标记后第一访问数据发送至所述差异计算模式下的第二云计算节点,使得所述差异计算模式的第二云计算节点将所述数据标记后第一访问数据与自身保存的第二访问数据的进行合并,得到所述第二待计算访问数据;
接收所述差异计算模式下的第二云计算节点发送的所述第二待计算访问数据,并将所述第二待计算访问数据作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
6.根据权利要求4所述的方法,其特征在于,所述将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:
在所述第一访问数据中确定出用于访问数据交互的第一目标待计算访问数据,并采用所述数据传输信令对所述第一目标待计算访问数据进行数据标记;
将数据标记后的所述第一目标待计算访问数据通过所述数据传输链路发送至所述平行计算模式下的第二云计算节点,并接收所述平行计算模式下的第二云计算节点发送的第二目标待计算访问数据;
在所述第一数据处理缓存空间中计算出所述第二目标待计算访问数据与所述第一访问数据中除开所述第一目标待计算访问数据之外的其他访问数据的关联度,以得到所述第一访问数据与所述平行计算模式下的第二云计算节点所发送的第二访问数据之间的中间访问处理结果;
当所述中间访问处理结果中的访问数据的数据包大小大于所述差异计算模式的第二访问数据的数据包大小时,接收所述差异计算模式下的第二云计算节点发送的当前第二访问数据,并计算出所述中间访问处理结果与所述当前第二访问数据之间的关联度,得到当前访问数据处理结果,然后将所述当前访问数据处理结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述中间访问处理结果中的访问数据的数据包大小小于或大于所述差异计算模式下的第二云计算节点的第二访问数据的数据包大小时,根据所述数据传输信令,将所述中间访问处理结果进行标记后发送至所述差异计算模式下的第二云计算节点,并接收所述差异计算模式下的第二云计算节点针对所述中间访问处理结果计算关联度后发送的访问数据关联结果,并将所述访问数据关联结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
7.一种云计算节点,其特征在于,包括:
存储器,用于存储一个或多个程序;
处理器;
当所述一个或多个程序被所述处理器执行时,实现如权利要求1-6中任一项所述的基于大数据和云计算的数据处理方法。
CN202110099666.7A 2021-01-25 2021-01-25 一种基于大数据和云计算的数据处理方法及云计算节点 Active CN112671932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110099666.7A CN112671932B (zh) 2021-01-25 2021-01-25 一种基于大数据和云计算的数据处理方法及云计算节点

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110099666.7A CN112671932B (zh) 2021-01-25 2021-01-25 一种基于大数据和云计算的数据处理方法及云计算节点

Publications (2)

Publication Number Publication Date
CN112671932A CN112671932A (zh) 2021-04-16
CN112671932B true CN112671932B (zh) 2021-12-03

Family

ID=75414460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110099666.7A Active CN112671932B (zh) 2021-01-25 2021-01-25 一种基于大数据和云计算的数据处理方法及云计算节点

Country Status (1)

Country Link
CN (1) CN112671932B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115811525B (zh) * 2023-02-09 2023-06-16 杭州合众数据技术有限公司 基于分布式架构的数据交换与处理方法
CN116303398A (zh) * 2023-03-21 2023-06-23 华联世纪工程咨询股份有限公司 一种历史工程造价数据清洗方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888510A (zh) * 2014-01-14 2014-06-25 无锡城市云计算中心有限公司 一种云计算数据中心的业务高可用方法
CN105871581A (zh) * 2015-11-13 2016-08-17 乐视云计算有限公司 云计算中报警信息的处理方法及装置
CN107733742A (zh) * 2017-11-01 2018-02-23 北京天创凯睿科技有限公司 一种业务数据不间断传输方法及设备
CN111429254A (zh) * 2020-03-19 2020-07-17 腾讯科技(深圳)有限公司 一种业务数据处理方法、设备以及可读存储介质
CN111626264A (zh) * 2020-06-06 2020-09-04 梁志彬 一种实景反馈式模拟驾驶方法、装置及服务器
CN112560104A (zh) * 2021-01-17 2021-03-26 梁志彬 一种基于云计算和区块链的数据存储方法及安全信息平台
CN113435886A (zh) * 2020-11-30 2021-09-24 陈素华 一种基于云计算的交易处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848584B2 (en) * 2016-11-21 2020-11-24 Intel Corporation Routing in an information-centric network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888510A (zh) * 2014-01-14 2014-06-25 无锡城市云计算中心有限公司 一种云计算数据中心的业务高可用方法
CN105871581A (zh) * 2015-11-13 2016-08-17 乐视云计算有限公司 云计算中报警信息的处理方法及装置
CN107733742A (zh) * 2017-11-01 2018-02-23 北京天创凯睿科技有限公司 一种业务数据不间断传输方法及设备
CN111429254A (zh) * 2020-03-19 2020-07-17 腾讯科技(深圳)有限公司 一种业务数据处理方法、设备以及可读存储介质
CN111626264A (zh) * 2020-06-06 2020-09-04 梁志彬 一种实景反馈式模拟驾驶方法、装置及服务器
CN113435886A (zh) * 2020-11-30 2021-09-24 陈素华 一种基于云计算的交易处理方法
CN112560104A (zh) * 2021-01-17 2021-03-26 梁志彬 一种基于云计算和区块链的数据存储方法及安全信息平台

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Priority Based Dynamic Resource Allocation in Cloud Computing;Chandrashekhar S.;《2012 International Symposium on Cloud and Services Computing》;20130321;全文 *
面向优先级用户的移动边缘计算任务调度策略;董思岐 等;《计算机应用研究》;20200930;全文 *

Also Published As

Publication number Publication date
CN112671932A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN110517097B (zh) 识别异常用户的方法、装置、设备及存储介质
CN112671932B (zh) 一种基于大数据和云计算的数据处理方法及云计算节点
CN110677384B (zh) 钓鱼网站的检测方法及装置、存储介质、电子装置
CN108600172B (zh) 撞库攻击检测方法、装置、设备及计算机可读存储介质
CN111125118B (zh) 关联数据查询方法、装置、设备及介质
CN112669138A (zh) 数据处理方法及相关设备
CN106571933B (zh) 业务处理方法及装置
CN113706100B (zh) 配电网物联终端设备实时探测识别方法与***
CN112232957A (zh) 交易共识方法、装置和电子设备
CN108648017B (zh) 易于扩展的用户需求匹配方法、装置、设备及存储介质
CN111586695A (zh) 短信识别方法及相关设备
CN114928452B (zh) 访问请求验证方法、装置、存储介质及服务器
CN110457600B (zh) 查找目标群体的方法、装置、存储介质和计算机设备
CN114465783B (zh) 攻击点与业务报文的关联方法、关联***及存储介质
CN112667646B (zh) 一种基于大数据和云计算的数据保存方法及云计算平台
CN112738175B (zh) 请求处理方法及相关设备
CN111488490A (zh) 视频聚类方法、装置、服务器及存储介质
CN113489677B (zh) 一种基于语义上下文的零规则攻击检测方法及装置
CN115018280B (zh) 风险图模式的挖掘方法、风险识别方法及对应装置
CN117112815B (zh) 个人关注视频事件检索方法和***、存储介质及电子设备
CN116662645B (zh) 视频事件溯源分析方法和***、存储介质及电子设备
CN116708356B (zh) Ip特征库生成方法
CN109657447B (zh) 一种设备指纹生成方法及装置
CN118113783A (zh) 公有链节点监测方法、装置、计算机设备和存储介质
CN116797006A (zh) 业务流程串联方法、装置、设备及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210625

Address after: Room 706-3, 7th floor, 68 fengle Middle Road, Huangpu District, Guangzhou, Guangdong 510000

Applicant after: Guangzhou zhiyunshang Big Data Technology Co.,Ltd.

Address before: 523808 Dongguan Institute of technology entrepreneurship base 103, No.1, Songshanhu University Road, Dalang Town, Dongguan City, Guangdong Province

Applicant before: Liang Zhibin

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210915

Address after: 266075 room 103e, block a, building 12, No. 288, Ningxia road, Shinan District, Qingdao, Shandong Province

Applicant after: Qingdao Guoke Internet of things Co.,Ltd.

Address before: Room 706-3, 7th floor, 68 fengle Middle Road, Huangpu District, Guangzhou, Guangdong 510000

Applicant before: Guangzhou zhiyunshang Big Data Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211117

Address after: 200080 room 07, floor 17, building 1, No. 1318, Sichuan North Road, Hongkou District, Shanghai

Applicant after: Zhonglin Yunxin (Shanghai) Network Technology Co., Ltd

Address before: 266075 room 103e, block a, building 12, No. 288, Ningxia road, Shinan District, Qingdao, Shandong Province

Applicant before: Qingdao Guoke Internet of things Co.,Ltd.

GR01 Patent grant
GR01 Patent grant