CN110334250A - 数据的处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据的处理方法及装置，方法包括：按照预定方式分割待导出数据，以得到分割后的多个数据块；按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。本发明实施例在处理待导出数据时，可以按照预定方式分割待导出数据，根据不同的预定方式分割，可以避免一条完整数据被分割到不同数据块中，且为每个分割后的数据块都设置了对应的预定标识，增加了预定标识的数据块如果存在问题，可以通过该预定标识快速查找到与其相关的其它数据块，即使一条完整的数据被分割，也无需通过复杂的算法进行查找，节约计算资源，提高查询效率。

Description

数据的处理方法及装置

技术领域

本发明涉及数据处理领域，特别涉及一种数据的处理方法及装置。

背景技术

随着信息化建设和IT技术的快速发展，网络技术的应用更加广泛深入，但在得益于网络加快业务处理的同时，也出现许多网络安全问题，如窃取用户信息、传播计算机病毒、篡改数据信息等，这些网络安全问题都会给***带来不可估量的损失。由此可见网络安全技术的重要性更加突出，网络安全是保障网络空间发展的前提与基础。

网络安全设备运行过程中记录的数据是进行安全分析的重要数据来源。实际应用过程中，想要进一步分析网络中的攻击行为隐藏的特征、规律等，需要将海量数据导出后借助外部安全分析工具分析数据。为了提高海量数据导出效率，通常在导出海量数据前，先将海量数据分割为小数据块，然后再将所有小数据块导出到计算机。

然而，将安全设备中存储的海量原始数据按照固定大小直接分割数据，一条完整的数据被分割到不同的数据块，在数据导出后，如果某个数据块的数据存在问题，则查找到该数据块的相关数据需要消耗大量计算资源，且耗时较长，用户体验较差。

发明内容

有鉴于此，本发明实施例提出了一种数据的处理方法及装置，用以解决现有技术的如下问题：将安全设备中存储的海量原始数据按照固定大小直接分割数据，一条完整的数据被分割到不同的数据块，查找到该数据块的相关数据需要消耗大量计算资源，且耗时较长，用户体验较差。

一方面，本发明实施例提出了一种数据的处理方法，包括：按照预定方式分割待导出数据，以得到分割后的多个数据块；按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。

在一些实施例中，按照预定方式分割待导出数据，以得到分割后的多个数据块，包括：检测当前分割次数是否达到预设分割次数，或者，检测当前分割后得到的数据块数量是否达到预设数量，其中，所述预设分割次数或所述预设数量通过所述预定方式和所述待导出数据的数据大小确定；在未达到所述预设分割次数或所述预设数量的情况下，继续按照预定方式分割所述待导出数据，直至所述待导出数据被完全分割。

在一些实施例中，生成多个具有预定标识的数据块之后，还包括：分别对各个所述具有预定标识的数据块进行压缩处理，以得到待导出的压缩数据包。

在一些实施例中，按照预定方式分割所述待导出数据，包括：在所述待导出数据中依次获取具有固定时长的数据，和/或，在所述待导出数据中依次获取具有固定数据大小的数据。

在一些实施例中，所述预定标识至少包括以下之一：根据数据块记录的起止时间生成的时间标识；根据数据块的起止ID生成的元素ID标识；根据数据块内容顺序生成的序列号标识。

另一方面，本发明实施例提出了一种数据的处理装置，包括：分割模块，用于按照预定方式分割待导出数据，以得到分割后的多个数据块；标识模块，用于按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。

在一些实施例中，所述分割模块包括：检测单元，用于检测当前分割次数是否达到预设分割次数，或者，检测当前分割后得到的数据块数量是否达到预设数量，其中，所述预设分割次数或所述预设数量通过所述预定方式和所述待导出数据的数据大小确定；分割单元，用于在未达到所述预设分割次数或所述预设数量的情况下，继续按照预定方式分割所述待导出数据，直至所述待导出数据被完全分割。

在一些实施例中，还包括：压缩模块，用于分别对各个所述具有预定标识的数据块进行压缩处理，以得到待导出的压缩数据包。

在一些实施例中，所述分割模块具体用于：在所述待导出数据中依次获取具有固定时长的数据，和/或，在所述待导出数据中依次获取具有固定数据大小的数据。

另一方面，本发明实施例提出了一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

本发明实施例在处理待导出数据时，可以按照预定方式分割待导出数据，根据不同的预定方式分割，可以避免一条完整数据被分割到不同数据块中，且为每个分割后的数据块都设置了对应的预定标识，增加了预定标识的数据块如果存在问题，可以通过该预定标识快速查找到与其相关的其它数据块，即使一条完整的数据被分割，也无需通过复杂的算法进行查找，节约计算资源，提高查询效率。

附图说明

图1为本发明第一实施例提供的数据的处理方法的流程图；

图2为本发明第二实施例提供的数据的处理装置的结构示意图。

具体实施方式

为了使得本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

为了保持本发明实施例的以下说明清楚且简明，本发明省略了已知功能和已知部件的详细说明。

本发明第一实施例提供了一种数据的处理方法，该方法的流程如图1所示，包括步骤S101至S102：

S101，按照预定方式分割待导出数据，以得到分割后的多个数据块。

上述待导出数据的数据量非常大，又称之为海量数据。分割时，预定方式可以选择按照时间维度分割，即在待导出数据中依次获取具有固定时长的数据，则得到的每个数据块大小(即包含的数据量)不等，能够实现将一条完整数据分割在同一个数据块中；预定方式还可以选择按照数据大小维度分割，即在待导出数据中依次获取具有固定数据大小的数据，则得到的每个数据块大小相同。具体分割待导出数据时，预定方式还可以是将按照时间维度分割和按照数据大小维度分割结合使用。

S102，按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。

无论预定标识是什么，都可以按照时间顺序为先分割的数据块先设置预定标识。数据都具有一定的连续性，分割后相邻的数据块间也具有连续性，因此，可以按照分割的时间顺序依次为得到的各个数据块从1开始编号，如果分割得到N个数据块，则第N个数据块的预定标识可以为N。上述方式即根据数据块内容顺序生成的序列号标识，当然，预定标识还可以为根据数据块记录的起止时间生成的时间标识，或者，根据数据块的起止ID生成的元素ID标识等，也可以为同一数据块同时设置上述多种标识。

本发明实施例在处理待导出数据时，可以按照预定方式分割待导出数据，根据不同的预定方式分割，可以避免一条完整数据被分割到不同数据块中，且为每个分割后的数据块都设置了对应的预定标识，增加了预定标识的数据块如果存在问题，可以通过该预定标识快速查找到与其相关的其它数据块，即使一条完整的数据被分割，也无需通过复杂的算法进行查找，节约计算资源，提高查询效率。

在按照预定方式分割待导出数据以得到分割后的多个数据块的过程中，具体可以检测当前分割次数是否达到预设分割次数，其中，预设分割次数通过预定方式和待导出数据的数据大小确定；在未达到预设分割次数的情况下，继续按照预定方式分割待导出数据，直至待导出数据被完全分割。或者，还可以检测当前分割后得到的数据块数量是否达到预设数量，其中，预设数量通过预定方式和待导出数据的数据大小确定；在未达到预设数量的情况下，继续按照预定方式分割待导出数据，直至待导出数据被完全分割。

无论采用上述何种方式进行分割，都需要先确定比较基数，即预设分割次数或预设数量。

如果预定方式是按照时间维度分割，则通过待导出数据的数据时间大小和每次分割需要得到的数据块的固定时长确定，例如，待导出数据为2019年1月至3月间的数据(即一共90天的数据)，每次分割需要得到的数据块的固定时长为1天，则预设分割次数为89次。同样的例子，如果比较基数是预设数量，则预设数量应为90。

如果预定方式是按照数据大小维度分割，则通过待导出数据的数据量大小和每次分割需要得到的数据的固定大小确定。例如，待导出数据为120G，每次分割需要得到的数据块的固定大小为2G，则预设分割次数为59次。同样的例子，如果比较基数是预设数量，则预设数量为60。

为了进一步增加导出速度，本发明实施例在生成多个具有预定标识的数据块之后，还可以分别对各个具有预定标识的数据块进行压缩处理，以得到待导出的压缩数据包。经过压缩后的数据块能够极大的减少数据大小，同样的时间能够导出更多的数据。

本发明第二实施例提供了一种数据的处理装置，该装置的结构示意如图2所示，包括：

分割模块10，用于按照预定方式分割待导出数据，以得到分割后的多个数据块；标识模块20，与分割模块10耦合，用于按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。

上述待导出数据的数据量非常大，又称之为海量数据。分割时，上述分割模块具体用于：在待导出数据中依次获取具有固定时长的数据，和/或，在待导出数据中依次获取具有固定数据大小的数据。

无论预定标识是什么，都可以按照时间顺序为先分割的数据块先设置预定标识。上述预定标识至少包括以下之一：根据数据块记录的起止时间生成的时间标识；根据数据块的起止ID生成的元素ID标识；根据数据块内容顺序生成的序列号标识。

本发明实施例在处理待导出数据时，可以按照预定方式分割待导出数据，根据不同的预定方式分割，可以避免一条完整数据被分割到不同数据块中，且为每个分割后的数据块都设置了对应的预定标识，增加了预定标识的数据块如果存在问题，可以通过该预定标识快速查找到与其相关的其它数据块，即使一条完整的数据被分割，也无需通过复杂的算法进行查找，节约计算资源，提高查询效率。

上述分割模块包括：检测单元，用于检测当前分割次数是否达到预设分割次数，或者，检测当前分割后得到的数据块数量是否达到预设数量，其中，预设分割次数或预设数量通过预定方式和待导出数据的数据大小确定；分割单元，用于在未达到预设分割次数或预设数量的情况下，继续按照预定方式分割待导出数据，直至待导出数据被完全分割。

无论采用上述何种方式进行分割，都需要先确定比较基数，即预设分割次数或预设数量。

如果预定方式是按照时间维度分割，则通过待导出数据的数据时间大小和每次分割需要得到的数据块的固定时长确定，例如，待导出数据为2019年1月至3月间的数据(即一共90天的数据)，每次分割需要得到的数据块的固定时长为1天，则预设分割次数为89次。同样的例子，如果比较基数是预设数量，则预设数量应为90。

如果预定方式是按照数据大小维度分割，则通过待导出数据的数据量大小和每次分割需要得到的数据的固定大小确定。例如，待导出数据为120G，每次分割需要得到的数据块的固定大小为2G，则预设分割次数为59次。同样的例子，如果比较基数是预设数量，则预设数量为60。

为了进一步增加导出速度，上述装置还包括：压缩模块，与标识模块耦合，用于分别对各个具有预定标识的数据块进行压缩处理，以得到待导出的压缩数据包。经过压缩后的数据块能够极大的减少数据大小，同样的时间能够导出更多的数据。

下面结合具体实例过程对上述实施例进行说明。

本实施例通过将海量数据分割为多个小数据块，并且将这些小数据块打上时间标识、序列号标识或者元素ID标识。这样在进行海量数据导出的过程中，不仅可以避免产生大量数据碎片，还可以根据数据标识快速查找具体数据，大大减小查找数据消耗的计算资源。该实施例具体包括如下内容：

首先，本发明在进行数据分割、数据导出之前需要根据导出条件确定需要导出的海量数据范围，例如，导出指定时间段的数据或是导出指定数量的数据。该数据导出操作在***CPU空闲状态下进行。

其次，将确定数据范围的海量数据分成小数据块，每个数据块规模优选为1GB到10GB。在本方案中，将海量数据按时间或者大小维度分割成小块数据，每个数据块大小为m1、m2、m3、m4……，按照时间维度切割，每个数据块大小不等，按照大小维度切割，每个数据块大小相同，例如导出2018年1月到12月的数据，可按照时间维度分割，同一个月份产生的数据分割为一个数据块，或者按照大小维度切割，每1G数据分割为一个数据块。数据块的数量为n，m1+m2+…+mn即为数据总量。

将海量数据分割以后，还需要根据数据特征为每个数据块打上标识，具体的，标识可以为时间、序列号、元素ID等。其中可根据数据块记录的起止时间生成时间标识，或根据数据块的起止ID生成元素ID标识，并按照数据内容顺序加以序列号标识，生成数据标识s1、s2、s3、s4…sn。这样在进行数据查找时，可以根据元素ID标识、时间标识或者序列标识确定每个数据块的数据范围，快速找到具体数据，提高数据查找效率。另外，在海量数量分割以后，通过对数据块打标识也可以保证数据的连贯性。

在本实施例中，依次生成了具有标识的数据块d1、d2、d3、d4…..dn，将数据块从内存移到***其它存储介质前，还可以压缩每块数据块，并也可以让压缩包采用标识s1、s2、s3、s4….sn为名字加以标记。

最后，依次导出每个带有标识的压缩包，最终把压缩包导出到计算机中。导出后的海量数据，可以根据数据块标识确定每个压缩包的数据范围，缩小查找范围，快速查找具体数据。

与现有技术相比，本发明有益效果如下：

按照不同方式灵活切割海量数据，避免一条完整的数据被分割到不同的数据块，导致数据碎片；根据数据特征为数据块标识，有效标识每个数据块的数据范围，提高导出文件的查找效率；元素ID是每条数据内容唯一不重复索引，按照元素ID进行标识，导出后可根据元素ID直接定位查找一条数据具体内容。

本发明第三实施例还提供了一种存储介质，存储有计算机程序，上述计算机程序被处理器执行时实现如下步骤S1至S2：

S1，按照预定方式分割待导出数据，以得到分割后的多个数据块；

S2，按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。

上述计算机程序被处理器执行按照预定方式分割待导出数据，以得到分割后的多个数据块的步骤时，具体被处理器执行如下步骤：检测当前分割次数是否达到预设分割次数，或者，检测当前分割后得到的数据块数量是否达到预设数量，其中，预设分割次数或预设数量通过预定方式和待导出数据的数据大小确定；在未达到预设分割次数或预设数量的情况下，继续按照预定方式分割待导出数据，直至待导出数据被完全分割。

上述计算机程序被处理器执行生成多个具有预定标识的数据块的步骤之后，还被处理器执行如下步骤：分别对各个具有预定标识的数据块进行压缩处理，以得到待导出的压缩数据包。

上述计算机程序被处理器执行按照预定方式分割待导出数据的步骤时，具体被处理器执行如下步骤：在待导出数据中依次获取具有固定时长的数据，和/或，在待导出数据中依次获取具有固定数据大小的数据。

上述预定标识至少包括以下之一：根据数据块记录的起止时间生成的时间标识；根据数据块的起止ID生成的元素ID标识；根据数据块内容顺序生成的序列号标识。

本发明实施例在处理待导出数据时，可以按照预定方式分割待导出数据，根据不同的预定方式分割，可以避免一条完整数据被分割到不同数据块中，且为每个分割后的数据块都设置了对应的预定标识，增加了预定标识的数据块如果存在问题，可以通过该预定标识快速查找到与其相关的其它数据块，即使一条完整的数据被分割，也无需通过复杂的算法进行查找，节约计算资源，提高查询效率。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行上述实施例记载的方法步骤。可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本发明的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。

以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本发明。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

以上对本发明多个实施例进行了详细说明，但本发明不限于这些具体的实施例，本领域技术人员在本发明构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本发明所要求保护的范围之内。

Claims (10)

1.一种数据的处理方法，其特征在于，包括：

按照预定方式分割待导出数据，以得到分割后的多个数据块；

按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。

2.如权利要求1所述的方法，其特征在于，按照预定方式分割待导出数据，以得到分割后的多个数据块，包括：

检测当前分割次数是否达到预设分割次数，或者，检测当前分割后得到的数据块数量是否达到预设数量，其中，所述预设分割次数或所述预设数量通过所述预定方式和所述待导出数据的数据大小确定；

在未达到所述预设分割次数或所述预设数量的情况下，继续按照预定方式分割所述待导出数据，直至所述待导出数据被完全分割。

3.如权利要求1所述的方法，其特征在于，生成多个具有预定标识的数据块之后，还包括：

分别对各个所述具有预定标识的数据块进行压缩处理，以得到待导出的压缩数据包。

4.如权利要求1至3中任一项所述的方法，其特征在于，按照预定方式分割所述待导出数据，包括：

在所述待导出数据中依次获取具有固定时长的数据，和/或，

在所述待导出数据中依次获取具有固定数据大小的数据。

5.如权利要求1至3中任一项所述的方法，其特征在于，所述预定标识至少包括以下之一：

根据数据块记录的起止时间生成的时间标识；

根据数据块的起止ID生成的元素ID标识；

根据数据块内容顺序生成的序列号标识。

6.一种数据的处理装置，其特征在于，包括：

分割模块，用于按照预定方式分割待导出数据，以得到分割后的多个数据块；

标识模块，用于按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。

7.如权利要求6所述的装置，其特征在于，所述分割模块包括：

检测单元，用于检测当前分割次数是否达到预设分割次数，或者，检测当前分割后得到的数据块数量是否达到预设数量，其中，所述预设分割次数或所述预设数量通过所述预定方式和所述待导出数据的数据大小确定；

分割单元，用于在未达到所述预设分割次数或所述预设数量的情况下，继续按照预定方式分割所述待导出数据，直至所述待导出数据被完全分割。

8.如权利要求6所述的装置，其特征在于，还包括：

压缩模块，用于分别对各个所述具有预定标识的数据块进行压缩处理，以得到待导出的压缩数据包。

9.如权利要求6至8中任一项所述的装置，其特征在于，

所述分割模块具体用于：在所述待导出数据中依次获取具有固定时长的数据，和/或，在所述待导出数据中依次获取具有固定数据大小的数据。

10.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述方法的步骤。