CN110069217A

CN110069217A - 一种数据存储方法及装置

Info

Publication number: CN110069217A
Application number: CN201910286706.1A
Authority: CN
Inventors: 陶勇森; 李成
Original assignee: New H3C Security Technologies Co Ltd
Current assignee: New H3C Security Technologies Co Ltd
Priority date: 2019-04-10
Filing date: 2019-04-10
Publication date: 2019-07-30
Anticipated expiration: 2039-04-10
Also published as: CN110069217B

Abstract

本发明实施例提供了一种数据存储方法，该方法包括：从原始存储空间对应被分配的队列中读取待处理数据，对待处理数据进行处理，得到待存储数据；判断目的存储空间是否为可用状态；若不是可用状态，则将待存储数据存储至原始存储空间；若是可用状态，则将待存储数据存储至目的存储空间。这样，当目的存储空间不可用时，可以将待存储数据存储至原始存储空间，不会占用***的内存，同时，对原始存储空间所存储的数据，也可以继续进行读取，从而可以减少数据淤积在原始存储空间的现象。

Description

一种数据存储方法及装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据存储方法及装置。

背景技术

数据处理***需要对大量的数据进行处理，在数据处理过程中，首先，从原始存储空间读取数据，然后，对数据进行分析处理，再将处理后的数据存储至目的存储空间。

一些情况下，在存储处理后的数据时可能发生故障，处理后的数据无法存储至目的存储空间。在这种情况下，如果继续从原始存储空间读取数据，数据处理后无法存储至目的存储空间，占用数据处理***的内存，将会导致数据处理***内存耗尽。

目前，相关技术中，当出现数据存储故障时，会暂停对数据的读取，直到数据存储故障被修复之后，再从原始存储空间读取数据。

但是，在上述方法中，旧的数据仍然存储在原始存储空间，而新获取的数据不断添加至数据存储队列的尾部，将导致大量数据淤积在原始存储空间，数据处理***将面临很大的压力。

发明内容

本发明实施例的目的在于提供一种数据存储方法及装置，以减少数据淤积现象。具体技术方案如下：

本发明实施例提供了一种数据存储方法，所述方法包括：

从原始存储空间对应被分配的队列中读取待处理数据，对所述待处理数据进行处理，得到待存储数据；

判断目的存储空间是否为可用状态；

若不是可用状态，则将所述待存储数据存储至所述原始存储空间；

若是可用状态，则将所述待存储数据存储至所述目的存储空间；

返回所述从原始存储空间对应被分配的队列中读取待处理数据的过程。

可选的，所述从原始存储空间对应被分配的队列中读取待处理数据，对所述待处理数据进行处理，得到待存储数据的步骤，包括：

从原始存储空间对应被分配的队列中读取第一数据；

判断所述第一数据是否已被处理；

若否，则对作为待处理数据的所述第一数据进行处理，得到待存储数据；

若是，则在所述目的存储空间不为可用状态时，将所述第一数据存储至所述原始存储空间；在所述目的存储空间为可用状态时，将所述第一数据存储至所述目的存储空间。

可选的，所述对所述待处理数据进行处理，得到待存储数据，包括：

将所述待处理数据处理为具有预设格式和/或预设字段的待存储数据。

可选的，所述从原始存储空间对应被分配的队列中读取待处理的待处理数据，包括：

从原始存储空间对应被分配的队列头部读取待处理数据；

所述将所述待存储数据存储至所述原始存储空间，包括：

将所述待存储数据存储至所述原始存储空间对应被分配的队列尾部。

本发明实施例还提供了一种数据存储装置，所述装置包括：

读取模块，用于从原始存储空间对应被分配的队列中读取待处理数据，对所述待处理数据进行处理，得到待存储数据；

判断模块，用于判断目的存储空间是否为可用状态；

存储模块，用于在所述目的存储空间不是可用状态的情况下，则将所述待存储数据存储至所述原始存储空间；在所述目的存储空间是可用状态的情况下，则将所述待存储数据存储至所述目的存储空间。

可选的，所述读取模块，具体用于：

从原始存储空间对应被分配的队列中读取第一数据；

判断所述第一数据是否已被处理；

可选的，所述读取模块，具体用于：

可选的，所述读取模块，具体用于从原始存储空间对应被分配的队列头部读取待处理数据；

所述存储模块，具体用于将所述待存储数据存储至所述原始存储空间对应被分配的队列尾部。

本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一所述的数据存储方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的数据存储方法。

本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的数据存储方法。

本发明实施例提供的数据存储方法及装置，从原始存储空间对应被分配的队列中读取待处理数据，并对待处理数据进行处理，得到待存储数据，然后，判断目的存储空间是否为可用状态，若不是可用状态，则将待存储数据存储至原始存储空间，若是可用状态，则将待存储数据存储至目的存储空间。

这样，当目的存储空间不可用时，可以将待存储数据存储至原始存储空间，不会占用***的内存，同时，对原始存储空间所存储的数据，也可以继续进行读取，从而可以减少数据淤积在原始存储空间的现象。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为相关技术中的数据存储方法的方案示意图；

图2为本发明实施例提供的一种数据存储方法的流程示意图；

图3为本发明实施例提供的一种数据存储方法的方案示意图；

图4为本发明实施例提供的一种数据存储装置的结构示意图；

图5为本发明实施例提供的一种电子设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，当出现数据存储故障时，会暂停对数据的读取，直到数据存储故障被修复之后，再从原始存储空间读取数据。但是，这样将导致大量数据淤积在原始存储空间，当数据存储故障被修复之后，数据处理***将面临很大的压力。

如图1所示，为相关技术中数据存储方法的方案示意图。

步骤1，可以从原始存储空间读取数据。

步骤2，对读取到的数据进行处理。

步骤3，对处理后的数据进行存储。

步骤4，若目的存储空间没有出现故障，那么，处理后的数据可以存储至目的存储空间。

步骤5，若目的存储空间出现故障，那么，处理后的数据无法存储至目的存储空间，则执行步骤6。

步骤6，暂停从原始存储空间读取数据，同时，对数据的处理和存储也将暂停。

为了解决上述技术问题，本发明提出了一种数据存储方法及装置，该方法可以应用于电子设备，如计算机、服务器、移动终端等等，具体不做限定。

下面从总体上对本发明实施例提供的数据存储方法进行说明。

本发明的一种实现方式中，上述数据存储方法包括：

从原始存储空间对应被分配的队列中读取待处理数据，对待处理数据进行处理，得到待存储数据；

判断目的存储空间是否为可用状态；

若不是可用状态，则将待存储数据存储至原始存储空间；

若是可用状态，则将待存储数据存储至目的存储空间；

返回从原始存储空间对应被分配的队列中读取待处理数据的步骤。

由以上可见，本发明实施例提供的数据存储方法，当目的存储空间不可用时，可以将待存储数据存储至原始存储空间，不会占用***的内存，同时，对原始存储空间所存储的数据，也可以继续进行读取，从而可以减少数据淤积在原始存储空间的现象。

下面将通过具体的实施例，对本发明实施例提供的数据存储方法进行详细描述。

如图2所示，为本发明实施例提供的一种数据存储方法的流程示意图，包括如下步骤。

S201：从原始存储空间对应被分配的队列中读取待处理数据，对待处理数据进行处理，得到待处理数据。

在数据处理过程中，首先，需要从原始存储空间对应被分配的队列中读取待处理数据，然后，才能对待处理数据进行处理，得到待处理数据。其中，原始存储空间可能是磁盘、消息中间件、数据库或数据文件等。

我们知道，每个队列都分配有对应的存储空间，在本实施例中，原始存储空间是指被某一个或多个队列使用的存储空间，原始存储空间对应被分配的队列是指这些被分配到原始存储空间的一个或多个队列。例如，若原始存储空间被分配给队列1和2使用，那么队列1和2则是原始存储空间对应被分配的队列。也就是说，待处理数据是以队列的形式存储在原始存储空间中的，基于此，可以从原始存储空间对应被分配的队列中，读取到待处理数据。

其中，待处理数据为没有经过处理的数据。比如，若对数据的处理是指对数据的解码处理，那么，待处理数据可以为未经过解码的数据，或者，若对数据的处理是指对数据的类型和格式的归一化处理，那么，待处理数据可以为任意不同类型和格式的数据，比如，可以为syslog日志、二进制日志、网络流量日志等。

在本步骤中，可以按照原始存储空间中数据的存储顺序，从原始存储空间对应被分配的队列中读取待处理数据。比如，待处理数据可能按照存储时间的先后顺序，依次存储在原始存储空间中，那么，可以从原始存储空间对应被分配的队列的头部读取待处理数据，这样，读取到的待处理数据就是最先存储至原始存储空间的待处理数据。

一些情况下中，原始存储空间所存储的数据并不都是未经过处理的数据，在这种情况下，可以先从原始存储空间对应被分配的队列中读取第一数据，然后，判断读取的第一数据是否已进行处理。若未进行处理，则将读取的第一数据作为待处理数据，对读取的第一数据进行处理，得到待存储数据；若已进行预设处理，则不再对第一数据进行处理，可以对第一数据进行存储。这样，可以减少对数据的重复处理，提高数据处理效率。

一种实现方式中，在对待处理数据进行处理时，可以为处理后的数据添加已处理数据的标识，这样，从原始存储空间读取第一数据之后，可以根据已处理数据的标识，判断读取的第一数据是否已进行处理。

或者，可以直接对读取的第一数据进行分析，判断读取的第一数据是否与预设的待存储数据的格式或类型相同，若相同，则判定读取的第一数据已进行预设处理，反之，则判定读取的第一数据未进行预设处理。

举例而言，对待处理数据进行处理可以是指对数据的归一化处理，将不同类型和格式的待处理数据处理为具有统一格式和/或统一字段的待存储数据，这样，便于后续对待存储数据的整理和读取。

或者，对待处理数据进行处理也可以是指对待处理数据的其他处理，比如，可以是指对待处理数据的压缩、解压缩、加密、解密等操作，具体不做限定。

S202：判断目的存储空间是否为可用状态。若否，则执行S203；若是，则执行S204。

通常，在得到待存储数据之后，可以将待存储数据存储至目的存储空间。其中，目的存储空间可能是消息中间件、数据库或数据文件等，具体不做限定。

一些情况下，目的存储空间可能会发生故障，导致待存储数据无法存储至目的存储空间，比如，可能存在目的存储空间所在的磁盘发生损坏，或目的存储空间内存已满等情况。

基于此，可以判断目的存储空间是否为可用状态，若目的存储空间为可用状态，表明***可以正常的从目的存储空间读写数据，待存储数据可以成功存储至目的存储空间，若目的存储空间不是可用状态，表明***无法正常的从目的存储空间读写数据，待存储数据无法成功存储至目的存储空间。

举例而言，判断目的存储空间是否为可用状态的方式，可以为：将某一数据存储至目的存储空间，若该数据成功存储至目的存储空间，则表明目的存储空间为可用状态，若该数据不能成功存储至目的存储空间，则表明目的存储空间不是可用状态。

其中，可以在能够成功从目的存储空间读取到该数据的情况下，判断该数据已成功存储至目的存储空间，或可以在接收到该数据存储成功的反馈消息的情况下，判断该数据已成功存储至目的存储空间；反之，若无法成功从目的存储空间读取到该数据，或没有接收到该数据存储成功的反馈消息，则表明目的存储空间不是可用状态。

其中，用于判断目的存储空间是否为可用状态的数据可以是预设的某一数据，也可以是待存储数据自身或待存储数据的一部分，具体不做限定。

S203：将待存储数据存储至原始存储空间。返回S201，以能够继续读取并处理待处理数据。

在判定目的存储空间不是可用状态的情况下，可以改变待存储数据的存储路径，将待存储数据存储至原始存储空间，然后，返回S201，以能够继续读取并处理待处理数据。

一种实现方式中，从原始存储空间读取的待处理数据之后，会对读取的待处理数据进行处理，只有经过处理的待处理数据才会作为待存储数据。在这种情况下，若目的存储空间不是可用状态，那么，在将待存储数据存储至原始存储空间之后，原始存储空间中所存储的数据既包括未经过处理的数据，也包括已经过处理的数据。

在本步骤中，将待存储数据存储至原始存储空间时，可以将待存储数据存储至原始存储空间对应被分配的队列尾部，而在从原始存储空间读取待处理数据时，是从原始存储空间对应被分配的队列头部读取待处理数据。这样，可以不间断的对原始存储空间存储的数据按照队列中的存储顺序进行读取，提高资源利用率。

而且，在待处理数据按照存储时间的先后顺序依次存储在原始存储空间中的情况下，当目的存储空间为可用状态时，可以及时将较新的数据存储至目的存储空间，从而提高业务实时性。

S204：将待存储数据存储至目的存储空间。返回S201，以能够继续读取并处理待处理数据。

在判定目的存储空间是可用状态的情况下，可以直接将待存储数据存储至目的存储空间，然后，返回步骤S201，以能够继续读取并处理待处理数据。

举例而言，如图3所示，为一种实现方式中，本发明实施例提供的数据存储方法的方案示意图，初始状态下，原始存储空间对应被分配的队列(队列1)为1、2、3、4、5、6。

步骤a，可以从原始存储空间对应被分配的队列头部读取第一数据，如图3所示，从原始存储空间对应被分配的队列1的头部，首先读取的第一数据为数据1。

步骤b，判断数据1是否已进行处理，可以看出，此时，数据1未经过处理。

步骤c，对作为待处理数据的数据1进行处理，将处理后的数据1作为待存储数据。

步骤d，判断目的存储空间是可用状态，将处理后的数据1存储至目的存储空间。

步骤e，判断目的存储空间不是可用状态，无法存储至目的存储空间。

步骤f，将处理后的数据1存储至原始存储空间对应被分配的队列尾部。

类似的，从原始存储空间对应被分配的队列头部读取数据2，在数据2为未经过处理的数据的情况下，对数据2进行处理，将处理后的数据2作为待存储数据，判断目的存储空间不是可用状态，将处理后的数据2存储至原始存储空间对应被分配的队列尾部，这样，此时原始存储空间中的队列(队列2)为3、4、5、6、1、2。

继续对数据3、4、5、6进行读取、处理和存储，直至读取到处理后的数据1。这时，由于处理后的数据1已经过处理，因此，进行步骤g，不再对处理后的数据1进行处理，直接执行存储操作，此时判断目的存储空间是否为可用状态。

而且，即使在目的存储空间不可用的情况下，也不需要暂停对待处理数据的读取，可以不间断的从原始存储空间对应被分配的队列中读取其他的待处理数据，从而提高数据处理效率。

与上述数据存储方法相对应，本发明实施例还提供了一种数据存储装置。

如图4所示，为本发明实施例提供的一种数据存储装置的结构示意图，该装置包括：

读取模块401，用于从原始存储空间对应被分配的队列中读取待处理数据，对待处理数据进行处理，得到待存储数据；

判断模块402，用于判断目的存储空间是否为可用状态；

存储模块403，用于在目的存储空间不是可用状态的情况下，则将待存储数据存储至原始存储空间；在目的存储空间是可用状态的情况下，则将待存储数据存储至目的存储空间。

一种实现方式中，读取模块401，具体用于：

从原始存储空间对应被分配的队列中读取第一数据；

判断第一数据是否已被处理；

若否，则对作为待处理数据的第一数据进行处理，得到待存储数据；

若是，则在目的存储空间不为可用状态时，将第一数据存储至原始存储空间；在目的存储空间为可用状态时，将第一数据存储至目的存储空间。

一种实现方式中，读取模块401，具体用于：

将待处理数据处理为具有预设格式和/或预设字段的待存储数据。

一种实现方式中，读取模块401，具体用于从原始存储空间对应被分配的队列头部读取待处理数据；

存储模块403，具体用于将待存储数据存储至原始存储空间对应被分配的队列尾部。

由以上可见，本发明实施例提供的数据存储装置，当目的存储空间不可用时，可以将待存储数据存储至原始存储空间，不会占用***的内存，同时，对原始存储空间所存储的数据，也可以继续进行读取，从而可以减少数据淤积在原始存储空间的现象。

本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，

存储器503，用于存放计算机程序；

处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：

判断目的存储空间是否为可用状态；

若不是可用状态，则将待存储数据存储至原始存储空间；

若是可用状态，则将待存储数据存储至目的存储空间。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据存储方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据存储方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、存储介质实施例和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种数据存储方法，其特征在于，所述方法包括：

判断目的存储空间是否为可用状态；

2.根据权利要求1所述的方法，其特征在于，所述从原始存储空间对应被分配的队列中读取待处理数据，对所述待处理数据进行处理，得到待存储数据的步骤，包括：

从原始存储空间对应被分配的队列中读取第一数据；

判断所述第一数据是否已被处理；

3.根据权利要求1所述的方法，其特征在于，所述对所述待处理数据进行处理，得到待存储数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述从原始存储空间对应被分配的队列中读取待处理的待处理数据，包括：

从原始存储空间对应被分配的队列头部读取待处理数据；

所述将所述待存储数据存储至所述原始存储空间，包括：

5.一种数据存储装置，其特征在于，所述装置包括：

判断模块，用于判断目的存储空间是否为可用状态；

6.根据权利要求5所述的装置，其特征在于，所述读取模块，具体用于：

从原始存储空间对应被分配的队列中读取第一数据；

判断所述第一数据是否已被处理；

7.根据权利要求5所述的装置，其特征在于，所述读取模块，具体用于：

8.根据权利要求5所述的装置，其特征在于，

所述读取模块，具体用于从原始存储空间对应被分配的队列头部读取待处理数据；

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。