CN104731716A - 一种数据存储方法 - Google Patents

Abstract

本发明公开了一种数据存储方法，属于数据存储技术领域。方法包括：将数据保存于一存储空间中；于存储空间中划分出至少一个第一存储区域；将每个第一存储区域划分为：第一存储区块，被划分为多个存储容量相等的第一存储块，用于保存实时数据；第二存储区块，被划分为多个存储容量相等的第二存储块，用于保存有相应的归并数据；清除已经完成归并计算的连续多个第一存储块中保存的实时数据，以清空第一存储块；清除至少一个第二存储块中保存的归并数据，以清空第二存储块。上述技术方案的有益效果是：解决现有技术中大数据量保存不便的问题，降低了存储容量的需求，减轻***负载以及***资源的占用。

Description

一种数据存储方法

技术领域

本发明涉及数据存储技术领域，尤其涉及一种数据存储方法。

背景技术

随着各种大数据量软件的应用，对于大数据存储的需求越来越迫切。现有技术中，实现数据存储的方案在大数据量存储和处理方面均存在相应的缺陷，从而导致大数据量文件的存储容量比较大，并且不易于读写处理，同时也会占用较多的***资源。

发明内容

根据现有技术中存在的问题，现提供一种数据存储方法的技术方案，旨在解决现有技术中存在的海量数据存储不便的问题。

上述技术方案具体包括：

一种数据存储方法，适用于基于时间序列存储的数据；其中，将所述数据保存于一存储空间中；

于所述存储空间中划分出至少一个第一存储区域；

将每个所述第一存储区域划分为：

第一存储区块，所述第一存储区块中被划分为多个存储容量相等的第一存储块，被实时采集的实时数据被依序写入相应的所述第一存储块中；

第二存储区块，所述第二存储区块被划分为多个存储容量相等的第二存储块，每个所述第二存储块中保存有相应的归并数据；

所述归并数据为以预定的第一循环周期对保存于连续多个所述第一存储块中的所有所述实时数据做归并计算后得到的数据；

清除已经完成归并计算的连续多个所述第一存储块中保存的所述实时数据，并将新产生的所述实时数据依序写入已被清空的所述第一存储块中，以完成所述实时数据的循环保存；

以预定的第二循环周期清除至少一个所述第二存储块中保存的所述归并数据，并将新产生的所述归并数据依序写入已被清空的所述第二存储块中，以完成所述归并数据的循环保存。

优选的，该数据存储方法，其中，对所述实时数据进行归并计算的方法包括：

将预设的存储时段内保存的一类所有所述实时数据的平均值作为相应的所述归并数据；或者

将需要进行归并计算的连续多个所述第一存储块中保存的所有所述实时数据中的最小值作为相应的所述归并数据；或者

将需要进行归并计算的连续多个所述第一存储块中保存的所有所述实时数据中的最大值作为相应的所述归并数据；或者

将需要进行归并计算的连续多个所述第一存储块中保存的所有所述实时数据中最后一个被保存的所述实时数据作为相应的所述归并数据；或者

将需要进行归并计算的连续多个所述第一存储块中保存的所有所述实时数据的总和值作为相应的所述归并数据。

优选的，该数据存储方法，其中，于相应的一个所述第一存储区域中保存同一类所述实时数据。

优选的，该数据存储方法，其中，于所述存储空间中划分出至少一个第二存储区域；

所述第二存储区域与所述第一存储区域一一对应；

于每个所述第二存储区域中保存对应于所述第一存储区域中保存的数据的相关信息；

所述相关信息包括：

对应所述第一存储区域中保存的所述实时数据的分类信息；

对应于所述第一存储区域中保存的所述实时数据的来源信息；

对应于所述第一存储区域中保存的所述实时数据的存储地址偏移信息；

对应于所述第一存储区域中保存的所述实时数据的归并计算方法信息。

优选的，该数据存储方法，其中，所述归并计算方法信息中包括：

用于表示每个所述第一存储块的存储容量的信息；

用于表示进行一次归并计算对应的所述第一存储块的数量的信息；

用于表示对应采用的归并计算方法的信息；

用于表示依照被采用的归并计算方法形成的归并计算函数的信息。

优选的，该数据存储方法，其中，根据外部输入的删除指令，删除相应的所述第二存储区域内保存的信息，以删除保存于相应的所述第一存储区域中的所有所述实时数据以及对应的所述归并数据。

上述技术方案的有益效果是：解决现有技术中大数据量保存不便的问题，降低了存储容量的需求，减轻***负载以及***资源的占用。

附图说明

图1-3是本发明的较佳的实施例中，存储空间的划分示意图；

图4是本发明的一个较佳的实施例中，采用本发明技术方案所述的数据存储方法与采用传统的数据存储方法之间的比较示意图表。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

对于大数据量的存储，尤其是基于时间序列不断产生并被保存的数据，在现有技术中还存在着较大的缺陷。以监控数据为例，由于监控软件在执行监控时，其所监控的节点规模可能从几十到几千，每个节点上的监控指标，也就是所监控的项目通常也在几十到上百左右，采集监控数据的间隔一般在1-5分钟，因此，每次监控都会产生海量的监控数据。

现有技术中，对于能够产生如上文中所述的大量基于时间序列排列的数据的数据产生软件，其存储方案通常会采用：

一些专用数据库执行，例如MRTG或者RRDTool配备的专用数据库；或者

一些专用的关系型数据库例如RDBMS(Relational Database ManagementSystem，关系数据库管理***)；或者

非关系型的数据库(Not Only SQL，NoSQL)，例如LevelDB或者RockDB。

现有技术中，对于上述专用数据库而言，其单个数据库文件仅能保存一个指标的数据。同样以监控数据为例，单个数据库文件仅能保存一个监控指标相关的数据，例如仅能保存关于处理器监控的数据，而在一个监控软件运行的过程中，至少会产生上万个监控指标，因此会造成文件存储***的碎片化，从而使得数据查询和数据备份的过程比较复杂，存储扩展性也较差。

而对于上述关系型数据库而言，由于需要支持ACID特性，即原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)，因此在并发写入数据时性能损失比较大，***资源占用也较高，在日常维护时也需要定时做一些历史数据删除等工作。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种数据存储方法。本发明的较佳的实施例中，该数据存储方法适用于基于时间序列存储的数据，例如上文中所述的监控数据。

本发明的较佳的实施例中，上述数据存储方法的内容具体包括：

将数据保存于一存储空间中。

如图1所示，将该存储空间划分成至少一个第一存储区域1。

具体地，本发明的较佳的实施例中，如图2所示，将每个第一存储区域1划分为第一存储区块11和第二存储区块12。

本发明的较佳的实施例中，如图3所示，将第一存储区块11划分为多个第一存储块111，每个第一存储块111的存储容量相等，即向每个被清空第一存储块111内写入数据直至该第一存储块111被写满的时间段是相等的。因此，也可以认为，每个第一存储块111对应的时隙相同。

本发明的较佳的实施例中，上述第一存储块111用于保存基于时间序列实时产生并被实时保存的实时数据，例如监控数据。

本发明的较佳的实施例中，仍然如图3所示，将第二存储区块12划分为多个第二存储块121。

本发明的较佳的实施例中，每个第二存储块121中保存有相应的归并数据。

具体地，本发明的较佳的实施例中，所谓归并数据，是指以预定的第一循环周期对保存于连续多个第一存储块中的所有实时数据做归并计算后得到的数据。如图3所示，上述第二存储区块12中的每个第二存储块121均对应于连续多个相应的第一存储块111(于同一个第一存储区域内)。例如图3中所示，于第一存储区块11中设置有四个第一存储块，这四个第一存储块为连续的存储块111(a)-111(d)。则图3的示例中，上述预设的第一循环周期，即对应于数据写入111(a)-111(d)的时间。换言之，该实施例中，每个第二存储块121对应于相应的连续四个第一存储块111，也就是一个预设的第二存储块121中保存有对应的连续四个第一存储块111中包括的所有实时数据做归并运算后得到的归并数据。

本发明的较佳的实施例中，于存储实时数据的同时对被保存的实时数据进行归并运算。

具体地，本发明的较佳的实施例中，可以于本次需要进行运算的连续多个存储块对应的上一个存储块完成数据存储后即对其进行归并运算，例如于图3中所示，可以于预定的连续4个第一存储块111均完成数据存储后开始相应的归并运算，并将归并数据保存于相应的第二存储块121中。

本发明的较佳的实施例中，上述实施例仅为便于本领域技术人员理解本发明技术方案，其中列举的“连续4个”及其他可适应性调整的技术特征并非因此限定本发明的保护范围。

本发明的较佳的实施例中，于上述第一存储区块中，清除已经完成归并运算的第一存储块111中保存的实时数据。仍然以图3中所示为例，上述清除实时数据的动作可以于整个第一存储区块11中的所有第一存储块111均被写满时进行，即通过清除实时数据的动作将相应的连续多个第一存储块111清空，以准备写入新产生的实时数据。

本发明的较佳的实施例中，将新产生的实时数据依序保存入已被清空的相应的第一存储块111。例如，将已经完成归并运算的第一存储块111(a)-111(d)清空后，将其他新产生的实时数据依序写入这些已被清空的第一存储块111中。

本发明的较佳的实施例中，通过上文中所述的描述，以实现第一存储区块11中的循环保存。举例而言，若上述第一存储区块11中被划分为10个相应的第一存储块111，而每次归并操作针对连续4个第一存储块111进行。则当10个第一存储块111均被写满时，将连续4个已经完成归并运算的第一端存储块111清除，以继续写入实时数据。而归并运算本身按照预设的第一循环周期不断对下一组连续4个第一存储块111进行归并运算。

本发明的另一个较佳的实施例中，一次清除针对的第一存储块111可以少于一次归并运算针对的第一存储块111。例如，一次归并运算针对连续4个第一存储块111，则一次清除可以针对连续3个第一存储块111。换言之，结合上文中所述，一次清除所针对的第一存储块111的数量不大于一次归并运算针对的第一存储块111的数量。

因此，基于上文中所述的技术方案，本发明的较佳的实施例中，可以将上述第一存储区块11设计成头尾衔接的环状存储区块，以实现实时数据于第一存储区块11中的循环保存。

相应地，本发明的较佳的实施例中，同样可以对上述归并数据于第二存储区块12中进行循环保存。具体地：

本发明的较佳的实施例中，以预设的第二循环周期清除至少一个第二存储块121中保存的归并数据，以清空相应的第二存储块121，随后将新产生的归并数据写入相应的第二存储块121中。

本发明的较佳的实施例中，类似上文中所述，当第二存储块12中的所有第二存储块121均被写满时，则可以开始进行清除操作。本发明的较佳的实施例中，每次清除的第二存储块121的数量至少为一个，至多为第二存储区块12中包括的第二存储块121的总数。

因此，相应地，基于上文中所述的技术方案，本发明的较佳的实施例中，同样可以将上述第二存储区块12设计成头尾衔接的环状存储区块，以实现归并数据于第二存储区块12中的循环保存。

本发明的较佳的实施例中，上文中所述的归并计算方法，其可以遵循以下规则：

1)采用平均值(average)计算方法，即将需要进行归并计算的连续多个第一存储块111中保存的所有实时数据的平均值作为相应的归并数据并保存于相应的第二存储块121中。

2)采用最大值(max)计算方法，即将需要进行归并计算的连续多个第一存储块111中保存的所有实时数据中的最大值作为相应的归并数据并保存于相应的第二存储块121中。

3)采用最小值(min)计算方法，即将需要进行归并计算的连续多个第一存储块111中保存的所有实时数据中的最小值作为相应的归并数据并保存于相应的第二存储块121中。

4)采用最后值(last)计算方法，即将需要进行归并计算的连续多个第一存储块111中保存的所有实时数据中最后一个保存的实时数据作为相应的归并数据并保存于相应的第二存储块121中。

5)采用总和值(sum)计算方法，即将需要进行归并计算的连续多个第一存储块111中保存的所有实时数据的总和值作为相应的归并数据并保存于相应的第二存储块121中。

本发明的其他实施例中，还可以采用其他归并计算方法计算形成相应的归并数据并保存，在此并不限定归并计算方法的类型。

综上所述，本发明的发明目的在于：采用循环保存的方式存储实时产生的大量实时数据，并同样采用循环保存的方式存储由实时数据产生的归并数据，从而节省存储空间。并且采用归并数据表示因循环保存而被被覆盖的实时数据，从而提升处理数据的效率。

本发明的较佳的实施例中，仍然如图1所示，于上述存储空间内划分为至少一个第二存储区域2。

本发明的较佳的实施例中，上述第一存储区域1与第二存储区域2一一对应，即一个存储区域1对应于一个存储区域2。

本发明的较佳的实施例中，于每个第二存储区域2内保存对应于第一存储区域1中保存的数据的相关信息。

本发明的较佳的实施例中，所谓相关信息，是指：

1)对应第一存储区域中保存的实时数据的分类信息。

以监控数据为例：

以“CPU指标”来标识监测***CPU得到的实时数据和相应的归并数据；或者

以“内存指标”来标识监测***内存得到的实时数据和相应的归并数据。

2)对应于第一存储区域中保存的实时数据的来源信息；

同样以监控数据为例，由于监控软件一次运行能够监控多节点的数据，每个节点可以为一个具体的被监控设备，例如计算机设备，则来源信息即用于表示相应的实时数据对应的被监控节点，也就是对应的被监控设备。

3)对应于第一存储区域中保存的实时数据的存储地址偏移信息；

4)对应于第一存储区域中保存的实时数据的归并计算方法信息。

本发明的较佳的实施例中，所谓归并计算方法信息，其中包括：

用于表示每个第一存储块的存储容量的信息；

用于表示进行一次归并计算对应的第一存储块的数量的信息；

用于表示对应采用的归并计算方法的信息；

用于表示依照被采用的归并计算方法形成的归并计算函数的信息。

本发明的较佳的实施例中，前三个信息，即表示存储容量的信息，表示一次归并计算对应的连续多个第一存储块的数量的信息，以及表示归并计算方法的信息，均被整合于相应的数据存放信息内。例如，一个监控软件5分钟产生一次监控数据，则一小时就是12条，一天就是288条。这么庞大的数据量，需要一种相应的归并计算方法进行计算，即需要相应的归并计算规则，以及归并计算范围对实时数据进行计算以形成归并数据，从而支持以相对较少的存储容量保存较大的数据量。上述信息即包括在相应的数据存放信息中。

本发明的较佳的实施例中，最后一个信息，即表示归并计算函数的信息，为基于上述确定的归并计算方法形成的归并函数。

本发明的较佳的实施例中，根据上文中所述的保存于第二存储区域2中的信息，能够对保存于相应的第一存储区域1中的实时数据进行归并计算，从而得到相应的归并数据并保存。

应用本发明技术方案对数据进行保存，其与传统的存储方案的对比如图4所示。于图4中可以看到，采用本发明所述的技术方案进行数据存储，其存储量相对较小，且查询、压缩和数据删除等数据处理速度也相对较快。因此，本发明技术方案相对于传统的存储方案而言具有显著的进步。

本发明的较佳的实施例中，仍然如图1所示，于上述存储空间内划分一个第三存储区域3。

本发明的较佳的实施例中，第三存储区域3用于存放相应的数据库的元信息，包括数据库标识，以及该数据库中包括的实时数据分类的数量标识等。

本发明的较佳的实施例中，如图1所示，于一个数据库文件中，上述第三存储区域3为数据库文件的文件头，置于数据库文件序列格式的最前端；上述第二存储区域2置于上述第三存储区域3之后，上述第一存储区域1(即数据库文件的数据部分)置于上述第二存储区域2之后，从而构成相应数据库的二进制文件存储格式。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (6)

1.一种数据存储方法，适用于基于时间序列存储的数据；其特征在于，将所述数据保存于一存储空间中；

于所述存储空间中划分出至少一个第一存储区域；

将每个所述第一存储区域划分为：

第一存储区块，所述第一存储区块中被划分为多个存储容量相等的第一存储块，被实时采集的实时数据被依序写入相应的所述第一存储块中；

第二存储区块，所述第二存储区块被划分为多个存储容量相等的第二存储块，每个所述第二存储块中保存有相应的归并数据；

所述归并数据为以预定的第一循环周期对保存于连续多个所述第一存储块中的所有所述实时数据做归并计算后得到的数据；

清除已经完成归并计算的连续多个所述第一存储块中保存的所述实时数据，并将新产生的所述实时数据依序写入已被清空的所述第一存储块中，以完成所述实时数据的循环保存；

以预定的第二循环周期清除至少一个所述第二存储块中保存的所述归并数据，并将新产生的所述归并数据依序写入已被清空的所述第二存储块中，以完成所述归并数据的循环保存。

2.如权利要求1所述的数据存储方法，其特征在于，对所述实时数据进行归并计算的方法包括：

将预设的存储时段内保存的一类所有所述实时数据的平均值作为相应的所述归并数据；或者

将需要进行归并计算的连续多个所述第一存储块中保存的所有所述实时数据中的最小值作为相应的所述归并数据；或者

将需要进行归并计算的连续多个所述第一存储块中保存的所有所述实时数据中的最大值作为相应的所述归并数据；或者

将需要进行归并计算的连续多个所述第一存储块中保存的所有所述实时数据中最后一个被保存的所述实时数据作为相应的所述归并数据；或者

将需要进行归并计算的连续多个所述第一存储块中保存的所有所述实时数据的总和值作为相应的所述归并数据。

3.如权利要求1所述的数据存储方法，其特征在于，于相应的一个所述第一存储区域中保存同一类所述实时数据。

4.如权利要求1所述的数据存储方法，其特征在于，于所述存储空间中划分出至少一个第二存储区域；

所述第二存储区域与所述第一存储区域一一对应；

于每个所述第二存储区域中保存对应于所述第一存储区域中保存的数据的相关信息；

所述相关信息包括：

对应所述第一存储区域中保存的所述实时数据的分类信息；

对应于所述第一存储区域中保存的所述实时数据的来源信息；

对应于所述第一存储区域中保存的所述实时数据的存储地址偏移信息；

对应于所述第一存储区域中保存的所述实时数据的归并计算方法信息。

5.如权利要求4所述的数据存储方法，其特征在于，所述归并计算方法信息中包括：

用于表示每个所述第一存储块的存储容量的信息；

用于表示进行一次归并计算对应的所述第一存储块的数量的信息；

用于表示对应采用的归并计算方法的信息；

用于表示依照被采用的归并计算方法形成的归并计算函数的信息。

6.如权利要求4所述的数据存储方法，其特征在于，根据外部输入的删除指令，删除相应的所述第二存储区域内保存的信息，以删除保存于相应的所述第一存储区域中的所有所述实时数据以及对应的所述归并数据。