CN107659626A - 面向临时元数据的分离存储方法 - Google Patents

Abstract

本发明提供了一种面向临时元数据的分离存储方法，包括如下步骤：步骤一：数据源发送数据流，服务器接收数据流并识别每条数据对应的元数据；步骤二：服务器将流数据分发到其对应的服务器准备存储；步骤三：对于需要存储在本地的流数据，将其转化为若干键值对，***到本地键值对存储***，并记录***的内存位置等信息；步骤四：将每条数据对应的元数据和键值对***信息结合，***到另一个对垃圾回收友好的本地存储***；步骤五:将元数据和键值对***信息按照一定策略拷贝到多台服务器上作为缓存。本发明避免删除元数据时造成大量数据搬移，从而提高存储***工作效率。

Description

面向临时元数据的分离存储方法

技术领域

本发明涉及一种分离存储方法，具体地，涉及一种面向临时元数据的分离存储方法。

背景技术

流处理(Stream Processing)模型在大数据应用中越来越重要。包括Spark,Flink等流行的大数据处理平台都提供了数据流处理功能。在该模型中，多个数据源持续的生成数据形成数据流，发送到处理平台。用户可以通过平台查询最近一段时间内产生的数据，从而了解最新发生的事件(比如查询最近一小时被点赞最多的微博)。因此，所有的数据以及数据产生的时间(即元数据)都需要存储在***中，直到其过于陈旧，不再被任何查询使用。在实际使用中，人们发现有很多数据在过于陈旧时，应当删除元数据以节约空间，但是数据本身应该保留下来为之后的查询提供历史信息。由于流处理的这个新特性，寻找有效的存储管理方法成为提高***空间和时间效率的重要课题。高效的方法可以快速删除陈旧元数据，同时保证查询***的整体性能。

RDF(Resource Description Framework,资源描述框架)是一种表示图结构的数据格式，每条数据由主语、谓词、宾语三部分组成，可以看做一条从主语到宾语的边，边上有一个谓词标签，这样一个RDF数据集就可以看做一个有向图。由于RDF强大的描述能力，其广泛应用于各个领域的资源建模和数据描述。近年来，RDF格式的数据流被用于多个领域中，包括社交网络分析和物联网应用。

键值对存储***(Key-Value Storage System)是广泛使用的分布式存储方式。在大数据***中存储图数据，通常将图中的点(vertex)作为键，将对应的边集合(edge set)作为值。现有***在处理RDF数据流时，会将每条边和其时间元数据绑定在一起进行存储，这样的方法非常不利于陈旧元数据的删除。

远程直接内存访问(RDMA，Remote Direct Memory Access)是一种高性能的网络通讯技术，能够直接读写远端服务器的内存，并且不需要目标服务器CPU的参与协助。相比于传统的网络通讯，RDMA具有低延迟和高吞吐率的特点。当传输的数据量较小时，网络带宽占用率不高，RDMA通信的延迟保持在稳定且较低水平。

因此如何设计一个高效的存储管理方法，既可以即时删除陈旧元数据以节约存储空间，又可以为查询处理快速提供数据的时间信息，并且充分利用新的网络通讯技术及其特点，已成为本领域技术人员亟待解决的技术难题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种面向临时元数据的分离存储方法，其能充分利用高性能网络的特性，将RDF流数据和RDF流元数据分离管理，避免删除元数据时造成大量数据搬移，从而提高存储***工作效率。

根据本发明的一个方面，提供一种面向临时元数据的分离存储方法，其特征在于，包括如下步骤：

步骤一：数据源发送数据流，服务器接收数据流并识别每条数据对应的元数据；

步骤二：服务器将流数据分发到其对应的服务器准备存储；

步骤三：对于需要存储在本地的流数据，将其转化为若干键值对，***到本地键值对存储***，并记录***的内存位置等信息；

步骤四：将每条数据对应的元数据和键值对***信息结合，***到另一个对垃圾回收友好的本地存储***；

步骤五:将元数据和键值对***信息按照一定策略拷贝到多台服务器上作为缓存。

优选地，所述步骤一包括以下步骤：数据源选择一台服务器发送数据流，该服务器监听数据流，并将其转化为***可识别的RDF格式图数据和相关元数据。

优选地，所述步骤二包括以下步骤：服务器识别出RDF图数据之后，根据***使用的图划分算法判断是否应该在本地存储；若不在本地存储则将数据转发到对应服务器，流程结束。

优选地，所述步骤三包括以下步骤：

步骤三十一：将RDF图数据转化为若干个键值对，***到底层的键值对存储***；

步骤三十二：根据步骤三十一的***情况，判断是否修改代表索引的键值对；

当步骤三十一中，未查找到键甲时，说明该主语和谓词的搭配在整个RDF图中第一次出现，此时应该修改谓词-主语索引；

当步骤三十二中，可以查找到键甲时，说明通过当前的谓词-主语索引，得知该主语和谓词的搭配在整个RDF图中出现过，此时不需要修改索引；

步骤三十三：在步骤三十一和步骤三十二中对键值对存储***的所有修改，都是对某个键的值追加元素，追加的元素在存储***中拥有一个地址；对于每一条流数据，将其对应的临时数据，包括时间元数据和键值对***信息打包，作为输入提供给步骤四。

优选地，所述步骤四包括以下步骤：将每条数据对应的临时数据***到另一个本地存储***中，即“分离存储方法”；用于存储临时数据的存储***使用对于垃圾回收友好的环状链表数据结构。

优选地，所述步骤五包括以下步骤：

步骤五十一：检查数据中心的每台服务器；根据目标服务器上注册的查询信息，以及一条流数据的数据源，判断目标服务器是否需要对该数据源进行查询；

步骤五十二：若目标服务器需要对该数据源进行查询，则将该条数据在步骤三十三中生成的所有信息发送到目标服务器为该数据源预留的存储空间中，作为缓存提供给该服务器上的查询线程；

步骤五十三：当目标服务器处理查询时，访问为元数据预留的空间完成查询；查询执行结束后，将过于陈旧的临时数据删除以节约空间。

与现有技术相比，本发明具有如下的有益效果：

一，本发明所提出的面向临时元数据的分离存储方法，将数据和元数据存储在不同的子***中，避免两种数据相互影响，针对不同数据特征进行优化。相比于传统的混合管理方法，能够避免删除临时数据带来的大量数据搬移，因此表现出较大的性能优势。

二，本发明设计的元数据存储格式充分考虑到了高性能网络(RDMA)的特性，可以使每台服务器使用本地存储的临时数据减少查询处理时的RDMA网络通信次数。由于网络通信延时通常占查询处理总延时的大部分，该设计可以很好降低查询总延时。

三，本发明设计的元数据存储格式按照时间顺序组织，使得服务器可以使用环形链表数据结构快速删除陈旧的临时数据，节约存储空间。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明使用面向临时元数据的分离存储方法的流程图。

图2为本发明使用面向临时元数据的分离存储方法实施例的组成示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明面向临时元数据的分离存储方法包括如下步骤：

步骤一：***启动时加载初始数据，这些数据分散存储在所有服务器上；服务器接收数据源发送的数据，并区分数据和时间元数据；数据源发送数据流，服务器接收数据流并识别每条数据对应的元数据；

步骤二：服务器将流数据分发到其对应的服务器准备存储；

步骤三：对于需要存储在本地的流数据，将其转化为若干键值对，***到本地键值对存储***，并记录***的内存位置等信息；

步骤四：将每条数据对应的元数据和键值对***信息结合，***到另一个对垃圾回收友好的本地存储***；

步骤五:将元数据和键值对***信息按照一定策略拷贝到多台服务器上作为缓存。

所述步骤一包括以下步骤：

步骤十一：数据源选择一台服务器，通过网络发送数据流，可以使用TCP、RDMA等网络技术保证数据可靠性；

步骤十二：服务器接收数据流，并将接收的数据转化为***可识别的RDF格式图数据和相关元数据(比如时间信息)；

步骤十三：根据RDF相关的本体规范(ontology)，验证RDF数据的格式规范性；

步骤十四：确保数据的时间信息按照数据流的顺序单调递增，可以对时间戳进行相应调整；

步骤一将数据流和服务器进行一一对应，其优点在于可以方便地保证分布式环境下数据流的顺序语义，即同一个数据流中的元素将按照时间戳先后的顺序被处理。同时，将不同数据流注册到不同服务器上可以减轻单台服务器的处理压力。

所述步骤二包括以下步骤：

步骤二十一：流数据转化为标准RDF格式之后，服务器根据数据哈希值判断该数据对应的目标存储服务器，可以使用RDF中的主语哈希值进行划分从而提高查询操作的空间本地性。

步骤二十二：判断目标存储服务器为本地服务器，则将数据发送到本地对应处理模块进行数据***，进入步骤三。

步骤二十三：判断目标存储服务器为其他服务器，则通过网络将数据发送到对应服务器，流程结束。

步骤二使用哈希算法对数据进行划分，优点在于既保证了数据在多台服务器上划分较为均匀；同时，由于采用了对关键信息的哈希值，关键信息相同的数据将会划分到同一台服务器上，提高了查询时的数据本地性。

所述步骤三包括以下步骤：

步骤三十一：将RDF图数据转化为若干个键值对，***到底层的键值对存储***。具体的，对于一个要***的键值对，设键为甲值为乙，应首先在存储***中查找甲，若未找到则***键甲，其对应的值为乙；若可以找到键甲，并且其对应的值为丙，则将丙和乙合并作为甲对应的新的值。

步骤三十二：根据步骤三十一的***情况，判断是否修改代表索引的键值对。这里以图查询***Wukong中使用的谓词-主语索引为例，该索引描述在整个RDF图中，拥有某个谓词的主语都有哪些。

当步骤三十一中，未查找到键甲时，说明该主语和谓词的搭配在整个RDF图中第一次出现，此时应该修改谓词-主语索引。具体的，以谓词为键，找到对应的值，并将该主语加入到这个值之后形成新的值。

当步骤三十二中，可以查找到键甲时，说明通过当前的谓词-主语索引，可以得知该主语和谓词的搭配在整个RDF图中出现过。此时不需要修改索引。

步骤三十三：在步骤三十一和步骤三十二中对键值对存储***的所有修改，都是对某个键的值追加元素，追加的元素在存储***中拥有一个地址。对于每一条流数据，将其对应的临时数据，包括时间元数据和键值对***信息打包，作为输入提供给步骤四。

所述步骤四包括以下步骤：将每条数据对应的临时数据***到另一个本地存储***中，即“分离存储方法”；用于存储临时数据的存储***可以使用对于垃圾回收友好的环状链表数据结构。具体的，临时数据以时间戳为序进行存储，环状链表的每个元素存储时间戳相同的临时数据。因此，时间戳较老且不会再被查询使用的临时数据会通过环状链表的覆盖操作进行内存回收。相比于传统的垃圾回收机制，步骤四使用的方法面向数据流处理场景进行了针对性设计：由于数据流查询通常只需要最新产生的数据，环状链表的长度可以设置的比较小，从而更加及时地对无用元数据进行回收。同时，该方法不会对数据的***和查询性能造成影响。

所述步骤五包括以下步骤：

步骤五十一：检查数据中心的每台服务器。根据目标服务器上注册的查询信息，以及一条流数据的数据源，判断目标服务器是否需要对该数据源进行查询。

步骤五十二：若目标服务器需要对该数据源进行查询，则将该条数据在步骤三十三中生成的所有信息发送到目标服务器为该数据源预留的存储空间中，作为缓存提供给该服务器上的查询线程。

步骤五十三：当目标服务器处理查询时，访问为元数据预留的空间完成查询。查询执行结束后，将过于陈旧的临时数据删除以节约空间。

步骤五起到了软件缓存的作用，可以有效减小查询的执行时间。其特点在于将元数据而不是数据作为缓存拷贝到多台机器上。优点在于当数据流流速较快时，元数据占用的内存大小明显小于数据大小。同时，本步骤使用的数据结构和步骤四中所述的类似，可以方便地回收陈旧的元数据。

图2为本发明实施例的组成示意图。如图2所示，该实施例主要包括四个软件抽象层次，七个主要功能模块。其中，与本发明密切相关的功能模块有：数据流接收模块，图存储模块和查询执行模块。

数据流接收模块负责将***输入转化为标准化RDF格式并生成对应元数据。图存储模块负责根据本发明内容组织键值对存储***，即元数据分离的存储，从而向提供高效的图数据查询、回收。查询执行模块负责保证查询的一致性，同时利用步骤五所述的缓存机制提高查询执行效率。

进一步具体地，本步骤的元数据分发和查询处理利用了高性能网络(RDMA)的特性。对于存储***中的一个键值对，通常只有值的一小部分需要维护元数据，其余部分的元数据都因为过于陈旧而被删除，所以元数据相对较小。RDMA通讯方式一个显著的特点是：在传输数据大小较小时(如小于2000字节)，传输的延迟保持较低的水平且基本不变。利用RDMA的上述特性来传递元数据，可以达到较高的传输效率和较低的传输延迟。在查询处理方面，由于流查询涉及的数据量相对较小，处理时适合使用RDMA通信直接从目标服务器读取数据到本地。本发明设计的元数据信息由于记录了数据在对应服务器上的存储位置，可以只通过一次通信获取数据，降低了查询处理时需要的网络通信次数，从而提高了查询处理的性能。

本发明中的存储管理方法是基于数据和元数据分离来实现的。数据使用的存储结构不支持删除操作，从而提供更快的查询和***。元数据使用环状链表结构存储，称为元数据记录表，每个数据流都拥有一个元数据记录表。元数据记录表按照时间顺序组织，当***新元素时，在链表结尾***；当删除陈旧元数据时，删除表头元素。为了方便查询，链表中的每一个元素都是一个小型的哈希表，用来表示一个基本时间单位内，每个键值对在存储***中被修改的位置。当查询的范围是多个基本时间单位时，需要对多个哈希表进行查询。

与现有技术相比，本发明能够根据已注册查询的查询时间范围，及时识别并删除陈旧的元数据。同时，充分利用到了高性能网络(RDMA)的特性，提高查询***性能。相比于传统的混合存储管理方法，避免了将数据和元数据统一存储造成的管理复杂性，因此能极大的提高存储***使用效率。

本发明采用面向临时元数据的分离存储方法而不是传统的混合存储管理方法，主要原因是传统的存储管理方法在回收存储空间时往往造成较大的额外开销。传统的混合存储管理方法有如下问题：

(1)难以删除陈旧的元数据，回收相应存储空间。数据和元数据混合存储会在删除元数据时造成大量数据搬移，并且搬移期间在该键值对上的查询会被阻塞；

(2)难以高效的查询某个时间段内产生的数据，由于数据和元数据混合存储，通过给定的时间区间很难查找到对应的数据，并且该过程可能造成多次RDMA网络通信，提高查询处理的延时。

而本发明采取的面向临时元数据的分离存储方法，相比于传统方法有如下优势：

一，有效避免了传统方法造成的数据搬移，通过分离管理数据和元数据，实现了元数据占用空间的高效回收，并且该回收不会对查询造成任何影响；

二，高效的利用流数据的特性和RDMA网络特性减少分发元数据的开销，有效的节约了网络带宽，同时采用RDMA友好的数据结构表示元数据，提升了查询处理的性能。

综上所述，本发明提出的面向临时元数据的分离存储方法，能够根据已注册查询的查询时间范围，即时识别陈旧的元数据，并以较小开销对其进行删除。同时，充分利用到了高性能网络(RDMA)的特性，提高查询***性能。最后本发明能避免将数据和元数据统一存储造成的管理复杂性，能最大限度的提高存储空间使用效率。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种面向临时元数据的分离存储方法，其特征在于，包括如下步骤：

步骤一：数据源发送数据流，服务器接收数据流并识别每条数据对应的元数据；

步骤二：服务器将流数据分发到其对应的服务器准备存储；

步骤三：对于需要存储在本地的流数据，将其转化为若干键值对，***到本地键值对存储***，并记录***的内存位置等信息；

步骤四：将每条数据对应的元数据和键值对***信息结合，***到另一个对垃圾回收友好的本地存储***；

步骤五:将元数据和键值对***信息按照一定策略拷贝到多台服务器上作为缓存。

2.根据权利要求1所述的面向临时元数据的分离存储方法，其特征在于，所述步骤一包括以下步骤：数据源选择一台服务器发送数据流，该服务器监听数据流，并将其转化为***可识别的RDF格式图数据和相关元数据。

3.根据权利要求1所述的面向临时元数据的分离存储方法，其特征在于，所述步骤二包括以下步骤：服务器识别出RDF图数据之后，根据***使用的图划分算法判断是否应该在本地存储；若不在本地存储则将数据转发到对应服务器，流程结束。

4.根据权利要求1所述的面向临时元数据的分离存储方法，其特征在于，所述步骤三包括以下步骤：

步骤三十一：将RDF图数据转化为若干个键值对，***到底层的键值对存储***；

步骤三十二：根据步骤三十一的***情况，判断是否修改代表索引的键值对；

当步骤三十二中，未查找到键甲时，说明该主语和谓词的搭配在整个RDF图中第一次出现，此时应该修改谓词-主语索引；

当步骤三十二中，可以查找到键甲时，说明通过当前的谓词-主语索引，得知该主语和谓词的搭配在整个RDF图中出现过，此时不需要修改索引；

步骤三十三：在步骤三十一和步骤三十二中对键值对存储***的所有修改，都是对某个键的值追加元素，追加的元素在存储***中拥有一个地址；对于每一条流数据，将其对应的临时数据，包括时间元数据和键值对***信息打包，作为输入提供给步骤四。

5.根据权利要求1所述的面向临时元数据的分离存储方法，其特征在于，所述步骤四包括以下步骤：将每条数据对应的临时数据***到另一个本地存储***中，即“分离存储方法”；用于存储临时数据的存储***使用对于垃圾回收友好的环状链表数据结构。

6.根据权利要求1所述的面向临时元数据的分离存储方法，其特征在于，所述步骤五包括以下步骤：

步骤五十一：检查数据中心的每台服务器；根据目标服务器上注册的查询信息，以及一条流数据的数据源，判断目标服务器是否需要对该数据源进行查询；

步骤五十二：若目标服务器需要对该数据源进行查询，则将该条数据在步骤三十三中生成的所有信息发送到目标服务器为该数据源预留的存储空间中，作为缓存提供给该服务器上的查询线程；

步骤五十三：当目标服务器处理查询时，访问为元数据预留的空间完成查询；查询执行结束后，将过于陈旧的临时数据删除以节约空间。