CN105512198A - 一种中央服务器的数据转移存储实现方法及*** - Google Patents

Abstract

本发明公开了一种中央服务器的数据转移存储实现方法及***，方法包括：当中央服务器检测到原数据中的数据集发生更新时，则存储所述更新后的数据集，并将所述更新后的数据集发送至对应的本地服务器；本地服务器根据所述更新后的数据集及对应的业务需求生成衍生数据，并将所述衍生数据存储在本地服务器。本发明通过将原数据存储在中央服务器，将衍生数据存储在本地服务器，减少事务性事务数据的一致性维护、中央服务器存储消耗及数据维护期不能对外提供服务时间，而且不需要在增加修改原数据的时进行事务性操作以维护衍生数据的一致性数据的可分布式存储，横向扩大中央服务器内存的使用量。

Description

一种中央服务器的数据转移存储实现方法及***

技术领域

本发明涉及数据存储技术领域，尤其涉及的是一种中央服务器的数据转移存储实现方法及***。

背景技术

数据在中央服务器中存储时，都是存储在缓存中。由于缓存成本较高，且存储空间比硬盘小，所以常使用时间换空间的方式来节省中央服务器的内存使用开销。而且由于缓存数据服务器（即中央服务器）一般都不带事务处理机制，所以数据的一致性需要程序启动后台线程来维护。在维护数据的时候在极端情况下是不能对外提供写入服务，所以需要减少事务性数据。另一方面为了更大限度的利用内存，就需要一个有效的方式来减少中央内存使用量。

例如有一视频数据需在中央服务器存储，视频数据包括名称、类型、UUID（UniversallyUniqueIdentifier，即通用唯一识别码）值等。而这组数据在中央服务器中的内存中存储时，其键是UUID值，其它的数据只能以键-值对（即Key-Value）中值的形式存储。这样在中央服务器缓存数据集中时，就很难查找到以类型为条件的数据，所以一般做法是在在中央服务器中会再存一份以类型为键的数据集。这样操作会带来两个直接结果：首先当一个新数据加入的时候首先会以UUID值为键存一份，然后再以类型为键再存一份。这两个操作要以事务性操做，如图1所示。

由图1可知，一份数据进入中央服务器的内存中后，会变成多份，并且会带有一定的副作用。简单的来说，这一组数据中只有UUID可以作为全局唯一ID值（即全局不重复），其它任何值作为Key都会带来重复，所以对属于其的值必需要做相应的处理，比如用Key+List的结构保存，即如果类型相同，有多组[名称，UUID]则以其作为一个“对象”存在一个List中然后再作为类型的Value存入。采用将所有数据均缓存在中央服务器中存在的最大缺陷在于，类型并不是全局所以新增和更新都涉及到数据的更改，就必需要知道这个数据是新的还是旧的，如果是旧值则需要做替换操作，尤其是数据量大后这对数据更改操作就是噩梦，每一个查找操作都是o(n)的和对象个数成正比，要不就是重写对象之间的匹配算法（工作量大小视每种语言自代的List工具类用法）。另一个方式是将List变为HashMap（即哈希表），改为HashMap后的数据存储示意图如图2所示，这种方式提高了操作效率，但数据的存储结构会多出一层，并不直接体现数据真实结构，操作逻辑就不再表现的为数据的真实操作，后期维护增加了难点。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种中央服务器的数据转移存储实现方法及***，旨在解决现有技术中将中央服务器收集得到的原数据，及根据原数据推导得到衍生数据均存储在中央服务器，导致中央服务器的内存使用率较高、数据维护困难的缺陷。

本发明的技术方案如下：

一种中央服务器的数据转移存储实现方法，其中，所述方法包括以下步骤：

A、当中央服务器检测到原数据中的数据集发生更新时，则存储所述更新后的数据集，并将所述更新后的数据集发送至对应的本地服务器；

B、本地服务器根据所述更新后的数据集及对应的业务需求生成衍生数据，并将所述衍生数据存储在本地服务器。

所述中央服务器的数据转移存储实现方法，其中，所述原数据中包括至少一个以通用唯一识别码为键的数据集，且所述数据集以通用唯一识别码为键在中央服务器中存储。

所述中央服务器的数据转移存储实现方法，其中，所述步骤A具体包括：

A1、当中央服务器检测到原数据中的数据集发生更新时，则以通用唯一识别码为键将更新后的数据集存储；

A2、获取更新后的数据集所对应的本地服务器，并向所述本地服务器发送更新通知消息；

A3、当中央服务器接收到本地服务器发送的与更新通知消息对应的数据抽取请求时，则将更新后的数据集发送至本地服务器。

所述中央服务器的数据转移存储实现方法，其中，所述步骤B具体包括：

B1、本地服务器接收更新后的数据集，并以通用唯一识别码为键遍历获取更新后的数据集中包括的数据库表；

B2、依次获取各数据表相对应的数据类型，并判断本地服务器中是否有该数据类型的键存在；当本地服务器中存在该数据类型的键时，则将该数据库表存储至该数据类型的键所对应数据库表中；当本地服务器中不存在该数据类型的键时，则新建以该数据类型为键的数据库表，并将该数据库表存储至该新建的数据库表中；

B3、将以数据类型为键的数据库表所组成的衍生数据存储在本地服务器。

所述中央服务器的数据转移存储实现方法，其中，所述步骤B1中还包括将将以通用唯一识别码为键的数据库表所组成的、与本地服务器相对应的数据集存储在本地服务器。

一种中央服务器的数据转移存储实现***，其中，包括：

中央服务器，用于当检测到原数据中的数据集发生更新时，则存储所述更新后的数据集，并将所述更新后的数据集发送至对应的本地服务器；

本地服务器，用于根据所述更新后的数据集及对应的业务需求生成衍生数据，并将所述衍生数据存储在本地服务器。

所述中央服务器的数据转移存储实现***，其中，所述原数据中包括至少一个以通用唯一识别码为键的数据集，且所述数据集以通用唯一识别码为键在中央服务器中存储。

所述中央服务器的数据转移存储实现***，其中，所述中央服务器具体包括：

第一存储模块，用于当中央服务器检测到原数据中的数据集发生更新时，则以通用唯一识别码为键将更新后的数据集存储；

更新通知模块，用于获取更新后的数据集所对应的本地服务器，并向所述本地服务器发送更新通知消息；

数据发送模块，用于当中央服务器接收到本地服务器发送的与更新通知消息对应的数据抽取请求时，则将更新后的数据集发送至本地服务器。

所述中央服务器的数据转移存储实现***，其中，所述本地服务器具体包括：

数据集接收及遍历模块，用于本地服务器接收更新后的数据集，并以通用唯一识别码为键遍历获取更新后的数据集中包括的数据库表；

第二存储模块，用于依次获取各数据表相对应的数据类型，并判断本地服务器中是否有该数据类型的键存在；当本地服务器中存在该数据类型的键时，则将该数据库表存储至该数据类型的键所对应数据库表中；当本地服务器中不存在该数据类型的键时，则新建以该数据类型为键的数据库表，并将该数据库表存储至该新建的数据库表中；

衍生数据存储模块，用于将以数据类型为键的数据库表所组成的衍生数据存储在本地服务器。

所述中央服务器的数据转移存储实现***，其中，所述数据集接收及遍历模块还用于将以通用唯一识别码为键的数据库表所组成的、与本地服务器相对应的数据集存储在本地服务器。

本发明提供了一种中央服务器的数据转移存储实现方法及***，方法包括：当中央服务器检测到原数据中的数据集发生更新时，则存储所述更新后的数据集，并将所述更新后的数据集发送至对应的本地服务器；本地服务器根据所述更新后的数据集及对应的业务需求生成衍生数据，并将所述衍生数据存储在本地服务器。本发明通过将原数据存储在中央服务器，将衍生数据存储在本地服务器，减少事务性事务数据的一致性维护、中央服务器存储消耗及数据维护期不能对外提供服务时间，而且不需要在增加修改原数据的时进行事务性操作以维护衍生数据的一致性数据的可分布式存储，横向扩大中央服务器内存的使用量。

附图说明

图1为现有技术中将原数据及Key-List形式的衍生数据均存储在中央服务器的示意图。

图2为现有技术中将原数据及哈希表形式的衍生数据均存储在中央服务器的示意图。

图3为本发明所述中央服务器的数据转移存储实现方法较佳实施例的流程图。

图4为本发明所述中央服务器的数据转移存储实现方法中步骤S100的具体流程图。

图5为本发明所述中央服务器的数据转移存储实现方法中步骤S200的具体流程图。

图6为本发明所述中央服务器的数据转移存储实现方法第一具体实施例的示意图。

图7为本发明所述中央服务器的数据转移存储实现方法第二具体实施例的示意图。

图8为本发明所述中央服务器的数据转移存储实现***较佳实施例的结构框图。

具体实施方式

本发明提供一种中央服务器的数据转移存储实现方法及***，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参见图3，图3是本发明所述中央服务器的数据转移存储实现方法较佳实施例的流程图。如图3所示，其包括以下步骤：

步骤S100、当中央服务器检测到原数据中的数据集发生更新时，则存储所述更新后的数据集，并将所述更新后的数据集发送至对应的本地服务器。

步骤S200、本地服务器根据所述更新后的数据集及对应的业务需求生成衍生数据，并将所述衍生数据存储在本地服务器。

本发明的实施例中，将数据分为两种，分别为原数据和衍生数据。其中，原数据是指由中央服务器收集得到，不能由其他数据推导而得到的数据；衍生数据是指可由其他数据推导得到，即只需知道原数据和业务需求，就可从原数据中推导出来。

具体实施时，在步骤S100之前还包括：组建由中央服务器和本地服务器组成的通讯网络。

当中央服务器收集到原数据时，则将原数据直接存储在中央服务器，这与现有技术做相同处理。但与现有技术的不同之处在于，本发明的步骤S200中，将由原数据中发生改变的数据集推导而得到的衍生数据并未存储在中央服务器，而是存储至与数据集相对应的本地服务器。这样每个与中央服务器连接的本地服务器，只需从原数据中提取相应的数据集生成自己所需要的衍生数据即可，即两个本地服务器中的数据并不一定是相同的，这样中央服务器的内存中不需要存衍生数据，内存利用率会大大增加。而衍生数据多为本地服务器中的本地业务使用，而不需要共享与同步，所以只需要在有新的原数据产生的时候通过消息机制通知相应的本地服务即可，本地服务器接收到通知消息后再从中央服务器中抽取并生成衍生数据。这样在数据***中央服务器的时候减少了衍生数据的提前生成，这样屏蔽掉事务特性，减少了赃数据产生的可能性，也降低了数据维护的成本。

进一步的，如图4所示，所述步骤S100中中央服务器收集原数据进行处理的具体流程包括：

步骤S101、当中央服务器检测到原数据中的数据集发生更新时，则以通用唯一识别码为键将更新后的数据集存储。

在中央服务器中，原数据中包括的多个数据集以通用唯一识别码为键分别存储。由于每一数据集的通用唯一识别码具有唯一性，当以通用唯一识别码为键分别存储后，不会产生重复数据，而以其他值为键则会造成数据的重复，从而增大中央服务器内存的使用率。

步骤S102、获取更新后的数据集所对应的本地服务器，并向所述本地服务器发送更新通知消息。

步骤S103、当中央服务器接收到本地服务器发送的与更新通知消息对应的数据抽取请求时，则将更新后的数据集发送至本地服务器。

在步骤S102中、由于只是在中央服务器中的原数据所包括的数据集有更新时，才通知与数据集相应的本地服务器重新从中央服务器抽取更新后的数据集，降低了中央服务器的通讯压力。

作为另一种较佳实施例，步骤S100在具体实施时包括以下步骤：

步骤S11、与中央服务器通讯连接的本地服务器按指定周期定时访问中央服务器；

步骤S12、当本地服务器访问中央服务器时判断中央服务器的原数据中与本地服务器相对应的数据集发生更新时，则向中央服务器发送数据抽取请求；

步骤S13、中央服务器接收所述数据抽取请求，并将更新后的数据集发送至本地服务器。

可见，在上述实施例中，是每一本地服务器定时去访问中央服务器，并判断原数据中与该本地服务器相对应的数据集是否发生更新，当数据集发生更新时才向中央服务器发送数据抽取请求，并提取对应的更新后的数据集。在步骤S101-S103以及步骤S11-S13中的两种具体实施方式都实现了将更新后的数据集发送至对应的本地服务器。

进一步的，如图5所示，所述步骤S200中本地服务器接收原数据并生成衍生数据存储的具体流程包括：

步骤S201、本地服务器接收更新后的数据集，并以通用唯一识别码为键遍历获取更新后的数据集中包括的数据库表；

步骤S202、依次获取各数据表相对应的数据类型，并判断本地服务器中是否有该数据类型的键存在；当本地服务器中存在该数据类型的键时，则将该数据库表存储至该数据类型的键所对应数据库表中；当本地服务器中不存在该数据类型的键时，则新建以该数据类型为键的数据库表，并将该数据库表存储至该新建的数据库表中。

在步骤S201和步骤S202中，是以通用唯一识别码为键遍历更新后的数据集中包括的数据库表，依次获取各数据库表相对应的数据类型，将具有相同数据类型的数据库表放在以该数据类型为键的数据库表中，进而得到多个不同数据类型为键的数据库表。

若将衍生数据存储在中央服务器中，当衍生数据发生异常时需要回滚，如果要保证数据中不出现脏数据一方面需要在写入程序中加入事务逻辑，保证同一时刻对写入部分只能有一个线程，如果处理的表越多，那么阻塞的时间则越长，这样对大并发其实是一个灾难。如果上述回滚过程是发生在中央服务器中，则极大的提高了数据处理压力，只有对中央服务器进行硬件扩展才能提高处理速度。而将衍生数据存储在本地服务器中，减少了衍生数据的在中央服务器中提前生成，屏蔽掉事务特性，同时减少了脏数据产生的可能性，也降低了数据维护的成本。

步骤S203、将以数据类型为键的数据库表所组成的衍生数据存储在本地服务器。

为了更清楚的理解本发明所述步骤S201-S203中本地服务器对原数据的处理过程，下面以一具体实施例来说明。

假设目前有一个业务需要存储视频基本数据（为了便于理解，只取其中很小一部分），其数据为ID，Name，Type，其中ID为唯一标识，视频全局标识；Name为视频名称；Type为视频类型，如爱情、动画等。

现在有以下业务需求要完成。

1).根据ID获取单个视频的全部信息

2).根据Type获该类型下的全部视频数据

从上面三个需求可以推出要以ID存一份数据、以Type存一份数据。而视频点播次数更改频率较高并且被多个服务端改写所以归为共享数据。那么中央服务器需要存储的数据为：{ID，Name，Type，Count}；本地服务器内存需要存储的为：{ID，Name，Type，Count}和{Type，[{ID,Name,Type,Count},…]}。

实现的具体过程如下：

1)根据ID获取单个视频的全部信息，即直接在本地服务器内存通过ID作为Key值获取。

2)根据Type获该类型下的全部视频数据，即启动服务的时候，从中央服务器转存{ID，Name，Type，Count}数据时按下面步骤创建Type数据：

2.1)遍历中央服务器获取每一个{ID，Name，Type，Count}；

2.2)每一次获取到{ID，Name，Type，Count}，查看是否有该Type的Key存在，如果存在则存入该Key下的List中；如果不存在则先创建该Key的List然后把值写入（如果是Map，则先判断Key是否存在，如果存在则获取该Key的List然后把值存入；如果不存在，则创建一个List然后把Key和该新建List存入Map），且上述过程只有在启动的时候执行一次。

在步骤2.2)中获取数据的时候只需要在本地内存以Type值来查对应的List或者Map即可。

可见，将衍生数据存储在本地服务器中，减少了衍生数据的在中央服务器中提前生成，屏蔽掉事务特性，同时减少了脏数据产生的可能性，也降低了数据维护的成本。

具体实施时，中央服务器中的原数据既可以存储在本地服务器中，也可以不存储于本地服务器中而仅存储于中央服务器中。如图6所示，其为本发明所述中央服务器的数据转移存储实现方法第一具体实施例的示意图，即将原数据存储于中央服务器和本地服务器中，而将衍生数据仅存储于本地服务器中。图7为本发明所述中央服务器的数据转移存储实现方法第二具体实施例的示意图，即将原数据仅存储于中央服务器中，而将衍生数据仅存储于本地服务器中。两种方式都从逻辑上扩大了中央服务器的内存，提高了中央服务器内存的使用率。

基于上述方法，本发明还提供一种中央服务器的数据转移存储实现***，如图8所示，其包括：

中央服务器100，用于当检测到原数据中的数据集发生更新时，则存储所述更新后的数据集，并将所述更新后的数据集发送至对应的本地服务器；

本地服务器200，用于根据所述更新后的数据集及对应的业务需求生成衍生数据，并将所述衍生数据存储在本地服务器。

进一步的，在所述中央服务器的数据转移存储实现***中，所述原数据中包括至少一个以通用唯一识别码为键的数据集，且所述数据集以通用唯一识别码为键在中央服务器中存储。

进一步的，在所述中央服务器的数据转移存储实现***中，所述中央服务器100具体包括：

第一存储模块，用于当中央服务器检测到原数据中的数据集发生更新时，则以通用唯一识别码为键将更新后的数据集存储；

更新通知模块，用于获取更新后的数据集所对应的本地服务器，并向所述本地服务器发送更新通知消息；

数据发送模块，用于当中央服务器接收到本地服务器发送的与更新通知消息对应的数据抽取请求时，则将更新后的数据集发送至本地服务器。

进一步的，在所述中央服务器的数据转移存储实现***中，所述本地服务器200具体包括：

数据集接收及遍历模块，用于本地服务器接收更新后的数据集，并以通用唯一识别码为键遍历获取更新后的数据集中包括的数据库表；

第二存储模块，用于依次获取各数据表相对应的数据类型，并判断本地服务器中是否有该数据类型的键存在；当本地服务器中存在该数据类型的键时，则将该数据库表存储至该数据类型的键所对应数据库表中；当本地服务器中不存在该数据类型的键时，则新建以该数据类型为键的数据库表，并将该数据库表存储至该新建的数据库表中；

衍生数据存储模块，用于将以数据类型为键的数据库表所组成的衍生数据存储在本地服务器。

进一步的，在所述中央服务器的数据转移存储实现***中，所述数据集接收及遍历模块还用于将以通用唯一识别码为键的数据库表所组成的、与本地服务器相对应的数据集存储在本地服务器。

综上所述，本发明提供了一种中央服务器的数据转移存储实现方法及***，方法包括：当中央服务器检测到原数据中的数据集发生更新时，则存储所述更新后的数据集，并将所述更新后的数据集发送至对应的本地服务器；本地服务器根据所述更新后的数据集及对应的业务需求生成衍生数据，并将所述衍生数据存储在本地服务器。本发明通过将原数据存储在中央服务器，将衍生数据存储在本地服务器，减少事务性事务数据的一致性维护、中央服务器存储消耗及数据维护期不能对外提供服务时间，而且不需要在增加修改原数据的时进行事务性操作以维护衍生数据的一致性数据的可分布式存储，横向扩大中央服务器内存的使用量。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种中央服务器的数据转移存储实现方法，其特征在于，所述方法包括以下步骤：

A、当中央服务器检测到原数据中的数据集发生更新时，则存储所述更新后的数据集，并将所述更新后的数据集发送至对应的本地服务器；

B、本地服务器根据所述更新后的数据集及对应的业务需求生成衍生数据，并将所述衍生数据存储在本地服务器。

2.根据权利要求1所述中央服务器的数据转移存储实现方法，其特征在于，所述原数据中包括至少一个以通用唯一识别码为键的数据集，且所述数据集以通用唯一识别码为键在中央服务器中存储。

3.根据权利要求2所述中央服务器的数据转移存储实现方法，其特征在于，所述步骤A具体包括：

A1、当中央服务器检测到原数据中的数据集发生更新时，则以通用唯一识别码为键将更新后的数据集存储；

A2、获取更新后的数据集所对应的本地服务器，并向所述本地服务器发送更新通知消息；

A3、当中央服务器接收到本地服务器发送的与更新通知消息对应的数据抽取请求时，则将更新后的数据集发送至本地服务器。

4.根据权利要求3所述中央服务器的数据转移存储实现方法，其特征在于，所述步骤B具体包括：

B1、本地服务器接收更新后的数据集，并以通用唯一识别码为键遍历获取更新后的数据集中包括的数据库表；

B2、依次获取各数据表相对应的数据类型，并判断本地服务器中是否有该数据类型的键存在；当本地服务器中存在该数据类型的键时，则将该数据库表存储至该数据类型的键所对应数据库表中；当本地服务器中不存在该数据类型的键时，则新建以该数据类型为键的数据库表，并将该数据库表存储至该新建的数据库表中；

B3、将以数据类型为键的数据库表所组成的衍生数据存储在本地服务器。

5.根据权利要求4所述中央服务器的数据转移存储实现方法，其特征在于，所述步骤B1中还包括将以通用唯一识别码为键的数据库表所组成的、与本地服务器相对应的数据集存储在本地服务器。

6.一种中央服务器的数据转移存储实现***，其特征在于，包括：

中央服务器，用于当检测到原数据中的数据集发生更新时，则存储所述更新后的数据集，并将所述更新后的数据集发送至对应的本地服务器；

本地服务器，用于根据所述更新后的数据集及对应的业务需求生成衍生数据，并将所述衍生数据存储在本地服务器。

7.根据权利要求6所述中央服务器的数据转移存储实现***，其特征在于，所述原数据中包括至少一个以通用唯一识别码为键的数据集，且所述数据集以通用唯一识别码为键在中央服务器中存储。

8.根据权利要求7所述中央服务器的数据转移存储实现***，其特征在于，所述中央服务器具体包括：

第一存储模块，用于当中央服务器检测到原数据中的数据集发生更新时，则以通用唯一识别码为键将更新后的数据集存储；

更新通知模块，用于获取更新后的数据集所对应的本地服务器，并向所述本地服务器发送更新通知消息；

数据发送模块，用于当中央服务器接收到本地服务器发送的与更新通知消息对应的数据抽取请求时，则将更新后的数据集发送至本地服务器。

9.根据权利要求8所述中央服务器的数据转移存储实现***，其特征在于，所述本地服务器具体包括：

数据集接收及遍历模块，用于本地服务器接收更新后的数据集，并以通用唯一识别码为键遍历获取更新后的数据集中包括的数据库表；

第二存储模块，用于依次获取各数据表相对应的数据类型，并判断本地服务器中是否有该数据类型的键存在；当本地服务器中存在该数据类型的键时，则将该数据库表存储至该数据类型的键所对应数据库表中；当本地服务器中不存在该数据类型的键时，则新建以该数据类型为键的数据库表，并将该数据库表存储至该新建的数据库表中；

衍生数据存储模块，用于将以数据类型为键的数据库表所组成的衍生数据存储在本地服务器。

10.根据权利要求9所述中央服务器的数据转移存储实现***，其特征在于，所述数据集接收及遍历模块还用于将以通用唯一识别码为键的数据库表所组成的、与本地服务器相对应的数据集存储在本地服务器。