CN110750546B - 一种数据库的更新方法及装置 - Google Patents

Abstract

本发明公开了一种数据库的更新方法及装置，该方法包括：在目标集群的更新节点中获取待更新的数据表；将所述待更新数据表发送给各个计算节点，当所述待更新数据表的版本比所述各个计算节点的中的任意一个当前数据表的版本高时，获取各个当前数据库中版本最低的待比较当前数据表；确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件；将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新。上述的方法，只将所述待更新数据表中的变更文件更新到所述各个计算节点中，缩短了更新时间，提高了更新效率。

Description

一种数据库的更新方法及装置

技术领域

本发明涉及数据处理领域，尤其涉及一种数据库的更新方法及装置。

背景技术

在集群***中，为了保证计算性能，采用内存数据库MemoryDb将大量的数据结构序列化存储在磁盘上，运用映射和大量的指针进行数据访问，效率比普通的数据库高出很多。这种数据库的优点是数据库文件都是由内存序列化到磁盘上的文件，使用时将这些文件重新加载到内存中，访问效率高。

但是，内存数据库更新的时候要直接更新所有变化的文件，一个文件即使更新了1个字节，也必须全部替换，当文件的数据量过大时，更新的时间较长，更新效率低。

发明内容

有鉴于此，本发明提供了一种数据库的更新方法及装置，用于解决现有技术中内存数据库更新的时候要直接更新所有变化的文件，一个文件即使更新了1个字节，也必须全部替换，当文件的数据量过大时，更新的时间较长，更新效率低的问题，具体方案如下：

一种数据库的更新方法，包括：

在目标集群的更新节点中获取待更新的数据表；

将所述待更新数据表发送给各个计算节点，当所述待更新数据表的版本比所述各个计算节点的中的任意一个当前数据表的版本高时，获取各个当前数据库中版本最低的待比较当前数据表；

确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件；

将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新。

上述的方法，可选的，在更新节点中获取待更新的数据表包括：

每间隔预设的时长，获取当前时刻的日期和时间；

遍历所述更新节点，查找与所述日期和所述时间匹配的待更新数据表；

上述的方法，可选的，确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件，包括：

将所述待更新数据表和所述待比较当前数据表进行比较，将所述待更新数据表和所述待比较当前数据表的区别部分作为所述变更文件；

依据所述待更新数据表的版本号和所述待比较数据表的版本号在确定所述待更新数据表和所述待比较当前数据表中的文件变更记录和元数据，其中，所述文件变更记录和所述元数据为所述元数据文件。

上述的方法，可选的，还包括：

将所述变更文件进行压缩后和所述元数据文件存储在对应的分发目录中。

上述的方法，可选的，将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新，包括：

将所述变更文件压缩后的文件和所述元数据文件发送给所述各个计算节点接收目录；

当所述各个计算节点接收完成时，针对每一个计算节点，依据所述元数据文件确定其需要的更新文件和沿用文件；

将所述沿用文件hardlink到新目录中，所述更新文件解压后hardlink到所述新目录中。

上述的方法，可选的，还包括：

当所述各个计算节点更新完成时，对所述目标集群中所有数据表的连续性进行验证。

一种数据库的更新装置，包括：

第一获取模块，用于在目标集群的更新节点中获取待更新的数据表；

第二获取模块，用于将所述待更新数据表发送给各个计算节点，当所述待更新数据表的版本比所述各个计算节点的中的任意一个当前数据表的版本高时，获取各个当前数据库中版本最低的待比较当前数据表；

确定模块，用于确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件；

发送更新模块，用于将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新。

上述的装置，可选的，所述确定模块包括：

比较单元，用于将所述待更新数据表和所述待比较当前数据表进行比较，将所述待更新数据表和所述待比较当前数据表的区别部分作为所述变更文件；

第一确定单元，用于依据所述待更新数据表的版本号和所述待比较数据表的版本号在确定所述待更新数据表和所述待比较当前数据表中的文件变更记录和元数据，其中，所述文件变更记录和所述元数据为所述元数据文件。

上述的装置，可选的，还包括：

压缩存储单元，用于将所述变更文件进行压缩后和所述元数据文件存储在对应的分发目录中。

上述的装置，可选的，所述发送更新模块包括：

发送单元，用于将所述变更文件压缩后的文件和所述元数据文件发送给所述各个计算节点接收目录；

第二确定单元，用于当所述各个计算节点接收完成时，针对每一个计算节点，依据所述元数据文件确定其需要的更新文件和沿用文件；

构建单元，用于将所述沿用文件hardlink到新目录中，所述更新文件解压后hardlink到所述新目录中。

与现有技术相比，本发明包括以下优点：

本发明公开了一种数据库的更新方法及装置，该方法包括：在目标集群的更新节点中获取待更新的数据表；将所述待更新数据表发送给各个计算节点，当所述待更新数据表的版本比所述各个计算节点的中的任意一个当前数据表的版本高时，获取各个当前数据库中版本最低的待比较当前数据表；确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件；将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新。上述的方法，只将所述待更新数据表中的变更文件更新到所述各个计算节点中，缩短了更新时间，提高了更新效率。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种集群***结构框图；

图2为本申请实施例公开的一种数据库的更新方法流程图；

图3为本申请实施例公开的一种数据库的更新方法又一流程图；

图4为本申请实施例公开的一种数据库的更新装置结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

本发明公开了一种数据库的更新方法及装置，应用在集群***中各个计算节点数据库的更新过程中，其中，所述集群***的结构框图如图1所示，包括：控制服务器master、更新节点和计算节点，其中，所述更新节点和所述计算节点的数量由具体情况决定，所述控制服务器master主要负责收集计算节点和更新节点的信息以及其他的沟通协调工作。更新节点：负责完成定时更新任务，构建新版本数据，并负责发送。更新节点有三个重要目录：

Plain_Dir，明文的数据库存放目录，只有一份最新的数据库DbSet，所有的更新都在此目录的基础上进行，完成后回写到此目录。

Archive_Dir，归档目录，存放的是压缩的数据库DbSet，目录结构和Plain_Dir相同，只是所有的文件都是经过压缩的，有若干份完备的数据库DbSet(具体数量由配置文件决定)。

Dist_Dir，分发目录，存放的是要分发的数据表db文件，同样是压缩的，只包含必须的压缩文件(相当于是Archive_Dir中数据表db的子集)。

计算节点：包含计算程序和数据库，定时更新数据库并启动基于新数据库的计算程序。包含两个重要的目录：

Plain_Dir，明文的数据库存放目录，也是计算程序读取加载的目录，存放若干份数据库DbSet(由配置文件决定)。

Dist_Dir，接收目录，存放的是接收过来的新版本数据库压缩文件，要部署的文件会解压到Plain_Dir。

现有技术中，当计算节点中的文件只更新了一个字节时，也必须全部替换，当文件的数据量过大时，更新的时间较长，更新效率低，为了避免上述问题，本发明提供了一种数据库的更新方法，与所述数据库为内存数据库memorydb对所述更新方法进行说明，至于选用memorydb是把磁盘上的数据文件都做mmap(linux的一个函数)操作，然后在读取数据的时候发现物理内存中没有的时候会把磁盘的内容读取到内存中，下次读取的时候就直接从内存读了，在物理内存够大的情况下基本上要读取的数据都缓存在内存中了，就无须频繁读取磁盘，而由于每次更新会大量沿用老文件，而老文件在当前服务进程中已经缓存到了物理内存当中，而mmap可以在进程间共享，也就是基于新版本数据库的服务进程在读取未变更文件的内容的时候就是直接从内存读取了，只有读取变更文件的内容的时候才需要从磁盘中读取，所以在服务进程的表现上也大大减少了memorydb的“预热”时间(初期由于需要大量从磁盘读取到内存，所以性能会有一个爬坡过程，当基本要用的数据都load到内存时性能就趋于稳定)。

所述更新方法的执行流程如图2所示，包括步骤：

S101、在目标集群的更新节点中获取待更新的数据表；

本发明实施例中，所述目标集群按照明细表schedule更新数据库，由于内存数据库中大量采用了指针访问，不同的机器分别构建的话会导致指针不同进而无法访问导致程序内存错误，为了一致性，采用独立的更新节点来更新数据库以及发送，计算节点只负责使用而不需要构建。

数据中心是定时发布数据的，而且有时候数据发布时间会做调整，因此***采用了一套明细表schedule机制来控制数据库的的更新。Schedule文件是一种csv文件，里面详细定制了什么时间应该做什么数据表Db的更新，以及包含明细表Schedule的有效期限，每间隔预设的时长，获取当前时刻的日期和时间，遍历所述更新节点的数据表Schedule，查找与所述日期和所述时间匹配的待更新数据表，其中，所述预设的时长可以依据经验或者实际情况进行设定，本发明实施例中对所述预设的时长不进行限定。

当数据中心要发布特殊时间的特殊数据时，只需要补充一个明细表Schedule文件发送到更新节点上，更新节点就会加载并在对应时间按照指定Schedule的流程来工作。

进一步的，每个数据表在Db在更新完成后，都有若干文件更新和若干文件不变，此时只需要备份变更文件，哪些文件经过变更经由Change_File元数据文件得来，此文件中详细记录了哪些文件增加，减少或者修改。当数据表Db更新后，创建一个新的目录，未变更的文件直接用上一版本的，创建linux***的hardlink到新目录，变更或新增的文件经过压缩后存放在新目录中。

S102、将所述待更新数据表发送给各个计算节点，当所述待更新数据表的版本比所述各个计算节点的中的任意一个当前数据表的版本高时，获取各个当前数据库中版本最低的待比较当前数据表；

本发明实施例中，所述控制服务器master将所述待更新数据表发送给各个计算节点，若所述各个计算节点当前数据数据表的版本的低于所述待更新数据表时，则回复所述当前数据表的Vintage给所述控制服务器Master。其中，DbVintage指数据表Db的版本号，由原始数据的时间和构建完成时间构成，例如：20190501_120000-20190501_12030000。其中，Vintage指数据表Db的版本号，由原始数据的时间和构建完成时间构成，例如：20190501_120000-20190501_12030000。控制服务器Master搜集到所述各个计算节点的当前数据表的Vintage信息后，从中找出Vintage最低的数据表，将其作为待比较当前数据表，将所述待比较当前数据表发送给所述更新节点。

S103、确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件；

本发明实施例中，更新节点收到Master发来的所述待比较当前数据表，利用Change_File元数据文件，获取目标集群中所述待比较当前列表到所述待更新文件列表之间所有更改的文件列表，在该文件列表中，将所述待更新数据表和所述待比较当前数据表的区别部分作为所述变更文件，将所述更文件的压缩版本(位于Archive_Dir)和相关的元数据文件(Manifest，Change_file)等放入所述变更阶段Dist_Dir中，同样是做Hardlink，无须占用磁盘空间，此处将所述变更文件进行压缩后放入Dist_Dir中的目的是为了减少存储空间，也可以不对其进行压缩。。其中，所述Manifest指数据表Db的元数据，包含数据表Db的Vintage，以及构建开始和结束时间，依赖哪些其他数据表Db构建而来，用了哪些原始数据等等。

S104、将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新。

本发明实施例中，依据所述变更文件的数量和文件大小，分配多进程mcpush程序来进行推送Dist_Dir中的数据。尽量按照文件大小为权值将文件平均分配给多个mcpush进程。在mcpush进程推送之前发送多播消息通知给所述目标集群中的各个计算节点启动多进程的mcget程序准备接收数据。所述各个计算节点启动多进程mcget收取更新数据，将收到的文件放到计算节点的Dist_Dir下，对所述各个计算节点的数据库进行部署更新。

本发明公开了一种数据库的更新方法，包括：在目标集群的更新节点中获取待更新的数据表；将所述待更新数据表发送给各个计算节点，当所述待更新数据表的版本比所述各个计算节点的中的任意一个当前数据表的版本高时，获取各个当前数据库中版本最低的待比较当前数据表；确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件；将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新。上述的方法，只将所述待更新数据表中的变更文件更新到所述各个计算节点中，缩短了更新时间，提高了更新效率。

进一步的为了避免更新过程中数据发送过快导致丢失，在更新节点上具备基于ZeroMQ开发的多播发送程序mcpush和多播接收程序mcget。由于推送数据量庞大，计算节点数量繁多，为了保障效率采用多播的方式来推送数据到所述目标集群，但是多播的缺点是无法保障数据准确性。因此mcpush程序中有三个模块，一个是基于ZMQ的多播Publisher数据发送模块，底层是epgm协议(一种基于UDP的多播协议)，将要发送的所有压缩文件在内存中压成tar数据流，拆分成固定大小的package发送到所述目标集群中，另外一个模块是基于tcp的feedback模块，每个package的开头都是关于package的信息(package序列号，package大小等信息)，当mcget收到数据包后，会校验package头的大小和序列号等信息，如果无误会通过Tcp返回feedbackmessage，其中包含收到的package序列号等。第三个模块是speedlimit模块，通过feedback模块获知的所述目标集群中mcget的反馈信息，可以知道反馈和最新发送的package序列号的差值有多大，当大于某一阈值的时候会增加每个package的发送间隔，当所述目标集群中接收的速度提高后再缩短发送间隔，以此来控制发送速度，既能避免发送过快丢包，又能调控发送速度。

本发明实施例中，将所述变更文件和所述元数据文件发送的方法流程如图3所示，包括步骤：

S201、将所述变更文件压缩后的文件和所述元数据文件发送给所述各个计算节点接收目录；

本发明实施例中，将所述变更文件压缩后发送给所述变更节点的Dist_Dir下，将压缩后的变更文件和元数据文件发送给所述各个计算节点的接收目录Dist_Dir中。

S202、当所述各个计算节点接收完成时，针对每一个计算节点，依据所述元数据文件确定其需要的更新文件和沿用文件；

本发明实施例中，所有的mcget进程正常收取结束之后，针对每一个计算节点，可能由于故障大致某一个或几个计算节点的变更文件与其它的计算节点的不同，因此需要针对所述元数据文件中的Change_file，确定其对应的更新文件和沿用文件。

S203、将所述沿用文件hardlink到新目录中，所述更新文件解压后hardlink到所述新目录中。

本发明实施例中，在计算节点的Plain_Dir下创建新目录，沿用件直接做hardlink到新目录中，需要部署的更新文件从Dist_Dir解压缩到新目录中，并且将元数据文件也移动到新目录中，其中，所述沿用文件hardlink后沿用的是计算节点的明文的数据库存放目录plain_Dir中当前数据库中的数据，所述更新文件hardlink后沿用计算节点的明文的数据库存放目录plain_Dir中更新文件的数据。

进一步的，更新节点更新的所有数据表Db都持续发送到所述目标集群中，当所有的数据表Db更新结束之后，Master判断所述待更新数据库中的所有数据表Db都是连续的，则向整个集群发送指令，更新节点和计算节点都会以创建Master通知的机器时间为目录名(也就是所述待更新数据库的Vintage)，目录下是所述待更新数据库，而所述待更新数据库中其实大量沿用了当前数据库的数据文件，只有部分是推送来的更新文件。到此，一个新的数据库DbSet就完成了从构建到推送和部署的全过程，计算节点就可以针对此DbSet启动新服务了。

基于上述的更新方法进行举例说明，所述更新方法由控制构建更新任务的schedule模块，负责数据库文件传输的mcpush&mcget模块，以及负责数据库管理的Dbmanager模块构成，具体的执行过程如下：

S1、更新节点根据schedule获取更新任务

更新节点定时休眠读取符合当前日期和时间的schedule文件，假设当前是2019-05-05 12:00:01，一份schedule的生效时间是2019-05-01到2019-10-01，并且指定了期间周日的12:00:00应该做atpco更新，则在当前时间就可以得知更新节点该做atpco的更新。

更新节点会读取当前的atpcodb的Manifest文件，发现当前的Vintage是20190505_110000-20190505_110500(原始数据时间-构建完成时间)，接着更新节点会去扫描rawdata目录下的atpco目录，找到比当前Vintage中的RawData时间更新的原始数据，针对这些新的原始数据进行构建，此时启动了构建程序，参数是当前atpcodb的目录和新的原始数据列表，假设db的目录为～/data/cnd-database/nextset/atpco，构建开始。

S2、更新节点完成构建数据库并归档

更新节点在构建完成之后，atpcodb的目录～/data/cnd-database/nextset/atpco下的许多文件就已经更新了，当然还有许多文件并没有发生变化，另外有些元数据文件也会写入到这个目录，比如Manifest文件，此时Manifest的Vint age从20190505_110000-20190505_110500变为20190505_120000-20190505_120600，还有最重要的Change_file文件，里面保存了所有的变更历史，假设前一条变更是从20190505_100000-20190505_100401到20190505_110000-20190505_110500，变更的文件列表为(a，c，d，e)，此时会追加一条内容为会追加从20190505_110000-20190505_110500到20190505_120000-20190505_120600变更的文件列表为(a，b，c)。

此时在归档目录下有的当前数据库dbset，假设目录为～/data/archive/20190505_112032，内部的db都是连续的，还有一个目录是～/data/archive/nextset，现在待更新数据库已经完成更新，需要归档，从Change_file文件知道这次更新的文件是(a，b，c)文件，也就是说其他的文件都和当前数据库的Vintag e保持一致，那么将其他文件从～/data/archive/20190505_112032/atpco做hardli nk到～/data/archive/nextset/atpco下，而变更文件a，b，c会进行压缩为(a.lz4，b.lz4，c.lz4)后放到～/data/archive/nextset/atpco下。对整个磁盘而言增加的只是三个压缩文件的大小。

S3、更新节点检测其他db的连续性并更新

完成atpco的构建更新和归档之后，更新节点会继续扫描其他的待更新数据表的连续性，假设me这个数据表的manifest指定了required(依赖)的数据表有atpco，并且当前的me使用的atpco的Vintage是20190505_110000-20190505_110500，而此时当前的atpco已经变成了20190505_120000-20190505_120600，所以认为不连续，需要启动me的更新程序，me会利用新的atpco进行一次更新，假设me的当前Vintage为20190505_110000-20190505_111500，更新之后变为20190505_120000-20190505_121620，同样会进行上面第二步的写Manifest和Change_file元数据文件，并且对更新文件进行归档，归档到～/data/archive/nextset/me。

继续这一行为，扫描依赖atpco和me这两个db的其他待更新数据表，对不连续的db进行更新和归档，并在每个db归档完成之后向Master报告。

S4、Master接收更新节点的db构建完成消息

Master收到更新节点发过来的待更新数据表的信息，新的atpco和me等，会向目标集群发送多播命令，命令中包含atpco和me的Vintage信息。

S5、目标集群接收并反馈Master的命令

所有收到Master发布的检查数据库多播命令，比较当前数据表的Vintage是否老于命令中的待更新数据表Vintage，如果是则向Master发送对应计算节点IP，当前的Vintage等信息。

S6、Master接收目标集群的回报并汇总

Master收取目标集群的回报消息，进行汇总，大部分的计算节点回报的都是上一个最新的db，比如atpco：20190505_110000-20190505_110500，但可能有一个计算节点之前发生了故障，经过检修处理后重新上线，它的Vintage还停留在上上个版本atpco：20190505_100000-20190505_100401。那么Master会选择最老的Vintage，将其发送给更新节点命令其进行发送，也就是发送atpco：20190505_100000-20190505_100401。

S7、更新节点收取Master发送命令并执行

更新节点收取到Master的发送命令，获知到目前目标集群中最老的atpc o的Vintage是20190505_100000-20190505_100401，对比目前最新的atpco的Vintage是20190505_120000-20190505_120600，读取Change_file元数据文件，得知这之间有两次更新，第一次的变更文件列表是(a，c，d，e)，第二次的变更文件列表是(a，b，c)，汇总得出经过两次更新后所有更新的文件列表为(a，b，c，d，e)，则将变更的文件从归档目录～/data/archive/nextset/atpco做hardlink到Dist_Dir，假设为～/data/dist/atpco，此时dist目录下拥有变更的压缩文件(a，b，c，d，e)以及Manifest和Change_file文件。

接着更新节点向目标集群发布多播消息启动发送atpco:20190505_120000-20190505_120600，有需要的计算节点则会启动自己的多播接收程序mcget，接着更新节点启动mcpush发送～/data/dist/atpco，如果文件较多较大，则会启动多个进程收发，此时假设只有一个mcpush和一个mcget，mcpush会将要发送的文件在内存中一Tar压缩发送到多播地址，mcget接收并校验package，持续通过tcp反馈接收信息方便mcpush调节发送速度。

S8、计算节点收取更新并部署

计算节点利用mcget收取更新，放在～/data/dist/atpco下，根据收取的Change_file文件，计算从当前的atpco的Vintage到收到的更新的Vintage之间的变更文件列表，在这个例子当中，其他的节点中atpco的版本是20190505_110000-20190505_110500，因此只需要更新最近一次的变更文件列表(a，b，c)，而发生故障后上线的计算节点的atpco的版本是：20190505_100000-20190505_100401，则变更的文件列表应该是(a，b，c，d，e)，新版本的atpco的目录为～/data/cnd-databases/nextset/atpco，和当前使用atpco保持不变的，将其做hardlink到自己的此目录，发生过变更的文件从dist目录解压到此目录，则新的atpcodb就生成了，其他的me等db也走同样的流程。

S9、Master判断新的一系列数据表是否连续

当根据schedule创建的数据表更新和后续生成的连续性的数据表更新任务都完成并推送部署到目标集群后，Master会根据数据表的Manifest判断新的这批db是不是都连续了，如果是，证明一个新的功能完备的DbSet就创建出来了，Master会向集群发布一条命令，包含一个Master当前机器时间的时间戳和所有新db的信息，计算集群会用时间戳的日期时间为名生成一个目录在plain_dir:～/data/cnd-databases下，假设为～/data/cnd-databases/20190505_123100，将～/data/cnd-databases/nextset下的所有db都hardlink到此目录下，到此，新的DbSet就部署完毕了。

本发明实施例中，基于mcpush和mcget多播数据传输工具，既利用了多播协议的传输效率，又利用了Tcp反馈保障了数据的准确率，而数据库就在计算节点上，同时保证了计算的速度和结果一致性，其次schedule模块可以完成从现在到未来任何时间段的工作指导，有任何变更也可以通过发送新的s chedule来解决，最后，通过Manifest和Change_file等数据库元数据的设计，可以最小化推送的更新数据，通过一次多播推送就可以完成整个计算集群的数据更新。

基于上述的一种数据库的更新方法，本发明实施例中还提供了一种数据库的更新装置，所述更新装置的结构框图如图4所示，包括：

第一获取模块301、第二获取模块302、确定模块303和发送更新模块304。

其中，

所述第一获取模块301，用于在目标集群的更新节点中获取待更新的数据表；

所述第二获取模块302，用于将所述待更新数据表发送给各个计算节点，当所述待更新数据表的版本比所述各个计算节点的中的任意一个当前数据表的版本高时，获取各个当前数据库中版本最低的待比较当前数据表；

所述确定模块303，用于确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件；

所述发送更新模块304，用于将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新。

本发明公开了一种数据库的更新装置，包括：在目标集群的更新节点中获取待更新的数据表；将所述待更新数据表发送给各个计算节点，当所述待更新数据表的版本比所述各个计算节点的中的任意一个当前数据表的版本高时，获取各个当前数据库中版本最低的待比较当前数据表；确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件；将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新。上述的装置，只将所述待更新数据表中的变更文件更新到所述各个计算节点中，缩短了更新时间，提高了更新效率。

本发明实施例中，所述确定模块303包括：

比较单元305和第一确定单元306。

其中，

所述比较单元305，用于将所述待更新数据表和所述待比较当前数据表进行比较，将所述待更新数据表和所述待比较当前数据表的区别部分作为所述变更文件；

所述第一确定单元306，用于依据所述待更新数据表的版本号和所述待比较数据表的版本号在确定所述待更新数据表和所述待比较当前数据表中的文件变更记录和元数据，其中，所述文件变更记录和所述元数据为所述元数据文件。

本发明实施例中，所述确定模块303还包括：压缩存储单元307。

其中，

所述压缩存储单元307，用于将所述变更文件进行压缩后和所述元数据文件存储在对应的分发目录中。

备份那名实施例中，所述发送更新模块304包括：

发送单元308、第二确定单元309和构建单元310。

其中，

所述发送单元308，用于将所述变更文件压缩后的文件和所述元数据文件发送给所述各个计算节点接收目录；

所述第二确定单元309，用于当所述各个计算节点接收完成时，针对每一个计算节点，依据所述元数据文件确定其需要的更新文件和沿用文件；

所述构建单元310，用于将所述沿用文件hardlink到新目录中，所述更新文件解压后hardlink到所述新目录中。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种数据库的更新方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据库的更新方法，其特征在于，应用在集群***中各个计算节点数据库的更新过程中，其中，所述集群***包括：控制服务器、多个更新节点和多个计算节点，所述更新方法包括：

在目标集群的更新节点中获取待更新的数据表；

将所述待更新数据表发送给各个计算节点，当所述待更新数据表的版本比所述各个计算节点的中的任意一个当前数据表的版本高时，获取各个当前数据库中版本最低的待比较当前数据表；

确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件；

将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新。

2.根据权利要求1所述的方法，其特征在于，在更新节点中获取待更新的数据表包括：

每间隔预设的时长，获取当前时刻的日期和时间；

遍历所述更新节点，查找与所述日期和所述时间匹配的待更新数据表。

3.根据权利要求1所述的方法，其特征在于，确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件，包括：

将所述待更新数据表和所述待比较当前数据表进行比较，将所述待更新数据表和所述待比较当前数据表的区别部分作为所述变更文件；

依据所述待更新数据表的版本号和所述待比较数据表的版本号在确定所述待更新数据表和所述待比较当前数据表中的文件变更记录和元数据，其中，所述文件变更记录和所述元数据为所述元数据文件。

4.根据权利要求3所述的方法，其特征在于，还包括：

将所述变更文件进行压缩后和所述元数据文件存储在对应的分发目录中。

5.根据权利要求4所述的方法，其特征在于，将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新，包括：

将所述变更文件压缩后的文件和所述元数据文件发送给所述各个计算节点接收目录；

当所述各个计算节点接收完成时，针对每一个计算节点，依据所述元数据文件确定其需要的更新文件和沿用文件；

将所述沿用文件hardlink到新目录中，所述更新文件解压后hardlink到所述新目录中。

6.根据权利要求5所述的方法，其特征在于，还包括：

当所述各个计算节点更新完成时，对所述目标集群中所有数据表的连续性进行验证。

7.一种数据库的更新装置，其特征在于，应用在集群***中各个计算节点数据库的更新过程中，其中，所述集群***包括：控制服务器、多个更新节点和多个计算节点，所述更新装置包括：

第一获取模块，用于在目标集群的更新节点中获取待更新的数据表；

第二获取模块，用于将所述待更新数据表发送给各个计算节点，当所述待更新数据表的版本比所述各个计算节点的中的任意一个当前数据表的版本高时，获取各个当前数据库中版本最低的待比较当前数据表；

确定模块，用于确定所述待更新数据表和所述待比较当前数据表中的变更文件和与所述变更文件相关的元数据文件；

发送更新模块，用于将所述变更文件和所述元数据文件发送给所述各个计算节点，对所述各个计算节点的数据库进行更新。

8.根据权利要求7所述的装置，其特征在于，所述确定模块包括：

比较单元，用于将所述待更新数据表和所述待比较当前数据表进行比较，将所述待更新数据表和所述待比较当前数据表的区别部分作为所述变更文件；

第一确定单元，用于依据所述待更新数据表的版本号和所述待比较数据表的版本号在确定所述待更新数据表和所述待比较当前数据表中的文件变更记录和元数据，其中，所述文件变更记录和所述元数据为所述元数据文件。

9.根据权利要求8所述的装置，其特征在于，还包括：

压缩存储单元，用于将所述变更文件进行压缩后和所述元数据文件存储在对应的分发目录中。

10.根据权利要求9所述的装置，其特征在于，所述发送更新模块包括：

发送单元，用于将所述变更文件压缩后的文件和所述元数据文件发送给所述各个计算节点接收目录；

第二确定单元，用于当所述各个计算节点接收完成时，针对每一个计算节点，依据所述元数据文件确定其需要的更新文件和沿用文件；

构建单元，用于将所述沿用文件hardlink到新目录中，所述更新文件解压后hardlink到所述新目录中。