CN110222030B

CN110222030B - 数据库动态扩容的方法、存储介质

Info

Publication number: CN110222030B
Application number: CN201910392783.5A
Authority: CN
Inventors: 刘德建; 林伟; 郭玉湖
Original assignee: Fujian Tianquan Educational Technology Ltd
Current assignee: Fujian Tianquan Educational Technology Ltd
Priority date: 2019-05-13
Filing date: 2019-05-13
Publication date: 2021-08-06
Anticipated expiration: 2039-05-13
Also published as: CN110222030A

Abstract

本发明提供数据库动态扩容的方法、存储介质，方法包括：预设集群中包含的分库分表；哈希代理层依据第一哈希映射关系，将数据写入对应的集群中；复制一集群，得到一原集群和一新集群；修改所述第一哈希映射关系中对应所述一集群的哈希映射关系为分别对应所述一原集群和所述一新集群的哈希映射关系。本发明通过两层hash来实现动态扩容，不仅不需要修改代码中的分库分表规则，也不用进行数据迁移；进一步地，还能同时解决单表上限以及出现热点数据的问题；最后，还能实现自动优化数据库存储资源。

Description

数据库动态扩容的方法、存储介质

技术领域

本发明涉及数据存储领域，具体涉及数据库动态扩容的方法、存储介质。

背景技术

在现在很多***或者APP应用中，每一个APP都需要有一个对应的后台服务端来提供接口服务；同时，由于应用的使用者人数较多，且每个用户的各种业务操作等都将产生数据信息。因此，每个应用的***都需要存储数以亿计的用户信息以及用户行为信息。

存储上述信息，给服务端数据库带来很大的压力。所以，一般现在大型的互联网公司都采用分库分表的形式来进行大数据量的存储工作。即通过一定的计算规则，采用“hash(key)％分表数量”这样的hash方式来实现分库分表。一般这样使用的话，会预先设置好分库分表的数量，如果后期有遇到数量暴增，需要进行数据库扩容的时候，就需要预先新增数据库；然后，迁移旧有数据并重新进行hash划分，不同的数据迁移到不同的对应库表中。因此，每次扩容迁移都是一个痛苦的过程。

发明内容

本发明所要解决的技术问题是：提供数据库动态扩容的方法、存储介质，能够在数据不迁移，也不用改变分库分表规则的情况下，实现数据库的动态扩容。

为了解决上述技术问题，本发明采用的技术方案为：

数据库动态扩容的方法，包括：

预设集群中包含的分库分表；

哈希代理层依据第一哈希映射关系，将数据写入对应的集群中；

复制一集群，得到一原集群和一新集群；

修改所述第一哈希映射关系中对应所述一集群的哈希映射关系为分别对应所述一原集群和所述一新集群的哈希映射关系。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能实现上述数据库动态扩容的方法所包含的步骤。

本发明的有益效果在于：只需要在写入数据之前，配置哈希代理层及其到集群的第一哈希映射关系；便可以在扩容时，通过复制集群，并对应修改第一哈希映射关系中该集群的哈希映射关系即可实现动态扩容。本发明的扩容方式，不需要进行原数据的迁移，也不需要改变分库分表规则，即数据写入分表分库的第二哈希映射关系；原数据仍然可以依据修改后的第一哈希映射关系找到对应的存储位置。因此，本申请提供的扩容方式显著提高了实用性，以及操作便捷性。

附图说明

图1为本发明实施例一种数据库动态扩容的方法的流程示意图；

图2为使用图1的方法进行扩容后与扩容前的对比示意图；

图3为本发明实施例二的数据库动态扩容的方法的流程示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：通过哈希代理层的hash映射明确数据对应哪一个数据库集群；通过集群内部的hash映射明确数据对应哪个库哪张表；通过复制集群，并对应修改哈希代理层的hash映射关系中该集群的哈希映射关系即可实现动态扩容。

本发明涉及的技术术语解释:

请参照图1，本发明提供数据库动态扩容的方法，包括：

预设集群中包含的分库分表；

复制一集群，得到一原集群和一新集群；

进一步地，所述哈希代理层依据第一哈希映射关系，将数据写入对应的集群中，之后，还包括：

依据第二哈希映射关系，将数据写入集群中对应的分库分表。

由上述描述可知，通过哈希代理层映射数据到对应的集群，再通过集群内的第二哈希映射关系映射到集群内具体的分库分表中，实现仍然可以基于分库分表实现进行数据存储，从而提高数据库性能。

进一步地，所述修改所述第一哈希映射关系中对应所述一集群的哈希映射关系为分别对应所述一原集群和所述一新集群的哈希映射关系，之后，还包括：

依据修改后的第一哈希映射关系，分别删除所述一原集群和所述一新集群中与自身不存在哈希映射关系的数据。

由上述描述可知，通过删除原集群和新集群中多余的数据，避免无用数据占用资源，从而提高集群数据的有效性。

进一步地，所述集群的数量为两个以上。

由上述描述可知，可以依据具体的业务需求，灵活配置集群数量，支持大容量数据存储。

进一步地，所述修改所述第一哈希映射关系中对应所述一集群的哈希映射关系为分别对应所述一原集群和所述一新集群的哈希映射关系，具体为：

修改所述第一哈希映射关系中对应所述一集群的哈希映射关系为一半对应所述一原集群，另一半对应所述一新集群。

由上述描述可知，实现了扩增所述一集群的数据存储量，且不用改变数据到具体分库分表的映射规则，也不用进行数据迁移。

本发明提供的另一个技术方案为：

从上述描述可知，对应本领域普通技术人员可以理解实现上述技术方案中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来实现的，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时，可包括如上述各方法的流程。所述程序在执行后，同样可以获取上述各方法流程对应的有益效果。

其中，所述的存储介质可以是磁盘、光碟、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

实施例一

请参照图1和图2，本实施例提供一种数据库动态扩容的方法，且无需进行数据迁移或者进行分库分表规则的修改，因而具有较高的实用性和使用便捷性。

本实施的方法可以包括：

S1：预设集群中包含的分库分表。

具体而言，预配置整个数据库包含至少一个的集群，每个集群内包含预设个数的子数据库，每个子数据库中包含预设个数的数据表。例如，配置数据库中包含A集群和B集群；集群A中包含2个子数据库；每个子数据库中包含20个数据表。优选的，整个数据库包含至少两个的集群。

本实施例相较于现有技术直接将数据库分库分表的形式，区别在于在分库分表之前还划分了集群，在集群中再进行分库分表。这样一来是为后续配置哈希代理层以及动态扩容提供服务，二来能提高数据查询性能，起到快速锁定目标数据的所在集群的作用。

S2：哈希代理层依据第一哈希映射关系，将数据写入对应的集群中。

本实施例所使用的数据存储规则与现有的分库分表数据存储规则一致，在此不进行详细具体的说明。区别在于，通过本步骤增加了哈希代理层进行数据对应集群的映射，然而，所使用的哈希映射算法也与分库分表的哈希算法一致，区别仅在于，哈希计算公式中的mum的值(即分表数量)并非依据业务量需求而定，而是依据配置的集群数以及所有分库分表数量而定，优选设置成一个较大的固定数值，如1000-1万。

具体而言，即用一个hash(key)％num的计算公式来实现哈希代理层的hash映射。假设num设置为1000，则待写入数据库的一条记录数据，将首先经过哈希代理层根据上述计算公式计算出来的与该记录数据对应的数值进行映射分类，即将该条记录数据映射到对应的集群中。

比如，假设数据库为一个账号数据管理数据库，则待写入的一条记录数据，将首先经过哈希代理层依据记录中记载的与其唯一对应的账号信息，即UID，进行Hash取模计算，假设计算得到数字20，则依据预配置的“0-500”的计算结果对应集群A；“500-1000”的计算结果对应B集群，直接写入这条记录数据到集群A中。

S3：依据第二哈希映射关系，将数据写入集群中对应的分库分表。

具体而言，所述第二哈希映射关系，即分库分表规则。在上一步骤经过哈希代理层映射到对应的集群中之后，便可依据现有的分库分表规则将待写入数据库的记录数据写入到具体的分库分表中。

同样基于上述“比如”的案例，则通过本步骤，将再次依据集群内的哈希计算，把已经写入到集群A中的这条记录数据再具体写入到集群A中的某一个子数据库中的某一个数据表中。

需要说明的是，由于第二个hash(即集群内的第二哈希映射关系)已经是根据某个key来进行分库分表的，这样就已经实现了数据的平均分配功能，从而解决了单表上限以及出现热点数据的问题。

上述即为基于本申请增加了哈希代理层之后的数据存储方式。

下面，将说明数据库动态扩容的具体过程：

S4：复制一集群，得到一原集群和一新集群。

当子数据库的数据量达到一定额度时，有必要进行扩容，具体的扩容量依据数据库和实际压力状况决定。

具体而言，若其中一个集群有必要进行扩容，假设该集群为集群A，则复制集群A，得到一个原集群A1和一个复制得到的新集群A2，这两个集群中的分库分表数据是完全一样的。

S5：修改所述第一哈希映射关系中对应所述一集群的哈希映射关系为分别对应所述一原集群和所述一新集群的哈希映射关系。

所述S4进行复制之后，只需要对哈希代理层的第一哈希映射关系进行对应性的修改，而不用修改哈希代理层的哈希算法(代理层中的hash(key)％num等都不变，进来的key以及num还是和之前的一样的)，更不用去修改第二哈希映射关系，即分库分表规则，也不用进行数据的迁移，便可实现动态扩容。

具体而言，修改的方式为：将第一哈希映射关系中对应复制前的集群A的哈希计算结果，拆分成两部分，其中一部分哈希计算结果修改为与复制得到的新集群，即集群A2相对应；若复制后的原集群，即所述集群A的名称有所改变，假设改为集群A1，则将另一部分哈希计算结果修改为与集群A1相对应。

在一具体运用实例中，复制后得到的集群A2与集群A1对半平分复制前的集群A的哈希映射关系。即修改所述第一哈希映射关系中对应集群A的哈希映射关系为一半对应集群A2，另一半对应集群A1。

在此，直接引用上述举例的“‘0-500’的计算结果对应集群A”进行说明，则可以依据预配置，修改第一哈希映射关系，将“0-250”的计算结果对应集群A1；将“251-500”的计算结果对应集群A2。至此，则实现了在扩容后，通过哈希代理层，依据第一哈希映射关系将数据映射到对应的集群中；而后，仍然可以依据未修改的第二哈希映射关系，即分库分表规则，将数据再写入到具体的子数据库中具体的数据表中。但是，却已经实现了集群扩容，即数据存储总量的翻倍。

由上述可知，本实施例的数据库动态扩容方法，只是复制得到了一个新的集群数据库，并修改了哈希代理层的第一哈希映射关系，其他不做任何修改，便可实现自动地动态扩容。同时，旧有程序以及数据仍然可以依据最新的映射关系，即修改后的第一哈希映射关系和未修改的第二哈希映射关系找到对应的数据信息，即不用修改分库分表规则，即第二哈希映射关系，也不用进行数据迁移。另外，由于本实施例的代理层hash明确集群，而集群内部还有hash实现分库分表，解决了单表上限以及热点数据的问题。

实施例二

请参照图3，本实施例在实施例一的基础上，做进一步限定，使其具备自动删除扩容后无用数据的功能，从而优化资源。

本实施例与实施例一相同之处不再复述，区别在于，在实施例一的S5步骤之后，还包括：

S6：依据修改后的第一哈希映射关系，分别删除所述一原集群和所述一新集群中与自身不存在哈希映射关系的数据。

具体而言，该步骤中具体删除的内容依据步骤S5修改后的第一哈希映射关系而定。总而言之，即分别自动删除集群A1和集群A2中不会hash到自身集群的数据内容。比如，扩容后，集群A1只会写0-250的数据信息，因此直接删除其中251-500之间的数据信息；而集群A2中则删除0-250之间的数据信息。

优选该步骤可以通过一个独立的程序实现。

实施例三

本实施例对应实施例一和实施例二，提供一具体运用场景：

扩容前，存在两个数据库集群(A,B)，每个集群中存在2个数据库，每个数据库中存在20张表，通过第一层(即上述实施例的哈希代理层)代理hash计算规则：hash(key)％1000的规则，判断出0-500的结果集指向A集群；501-1000的结果集指向B集群(该映射规则可自行进行配置)；之后，再进行第二次的hash计算，hash(key)％2可以定位到集群中的哪一个数据库中，根据hash(key)％20可以定位到哪一张表中，这样就是一次hash定位的过程。

扩容后，存在三个数据库集群(A1,A2,B),每个集群中存在2个数据库，每个数据库中存在20张表，通过第一层代理hash计算规则，hash(key)％1000的规则，判断出0-250的结果指向A1集群，251-500的结果指向A2集群，500-1000的结果指向B集群，之后，再进行第二次的hash计算，hash(key)％2可以定位到哪一个数据库中，根据hash(key)％20可以定位到哪一张表中，这样就是一次hash定位的过程。

需要说明的是，原先只有2个集群，每个集群2个库，每个库20张表；通过本实施例扩容后，变成了3个集群，每个集群2个库，每个库20张表，总存储容量由原先的80张表，变成了120张表，从而实现数据库扩容。而如果扩容成4个集群，则就变成160张表了，翻倍的扩容了。

更重要的是，不然具体扩容成几个集群，都只需要修改第一层级的hash映射规则，就可以指向多个的集群，从而实现动态地扩容。

同时，扩容后A1与A2集群内数据都是完全一样的，后续由异步任务来完成多余数据的清除工作。采用该方式，只需要修改代理hash中的映射规则，而不需要修改第二层次的hash规则，就可以直接进行数据库的扩容了。

实施例四

本实施例对应实施例一至实施例三，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能实现上述实施例一至实施例三任意一个实施例所述的数据库动态扩容的方法所包含的步骤。具体的步骤内容在此不进行复述，详细请参阅实施例一至实施例三的记载。

需要说明的是，通过本实施例的计算机可读存储介质上计算机程序的执行，同样能实现数据库的动态扩容，且过程中只需要复制集群和修改第一层次(即代理层)的hash分配规则即可，无需修改分库分表规则，更无需进行数据迁移；同时还能解决单表上限和出现热点数据的问题。

综上所述，本发明提供的数据库动态扩容的方法、存储介质，通过两层hash来实现动态扩容，不仅不需要修改代码中的分库分表规则，也不用进行数据迁移；进一步地，还能同时解决单表上限以及出现热点数据的问题；最后，还能实现自动优化数据库存储资源。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.数据库动态扩容的方法，其特征在于，包括：

预设集群中包含的分库分表；

依据第二哈希映射关系，将数据写入集群中对应的分库分表；

复制一集群，得到一原集群和一新集群；

修改所述第一哈希映射关系中对应所述一集群的哈希映射关系为分别对应所述一原集群和所述一新集群的哈希映射关系；

根据修改后的所述第一哈希映射关系和未修改的所述第二哈希映射关系找到对应的数据信息。

2.如权利要求1所述的数据库动态扩容的方法，其特征在于，所述修改所述第一哈希映射关系中对应所述一集群的哈希映射关系为分别对应所述一原集群和所述一新集群的哈希映射关系，之后，还包括：

3.如权利要求1所述的数据库动态扩容的方法，其特征在于，所述集群的数量为两个以上。

4.如权利要求1所述的数据库动态扩容的方法，其特征在于，所述修改所述第一哈希映射关系中对应所述一集群的哈希映射关系为分别对应所述一原集群和所述一新集群的哈希映射关系，具体为：

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序在被处理器执行时，能实现上述权利要求1-4任意一项所述的数据库动态扩容的方法所包含的步骤。