CN110727738B - 基于数据分片的全局路由***、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种基于数据分片的全局路由***，该***包括路由管理服务单元、分片节点、路由注册映射服务单元和路由服务单元；路由管理服务单元用于配置路由服务的分片信息，将所述分片信息写入数据库；分片节点根据分片信息将全局路由应用划分为多个应用服务组，每个应用服务组包括多个分片和多个应用服务节点；在每个应用服务组中，每个分片对应多个应用服务节点；路由注册映射服务单元用于初始化所述分片信息，以建立分片映射表；所述路由服务单元基于所述分片映射表将交易数据的报文信息路由至应用服务组。因此本发明的各应用服务组彼此有一定的隔离性，从而节省了服务器资源、减少交易热点问题和雪崩问题。

Description

基于数据分片的全局路由***、电子设备及存储介质

技术领域

本发明属于数据库技术领域,具体涉及一种基于数据分片的全局路由***、电子设备及存储介质。

背景技术

在数据库技术领域，利用关系型数据库处理海量数据时，通常会采用数据库分片的方式进行处理，为了将交易路由到对应的机房和对应的分片，一般在交易入口和应用服务之前增加一层全局交易路由服务，即首先将新的基础数据均匀分布到各物理分片，再按分片策略将接收到的交易信息转发到不同的机房，并按预设的规则转发到相应的应用组别。

现有技术中的数据分片的路由方法主要包括以下几种：

一、在交易入口与应用服务之间增加路由服务，将应用服务与数据库分片一一对应绑定，该架构下的每个应用只能连接一个数据库节点，对于同一个微服务应用每个数据库节点也必须至少存在一个应用。由于一个大型***一般会按照功能拆分成大量的微服务应用，因此，应用服务节点也会有几十甚至上百个，尽管有些微服务应用的访问量不是很大，但是为了和数据库分片对应，线上至少要启动跟分片数等量的应用服务数量，因此会浪费很多服务器资源；另外，在一对一绑定的情况下，还容易发生交易热点问题。

二、在应用与数据之间增加路由服务层，其中，每个应用都可以连接到任意数据库分片节点。在这种情况下，如果有一个或几个数据库分片有问题时，很容易引起服务雪崩，即正常的分片由于异常蔓延影响而无法正常提供服务；另外，由于数据库路由服务层需要跟每个数据库分片保持连接，而数据库的连接数和服务器文件的句柄数都是有限制的，因此该方法在水平扩展上有一定的限制。

综上，现有技术的数据分片的路由方法存在以下几个技术问题：浪费服务器资源、易发生交易热点问题、容易引起服务雪崩以及在水平扩展上存在一定的限制。

发明内容

本发明的目的是提供一种基于数据分片的全局路由***、电子设备及存储介质，以解决背景技术中提出的技术问题。

本发明的技术方案是：

本发明的一个方面提供一种基于数据分片的全局路由***，该***包括路由管理服务单元、分片节点、路由注册映射服务单元和路由服务单元；其中，

所述路由管理服务单元用于配置路由服务的分片信息，并将所述分片信息写入数据库；

所述分片节点根据所述分片信息将全局路由应用划分为多个应用服务组，每个应用服务组包括多个分片和多个应用服务节点；在每个应用服务组中，每个分片对应多个应用服务节点；

所述路由注册映射服务单元用于初始化所述分片信息，以建立分片映射表；

所述路由服务单元基于所述分片映射表将交易数据的报文信息路由至应用服务组。

本发明的另一个方面提供一种电子设备，包括：处理器和存储装置，所述存储装置上存储有计算机程序，所述处理器执行所述存储装置上的计算机程序时实现上述任一项所述的全局路由***。

本发明的又一个方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的全局路由***。

本实施例的基于数据分片的全局路由***将数据提前进行配置，对分片进行映射和分片路由，将整个全局路由应用分成多个应用服务组，并且其中的一个分片对应多个应用服务，因此各应用服务组彼此有一定的隔离性，如果一个分组内的数据库节点发生故障，只会影响该应用分组内的数据对外提供的业务，不会导致整个***不可用，从而节省了服务器资源、减少交易热点问题和雪崩问题；

另外，本实施例中可以在不影响***运行的情况下对分片进行新增或裂变，因此分片可以在水平上进行一定的扩展。

附图说明

图1是本发明实施例提供的一种基于数据分片的全局路由***的结构示意图；

图2是本发明实施例提供的一种路由服务逻辑架构图的流程示意图；

图3是本发明实施例提供的一种路由服务调用示意图；

图4是本发明实施例提供的一种网络拓扑示意图；

图5是本发明实施例提供的新增数据分片的示意图；

图6是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

实施例一

图1是本发明实施例提供的一种基于数据分片的全局路由***的结构示意图，参见图1，该***包括路由管理服务单元、分片节点、路由注册映射服务单元、路由服务单元和路由同步服务单元；其中，

所述路由管理服务单元用于配置路由服务的分片信息，并将所述分片信息写入数据库；

所述分片节点根据所述分片信息将全局路由应用划分为多个应用服务组，每个应用服务组包括多个分片和多个应用服务节点；在每个应用服务组中，每个分片对应多个应用服务节点；

所述路由注册映射服务单元用于初始化所述分片信息，以建立分片映射表；

所述路由服务单元基于所述分片映射表将交易数据的报文信息路由至应用服务组；；

所述路由同步服务单元用于将映射数据同步到redis数据库中。

下面将具体介绍本实施例中的基于数据分片的全局路由***的各组件的工作过程。

图2是本发明实施例提供的一种路由服务逻辑架构图的流程示意图；图4是本发明实施例提供的一种网络拓扑示意图；结合图1、2和4，所述路由管理服务单元用于配置路由服务的分片信息，并将配置好的分片信息写入数据库，该数据库利用所述分片信息可以持久化数据；这里的分片信息可以指引分片节点如何对数据进行分片；其中，所述分片信息包括分片键值、分片数量和分片策略；

其中，路由管理服务单元中的数据结构包括分片信息和分片负载信息以下两种：

所述分片信息用于存储规划配置的各分片节点信息，包括分片节点状态、分片所在机房、分片id、分片组别等；

分片负载信息用于存储分片id、每组分片的数据量及活跃情况等。

参见图3，图3是本发明实施例提供的一种路由服务调用示意图，所述分片节点被配置为：根据分片信息将全局路由应用划分为多个应用服务组，每个应用服务组中包括多个应用服务节点；在每个应用服务组中，每个分片对应多个应用服务节点；

现有技术中，当其中一个应用服务组的数据出现异常时（可能是一个分片节点有问题引起的雪崩），与该应用服务组的数据分片有关的业务可能会受到影响；

而利用本实施例中的分片节点的配置方式，即“根据分片信息将所有的分片数据划分为多个应用服务组，每个应用服务组中包括多个应用服务节点；在每个应用服务组中，每个分片对应多个应用服务节点”，因此当其中一个应用服务组的数据出现异常时，与应用服务组中的数据分片有关的业务依然可以正常工作，可以将各应用服务组中的数据达到隔离，从而在部分应用服务组中的数据发生异常时，其他应用服务组中的数据不会受到影响。

现有技术中，在高可用服务架构下，为了保证部分应用节点宕机时仍可以对外提供业务，应用集群规模至少要大于等于两个节点，由于某些微服务逻辑处理简单，如果一组应用服务节点只对应一个数据分片节点，则应用资源会长期空闲，从而造成资源浪费，另外应用服务数量较多也不利于管理和监控；

而本实施例中，由于每个分片对应多个应用服务节点，因此还可以将应用服务组对应的分片相对扩大，并且可以根据实际情况调整数据分片和应用服务节点的数量，从而减少了服务器资源的使用和服务管理成本。

进一步的，所述应用服务组的大小是可实施调整的，例如可以将一个分片数据划分为一组，也可以多个分片数据划分为一组。

在本实施例中，如果没有统计数据，则按照分片策略对数据进行分片；如果有统计数据，则根据对数据进行异步统计，并经获得的当前数据量的权重对数据进行分片。

进一步的，路由管理服务单元在业务量达到预设的数量阈值时，当前分片资源已经趋于预期饱和状态时，需要新增数据分片，以满足持续增长的业务需求，这样就不会出现单数据库分片连接数过大问题。

具体的，路由管理服务单元通过执行以下操作来新增数据分片：

首先，路由管理服务单元中配置新增的分片信息；

然后，根据新增的分片信息搭建新的数据分片数据库，并启动新的应用服务节点；

最后，基于所述新的应用服务节点刷新分库规则以新增数据分片；其中，所述路由分库规则支持时间片处理；例如，参见图5，原有的建档日期从20171001开始，按照原有的分库规则可以划分为4个数据库db1-db4）;在从新增数据分片后，即从建档日期20181001开始，新增数据按照新的分库规则划分数据库，划分为8个数据库db1-db8，根据新的数据库，将数据重新路由到各分片节点，从而新增数据分片；即新的分片可以分配更高的权重，可以让更多的新用户路由到新的分片；通过这种新增数据分片的方式可以做到整个***无感知。

优选的，在新增数据分片后，增加新的应用服务，从而使得这样每个分片数据库与应用服务组的连接数保持在一个预设的数量范围内；另外路由服务本身是无状态（即路由服务不依赖于本应用之外的任何其他组件）的，因此数据分片增加时可以线性扩展路由节点，从而可以以支持更大的业务规模。

进一步的，在单个分片存在热点且分片节点处理数据量大于等于预设的数据量时，分片节点控制单个分片进行裂变获得多个分片；

具体的，所述分片节点控制单个分片通过执行以下操作来进行裂变：

A1:路由管理服务单元配置新的分片信息，将新的分片信息存储至新的分片数据库中；

A2:根据新的分片信息启动新的应用服务节点；

A3:将预定要裂变的数据迁移到新的分片数据库中（此时源分片数据库不变，仍提供服务）；

A4:刷新分库规则，将迁移出的数据对应的交易路由到新的分片节点;

A5:将源分片数据库中的预定要裂变的数据进行清理;

由于分库规则已经发生变化，源分片数据库中的预定要裂变的数据不会再被使用，这部分数据已会路由到新的分片节点，因此可以将源分片数据库中的预定要裂变的数据进行清理，不会影响源分片数据库中的其他数据。

所述路由注册映射服务单元用于初始化所述分片信息，以建立分片映射表，该分片映射表用于表示分片键与数据分片的对应关系；

例如，以交易型***为例，通常可以选取***、证件号、手机号等为分片键，根据分片策略将存量数据（可以根据业务规划定制，独立设计，无侵入性）批量初始化到分片映射表中；进一步的，当需要新增客户数据（比如新注册客户，没有初始分片信息）时，路由注册映射服务单元根据分片策略将新增客户数据实时分配到指定的分片。

所述路由服务单元基于所述分片映射表将交易数据的报文信息路由至应用服务组；

具体的， 路由服务单元执行以下操作：

在路由服务单元接收到交易数据时，首先，路由服务单元利用交易数据报文中的分片键；然后，根据分片映射表查询与该分片键相对应的数据分片信息和应用分组信息；再将数据分片信息封装到该报文中并转发至对应的应用服务组；应用服务组接收到封装了数据分片信息的报文后，解析出对应的数据分片信息，选取对应的数据分片进行处理获得处理结果，将所述处理结果信息响应给路由服务单元，即应用服务组将所述处理结果信息发送至路由服务单元；最后，路由服务单元将收到的处理结果信息响应给终端，即路由服务单元将收到的处理结果信息发送至终端。

参见图4，所述路由同步服务单元用于将映射数据同步到redis数据库；具体的，由于映射数据缓存在redis数据库中，为了防止Redis数据库与源分片数据库中的数据发生不一致，增加路由同步服务单元并以增量同步方式定期对映射数据进行同步和校准，从而保证了***的查询处理效率。

本实施例的基于数据分片的全局路由***将数据提前进行配置，对分片进行映射和分片路由，并且将整个全局路由应用分成多个应用服务组，并且其中的一个分片对应多个应用服务节点，因此各应用服务组彼此有一定的隔离性，如果一个分组内的数据库节点发生故障，只会影响该应用分组内的数据对外提供的业务，不会导致整个***不可用。

实施例二

本发明实施例提供一种电子设备，如图6所示，该电子设备至少包括：处理器和存储装置；存储装置上存储有计算机程序，处理器在执行存储装置上的计算机程序时实现本发明任意实施例提供的全局路由***。

本发明实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

实施例三

本发明实施例提供一种计算机可读存储介质，存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的全局路由***。

需要说明的是，本公开所述的计算机可读介质可以是算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (9)

1.一种基于数据分片的全局路由***，该***包括路由管理服务单元、分片节点、路由注册映射服务单元和路由服务单元；其中，

所述路由管理服务单元用于配置路由服务的分片信息，并将所述分片信息写入数据库；

所述分片节点根据所述分片信息将全局路由应用划分为多个应用服务组，每个应用服务组包括多个分片和多个应用服务节点；在每个应用服务组中，每个分片对应多个应用服务节点；

所述路由注册映射服务单元用于初始化所述分片信息，以建立分片映射表；

所述路由服务单元执行以下操作：接收交易数据报文中的分片键；根据分片映射表查询与该分片键相对应的数据分片信息和应用分组信息；根据应用分组信息将数据分片信息封装到该报文中并转发至对应的应用服务组；

应用服务组对该报文进行解析以获得所述数据分片信息，选取对应的数据分片进行处理获得处理结果，将所述处理结果信息发送至路由服务单元；

路由服务单元将收到的处理结果信息发送至终端。

2.根据权利要求1所述的全局路由***，其特征在于，所述***还包括路由同步服务单元，该路由同步服务单元用于将映射数据同步到Redis数据库中。

3.根据权利要求1所述的全局路由***，其特征在于，所述分片信息包括分片键值、分片数量和分片策略。

4.根据权利要求1所述的全局路由***，其特征在于，路由注册映射服务单元根据分片策略将新增数据实时分配到指定的分片。

5.根据权利要求1所述的全局路由***，其特征在于，路由管理服务单元在单节点容量达到预设的容量阈值时，新增数据分片。

6.根据权利要求5所述的全局路由***，其特征在于，所述路由管理服务单元通过执行以下操作来新增数据分片：

路由管理服务单元中配置新增的分片信息；

根据新增的分片信息搭建新的数据分片数据库，并启动新的应用服务节点；

基于所述新的应用服务节点刷新分库规则以新增数据分片。

7.根据权利要求1所述的全局路由***，其特征在于，在单个分片的数据存在热点且分片节点处理数据量大于等于预设的数据量时，分片节点控制单个分片进行裂变以获得多个分片。

8.根据权利要求7所述的全局路由***，其特征在于，所述分片节点控制单个分片通过执行以下操作来进行裂变：

路由管理服务单元配置新的分片信息，将新的分片信息存储至新的分片数据库中；

根据新的分片信息启动新的应用服务节点；

将预定要裂变的数据迁移到新的分片数据库中；

刷新分库规则，将迁移出的数据对应的交易路由到新的分片节点。

9.根据权利要求8所述的全局路由***，其特征在于，所述分片节点控制单个分片进行裂变还执行以下操作：将源分片数据库中的预定要裂变的数据进行清理。

Images