CN111460240B - 一种跨地域多活微服务架构下翻页数据查询方法及装置 - Google Patents

Abstract

本发明公开了一种跨地域多活微服务架构下翻页数据查询方法及装置，所述方法中，预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，包括：接收到对目标客户的检索请求，依据所述检索请求，在所述各个数据库中选取目标数据库；在所述目标数据库中进行查询，得到与当前客户关联的各个数据集；将所述各个数据集依据预设标识进行排序，得到目标数据集；将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示。上述的查询方法中，将对应的数据存储在不同地域的各个数据库，对各个数据的类型不进行限制，而且将得到的目标数据集进行分页展示，不会因为数据量大导致排序性能差。

Description

一种跨地域多活微服务架构下翻页数据查询方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种跨地域多活微服务架构下翻页数据查询方法及装置。

背景技术

银行***实施异地多活，微服务架构，可以实现业务***解耦，服务水平扩展，保证业务***高并发及高可用。现有客户数据，都统一存储在一个数据库，不同地域的用户发起查询请求时都依据该数据库。

目前业界对于微服务架构下的跨库分页解决方案主要为1)全局视野法2)二次查询法，方案一虽然数据精准，但是数据量大时重排序性能差；方案二采取二次查询算法在不损失精确度的前提下提升效率，但是必须依托于MySql数据库，只适用于传统关系型数据库分库分表方案，制约性较大。

发明内容

有鉴于此，本发明提供了一种跨地域多活微服务架构下翻页数据查询方法及装置，用以解决现有的查询过程中对存储数据的数据库只能采用关系型数据库才可以实现分库分表，制约性较大，并且在数据量大时排序性能差的问题。具体方案如下：

一种跨地域多活微服务架构下翻页数据查询方法，预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，包括：

接收到对目标客户的检索请求，依据所述检索请求，在所述各个数据库中选取目标数据库；

在所述目标数据库中进行查询，得到与当前客户关联的各个数据集；

将所述各个数据集依据预设标识进行排序，得到目标数据集；

将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示。

上述的方法，可选的，预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，还包括：

针对任意一个数据库，在其所属地域对所述各个数据库中的其余数据库进行备份。

上述的方法，可选的，依据所述检索请求，在所述各个数据库中选取目标数据库，包括：

获取所述检索请求中的检索关键词；

遍历所述各个数据库，依据所述检索关键词查找所述目标数据库。

上述的方法，可选的，将所述各个数据集依据预设标识进行排序，得到目标数据集，包括：

遍历所述各个数据集，获取所述各个数据集中每一个数据的预设标识；

对各个预设标识预设的排序规则进行排序，得到目标排序；

将所述各个数据依据所述目标排序进行排列，得到所述目标数据集。

上述的方法，可选的，将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示，还包括：

选取记录数据当前位置的业务要素作为翻页条件标识；

依据所述翻页条件标识，保存当前页中最小位置业务要素和最大位置业务要素。

一种跨地域多活微服务架构下翻页数据查询装置，预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，包括：

选取模块，用于接收到对目标客户的检索请求，依据所述检索请求，在所述各个数据库中选取目标数据库；

查询模块，用于在所述目标数据库中进行查询，得到与当前客户关联的各个数据集；

排序模块，用于将所述各个数据集依据预设标识进行排序，得到目标数据集；

截取展示模块，用于将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示。

上述的装置，可选的，所述查询装置中预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，还包括：

备份模块，用于针对任意一个数据库，在其所属地域对所述各个数据库中的其余数据库进行备份。

上述的装置，可选的，所述选取模块包括：

关键词获取单元，用于获取所述检索请求中的检索关键词；

查找单元，用于遍历所述各个数据库，依据所述检索关键词查找所述目标数据库。

上述的装置，可选的，所述排序模块包括：

标识获取单元，用于遍历所述各个数据集，获取所述各个数据集中每一个数据的预设标识；

第一排序单元，用于对各个预设标识预设的排序规则进行排序，得到目标排序；

第二排序单元，用于将所述各个数据依据所述目标排序进行排列，得到所述目标数据集。

上述的装置，可选的，所述截取展示模块还包括：

选取单元，用于选取记录数据当前位置的业务要素作为翻页条件标识；

保存单元，用于依据所述翻页条件标识，保存当前页中最小位置业务要素和最大位置业务要素。

与现有技术相比，本发明包括以下优点：

本发明公开了一种跨地域多活微服务架构下翻页数据查询方法及装置，所述方法中，预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，包括：接收到对目标客户的检索请求，依据所述检索请求，在所述各个数据库中选取目标数据库；在所述目标数据库中进行查询，得到与当前客户关联的各个数据集；将所述各个数据集依据预设标识进行排序，得到目标数据集；将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示。上述的查询方法中，将对应的数据存储在不同地域的各个数据库，对各个数据的类型不进行限制，而且将得到的目标数据集进行分页展示，不会因为数据量大导致排序性能差。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种跨地域多活微服务架构下翻页数据查询方法流程图

图2为本申请实施例公开的一种跨地域多活微服务架构下翻页数据查询方法架构图；

图3为本申请实施例公开的一种跨地域多活微服务架构下翻页数据查询装置结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

本发明公开了一种跨地域多活微服务架构下翻页数据查询方法及装置，应用在跨地域查询报表服务的数据同步、分页查询等过程中，现有技术中，银行将客户数据采用单一库存储的方式，即将全部数据存储在一个数据库中，针对单一库的查询过程，现有技术中，采用主要采用1)全局视野法2)二次查询法来实现查询，研究发现方案一虽然数据精准，但是数据量大时重排序性能差；方案二采取二次查询算法在不损失精确度的前提下提升效率，但是必须依托于MySql数据库，只适用于传统关系型数据库分库分表方案，制约性较大。因此，本发明提供了一种跨地域多活微服务架构下翻页数据查询方法，所述查询方法预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，优选的，为每一个数据库分配标识，所述标识可以为用户信息、存储数据的时间段等。进一步的，针对任意一个数据库，在其所属地域对所述各个数据库中的其余数据库进行备份，所述客户属性指所述客户在发生与银行发生业务往来时所属地域，例如，针对当前用户分别在地域A、地域B和地域C与银行发生过业务往来，因此，其对应的数据存储在对应地域的数据库中，并且地域A备份有地域B和地域C的数据，地域B备份有地域A和地域C的数据，地域C备份有地域A和地域B的数据，备份的目的在于，当任意一个数据库发生异常不能使用时，可以启用对应的备用数据库，不会影响***的运行。

所述查询方法的执行流程如图1所示，包括步骤：

S101、接收到对目标客户的检索请求，依据所述检索请求，在所述各个数据库中选取目标数据库；

本发明实施例中，用户通过终端输入对客户的检索要求时，会产生检索请求，所述检索要求可以为客户的转账记录查询，或者针对某一时间段的交易明细查询等，所述检索要求通常为一段文字，当接收到所述检索请求时，解析所述检索请求，获取所述检索请求中的检索要求，对所述检索要求进行分词处理，得到检索关键词，所述检索关键词可以包括用户信息、时间信息或者地域信息等等，遍历所述各个数据库，依据所述检索关键词，查找与标识与所述检索关键词中的至少一个相同的数据库，将其作为目标数据库，所述目标数据库为多个。

S102、在所述目标数据库中进行查询，得到与当前客户关联的各个数据集；

本发明实施例中，以所述目标数据库为两个进行说明，在所述目标数据库中依据所述检索关键词进行查询，得到与当前用户存在关联关系的第一数据集和第二数据集，其中，以所述第一数据集为例说明其确定过程，假设检索关键词为客户A、时间段B和转账记录，首先在所述目标数据库中首先确定与所述客户A对应的数据集，将所述数据中除时间段B以外的数据和非转账记录的数据剔除，得到所述第一数据集。

S103、将所述各个数据集依据预设标识进行排序，得到目标数据集；

本发明实施例中，所述第一数据集和所述第二数据集的中数据是依据预先设定的顺序进行排序的，但是需要将所述第一数据集和所述第一数据进行整合，因此需要重新进行排序，本发明实施例中，是依据预设的标识进行排序的，其中，所述预设的标识可以为时间戳、业务编号、或者业务流水号等，依据具体的情况进行选取，得到所述目标数据集。

S104、将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示。

本发明实施例中，所述目标数据集需要在前端***进行显示，显示的方式为分页显示，预先设定翻页条数，依据所述翻页条数在所述目标数据集中依顺序截取后反馈给前端***进行展示。

进一步的，在前端***展示的过程中，选取记录数据当前位置的业务要素作为翻页条件标识，其中，所述翻页条件标识可以为业务编号、时间戳或子和顺序号等。依据所述翻页条件标识，保存当前页中最小位置业务要素和最大位置业务要素。例如：所述翻页条件为顺序号，则需要保存当前页面中的最小顺序号和最大顺序号。

本发明公开了一种跨地域多活微服务架构下翻页数据查询方法，所述方法中，预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，包括：接收到对目标客户的检索请求，依据所述检索请求，在所述各个数据库中选取目标数据库；在所述目标数据库中进行查询，得到与当前客户关联的各个数据集；将所述各个数据集依据预设标识进行排序，得到目标数据集；将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示。上述的查询方法中，将对应的数据存储在不同地域的各个数据库，对各个数据的类型不进行限制，而且将得到的目标数据集进行分页展示，不会因为数据量大导致排序性能差。

本发明实施例中，基于上述的查询方法进行举例说明，所述查询方法中采用应用平台与数据库操作相结合方案，封装成渠道上送数据检查、本地数据查询、异地数据查询、数据结果集排序等原子服务，进而完成先查询在排序的服务编排，提供跨库分页API服务接口，并发布到我行分布式服务注册中心，供前端业务***调用，行成跨库分页技术中台，整体架构图如图2所示，

1前端业务***将数据发送给组合服务平台，所述组合服务平台是基于SOA架构体系的基础性平台，它处于前端业务***与核心***之间，将核心***的原子服务进行编排、组装，组装出具有业务含义的、可复用的组合流程，以粗粒度服务的形式提供给渠道***调用。

(1)、前端业务***可以根据业务特点选取记录数据当前位置的业务要素，用于翻页条件标识、例如业务编号、时间戳、顺序号等，该类业务要素一般都是按照时间顺序升序排序，并且保证唯一性的整型数字，可以保证查询结果的准确性及安全性。

(2)、每页根据返回的查询记录，根据翻页标识，保存当前最小位置的业务要素值，及当前最大位置的业务要素值。

(3)、顺序查询及跳页查询时，上送当前页翻页标识字段，及查询目的页码,例如当前页是m页，需要拉取第n页的数据信息，前端需要上送m页的翻页标识字段(当前页存在的最大时间戳及顺序号)，以及当前页码m和目的查询的页码n。

2前端业务***调用核心***服务，首先会路由到组合服务平台进行业务拆分处理，组合服务平台根据业务逻辑进行服务编排组装，调用本地及异地数据查询服务，根据查询业务参数到本地Tidb(Tidb1和Tidb2)数据库集群进行查询；

(1)、后台获取前端上送的翻页标识、目的页码等字段，通过(目的查询页码n-当前页码m)乘以每页显示条数，计算查询条数。

(2)、调用组合服务平台进行跨库组合查询数据。

(3)、例如查询账户A会计记账明细，前端业务***通过互联网或客户端上送账户A、时间段等业务信息要素；组合服务平台获取字段及翻页标识信息后，分别调用不同地域的数据查询服务查询本地Tidb(Tidb1和Tidb2)核心数据库获取数据，该数据库存储账户记账明细、会计分录等信息，查询完成后将不同地区的数据查询结果合并成一个新的List。由于查询结果集需要保存在服务器本地内存中，后续操作需要操作内存中的数据重排序，因此翻页间隔要控制在一定范围内防止数据过大导致服务器宕机。例如当前页是第1页，每页显示100条明细数据，如果查询第50页，就需要不同地域查询服务各查出100*50条数据集合存储到内存中，造成性能隐患，因此翻页间隔***会设置参数保证分页间隔在一定范围内。

3数据服务将查询结果集返回给BIP***，BIP***根据时间戳、业务编号、业务流水号等唯一性要素进行排序；

本发明实施例中，组合服务平台将查出的组合数据结果集List，调用数据排序服务进行重新排序。该服务对关键有序唯一性字段，例如时间戳、顺序号等可以组成唯一性约束字段排序，如按照业务编号和时间戳按照升序排序。

4BIP***完成排序后将目标查询数据按照翻页条数截取返回前端业务***。

完成排序后，按照每页需要返回的条数，计算出需要返回的结果数据集，从List中截取查询数据结果集，并同时将数据查询结果集中起始位置及结束位置中的时间戳、顺序号等字段返回前端，通过前端展现给客户。

优选的，可与预留端口，依据所述预留端口定期抽取核心***涉及报表、明细类相关数据，利用HDFS存储不同地域的历史数据，因此对于历史交易还可以通过预留端口连接的外部***进行查询，来减轻联机交易对核心数据库压力。

本发明实施例中，所述查询方法中采用多种业界主流开源技术框架，例如数据库我们采用了可弹性扩展、支持联机OLTP、OLAP的分布式数据库Tidb，组合服务平台的调用选择了开源分布式服务框架Dubbo，外部***采用Sqoop、Spark等技术进行抽取分析，通过对应用层和数据层的重新设计及服务封装，实现了银行交易数据在不同数据中心间的分页查询及同步问题。

基于上述的一种跨地域多活微服务架构下翻页数据查询方法，本发明实施例中提供了一种跨地域多活微服务架构下翻页数据查询装置，所述查询装置预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，所述查询装置的结构框图如图3所示，包括：

选取模块201、查询模块202、排序模块203和截取展示模块204。

其中，

所述选取模块201，用于接收到对目标客户的检索请求，依据所述检索请求，在所述各个数据库中选取目标数据库；

所述查询模块202，用于在所述目标数据库中进行查询，得到与当前客户关联的各个数据集；

所述排序模块203，用于将所述各个数据集依据预设标识进行排序，得到目标数据集；

所述截取展示模块204，用于将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示。

本发明公开了一种跨地域多活微服务架构下翻页数据查询装置，所述方法中，预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，包括：接收到对目标客户的检索请求，依据所述检索请求，在所述各个数据库中选取目标数据库；在所述目标数据库中进行查询，得到与当前客户关联的各个数据集；将所述各个数据集依据预设标识进行排序，得到目标数据集；将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示。上述的查询装置中，将对应的数据存储在不同地域的各个数据库，对各个数据的类型不进行限制，而且将得到的目标数据集进行分页展示，不会因为数据量大导致排序性能差。

本发明实施例中，所述查询装置中预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，还包括：备份模块205。

其中，

所述备份模块205，用于针对任意一个数据库，在其所属地域对所述各个数据库中的其余数据库进行备份。

本发明实施例中，所述选取模块201包括：

关键词获取单元206和查找单元207。

其中，

所述关键词获取单元206，用于获取所述检索请求中的检索关键词；

所述查找单元207，用于遍历所述各个数据库，依据所述检索关键词查找所述目标数据库，

本发明实施例中，所述排序模块203包括：

标识获取单元208、第一排序单元209和第二排序单元210。

所述标识获取单元208，用于遍历所述各个数据集，获取所述各个数据集中每一个数据的预设标识；

所述第一排序单元209，用于对各个预设标识预设的排序规则进行排序，得到目标排序；

所述第二排序单元210，用于将所述各个数据依据所述目标排序进行排列，得到所述目标数据集。

本发明实施例中，所述截取展示模块还包括：

选取单元211和保存单元212。

其中，

所述选取单元211，用于选取记录数据当前位置的业务要素作为翻页条件标识；

所述保存单元212，用于依据所述翻页条件标识，保存当前页中最小位置业务要素和最大位置业务要素。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种跨地域多活微服务架构下翻页数据查询方法及装置。进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种跨地域多活微服务架构下翻页数据查询方法，其特征在于，预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，包括：

接收到对目标客户的检索请求，依据所述检索请求，在所述各个数据库中选取目标数据库；

在所述目标数据库中进行查询，得到与当前客户关联的各个数据集；

将所述各个数据集依据预设标识进行排序，得到目标数据集；

将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示；

其中，将所述各个数据集依据预设标识进行排序，得到目标数据集，包括：

遍历所述各个数据集，获取所述各个数据集中每一个数据的预设标识；

对各个预设标识预设的排序规则进行排序，得到目标排序；

将所述各个数据依据所述目标排序进行排列，得到所述目标数据集。

2.根据权利要求1所述的方法，其特征在于，预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，还包括：

针对任意一个数据库，在其所属地域对所述各个数据库中的其余数据库进行备份。

3.根据权利要求1所述的方法，其特征在于，依据所述检索请求，在所述各个数据库中选取目标数据库，包括：

获取所述检索请求中的检索关键词；

遍历所述各个数据库，依据所述检索关键词查找所述目标数据库。

4.根据权利要求1所述的方法，其特征在于，将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示，还包括：

选取记录数据当前位置的业务要素作为翻页条件标识；

依据所述翻页条件标识，保存当前页中最小位置业务要素和最大位置业务要素。

5.一种跨地域多活微服务架构下翻页数据查询装置，其特征在于，预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，包括：

选取模块，用于接收到对目标客户的检索请求，依据所述检索请求，在所述各个数据库中选取目标数据库；

查询模块，用于在所述目标数据库中进行查询，得到与当前客户关联的各个数据集；

排序模块，用于将所述各个数据集依据预设标识进行排序，得到目标数据集；

截取展示模块，用于将所述目标数据集依据预设的翻页条数进行截取后反馈给前端业务***进行展示；

其中，所述排序模块包括：

标识获取单元，用于遍历所述各个数据集，获取所述各个数据集中每一个数据的预设标识；

第一排序单元，用于对各个预设标识预设的排序规则进行排序，得到目标排序；

第二排序单元，用于将所述各个数据依据所述目标排序进行排列，得到所述目标数据集。

6.根据权利要求5所述的装置，其特征在于，所述查询装置中预先依据客户属性，将其对应的数据存储在不同地域的各个数据库中，还包括：

备份模块，用于针对任意一个数据库，在其所属地域对所述各个数据库中的其余数据库进行备份。

7.根据权利要求5所述的装置，其特征在于，所述选取模块包括：

关键词获取单元，用于获取所述检索请求中的检索关键词；

查找单元，用于遍历所述各个数据库，依据所述检索关键词查找所述目标数据库。

8.根据权利要求5所述的装置，其特征在于，所述截取展示模块还包括：

选取单元，用于选取记录数据当前位置的业务要素作为翻页条件标识；

保存单元，用于依据所述翻页条件标识，保存当前页中最小位置业务要素和最大位置业务要素。