CN109582695A - 一种微服务架构下数据通用查询方法及查询*** - Google Patents

Abstract

本申请公开了一种微服务架构下数据通用查询方法及查询***，所述查询方法包括：S2：从第一数据库中拉取对应的第一数据；S4：同步接收所述数据同步服务单元的所述第一数据；S6：建立数据存储模型，并建立数据模型视图；S8：管理所述元数据；S10：通过元数据模型与所述第一数据提供查询服务，根据所述元数据模型的描述，形成对应的数据模型查询语句，调用所述统一数据仓库单元的接口进行查询。与现有技术相比，本申请所提供的微服务架构下数据通用查询方法及查询***为解决查询次数频繁，高并发，数据实时性要求相对不高的数据查询场景，不保障写入数据的立即生效。但通过数据库定时及数据库监听的方式，保障数据的准实时性。

Description

一种微服务架构下数据通用查询方法及查询***

技术领域

一种数据查询方法及查询***，特别涉及一种微服务架构下数据通用查询方法及查询***。

背景技术

在互联网应用场景下，一个复杂的业务***，通常由多个微服务组成，每个微服务一般会使用独立的数据库进行数据存储和查询。

在单一的服务下，数据的存储和查询一般都是通过数据库进行。但在复杂的业务***中，一个业务单据使用的数据是来源于其他多个微服务来进行提供。

例如，一个报销业务单据，上面可能会引用多个其他业务对象：费用类型、承担部门、收款人银行账户等。这些都是由独立的微服务提供。而在开发或实施过程中，单据还可能会不断补充其他属性，例如工程项目报销会携带对应的工程项目，差旅类保险会增加相关的交通方式和地点说明。

基于以上情况，在报销单据的对象上会引用以上多个对象的主键，作为当前单据的属性。但在界面展现或特定业务计算时，会根据主键查询相关的数据。

请参照图1，对于数据提供方业务***来说，一般会根据业务***的需求，提供相关的api接口对外提供服务。这类api接口一般是为了实现某一类业务带有特定业务逻辑的专项接口。上面业务单据需要的简单的数据查询接口也可通过类似api提供。

在业务单据使用时，对于一条数据的处理过程，例如界面显示，需要根据界面显示的属性，依次调用相关服务的查询接口，业务***需要记录所有相关的微服务提供的接口。同时，在扩展业务单据需要新的服务时，需要改写原有的代码来调用相关新的微服务提供的接口进行查询。因此改方案不利于业务***的实现和扩展。

其次，在业务实现时，经常会出现关联多个服务查询的场景，例如在报销单审批时，查询报销单的费用承担部门的上级部门负责人对应的用户进行审批。需要传统多个对象进行查询(请参照图2)。

按服务接口提供则需要在部门上提供上级和负责人的查询接口，在员工上提供用户查询的接口

报销单调用时，需要分三次调用不同接口。需要了解部门接口的格式分别调用。或者由部门服务提供上级部门负责人对应用户的接口。这样会导致部门服务的接口根据业务场景频繁增加。

在通过api接口进行查询方案中，存在如下问题：

1、会导致实现的复杂多过高，每个查询根据业务不同要开发独立服务接口。

2、多个服务的级联调用会导致请求的时间变长，大量时间消耗在请求过程上。

3、调用链路复杂的情况下，任一服务的问题或访问链路的问题都会导致服务不可使用，导致服务的可靠性下降。

综上所述，需要提供一种通用的简单查询的服务，解决多个微服务之间，无复杂业务的简单查询的能力。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓解上述问题。

根据本申请的一个方面，提供了一种微服务架构下数据通用查询方法，包括如下步骤：S2：数据同步服务步骤，从第一数据库中拉取对应的第一数据；S4：统一数据仓库步骤，同步接收所述数据同步服务单元的所述第一数据；S6：存储模型管理步骤，建立数据存储模型，并建立数据模型视图；S8：元数据模型管理步骤，管理所述元数据，所述元数据为描述所述第一数据的数据；S10：查询服务步骤，通过元数据模型与所述第一数据提供查询服务，根据所述元数据模型的描述，形成对应的数据模型查询语句，调用所述统一数据仓库单元的接口进行查询。

上述的的微服务架构下数据通用查询方法，所述步骤S2包括：S22:通过定时器，指定间隔时间增量从原始数据库中拉取对应的数据，写入统一数据仓库中；S24:根据数据变化推送数据，通过数据自身提供的机制，业务数据库在发生变化时，接受到执行日志，解析并根据查询视图中定义的结构，从新查询视图对应的数据库表，形成更新的数据，写入统一数据仓库中。

上述的的微服务架构下数据通用查询方法，所述步骤S22包括：S221：根据视图获取条件信息和表名信息；S222：获取上次同步时间；S223：当所述上次同步时间为空时，根据所述条件信息和所述表名信息生成sql；S224：当所述上次同步时间不为空时，增加时间戳条件，并根据所述条件信息和所述表名信息生成sql；S225：查询所述视图对应的数据源；S226：调用所述数据源的数据库查询，当有多个数据库时，依次查询；S227：数据写入数据仓库中。

上述的的微服务架构下数据通用查询方法，所述步骤S24包括：S241：业务***写入数据至业务数据库；S242：监听数据库变化；S243：获取变化数据ID；S244：查询镜像视图；S245：根据所述镜像视图生成查询语句，增加ID条件；S246：根据所述查询语句在所述业务数据库中查询数据；S247：将查询到的数据写入数据仓库。

上述的的微服务架构下数据通用查询方法，来源业务***通过存储模型管理中描述的数据仓库的模型，与元数据的存储模型对应，建立完整的业务***的对象关系模型。

根据本申请的另一个方面，还提供了一种微服务架构下数据通用查询***，包括：数据同步服务单元，从第一数据库中拉取对应的第一数据；统一数据仓库单元，连接所述数据同步服务单元，用于同步接收所述数据同步服务单元的所述第一数据；存储模型管理单元，连接所述数据同步服务单元，用于建立数据存储模型，并建立数据模型视图；元数据模型管理单元，连接所述存储模型管理单元，用于管理所述元数据，所述元数据为描述所述第一数据的数据；查询服务单元，连接所述元数据模型管理单元及所述统一数据仓库单元，通过所述元数据模型管理单元的元数据模型与所述同一数据仓库单元中的所述第一数据提供查询服务，所述查询服务单元根据所述元数据模型的描述，形成对应的数据模型查询语句，调用所述统一数据仓库单元的接口进行查询。

根据本申请的另一个方面，还提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述任一项所述的方法。

根据本申请的另一个方面，还提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现上述任一项所述的方法。

根据本申请的另一个方面，还提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述任一项所述的方法。

与现有技术相比，本申请所提供的微服务架构下数据通用查询方法及查询***为解决查询次数频繁，高并发，数据实时性要求相对不高的数据查询场景，不保障写入数据的立即生效。但通过数据库定时及数据库监听的方式，保障数据的准实时性。不建议在数据维护界面的查询自身的场景使用。通常可用于选择数据组件查询，界面显示数据翻译，根据主键的简单查询、导入数据时的根据编码/名称翻译的场景。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据现有技术中数据查询方法示意图；

图2是根据现有技术中数据查询方法示意图；

图3是本申请一实施例中查询***的***示意图；

图4是本申请一实施例中存储模型管理的示意图；

图5是本申请一实施例中存储模型管理的示意图；

图6是本申请一实施例中存储模型管理的示意图；

图7是本申请一实施例中数据同步的流程示意图；

图8是本申请一实施例中数据同步的流程示意图；

图9是本申请一实施例中数据同步的流程示意图；

图10是本申请一实施例中计算机设备的示意图；

图11是本申请一实施例中计算机可读存储介质的示意图。

具体实施方式

本申请一实施例中，微服务架构下数据通用查询方法包括如下步骤：2：数据同步服务步骤，从第一数据库中拉取对应的第一数据；S4：统一数据仓库步骤，同步接收所述数据同步服务单元的所述第一数据；S6：存储模型管理步骤，建立数据存储模型，并建立数据模型视图；S8：元数据模型管理步骤，管理所述元数据，所述元数据为描述所述第一数据的数据；S10：查询服务步骤，通过元数据模型与所述第一数据提供查询服务，根据所述元数据模型的描述，形成对应的数据模型查询语句，调用所述统一数据仓库单元的接口进行查询。

在本申请一实施例中，所述步骤S2包括：S22:通过定时器，指定间隔时间增量从原始数据库中拉取对应的数据，写入统一数据仓库中；S24:根据数据变化推送数据，通过数据自身提供的机制，业务数据库在发生变化时，接受到执行日志，解析并根据查询视图中定义的结构，从新查询视图对应的数据库表，形成更新的数据，写入统一数据仓库中。

在本申请一实施例中，所述步骤S22包括：S221：根据视图获取条件信息和表名信息；S222：获取上次同步时间；S223：当所述上次同步时间为空时，根据所述条件信息和所述表名信息生成sql；S224：当所述上次同步时间不为空时，增加时间戳条件，并根据所述条件信息和所述表名信息生成sql；S225：查询所述视图对应的数据源；S226：调用所述数据源的数据库查询，当有多个数据库时，依次查询；S227：数据写入数据仓库中。

在本申请一实施例中，所述步骤S24包括：S241：业务***写入数据至业务数据库；S242：监听数据库变化；S243：获取变化数据ID；S244：查询镜像视图；S245：根据所述镜像视图生成查询语句，增加ID条件；S246：根据所述查询语句在所述业务数据库中查询数据；S247：将查询到的数据写入数据仓库。

在本申请一实施例中，来源业务***通过存储模型管理中描述的数据仓库的模型，与元数据的存储模型对应，建立完整的业务***的对象关系模型。

本申请还提供了一种微服务架构下数据通用查询***(请参照图3)，包括：数据同步服务单元，从第一数据库中拉取对应的第一数据；统一数据仓库单元，连接所述数据同步服务单元，用于同步接收所述数据同步服务单元的所述第一数据；存储模型管理单元，连接所述数据同步服务单元，用于建立数据存储模型，并建立数据模型视图；元数据模型管理单元，连接所述存储模型管理单元，用于管理所述元数据，所述元数据为描述所述第一数据的数据；查询服务单元，连接所述元数据模型管理单元及所述统一数据仓库单元，通过所述元数据模型管理单元的元数据模型与所述同一数据仓库单元中的所述第一数据提供查询服务，所述查询服务单元根据所述元数据模型的描述，形成对应的数据模型查询语句，调用所述统一数据仓库单元的接口进行查询。

请参照图3，本发明主要包括几个部分，存储模型管理，元数据模型管理，统一的数据仓库，数据同步服务，数据查询服务。

一、存储模型管理：负责提供数据存储模型的建立，由数据提供方建立对外的数据模型视图。可支持数据提供方根据数据的敏感性或是否仅内部使用属性等对提供的数据模型进行选择，仅提供可对外提供的必要数据属性。

支持查询数据视图的模型的管理，支持单表模型描述，也支持多表关联的复杂结构数据模型描述(请参照图4)。

在进行查询视图定义时，支持对数据进行筛选，数据提供方指定提供数据属性范围。其次，有可能的情况下需要数据来源方提供ID、时间戳、删除标记等属性。用于后续数据抽取服务时的增量抽取能力(请参照图5)。

支持多种表模型描述，通过关联表条件建立关系

支持对来源数据库的连接管理，可由业务方提供只读的数据库账号，用于同步服务同步数据使用。支持模型与数据库的关系管理，支持单一数据库部署，和多租户多数据库的部署模式(请参照图6)。

为支持多租户的部署模型，部分微服务会连接存在相同的表结构多个数据库，通过租户或其他参数进行数据的分库存储。因此，在数据源模型描述支持多个数据库的描述方式。模型视图上仅与数据源保持关系，在来源业务***更换数据库或进行数据库隔离的情况下，不需要重新修改视图模型。

二、元数据模型管理：元数据一般指用于描述数据的数据，包含对象模型，对象的属性模型(包括属性的数据类型，与其他对象的引用关系)，以及对象的存储模型。来源业务***通过存储模型管理中描述的数据仓库的模型，与元数据的存储模型对应，建立完整的业务***的对象关系模型。

元数据模型支持属性标签描述，用于后续查询服务可根据统一的标签进行查询，例如根据ID返回名称时，只需要个业务提供方在模型中的名称属性设置标签为(name)即可通过统一的语句进行查询。

三、统一数据仓库，使用支持高并发的分布式NoSql数据库实现。支持按字段条件查询的方式获取数据。可通过

四、数据同步服务：通过多种方式从业务***的数据库中拉取对应的数据同步到统一数据仓库中。支持如下的方式：

请参照图7，定时任务拉取：通过定时器，指定间隔时间增量从原始数据库中拉取对应的数据，写入统一数据仓库中。

请参照图8，根据数据变化推送数据，通过数据自身提供的机制，例如mysql的binlog机制，业务数据库在发生变化时，接受到执行日志(或者扫描到变化后)解析并根据查询视图中定义的结构，从新查询视图对应的数据库表，形成更新的数据，写入统一数据仓库中。

通常通过方案1初始化数据，通过方案2实时同步数据。并通过定期执行方案1，用于修复因各种异常情况导致未主动同步的数据。

五、数据查询服务，通过元数据模型，提供基于元数据模型的查询服务。根据元数据模型描述，形成对应的数据模型查询语句，调用数据仓库的接口进行查询。

请参照图9，可根据标签，进行语句的扩展，例如查询名称为“张三”的用户，可以使用name＝“张三”，或者<lable:name>＝“张三”的方式描述查询条件参数。查询服务接收到参数后，根据元数据模型，转换为存储模型的结构，调用数据仓库的服务接口进行查询。

但查询数据来源于多个数据表或关系时，将查询分解为多个查询分别执行，尽量利用NoSql数据库的单一表查询的高性能。最后将结果整合，返回调用方。

总体来讲，本方案优势在于：

对原有业务***无侵入，不需要修改业务服务的代码。

在定义查询视图时，可通过限制查询字段及增加查询条件的方式，对敏感数据进行过滤，避免出现数据问题。

查询视图与实际业务视图分离，业务***可在修改自己的数据库同时，通过修改查询视图，保障对原有的查询视图属性不发生变化，避免影响其他服务的使用。

使用独立的数据仓库进行查询操作，避免影响原有业务数据库的性能，

通过使用NoSql数据库构建数据仓库，在泪如界面主键翻译这种高并发操作的提高执行效率。当数据仓库性能下降时，比较传统的关系型数据库更容易动态增容扩展。

多种同步方案，可根据具体场景的需求或具体数据的实时性要求选择使用。

该方案的使用独立的查询数据参考，将查询服务与持久化服务分离，减轻了微服务的业务数据库的压力，同时使用可扩展的NoSql数据库，提高了查询效率。同时，避免因为在微服务场景下，任意服务的数据库问题导致整体服务不可使用。

该方案为解决查询次数频繁，高并发，数据实时性要求相对不高的数据查询场景，不保障写入数据的立即生效。但通过数据库定时及数据库监听的方式，保障数据的准实时性。不建议在数据维护界面的查询自身的场景使用。通常可用于选择数据组件查询，界面显示数据翻译，根据主键的简单查询、导入数据时的根据编码/名称翻译的场景。

本申请还提供了一种计算机设备(请参照图10)，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的方法。

本申请还提供了一种计算机可读存储介质(请参照图11)，优选为非易失性可读存储介质，其内存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现上述任意一项所述的方法。

本申请还提供了一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述任一项所述的方法。

本申请中的方法的步骤虽然是按照数字顺序编号，但并不意味着各个步骤的执行顺序一定要按照数字的顺序进行。有些步骤之间可以是并列执行的关系，甚至可以颠倒顺序执行，都属于本申请所要求的保护的范围内。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种微服务架构下数据通用查询方法，其特征在于，包括如下步骤：

S2：数据同步服务步骤，从第一数据库中拉取对应的第一数据；

S4：统一数据仓库步骤，同步接收所述数据同步服务单元的所述第一数据；

S6：存储模型管理步骤，建立数据存储模型，并建立数据模型视图；

S8：元数据模型管理步骤，管理所述元数据，所述元数据为描述所述第一数据的数据；

S10：查询服务步骤，通过元数据模型与所述第一数据提供查询服务，根据所述元数据模型的描述，形成对应的数据模型查询语句，调用所述统一数据仓库单元的接口进行查询。

2.根据权利要求1所述的微服务架构下数据通用查询方法，其特征在于，所述步骤S2包括：

S22:通过定时器，指定间隔时间增量从原始数据库中拉取对应的数据，写入统一数据仓库中；

S24:根据数据变化推送数据，通过数据自身提供的机制，业务数据库在发生变化时，接受到执行日志，解析并根据查询视图中定义的结构，从新查询视图对应的数据库表，形成更新的数据，写入统一数据仓库中。

3.根据权利要求2所述的微服务架构下数据通用查询方法，其特征在于，所述步骤S22包括：

S221：根据视图获取条件信息和表名信息；

S222：获取上次同步时间；

S223：当所述上次同步时间为空时，根据所述条件信息和所述表名信息生成sql；

S224：当所述上次同步时间不为空时，增加时间戳条件，并根据所述条件信息和所述表名信息生成sql；

S225：查询所述视图对应的数据源；

S226：调用所述数据源的数据库查询，当有多个数据库时，依次查询；

S227：数据写入数据仓库中。

4.根据权利要求2所述的微服务架构下数据通用查询方法，其特征在于，所述步骤S24包括：

S241：业务***写入数据至业务数据库；

S242：监听数据库变化；

S243：获取变化数据ID；

S244：查询镜像视图；

S245：根据所述镜像视图生成查询语句，增加ID条件；

S246：根据所述查询语句在所述业务数据库中查询数据；

S247：将查询到的数据写入数据仓库。

5.根据权利要求4所述的微服务架构下数据通用查询方法，其特征在于，来源业务***通过存储模型管理中描述的数据仓库的模型，与元数据的存储模型对应，建立完整的业务***的对象关系模型。

6.一种微服务架构下数据通用查询***，其特征在于，包括：

数据同步服务单元，从第一数据库中拉取对应的第一数据；

统一数据仓库单元，连接所述数据同步服务单元，用于同步接收所述数据同步服务单元的所述第一数据；

存储模型管理单元，连接所述数据同步服务单元，用于建立数据存储模型，并建立数据模型视图；

元数据模型管理单元，连接所述存储模型管理单元，用于管理所述元数据，所述元数据为描述所述第一数据的数据；

查询服务单元，连接所述元数据模型管理单元及所述统一数据仓库单元，通过所述元数据模型管理单元的元数据模型与所述同一数据仓库单元中的所述第一数据提供查询服务，所述查询服务单元根据所述元数据模型的描述，形成对应的数据模型查询语句，调用所述统一数据仓库单元的接口进行查询。

7.一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的方法。

8.一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现如权利要求1-5中任一项所述的方法。

9.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行权利要求1-5中任一项所述的方法。