CN110597808A - 分布式数据库表连接方法、装置、***、服务器及介质 - Google Patents

Abstract

本说明书实施例提供了一种分布式数据库表连接方法，通过广播较小的外表至内表节点的方式，避免了各内表节点全局访问较大的内表数据，降低了执行开销。

Description

分布式数据库表连接方法、装置、***、服务器及介质

技术领域

本说明书实施例涉及数据存储技术领域，尤其涉及一种分布式数据库表连接方法、装置、***、服务器及可读存储介质。

背景技术

数据库的表连接算法在数据库引擎中占有着十分重要的位置。由于数据库中一张表记录的信息是有限的，因此往往需要分门别类的建立多个表来存储信息。当一个查询请求涉及数据库的多个表时，需用一定的连接条件将这些表连接起来，才能提供用户需要的信息，这时就用到了数据库的表连接技术。

发明内容

本说明书实施例提供及一种分布式数据库表连接方法、装置、***、服务器及可读存储介质。

第一方面，本说明书实施例提供一种分布式数据库表连接方法，所述方法包括：将外表数据通过广播消息发送给各个内表节点；所述内表节点的表连接线程或进程，按照预置数据读取策略，读取外表数据；所述表连接线程或进程将读取的外表数据与所在节点的内表数据进行匹配，输出满足连接条件的数据。

第二方面，本说明书实施例提供一种分布式数据库表连接装置，所述装置位于各个内表节点，所述装置包括：广播接收单元，用于通过广播消息接收外表数据；至少一个表连接线程或进程，用于按照预置数据读取策略，读取外表数据；以及，将读取的外表数据与所在节点的内表数据进行匹配，输出满足连接条件的数据。

第三方面，本说明书实施例提供一种分布式数据库表连接装置，所述装置位于外表节点，所述装置包括：广播发送单元，用于通过广播消息将外表数据发送给各个内表节点。

第四方面，本说明书实施例提供一种分布式数据库***，包括至少一个外表节点以及多个内表节点；所述外表节点，用于通过广播消息将外表数据发送给各个内表节点；所述内表节点，用于通过广播消息接收外表数据；以及，通过表连接线程或进程，按照预置数据读取策略读取外表数据，并将读取的外表数据与所在节点的内表数据进行匹配，输出满足连接条件的数据。

第五方面，本说明书实施例提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述方法的步骤。

第六方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。

本说明书实施例有益效果如下：

本说明书实施例提供的分布式数据库表连接方法，通过广播较小的外表至内表节点的方式，避免了各内表节点全局访问较大的内表数据，降低了执行开销。

附图说明

图1为本说明书实施例提供的分布式数据库表连接方法应用场景示意图；

图2为本说明书实施例第一方面提供的分布式数据库表连接方法流程图；

图3为本说明书实施例第二方面提供的分布式数据库表连接装置结构示意图；

图4为本说明书实施例第三方面提供的分布式数据库表连接装置结构示意图；

图5为本说明书实施例第五方面提供的服务器结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。

嵌套循环连接(Nested Loop Join，NLJ)是一种表连接技术。假设需要进行连接的有两张表，则可将这两张表分别称为外表和内表(或称为：左表和右表)，NLJ就是将外表的每一行与内表做连接，如果连接条件匹配则输出结果。除了NLJ，还有批量嵌套循环(BlockNested Loop,BNL)算法等可实现表连接。为了说明简便，本说明书实施例以NLJ为例进行说明，但是可以理解，也可以采用其他表连接技术。

在分布式数据库***中，实现分布式表连接通常比较复杂。例如，按照NLJ的原理，它要求执行表连接的线程/进程有能力访问右表的全部数据。但是分布式数据库***里，右表数据是分片存储在多台节点(机器)上，在单个节点上访问右表全部数据需要付出较大代价。

而本说明书实施例提供的分布式数据库的表连接方法，通过广播较小的外表到内表各台节点的方式，避免了全局访问较大的内表，否则，为了做NLJ，必须用外表的每一行，去全局地和每台内表节点上的内表做匹配，总的RPC(Remote Procedure Call，远程过程调用)次数就是：“外表行数*内表节点数”，而本说明书实施例的总RPC次数为：“右表节点数”。

参见图1，为本说明书实施例提供的分布式数据库表连接方法应用场景示意图。图1中的左表即外表，右表即内表。图中示出了左表数据包括左表数据分区0…左表数据分区m，通过广播消息，将左表全部数据发送给各个右表节点，即每个右表节点(节点1…节点n)都获取到了左表全部数据拷贝，在每个右表节点中，示出了多个NLJ单元(负责实现NLJ的模块，例如NLJ线程或进程)，各个NLJ读取左表数据，并与右表本机数据进行匹配，从而输出满足表连接条件的数据结果。

第一方面，本说明书实施例提供一种分布式数据库表连接方法。参见图2，为该分布式数据库方法流程图，所述方法包括步骤S201-S203。

S201：将外表数据通过广播消息发送给各个内表节点。

以NLJ为例，NLJ外表数据量一般较小，而内表数据量较外表大的多。外表数据可以是以分片的形式保存在多个节点上，也可以是非分片的形式保存在一个节点上，本说明书实施例对此不作限定。内表数据一般是以分片的形式保存在多个节点上。如图1所示的，在节点1至节点n中，分别保存有一部分的内表数据。

在分布式数据库***中，一直都有广播(boradcast)方法。一般情况下，广播的目标是进程/线程，当节点上有n个线程/进程时，就需要广播n份数据拷贝。但是本说明书实施例中，广播目标是计算节点，广播的数据拷贝份数只与右表对应的计算节点数有关，和计算节点内的线程/进程数无关。

因此，为了将外表数据广播至各个内表节点，可首先确定内表节点数，然后，将外表数据拷贝为内表节点数份，并将每份外表数据通过广播消息，发送给各个内表节点。相应的，在每个内表节点，最终都会收到外表的全部数据，也就是说，在每个内表节点上都会形成一个外表表的全部数据拷贝。

S202：内表节点的表连接线程或进程，按照预置数据读取策略，读取外表数据。

仍以NLJ为例，执行NLJ的单元一般为线程或进程，因此可以理解，表连接线程或进程是指实现表连接的功能单元。在内表节点中，NLJ线程或进程从外表数据拷贝中读取数据，然后去和本节点中的内表数据做匹配，找出符合连接条件的行并输出。

NLJ线程或进程读取外表数据时，可以有多种不同的实现方式。下面列举两种实现方式。

例如，首先，按照随机或轮询的方式，将外表数据划分为多份数据；然后，每个表连接线程或进程按照顺序读取每份数据。具体的，将广播得到的外表数据预先按照一定策略(如随机、Round-Robin)划分成m份，各个NLJ线程或进程去读取一份数据，这样，每个NLJ线程或进程负责处理外表数据的一部分数据。

再如，首先，将广播到内表节点的外表数据形成统一的数据集合；然后，内表节点的各个表连接线程或进程，从数据集合中逐行或批量读取数据，直至数据集合被读取完。具体的，广播得到的数据无需预先划分，广播到各个内表节点后在内表节点形成一个统一的数据集合S。内表节点的m个NLJ线程或进程从这个数据集合S中逐行/批量抢数据，做完这部分数据的匹配操作后，再抢下一行/批，直至集合S中的数据被消耗完毕。

S203：表连接线程或进程将读取的外表数据与所在节点的内表数据进行匹配，输出满足连接条件的数据。

每个内表节点保存一部分内表数据，一般而言，这部分数据上有主键索引或局部索引，以实现高效的NLJ操作，当内表节点的内表数据携带有主键索引或局部索引时，表连接线程或进程根据内表数据的主键索引或局部索引，查找内表数据，将读取的外表数据与查找到的内表数据进行匹配。当然，主键索引或局部索引不是必须的。

以NLJ为例，其实现表连接的过程是：通过扫描外表(也叫驱动表)，每读到一条记录，就根据join(连接)字段上的索引去另一张表(内表)里查找。内表(一般是带索引的表)被外表驱动，外表返回的每一行都要在内表中检索与其匹配的行。如果有三个及以上的表，则会先使用NLJ算法得到一、二个表的结果集，并将该结果集作为外层数据，遍历结果集到后第三个表中查询数据。一个简单的嵌套循环联接(NLJ)算法，循环从第一个表中依次读取行，取到每行再到联接的下一个表中循环匹配。这个过程会重复多次直到剩余的表都被连接了。

可见，本说明书实施例提供的分布式数据库表连接方法，通过广播较小的外表至内表节点的方式，避免了各内表节点全局访问较大的内表，降低了执行开销。

具体而言：

第一，通过广播的方式将外表全部数据广播到所有需要执行表连接操作的内表节点，使得每个内表节点上都包含有全部的外表数据，而且，广播的总数据量仅与内表节点机器数成比例，与工作线程/进程数无关，节省了网络带宽；

第二，每个内表节点上以非常灵活的策略(随机、Round-Robin、Batch等)，将外表的数据以行进行划分并分发给执行表连接的线程/进程，可以实现良好的负载均衡效果；

第三，每个内表节点上只需要访问位于当前节点的右表数据，和接收到的外表全量数据做Join操作即可获得正确结果，无需访问内表的全部数据，避免了跨机访问内表的开销，也无需Cache Fusion等底层支持结构，因为通常而言，内表数据量较外表大得多，如果每个内表节点都需要访问外表的全部数据，则代价极大。

第二方面，基于同一发明构思，本说明书实施例提供一种分布式数据库表连接装置，所述装置位于各个内表节点，请参考图3，所述装置包括：

广播接收单元301，用于通过广播消息接收外表数据；

至少一个表连接线程或进程302，用于按照预置数据读取策略，读取外表数据；以及，将读取的外表数据与所在节点的内表数据进行匹配，输出满足连接条件的数据。

在一种可选方式中，该装置还包括：

外表数据划分单元303，用于按照随机或轮询的方式，将外表数据划分为多份数据；

所述表连接线程或进程302具体用于：按照顺序读取每份数据。

在一种可选方式中，该装置还包括：

外表数据集合单元304，用于将广播到内表节点的外表数据形成统一的数据集合；

所述表连接线程或进程302具体用于：从所述数据集合中逐行或批量读取数据，直至数据集合被读取完。

在一种可选方式中，内表节点的内表数据携带有主键索引或局部索引；所述表连接线程或进程302具体用于：根据内表数据的主键索引或局部索引，查找内表数据，将读取的外表数据与查找到的内表数据进行匹配。

第三方面，基于同一发明构思，本说明书实施例提供一种分布式数据库表连接装置，所述装置位于外表节点，请参考图4，所述装置包括：

广播发送单元401，用于通过广播消息将外表数据发送给各个内表节点。

在一种可选方式中，该装置还包括：

广播管理单元402，用于确定内表节点数，以及将外表数据拷贝为内表节点数份，从而使得所述广播发送单元401将每份外表数据通过广播消息，发送给各个内表节点。

第四方面，基于同一发明构思，本说明书实施例提供一种分布式数据库***。

一般而言，分布式数据库***(DDBS)包含分布式数据库管理***(DDBMS)和分布式数据库(DDB)。在分布式数据库***中，一个应用程序可以对数据库进行透明操作，数据库中的数据分别在不同的局部数据库中存储、由不同的DBMS进行管理、在不同的机器上运行、由不同的操作***支持、被不同的通信网络连接在一起。

本说明书实施例提供的分布式数据库***，除了包括常规组件外，还包括至少一个外表节点以及多个内表节点；其中：

所述外表节点，用于通过广播消息将外表数据发送给各个内表节点；

所述内表节点，用于通过广播消息接收外表数据；以及，通过表连接线程或进程，按照预置数据读取策略读取外表数据，并将读取的外表数据与所在节点的内表数据进行匹配，输出满足连接条件的数据。

第五方面，基于与前述实施例中分布式数据库表连接方法同样的发明构思，本发明还提供一种服务器，如图5所示，包括存储器504、处理器502及存储在存储器504上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现前文所述分布式数据库表连接方法的任一方法的步骤。

其中，在图5中，总线架构(用总线500来代表)，总线500可以包括任意数量的互联的总线和桥，总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口506在总线500和接收器501和发送器503之间提供接口。接收器501和发送器503可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器502负责管理总线500和通常的处理，而存储器504可以被用于存储处理器502在执行操作时所使用的数据。

第六方面，基于与前述实施例中分布式数据库表连接方法的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述分布式数据库表连接方法的任一方法的步骤。

本说明书是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个节点，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。

显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (15)

1.一种分布式数据库表连接方法，包括：

将外表数据通过广播消息发送给各个内表节点；

所述内表节点的表连接线程或进程，按照预置数据读取策略，读取外表数据；

所述表连接线程或进程将读取的外表数据与所在节点的内表数据进行匹配，输出满足连接条件的数据。

2.根据权利要求1所述的方法，所述将外表数据通过广播消息发送给各个内表节点，包括：

确定内表节点数；

将外表数据拷贝为内表节点数份，并将每份外表数据通过广播消息，发送给各个内表节点。

3.根据权利要求1所述的方法，所述内表节点的表连接线程或进程，按照预置数据读取策略，读取外表数据，包括：

按照随机或轮询的方式，将外表数据划分为多份数据；

每个表连接线程或进程按照顺序读取每份数据。

4.根据权利要求1所述的方法，所述内表节点的表连接线程或进程，按照预置数据读取策略，读取外表数据，包括：

将广播到内表节点的外表数据形成统一的数据集合；

内表节点的各个表连接线程或进程，从所述数据集合中逐行或批量读取数据，直至数据集合被读取完。

5.根据权利要求1所述的方法，内表节点的内表数据携带有主键索引或局部索引；

所述表连接线程或进程将外表数据与所在节点的内表数据进行匹配，包括：

所述表连接线程或进程根据内表数据的主键索引或局部索引，查找内表数据，将读取的外表数据与查找到的内表数据进行匹配。

6.根据权利要求1-5任一项所述的方法，所述外表数据以分片的形式保存在多个外表节点上，或者，以非分片的形式保存在一个外表节点上。

7.一种分布式数据库表连接装置，所述装置位于各个内表节点，所述装置包括：

广播接收单元，用于通过广播消息接收外表数据；

至少一个表连接线程或进程，用于按照预置数据读取策略，读取外表数据；以及，将读取的外表数据与所在节点的内表数据进行匹配，输出满足连接条件的数据。

8.根据权利要求7所述的装置，还包括：外表数据划分单元，用于按照随机或轮询的方式，将外表数据划分为多份数据；

所述表连接线程或进程具体用于：按照顺序读取每份数据。

9.根据权利要求7所述的装置，还包括：外表数据集合单元，用于将广播到内表节点的外表数据形成统一的数据集合；

所述表连接线程或进程具体用于：从所述数据集合中逐行或批量读取数据，直至数据集合被读取完。

10.根据权利要求7所述的装置，内表节点的内表数据携带有主键索引或局部索引；

所述表连接线程或进程具体用于：根据内表数据的主键索引或局部索引，查找内表数据，将读取的外表数据与查找到的内表数据进行匹配。

11.一种分布式数据库表连接装置，所述装置位于外表节点，所述装置包括：

广播发送单元，用于通过广播消息将外表数据发送给各个内表节点。

12.根据权利要求11所述的装置，还包括：

广播管理单元，用于确定内表节点数，以及将外表数据拷贝为内表节点数份，从而使得所述广播发送单元将每份外表数据通过广播消息，发送给各个内表节点。

13.一种分布式数据库***，包括至少一个外表节点以及多个内表节点；

所述外表节点，用于通过广播消息将外表数据发送给各个内表节点；

所述内表节点，用于通过广播消息接收外表数据；以及，通过表连接线程或进程，按照预置数据读取策略读取外表数据，并将读取的外表数据与所在节点的内表数据进行匹配，输出满足连接条件的数据。

14.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。