CN105930407B - 一种分布式数据库跨库关联查询方法及*** - Google Patents

Abstract

本发明涉及一种分布式数据库跨库关联查询方法及***。所述方法包括将跨库管理查询sql差分成两个sql,分别为sql1和sql2，两个sql的查询字段列表包含关联字段，在sql1查询结果返回预设行数时，将sql1查询得到的关联字段值与sql拼装，说起来进行查询，最后将查询结果合并，并返回给客户端。本发明将sql表水平拆分，实现数据分布在不同数据库节点上的两表间关联查询，提高了***的易用性；其中sql2发送时机为sql1返回一定量数据行后执行，有效避免sql1执行完才执行sql2造成占用内存过多的问题，提升了执行效率。

Description

一种分布式数据库跨库关联查询方法及***

技术领域

本发明涉及分布式数据库及云计算领域，尤其涉及一种分布式数据库跨库关联查询方法及***。

背景技术

在互联网、电信等许多关键领域，随着企业业务的不断发展，企业的I/T环境也在不断进行演变，单个数据库已经很难满足海量数据库存储和高并发数据访问，分布式数据库的出现成为必然，分布式数据库能够有效的解决海量数据存储和并发问题，通过数据的水平切合和数据表的垂直切分，有效的缓解了海量数据存储，通过负载均衡、高可用、轮询等缓解了高并发问题。但分布式数据库表的水平拆分带来了数据分布在不同数据库后表之间跨库关联查询的问题，虽然可以通过表冗余，表分组等方式来避免表之间跨库的关联查询，但是仍有一些业务需要不能通过上述方式避免表之间的跨库关联查询，需要进行表之间的跨库关联查询。但分布式数据库中间件没有真正的支持跨库的表之间的关联查询，两个数据拆分在不同数据库节点的表无法实现关联查询。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种分布式数据库跨库关联查询方法及***。

本发明解决上述技术问题的技术方案如下：一种分布式数据库跨库关联查询方法，包括如下步骤：

S1，接收跨节点两个表的关联查询sql；

S2,按照关联字段进行sql拆分，将关联查询sql拆分成单表查询sql1和sql2；

S3，将sql1发送到该表对应的所有数据库节点按照查询字段列表进行查询，并对sql1执行响应结果进行监听，其中查询字段列表包含两表的关联字段，执行响应结果包括关联字段值；

S4，当监听到sql1执行响应结果的数据行数达到预设值n时，将sql2按照sql1查询得到的关联字段值作为where过滤条件发送到该表对应的所有数据库节点进行查询；

S5，将sql1的执行响应结果和sql2的执行响应结果合并，将合并后的结果返回给客户端，返回S4，直至查询结束。

为实现上述发明目的，本发明还提供了一种分布式数据库跨库关联查询***，包括：

接收模块，用于接收跨节点两个表的关联查询sql；

拆分模块，用于按照关联字段进行sql拆分，将关联查询sql拆分成单表查询sql1和sql2；

第一查询模块，用于将sql1发送到该表对应的所有数据库节点按照查询字段列表进行查询，并对sql1执行响应结果进行监听，其中查询字段列表包含两表的关联字段，执行响应结果包括关联字段值；

第二查询模块，用于当监听到sql1执行响应结果的数据行数达到预设值n时，将sql2按照sql1查询得到的关联字段值作为where过滤条件发送到该表对应的所有数据库节点进行查询；

返回模块，用于将sql1的执行响应结果和sql2的执行响应结果合并，将合并后的结果返回给客户端，直至查询结束。

本发明的有益效果是：本发明通过将跨库管理查询sql差分成两个sql,分别为sql1和sql2，两个sql的查询字段列表包含关联字段，在sql1查询结果返回预设行数时，将sql1查询得到的关联字段值与sql拼装，说起来进行查询，最后将查询结果合并，并返回给客户端。本发明将sql表水平拆分，实现数据分布在不同数据库节点上的两表间关联查询，提高了***的易用性；其中sql2发送时机为sql1返回一定量数据行(如1000条结果)后执行，有效避免sql1执行完才执行sql2造成占用内存过多的问题，提升了执行效率。

附图说明

图1为本发明所述一种分布式数据库跨库关联查询方法流程图；

图2为本发明所述一种分布式数据库跨库关联查询***框图；

图3为本发明实施例中关联查询流程示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种分布式数据库跨库关联查询方法，包括如下步骤：

S1，接收跨节点两个表的关联查询sql；

S2,按照关联字段进行sql拆分，将关联查询sql拆分成单表查询sql1和sql2；

S3，将sql1发送到该表对应的所有数据库节点按照查询字段列表进行查询，并对sql1执行响应结果进行监听，其中查询字段列表包含两表的关联字段，执行响应结果包括关联字段值；

S4，当监听到sql1执行响应结果的数据行数达到预设值n时，将sql2按照sql1查询得到的关联字段值作为where过滤条件发送到该表对应的所有数据库节点进行查询；

S5，将sql1的执行响应结果和sql2的执行响应结果合并，将合并后的结果返回给客户端，返回S4，直至查询结束。

具体地，S2的具体实现为：

S2.1,对关联查询sql进行join分析，得到查询字段列表，其中查询字段列表包含关联字段；

S2.2，对关联查询sql进行分析获得主表和子表，其中,关联查询sql中按顺序先出现的表为主表，后出现的表为子表；

S2.3，用于对主表和子表进一步分析，分别获得主表的查询字段列表及过滤条件，以及子表的查询字段列表及过滤条件，分别得到sql1和sql2。

本发明通过对关联查询进行join分析，得到查询字段列表，进而分析获得主表和子表，根据主表和子表的查询字段列表和过滤条件，实现了关联查询sql的sql拆分，拆分得到两个单表查询sql，根据得到的单表查询分别查询对应的数据库节点，实现跨库关联查询。

S3的具体实现为：

S3.1，对sql1进行分析，如果查询字段列表不包含关联字段，则在sql1的查询字段列表列中增加关联字段，执行S3.2,否则直接执行S3.2；

S3.2，对sql1进行路由解析，得到sql1所要执行的所有数据库节点；

S3.3，异步向各数据库节点发送sql1，并对sql1执行响应结果进行监听。

本发明首先确保查询字段列表中保护关联字段，本发明中将关联字段作为sql1和sql2的连接纽带，实现查询的紧密关联。因此如果不包含要先添加关联字段，确认包含关联字段后，路由解析得到sql1要执行的所有数据库节点，进而进行异步执行，提供查询效率。

S4的具体实现为：

S4.1，当监听到sql1执行响应结果的数据行数达到预设值n时，将接sql1执行响应结果中的关联字段值提取出来并作为sql2的where过滤条件，对sql2进行拼装；

S4.2，对拼装后的sql2进行路由解析，得到sql2所要执行的所有数据库节点；

S4.3，异步向各数据库节点发送sql2，并对sql2执行响应结果进行监听。

本发明监听sql1的执行响应结果，当数据行数达到预设值时，将sql1查询得到的关联字段值与sql2拼装，将拼装后的sql2进行路由解析、异步执行等，sql2发送时机为sql1返回一定量数据行(如1000条结果)后执行，有效避免sql1执行完才执行sql2造成占用内存过多的问题，提升了执行效率。

S5的具体实现为：

S5.1，在sql2查询完毕得到执行响应结果，将sql2的执行响应结果与sql1执行响应结果按照查询字段列表和关联字段值进行结果合并，得到合并后的数据包；

S5.2,将合并后的数据包返回给客户端。

本发明在sql2查询到相应数据时与sql1的相应结果拼装，返回给客户端，提高响应速度，提高查询效率。

如图2所示，一种分布式数据库跨库关联查询***，包括：接收模块，用于接收跨节点两个表的关联查询sql；拆分模块，用于按照关联字段进行sql拆分，将关联查询sql拆分成单表查询sql1和sql2；第一查询模块，用于将sql1发送到该表对应的所有数据库节点按照查询字段列表进行查询，并对sql1执行响应结果进行监听，其中查询字段列表包含两表的关联字段，执行响应结果包括关联字段值；第二查询模块，用于当监听到sql1执行响应结果的数据行数达到预设值n时，将sql2按照sql1查询得到的关联字段值作为where过滤条件发送到该表对应的所有数据库节点进行查询；返回模块，用于将sql1的执行响应结果和sql2的执行响应结果合并，将合并后的结果返回给客户端，直至查询结束。

具体地，所述拆分模块包括：Join分析单元，用于对关联查询sql进行join分析，得到查询字段列表，其中查询字段列表包含关联字段；Sql分析单元，用于对关联查询sql进行分析获得主表和子表，其中,关联查询sql中按顺序先出现的表为主表，后出现的表为子表；Sql拆分单元，用于对主表和子表进一步分析，分别获得主表的查询字段列表及过滤条件，以及子表的查询字段列表及过滤条件，分别得到sql1和sql2。

第一查询模块包括：预处理单元，对sql1进行分析，如果查询字段列表不包含关联字段，则在sql1的查询字段列表列中增加关联字段，调用路由解析单元,否则直接调用路由解析单元；第一路由解析单元，对sql1进行路由解析，得到sql1所要执行的所有数据库节点；第一执行单元，异步向各数据库节点发送sql1，并对sql1执行响应结果进行监听。

所述第二查询模块包括：拼装单元，用于当监听到sql1执行响应结果的数据行数达到预设值n时，将接sql1执行响应结果中的关联字段值提取出来并作为sql2的where过滤条件，对sql2进行拼装；第二路由解析单元，用于对拼装后的sql2进行路由解析，得到sql2所要执行的所有数据库节点；第二执行单元，用于异步向各数据库节点发送sql2，并对sql2执行响应结果进行监听。

所述返回模块包括：合并单元，用于在sql2查询完毕得到执行响应结果后，将sql2的执行响应结果与sql1执行响应结果按照查询字段列表和关联字段值进行结果合并，得到合并后的数据包；发送单元,用于将合并后的数据包返回给客户端。

为了更好的描述查询过程，下面以跨节点的sql为例：

select a.id，a.name，b.title from a，b where a.id＝b.id

其中表a的数据分布在节点1、2上,表b的数据分布在节点3、4上：

步骤1，接收关联查询sql；

步骤2：解析关联查询sql，拆分成2个sql；

select a.id,a.name from a；

select b.id,b.title from b where id in(...)；

步骤3：向节点1、2发送select a.id,a.name from a；

步骤4：监听步骤3执行响应数据包，每返回行数等于1000行时，向节点3、4发送select b.id,b.title from b where id in(...)

步骤5：合并两次sql执行结果输出到客户端，返回步骤4，直到查询结束。

具体地，如图3所示，例如其中关联查询主体为客户表customer和订单表order，customer数据分布在数据库节点dn1和dn2中，order数据分布在dn3和dn4中，关联查询sql的语意为：查找id为001的客户的姓名及购买的所有商品的名称和价格。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式数据库跨库关联查询方法，其特征在于，包括如下步骤：

S1，接收跨节点两个表的关联查询sql；

S2,按照关联字段进行sql拆分，将关联查询sql拆分成单表查询sql1和sql2；

S3，将sql1发送到该表对应的所有数据库节点按照查询字段列表进行查询，并对sql1执行响应结果进行监听，其中查询字段列表包含两表的关联字段，执行响应结果包括关联字段值；

S4，当监听到sql1执行响应结果的数据行数达到预设值n时，将sql2按照sql1查询得到的关联字段值作为where过滤条件发送到该表对应的所有数据库节点进行查询；

S5，将sql1的执行响应结果和sql2的执行响应结果合并，将合并后的结果返回给客户端，返回S4，直至查询结束。

2.根据权利要求1所述一种分布式数据库跨库关联查询方法，其特征在于，S2的具体实现为：

S2.1,对关联查询sql进行join分析，得到查询字段列表，其中查询字段列表包含关联字段；

S2.2，对关联查询sql进行分析获得主表和子表，其中,关联查询sql中按顺序先出现的表为主表，后出现的表为子表；

S2.3，用于对主表和子表进一步分析，分别获得主表的查询字段列表及过滤条件，以及子表的查询字段列表及过滤条件，分别得到sql1和sql2。

3.根据权利要求1所述一种分布式数据库跨库关联查询方法，其特征在于，S3的具体实现为：

S3.1，对sql1进行分析，如果查询字段列表不包含关联字段，则在sql1的查询字段列表列中增加关联字段，执行S3.2,否则直接执行S3.2；

S3.2，对sql1进行路由解析，得到sql1所要执行的所有数据库节点；

S3.3，异步向各数据库节点发送sql1，并对sql1执行响应结果进行监听。

4.根据权利要求1所述一种分布式数据库跨库关联查询方法，其特征在于，S4的具体实现为：

S4.1，当监听到sql1执行响应结果的数据行数达到预设值n时，将接sql1执行响应结果中的关联字段值提取出来并作为sql2的where过滤条件，对sql2进行拼装；

S4.2，对拼装后的sql2进行路由解析，得到sql2所要执行的所有数据库节点；

S4.3，异步向各数据库节点发送sql2，并对sql2执行响应结果进行监听。

5.根据权利要求1所述一种分布式数据库跨库关联查询方法，其特征在于，S5的具体实现为：

S5.1，在sql2查询完毕得到执行响应结果，将sql2的执行响应结果与sql1执行响应结果按照查询字段列表和关联字段值进行结果合并，得到合并后的数据包；

S5.2,将合并后的数据包返回给客户端。

6.一种分布式数据库跨库关联查询***，其特征在于，包括：

接收模块，用于接收跨节点两个表的关联查询sql；

拆分模块，用于按照关联字段进行sql拆分，将关联查询sql拆分成单表查询sql1和sql2；

第一查询模块，用于将sql1发送到该表对应的所有数据库节点按照查询字段列表进行查询，并对sql1执行响应结果进行监听，其中查询字段列表包含两表的关联字段，执行响应结果包括关联字段值；

第二查询模块，用于当监听到sql1执行响应结果的数据行数达到预设值n时，将sql2按照sql1查询得到的关联字段值作为where过滤条件发送到该表对应的所有数据库节点进行查询；

返回模块，用于将sql1的执行响应结果和sql2的执行响应结果合并，将合并后的结果返回给客户端，直至查询结束。

7.根据权利要求6所述一种分布式数据库跨库关联查询***，其特征在于，所述拆分模块包括：

Join分析单元，用于对关联查询sql进行join分析，得到查询字段列表，其中查询字段列表包含关联字段；

Sql分析单元，用于对关联查询sql进行分析获得主表和子表，其中,关联查询sql中按顺序先出现的表为主表，后出现的表为子表；

Sql拆分单元，用于对主表和子表进一步分析，分别获得主表的查询字段列表及过滤条件，以及子表的查询字段列表及过滤条件，分别得到sql1和sql2。

8.根据权利要求6所述一种分布式数据库跨库关联查询***，其特征在于，第一查询模块包括：

预处理单元，对sql1进行分析，如果查询字段列表不包含关联字段，则在sql1的查询字段列表列中增加关联字段，调用路由解析单元,否则直接调用路由解析单元；

第一路由解析单元，对sql1进行路由解析，得到sql1所要执行的所有数据库节点；

第一执行单元，异步向各数据库节点发送sql1，并对sql1执行响应结果进行监听。

9.根据权利要求6所述一种分布式数据库跨库关联查询***，其特征在于，所述第二查询模块包括：

拼装单元，用于当监听到sql1执行响应结果的数据行数达到预设值n时，将接sql1执行响应结果中的关联字段值提取出来并作为sql2的where过滤条件，对sql2进行拼装；

第二路由解析单元，用于对拼装后的sql2进行路由解析，得到sql2所要执行的所有数据库节点；

第二执行单元，用于异步向各数据库节点发送sql2，并对sql2执行响应结果进行监听。

10.根据权利要求6所述一种分布式数据库跨库关联查询***，其特征在于，所述返回模块包括：

合并单元，用于在sql2查询完毕得到执行响应结果后，将sql2的执行响应结果与sql1执行响应结果按照查询字段列表和关联字段值进行结果合并，得到合并后的数据包；

发送单元,用于将合并后的数据包返回给客户端。