CN117033432A - 一种基于数据库的数据查询方法及终端 - Google Patents

Abstract

本发明公开了一种基于数据库的数据查询方法及终端，由中心节点接收数据库查询语句，并当数据库查询语句是聚合类语句时，对数据库查询语句进行协议转换，以将转换语句发送至各个存储节点；存储节点即可根据转换语句进行数据查询和聚合计算，并把计算结果返回至中心节点，最后由中心节点进行计算结果的聚合，得到查询结果，并转换语句进行缓存，作为模板以便于后续接收到相同的数据库查询语句时可以直接使用。以此方式，修改了原先存储节点查询返回整条数据的方式，减少了网络带宽的占用，提高***查询效率。

Description

一种基于数据库的数据查询方法及终端

技术领域

本发明涉及数据库查询技术领域，特别涉及一种基于数据库的数据查询方法及终端。

背景技术

目前所有的***都有存储数据的要求，因此都需要依赖数据库。在数据库的种类中，存在关系型数据库和非关系型数据库，而随着数据量的增加，对于数据查询也有较高的要求。

为了应对数据量的急剧增加，通常会采用分布式部署的方式部署数据库的多个节点，即分布式数据库集群中会存在一个中心节点与多个存储节点的架构方式。当只是简单查询数据时，由中心节点向各个存储节点发送相关语句，由存储节点拉取相关数据后返回给中心节点，由中心节点进行相关的数据过滤以及计算，并最终返回给客户端。在中心节点进行SQL脚本的处理过程中，针对每一条的SQL都需要进过SQL解析器，SQL的优化器等等过程，这些过程针对SQL的解析，以及SQL索引优化选择原本的目的是为了提高SQL的查询效率，但是，经过多步的解析器以及优化器等，会给整个数据的查询过程造成一定的时间损耗。

以mysql分布式集群为例，因为mysql中的数据是采用横表记录的方式，即一行就是一条数据，当存储节点接收到查询语句时，会返回整条完整数据给中心节点，由中心节点进行后续的处理。但是，由于存储节点返回的整条数据至中心节点处，会占用一定量的网络带宽。

发明内容

本发明所要解决的技术问题是：提供一种基于数据库的数据查询方法及终端，能够减少数据查询的时间损耗和占用带宽，提高数据查询效率。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于数据库的数据查询方法，包括步骤：

中心节点接收数据库查询语句，判断所述数据库查询语句是否为聚合类语句，若是，则对所述数据库查询语句按预设协议格式进行转换，得到转换语句，将所述转换语句发送至数据库的各个存储节点；

存储节点接收所述转换语句，根据所述转换语句查询对应的数据，并对查询到的数据进行聚合计算，将计算结果返回至中心节点；

中心节点接收各个存储节点返回的计算结果，对所有所述计算结果进行聚合计算，得到查询结果，并缓存所述数据库查询语句对应的转换语句。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种基于数据库的数据查询终端，包括中心节点和存储节点；

中心节点，用于接收数据库查询语句，判断所述数据库查询语句是否为聚合类语句，若是，则对所述数据库查询语句按预设协议格式进行转换，得到转换语句，将所述转换语句发送至数据库的各个存储节点；

存储节点，用于接收所述转换语句，根据所述转换语句查询对应的数据，并对查询到的数据进行聚合计算，将计算结果返回至中心节点；

中心节点，还用于接收各个存储节点返回的计算结果，对所有所述计算结果进行聚合计算，得到查询结果，并缓存所述数据库查询语句对应的转换语句。

本发明的有益效果在于：由中心节点接收数据库查询语句，并当数据库查询语句是聚合类语句时，对数据库查询语句进行协议转换，以将转换语句发送至各个存储节点；存储节点即可根据转换语句进行数据查询和聚合计算，并把计算结果返回至中心节点，最后由中心节点进行计算结果的聚合，得到查询结果，并转换语句进行缓存，作为模板以便于后续接收到相同的数据库查询语句时可以直接使用。以此方式，修改了原先存储节点查询返回整条数据的方式，减少了网络带宽的占用，提高***查询效率。

附图说明

图1为本发明实施例的一种基于数据库的数据查询方法的流程图；

图2为本发明实施例的一种基于数据库的数据查询终端的示意图；

标号说明：

1、一种基于数据库的数据查询终端；2、中心节点；3、存储节点。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，本发明实施例提供了一种基于数据库的数据查询方法，包括步骤：

中心节点接收数据库查询语句，判断所述数据库查询语句是否为聚合类语句，若是，则对所述数据库查询语句按预设协议格式进行转换，得到转换语句，将所述转换语句发送至数据库的各个存储节点；

存储节点接收所述转换语句，根据所述转换语句查询对应的数据，并对查询到的数据进行聚合计算，将计算结果返回至中心节点；

中心节点接收各个存储节点返回的计算结果，对所有所述计算结果进行聚合计算，得到查询结果，并缓存所述数据库查询语句对应的转换语句。

从上述描述可知，本发明的有益效果在于：由中心节点接收数据库查询语句，并当数据库查询语句是聚合类语句时，对数据库查询语句进行协议转换，以将转换语句发送至各个存储节点；存储节点即可根据转换语句进行数据查询和聚合计算，并把计算结果返回至中心节点，最后由中心节点进行计算结果的聚合，得到查询结果，并转换语句进行缓存，作为模板以便于后续接收到相同的数据库查询语句时可以直接使用。以此方式，修改了原先存储节点查询返回整条数据的方式，减少了网络带宽的占用，提高***查询效率。

进一步地，对所述数据库查询语句按预设协议格式进行转换，得到转换语句包括：

将所述数据库查询语句转换为包含表名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句。

由上述描述可知，当数据库查询语句满足协议转换的条件时，直接把数据库查询语句转化为特殊的协议信息，能够跳过SQL解析器和SQL优化器，减少一定的时间损耗，提高语句的查询效率。

进一步地，对所述数据库查询语句按预设协议格式进行转换，得到转换语句还包括：

判断所述数据库查询语句的查询条件中是否存在索引，若是，则将所述数据库查询语句转换为包含表名称、索引名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句。

由上述描述可知，当查询条件中包含索引时，将索引名称也作为协议转换的协议参数之一，能够适用于多种聚合查询的情况。

进一步地，缓存所述数据库查询语句对应的转换语句包括：

计算所述数据库查询语句的哈希值，将所述哈希值以及所述转换语句作为键值对进行缓存；

以使得所述中心节点接收到数据库查询语句时，先判断数据库查询语句的哈希值是否已缓存，若是，则从缓存中提取对应的转换语句并发送至数据库的各个存储节点。

由上述描述可知，把数据库查询语句的哈希值以及所述转换语句写入缓存中，如果下次再次遇到相同的数据库查询语句，将会从缓存中获取已经转化后的转换语句，无需再次进行协议转化。

进一步地，判断所述数据库查询语句是否为聚合类语句，若否，则将所述数据库查询语句发送至数据库的各个存储节点；

若所述存储节点接收到所述数据库查询语句，则根据所述数据库查询语句拉取对应的数据并将拉取到的数据发送至所述中心节点。

由上述描述可知，根据实际的数据库查询语句情况，仅对聚合语句进行转换，避免对不适合或者不常用的语句进行转换，从而提高***查询效率。

请参照图2，本发明另一实施例提供了一种基于数据库的数据查询终端，包括中心节点和存储节点；

中心节点，用于接收数据库查询语句，判断所述数据库查询语句是否为聚合类语句，若是，则对所述数据库查询语句按预设协议格式进行转换，得到转换语句，将所述转换语句发送至数据库的各个存储节点；

存储节点，用于接收所述转换语句，根据所述转换语句查询对应的数据，并对查询到的数据进行聚合计算，将计算结果返回至中心节点；

中心节点，还用于接收各个存储节点返回的计算结果，对所有所述计算结果进行聚合计算，得到查询结果，并缓存所述数据库查询语句对应的转换语句。

从上述描述可知，本发明的有益效果在于：由中心节点接收数据库查询语句，并当数据库查询语句是聚合类语句时，对数据库查询语句进行协议转换，以将转换语句发送至各个存储节点；存储节点即可根据转换语句进行数据查询和聚合计算，并把计算结果返回至中心节点，最后由中心节点进行计算结果的聚合，得到查询结果，并转换语句进行缓存，作为模板以便于后续接收到相同的数据库查询语句时可以直接使用。以此方式，修改了原先存储节点查询返回整条数据的方式，减少了网络带宽的占用，提高***查询效率。

进一步地，对所述数据库查询语句按预设协议格式进行转换，得到转换语句包括：

将所述数据库查询语句转换为包含表名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句。

由上述描述可知，当数据库查询语句满足协议转换的条件时，直接把数据库查询语句转化为特殊的协议信息，能够跳过SQL解析器和SQL优化器，减少一定的时间损耗，提高语句的查询效率。

进一步地，对所述数据库查询语句按预设协议格式进行转换，得到转换语句还包括：

判断所述数据库查询语句的查询条件中是否存在索引，若是，则将所述数据库查询语句转换为包含表名称、索引名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句。

由上述描述可知，当查询条件中包含索引时，将索引名称也作为协议转换的协议参数之一，能够适用于多种聚合查询的情况。

进一步地，缓存所述数据库查询语句对应的转换语句包括：

计算所述数据库查询语句的哈希值，将所述哈希值以及所述转换语句作为键值对进行缓存；

以使得所述中心节点接收到数据库查询语句时，先判断数据库查询语句的哈希值是否已缓存，若是，则从缓存中提取对应的转换语句并发送至数据库的各个存储节点。

由上述描述可知，把数据库查询语句的哈希值以及所述转换语句写入缓存中，如果下次再次遇到相同的数据库查询语句，将会从缓存中获取已经转化后的转换语句，无需再次进行协议转化。

进一步地，判断所述数据库查询语句是否为聚合类语句，若否，则将所述数据库查询语句发送至数据库的各个存储节点；

若所述存储节点接收到所述数据库查询语句，则根据所述数据库查询语句拉取对应的数据并将拉取到的数据发送至所述中心节点。

由上述描述可知，根据实际的数据库查询语句情况，仅对聚合语句进行转换，避免对不适合或者不常用的语句进行转换，从而提高***查询效率。

本发明上述的一种基于数据库的数据查询方法及终端，适用于分布式数据库中，减少数据查询的时间损耗和占用带宽，提高数据查询效率。以下通过具体的实施方式进行说明：

实施例一

请参照图1，一种基于数据库的数据查询方法，包括步骤：

S1、中心节点接收数据库查询语句，判断所述数据库查询语句是否为聚合类语句，若是，则对所述数据库查询语句按预设协议格式进行转换，得到转换语句，将所述转换语句发送至数据库的各个存储节点。

具体的，中心节点接收数据库查询语句，若数据库查询语句为聚合类语句，则当数据库查询语句的查询条件中存在索引时，将所述数据库查询语句转换为包含表名称、索引名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句；当数据库查询语句的查询条件中不存在索引时，将数据库查询语句转换为包含表名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句。

若数据库查询语句不为聚合类语句，则将数据库查询语句发送至数据库的各个存储节点。

在本实施例中，当查询SQL为非聚合类SQL时，则将查询SQL发送至各个存储节点中拉取数据，当查询SQL为聚合类SQL时，比如包含avg、sum、max、min或count之类的语句时，中心节点接收到此类SQL，将会针对查询SQL进行协议转化，转化为特殊协议，主要协议参数为：表名，聚合类名称，聚合字段以及查询条件，转化任务完成后，将发送转化后的语句至各个存储节点中，将不会再次发送原始查询SQL至存储节点。

假设存在一句聚合查询SQL为：“select sum(score)from user_score whereuserId＝123”。某一个用户在集群的3个节点之上都有存在有10个学科的成绩。

当中心节点获取到如上SQL时，预先根据hash(SQL)计算出缓存key，查询缓存中是否存在缓存模板。此刻，不存在本地缓存，则进行协议转化。

协议转化过程中，查询条件中不存在索引信息，则如上SQL将会转化为私有协议，协议对象为：对象[表名，聚合类，聚合字段，查询条件]，具体内容为：object[user_score,sum,score,userId＝123]。

若查询条件中存在索引信息，则协议对象为：对象[表名，索引名，聚合类，聚合字段，查询条件]。

在一些实施例中，也可以在数据库查询语句为只有一个查询条件的简单类型SQL时，对数据库查询语句进行协议转化。

S2、存储节点接收所述转换语句，根据所述转换语句查询对应的数据，并对查询到的数据进行聚合计算，将计算结果返回至中心节点。

在一些实施例中，若存储节点接收到的是所述数据库查询语句，则根据所述数据库查询语句拉取对应的数据并将拉取到的数据发送至所述中心节点。

具体的，当存储节点接收到原始SQL时，根据SQL拉取所需的数据并将数据发送给中心节点。当接收到转化后的特殊协议信息时，将按照协议内容在自身节点中查询数据，并进行初级的数据聚合计算，最终只返回给中心节点计算结果。

其中，通常存储节点只做数据存储的功能，但是，实际上其也是部署在服务器上的，在存储节点之上新增的一层计算层，即可共享使用存储节点所在的服务器资源进行特殊的计算操作。

在本实施例中，当存储节点的计算层接收到如上的object协议时，说明是转化协议，查询对应库表的记录后，在计算层进行计算处理。

S3、中心节点接收各个存储节点返回的计算结果，对所有所述计算结果进行聚合计算，得到查询结果，并缓存所述数据库查询语句对应的转换语句。

具体的，计算所述数据库查询语句的哈希值，将所述哈希值以及所述转换语句作为键值对进行缓存，以使得所述中心节点接收到数据库查询语句时，先判断数据库查询语句的哈希值是否已缓存，若是，则从缓存中提取对应的转换语句并发送至数据库的各个存储节点。

在本实施例中，中心节点汇聚各个存储节点返回的数据后，再次进行最终的聚合计算，并在返回数据给客户端之前，启动一个新异步任务，其中，新异步任务具体为，校验此次查询的SQL是否已经存在模板缓存，如果存在，则任务结束，如果不存在，则生成模板缓存，供下次同样的类似SQL语句使用。

具体的，当中心节点返回客户端之前，如果是私有协议返回数据的话，会优先根据hash(SQL)计算出缓存key，并把该SQL写入缓存中，如果下次再次遇到该SQL将会从缓存中获取已经转化后的协议数据，无需再次进行私有协议转化。

以此方式，本实施例在SQL查询的过程中，修改了原先返回整条数据的方式，进一步减少了网络带宽的占用，提高***查询效率；并且针对简单SQL的语句，能够跳过SQL解析器以及SQL优化器，减少一定的时间损耗，提高语句的查询效率。

实施例二

请参照图2，一种基于数据库的数据查询终端1，包括中心节点2和存储节点3。

中心节点，用于接收数据库查询语句，判断所述数据库查询语句是否为聚合类语句，若是，则对所述数据库查询语句按预设协议格式进行转换，得到转换语句，将所述转换语句发送至数据库的各个存储节点；若否，则将所述数据库查询语句发送至数据库的各个存储节点。

对所述数据库查询语句按预设协议格式进行转换，得到转换语句包括：

将所述数据库查询语句转换为包含表名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句；

判断所述数据库查询语句的查询条件中是否存在索引，若是，则将所述数据库查询语句转换为包含表名称、索引名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句。

存储节点，用于接收所述转换语句，根据所述转换语句查询对应的数据，并对查询到的数据进行聚合计算，将计算结果返回至中心节点；若接收到所述数据库查询语句，则根据所述数据库查询语句拉取对应的数据并将拉取到的数据发送至所述中心节点。

中心节点，还用于接收各个存储节点返回的计算结果，对所有所述计算结果进行聚合计算，得到查询结果，并缓存所述数据库查询语句对应的转换语句。

缓存所述数据库查询语句对应的转换语句包括：

计算所述数据库查询语句的哈希值，将所述哈希值以及所述转换语句作为键值对进行缓存；

以使得所述中心节点接收到数据库查询语句时，先判断数据库查询语句的哈希值是否已缓存，若是，则从缓存中提取对应的转换语句并发送至数据库的各个存储节点。

综上所述，本发明提供的一种基于数据库的数据查询方法及终端，由中心节点接收数据库查询语句，并当数据库查询语句是聚合类语句时，对数据库查询语句进行协议转换，以将转换语句发送至各个存储节点；存储节点即可根据转换语句进行数据查询和聚合计算，并把计算结果返回至中心节点，最后由中心节点进行计算结果的聚合，得到查询结果，并转换语句进行缓存，作为模板以便于后续接收到相同的数据库查询语句时可以直接使用。以此方式，修改了原先存储节点查询返回整条数据的方式，减少了网络带宽的占用，提高***查询效率；针对简单SQL的语句，跳过SQL解析器以及SQL优化器，减少一定的时间损耗，提高语句的查询效率。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于数据库的数据查询方法，其特征在于，包括步骤：

中心节点接收数据库查询语句，判断所述数据库查询语句是否为聚合类语句，若是，则对所述数据库查询语句按预设协议格式进行转换，得到转换语句，将所述转换语句发送至数据库的各个存储节点；

存储节点接收所述转换语句，根据所述转换语句查询对应的数据，并对查询到的数据进行聚合计算，将计算结果返回至中心节点；

中心节点接收各个存储节点返回的计算结果，对所有所述计算结果进行聚合计算，得到查询结果，并缓存所述数据库查询语句对应的转换语句。

2.根据权利要求1所述的一种基于数据库的数据查询方法，其特征在于，对所述数据库查询语句按预设协议格式进行转换，得到转换语句包括：

将所述数据库查询语句转换为包含表名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句。

3.根据权利要求2所述的一种基于数据库的数据查询方法，其特征在于，对所述数据库查询语句按预设协议格式进行转换，得到转换语句还包括：

判断所述数据库查询语句的查询条件中是否存在索引，若是，则将所述数据库查询语句转换为包含表名称、索引名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句。

4.根据权利要求1所述的一种基于数据库的数据查询方法，其特征在于，缓存所述数据库查询语句对应的转换语句包括：

计算所述数据库查询语句的哈希值，将所述哈希值以及所述转换语句作为键值对进行缓存；

以使得所述中心节点接收到数据库查询语句时，先判断数据库查询语句的哈希值是否已缓存，若是，则从缓存中提取对应的转换语句并发送至数据库的各个存储节点。

5.根据权利要求1至4任一所述的一种基于数据库的数据查询方法，其特征在于，判断所述数据库查询语句是否为聚合类语句，若否，则将所述数据库查询语句发送至数据库的各个存储节点；

若所述存储节点接收到所述数据库查询语句，则根据所述数据库查询语句拉取对应的数据并将拉取到的数据发送至所述中心节点。

6.一种基于数据库的数据查询终端，其特征在于，包括中心节点和存储节点；

中心节点，用于接收数据库查询语句，判断所述数据库查询语句是否为聚合类语句，若是，则对所述数据库查询语句按预设协议格式进行转换，得到转换语句，将所述转换语句发送至数据库的各个存储节点；

存储节点，用于接收所述转换语句，根据所述转换语句查询对应的数据，并对查询到的数据进行聚合计算，将计算结果返回至中心节点；

中心节点，还用于接收各个存储节点返回的计算结果，对所有所述计算结果进行聚合计算，得到查询结果，并缓存所述数据库查询语句对应的转换语句。

7.根据权利要求6所述的一种基于数据库的数据查询终端，其特征在于，对所述数据库查询语句按预设协议格式进行转换，得到转换语句包括：

将所述数据库查询语句转换为包含表名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句。

8.根据权利要求7所述的一种基于数据库的数据查询终端，其特征在于，对所述数据库查询语句按预设协议格式进行转换，得到转换语句还包括：

判断所述数据库查询语句的查询条件中是否存在索引，若是，则将所述数据库查询语句转换为包含表名称、索引名称、聚合类名称、聚合字段和查询条件的协议参数的转换语句。

9.根据权利要求6所述的一种基于数据库的数据查询终端，其特征在于，缓存所述数据库查询语句对应的转换语句包括：

计算所述数据库查询语句的哈希值，将所述哈希值以及所述转换语句作为键值对进行缓存；

以使得所述中心节点接收到数据库查询语句时，先判断数据库查询语句的哈希值是否已缓存，若是，则从缓存中提取对应的转换语句并发送至数据库的各个存储节点。

10.根据权利要求6至9任一所述的一种基于数据库的数据查询终端，其特征在于，判断所述数据库查询语句是否为聚合类语句，若否，则将所述数据库查询语句发送至数据库的各个存储节点；

若所述存储节点接收到所述数据库查询语句，则根据所述数据库查询语句拉取对应的数据并将拉取到的数据发送至所述中心节点。