CN105589864A - 数据查询方法及装置 - Google Patents

Abstract

本发明公开了一种数据查询方法及装置，在进行数据查询时，先获取查询条件，该查询条件包括关键查询字段、与关键查询字段关联的普通查询字段、以及关键查询字段数据筛选条件；确定普通查询字段和关键查询字段所分别对应的数据库表；普通查询字段和关键查询字段所对应的各数据库表中存储的数据之间存在关联关系；先从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据，再根据上述关联关系从普通查询字段对应的数据库表中查询出与关键数据对应的关联数据。可见本发明通过先查询出关键字段对应的关键数据，再利用关联关系直接查询到其他普通字段对应的关联数据，能明显降低资源消耗，并提升查询效率。

Description

数据查询方法及装置

技术领域

本发明涉及通信领域，具体涉及一种数据查询方法及装置。

背景技术

目前，对于某些关键字段对应的数据，往往有求最大/最小、逻辑过滤等统计要求，相近的统计还包括忙时指标(统计一天或一个时间范围内指标值最小/最大的小时时间段信息)，而且这些关键字段通常是和很多其他普通字段一起统计的，以方便用户进行对比分析。常用的方法是依次查询出这个字段的对应的所有数值，并根据关键字段对应的数值来获取最终统计结果。由于查询所有字段需要访问多个数据表，因此按照现有的查询方法会消耗很多数据库资源并导致统计效率低下。

发明内容

本发明要解决的主要技术问题是，提供一种数据查询方法及装置，解决现有数据查询方法资源消耗大、查询效率低的问题。

为解决上述技术问题，本发明提供一种数据查询方法,包括：

获取查询条件，所述查询条件包括关键查询字段、与所述关键查询字段关联的普通查询字段、以及关键查询字段数据筛选条件；

确定所述普通查询字段和关键查询字段所分别对应的数据库表；所述普通查询字段和关键查询字段所对应的各数据库表中存储的数据之间存在关联关系；

根据关键字查询字段从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据；

根据所述关联关系从所述普通查询字段对应的数据库表中查询出与所述关键数据对应的关联数据。

在本发明的一种实施例中，当所述关键查询字段包括多个查询字段时，确定所述关键查询字段所对应的数据库表包括：

将所述多个查询字段在各自的数据库表中的对应数据按照预设算法进行处理后得到新的数据库表，该新的数据库表为所述关键字查询字段所对应的数据库表。

在本发明的一种实施例中，从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据之前，还包括：

判断所述关键字查询字段包括的查询字段个数与所述普通查询字段包括的查询字段个数之比是否小于所述预设比值；如是，再从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据。

在本发明的一种实施例中，从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据之前，还包括：

判断所述数据库表所在的数据库中存储的数据量是否大于预设阈值，如是，再从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据。

在本发明的一种实施例中，所述关联关系包括时间关联、位置关联中的至少一种。

为了解决上述问题，本发明还提供了一种数据查询装置,包括条件获取模块、数据表确定模块、关键数据查询模块和关联数据查询模块；

所述条件获取模块获取查询条件，所述查询条件包括关键查询字段、与所述关键查询字段关联的普通查询字段、以及关键查询字段数据筛选条件；

所述数据表确定模块用于确定所述普通查询字段和关键查询字段所分别对应的数据库表；所述普通查询字段和关键查询字段所对应的各数据库表中存储的数据之间存在关联关系；

所述关键数据查询模块用于根据关键字查询字段从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据；

所述关联数据查询模块用于根据所述关联关系从所述普通查询字段对应的数据库表中查询出与所述关键数据对应的关联数据。

在本发明的一种实施例中，所述数据表确定模块包括计算处理子模块，用于当所述关键查询字段包括多个查询字段时，将所述多个查询字段在各自的数据库表中的对应数据按照预设算法进行处理后得到新的数据库表，该新的数据库表为所述关键字查询字段所对应的数据库表。

在本发明的一种实施例中，还包括比值判断模块，用于在所述关键数据查询模块从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据之前，判断所述关键字查询字段包括的查询字段个数与所述普通查询字段包括的查询字段个数之比是否小于所述预设比值；如是，再通知所述关键数据查询模块从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据。

在本发明的一种实施例中，还包括数据量判断模块，用于在所述关键数据查询模块从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据之前，判断所述数据库表所在的数据库中存储的数据量是否大于预设阈值，如是，再通知所述关键数据查询模块从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据。

在本发明的一种实施例中，所述关联关系包括时间关联、位置关联中的至少一种。

本发明的有益效果是：

本发明提供的数据查询方法及装置，在进行数据查询时，先获取查询条件，该查询条件包括关键查询字段、与关键查询字段关联的普通查询字段、以及关键查询字段数据筛选条件；确定普通查询字段和关键查询字段所分别对应的数据库表；普通查询字段和关键查询字段所对应的各数据库表中存储的数据之间存在关联关系；先从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据，再根据上述关联关系从普通查询字段对应的数据库表中查询出与关键数据对应的关联数据(也即各普通查询字段对应的数据)。可见本发明通过先查询出关键字段对应的关键数据，再利用关联关系直接查询到其他普通字段对应的关联数据，可以呈数量级的降低数据库的数据访问量，能明显降低资源消耗，并提升查询效率。

附图说明

图1为本发明实施例一提供的数据查询方法流程示意图；

图2为本发明实施例二提供的数据查询装置结构示意图；

图3为本发明实施例二提供的另一数据查询装置结构示意图；

图4为本发明实施例二提供的另一数据查询装置结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

实施例一：

请参见图1所示，本实施例提供的数据查询方法包括：

步骤101：获取查询条件；该查询条件可以是用户当前输入的，也可以提前预置好的，本实施例中的查询条件包括关键查询字段、与关键查询字段关联的普通查询字段、以及关键查询字段数据筛选条件(例如最大的N个数据、最小的M个数据或者用户设定范围值内的各数据等等)；

步骤102：确定普通查询字段和关键查询字段所分别对应的数据库表；普通查询字段和关键查询字段所对应的各数据库表中存储的数据之间存在关联关系，该关联关系包括时间关联、位置关联等纬度关联字段中的至少一种；也即各数据库表为关联数据库表；

步骤103：根据关键字查询字段从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据；

步骤104：根据上述关联关系以及上述普通查询字段从普通查询字段对应的数据库表中查询出与关键数据对应的关联数据(也即各普通查询字段对应的数据)。

本实施例通过先查询出关键字段对应的关键数据，再利用关联关系直接查询到其他普通字段对应的关联数据，可以呈数量级的降低数据库的数据访问量，能明显降低资源消耗，并提升查询效率。

本实施例中用户输入的关键字查询字段主要体现相应的查询指标，本实施例中的查询指标包括通过一个查询字段即可体现的指标，也包括通过多个查询字段体现的指标；当通过多个查询字段体现时，本实施例中的关键查询字段包括多个查询字段，此时确定关键查询字段所对应的数据库表包括：

将多个查询字段在各自的数据库表中的对应数据按照预设算法进行处理后得到新的数据库表，该新的数据库表为关键字查询字段所对应的数据库表。

例如，假设指标需要结合查询字段A+查询字段B体现，则本实施例中的关键字查询字段包括查询字段A和B；对应的确定数据库表时，分别提取出查询字段A和查询字段B中对应的数据表中的数据并进行相加得到新的数据库表，该新的数据库表即为关键字查询字段(即查询字段A+查询字段B)的数据库表。也即，本实施例中，对于通过多个查询字段运算得到指标的情况，可以先求多个查询字段计算后得到的数据表并从中查询出满足筛选条件(例如最大的10个值)的关键数据，再根据关键数据关联查询其他普通字段的值，可以起到很好的效率优化效果。

又例如，假设指标通过一个查询字段C即可体现，则本实施例中的关键字查询字段包括查询字段C；对应的确定数据库表时，查询字段C对应的数据表即为关键字查询字段的数据库表。

本实施例中，在从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据之前，还包括：

判断关键字查询字段包括的查询字段个数与普通查询字段包括的查询字段个数之比是否小于所述预设比值；如是，再从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据。也即本实施例只有在关键查询字段涉及的数据表个数与普通查询字段涉及的数据表个数的比值小于预设比值时，才先查询关键查询字段对应的关键数据，再利用关联关系查询到关联的其他普通查询字段对应的数据；否则，可直接针对各查询字段在各自对应的数据表中进行查询。

本实施例中的预设比值可以取为小于等于二分之一，例如具体可取值为二分之一，假设关键字查询字段包括的查询字段个数与普通查询字段包括的查询字段个数之比为七分之一，小于预设比值二分之一，先查询关键查询字段对应的关键数据，再利用关联关系查询到关联的其他普通查询字段对应的数据。

本实施例中，在从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据之前，还包括结合数据库的数据量大小判断是否先查询关键查询字段对应的关键数据，再利用关联关系查询到关联的其他普通查询字段对应的数据。因为对于数据量较小的数据库可直接针对各查询字段在各自对应的数据表中进行查询；该判断过程包括：

判断数据库表所在的数据库中存储的数据量是否大于预设阈值，如是，再从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据；否则，直接针对各查询字段在各自对应的数据表中进行查询。

本实施例中，对于普通的关系数据库，可以根据该数据库中的数据表个数统计该数据库的数据量；对于列存储数据库，则可根据字段数统计该数据库的数据量，或根据字段数以及数据量规模统计该数据库的数据量。本实施例中的预设阈值可以根据具体的数据库以及应用场景等等具体选定设置。

为了更好的理解本发明，下面以一个具体示例进行说明。

假设某业务统计要求查询8个关联的查询字段，分别来自8个关联的数据库表，其中1个为关键查询字段，剩余的7个为普通查询字段，筛选条件为按照该关键查询字段的最大的10个值(也即Topmax10)进行呈现。并假设每个数据表需要查询的数据量为1千万条，其查询过程如下：

先根据关键查询字段在其对应的数据表中查询出关键数据，此时需要访问该数据库表中的1千万条数据才能得到最大的10条数据；再根据这10条数据的时间和/或位置等关联维度字段来匹配查询其余7个查询字段对应数据库表中的对应数据，此时针对每个普通查询字段，根据数据之间的关联关系只需在对应的数据库表中访问对应的那10条数据即可，因此一共仅需访问1千万零70条数据即可得到最终结果；而采用现有的查询方法则至少需要访问8千万条数据，可见本实施例提供的方案极大的降低了数据库的读写消耗、并有效提升了统计效率。

实施例二：

本实施例提供了数据查询装置，请参见图2所示，数据查询装置1包括条件获取模块11、数据表确定模块12、关键数据查询模块13和关联数据查询模块14；其中：

条件获取模块11获取查询条件，该查询条件可以是用户当前输入的，也可以提前预置好的，本实施例中的查询条件包括关键查询字段、与关键查询字段关联的普通查询字段、以及关键查询字段数据筛选条件(例如最大的N个数据、最小的M个数据或者用户设定范围值内的各数据等等)；

数据表确定模块12用于确定普通查询字段和关键查询字段所分别对应的数据库表；普通查询字段和关键查询字段所对应的各数据库表中存储的数据之间存在关联关系；该关联关系包括时间关联、位置关联等纬度关联字段中的至少一种；也即各查询字段对应的各数据库表为关联数据库表；

关键数据查询模块13用于从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据；

关联数据查询模块14用于根据上述关联关系以及上述普通查询字段从普通查询字段对应的数据库表中查询出与关键数据对应的关联数据(也即各普通查询字段对应的数据)。

本实施例中的数据查询装置1通过先查询出关键字段对应的关键数据，再利用关联关系直接查询到其他普通字段对应的关联数据，可以呈数量级的降低数据库的数据访问量，能明显降低资源消耗，并提升查询效率。

本实施例中用户输入的关键字查询字段主要体现相应的查询指标，本实施例中的查询指标包括通过一个查询字段即可体现的指标，也包括通过多个查询字段体现的指标；当通过多个查询字段体现时，本实施例中的关键查询字段包括多个查询字段。因此，本实施例中的数据表确定模块12可包括计算处理子模块，用于当关键查询字段包括多个查询字段时，将多个查询字段在各自的数据库表中的对应数据按照预设算法进行处理后得到新的数据库表，该新的数据库表为关键字查询字段所对应的数据库表。

例如，假设指标需要结合查询字段A+查询字段B体现，则本实施例中的关键字查询字段包括查询字段A和B；对应的确定数据库表时，分别提取出查询字段A和查询字段B中对应的数据表中的数据并进行相加得到新的数据库表，该新的数据库表即为关键字查询字段(即查询字段A+查询字段B)的数据库表。也即，本实施例中，对于通过多个查询字段运算得到指标的情况，可以先求多个查询字段计算后得到的数据表并从中查询出满足筛选条件(例如最大的10个值)的关键数据，再根据关键数据关联查询其他普通字段的值，可以起到很好的效率优化效果。

又例如，假设指标通过一个查询字段C即可体现，则本实施例中的关键字查询字段包括查询字段C；对应的确定数据库表时，查询字段C对应的数据表即为关键字查询字段的数据库表。

请参见图3所示，本实施例中的数据查询装置还包括比值判断模块15，用于在关键数据查询模块从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据之前，判断关键字查询字段包括的查询字段个数与普通查询字段包括的查询字段个数之比是否小于预设比值；如是，再通知关键数据查询模块从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据；否则，可直接针对各查询字段在各自对应的数据表中进行查询。

本实施例中的预设比值可以取为小于等于二分之一，例如具体可取值为二分之一，假设关键字查询字段包括的查询字段个数与普通查询字段包括的查询字段个数之比为七分之一，小于预设比值二分之一，先查询关键查询字段对应的关键数据，再利用关联关系查询到关联的其他普通查询字段对应的数据。

本实施例中，在从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据之前，还包括结合数据库的数据量大小判断是否先查询关键查询字段对应的关键数据，再利用关联关系查询到关联的其他普通查询字段对应的数据。因为对于数据量较小的数据库可直接针对各查询字段在各自对应的数据表中进行查询。请参见图4所示，本实施例中的数据查询装置1还包括数据量判断模块16，用于在关键数据查询模块从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据之前，判断所述数据库表所在的数据库中存储的数据量是否大于预设阈值，如是，再通知关键数据查询模块从关键查询字段对应的数据库表中查询出满足关键查询字段数据筛选条件的关键数据。否则，直接针对各查询字段在各自对应的数据表中进行查询。

本实施例中，对于普通的关系数据库，可以根据该数据库中的数据表个数统计该数据库的数据量；对于列存储数据库，则可根据字段数统计该数据库的数据量，或根据字段数以及数据量规模统计该数据库的数据量。本实施例中的预设阈值可以根据具体的数据库以及应用场景等等具体选定设置。

为了更好的理解本发明，下面以一个具体示例进行说明。

假设某业务统计要求查询10个关联的查询字段，分别来自8个关联的数据库表，其中1个为关键查询字段，剩余的9个为普通查询字段，筛选条件为按照该关键查询字段的最小的100个值(也即Topmin10)进行呈现。并假设每个数据表需要查询的数据量为1百万条，其查询过程如下：

先根据关键查询字段在其对应的数据表中查询出关键数据，此时需要访问该数据库表中的1百万条数据才能得到最小的100条数据；再根据这100条数据的时间和/或位置等关联维度字段来匹配查询其余9个查询字段对应数据库表中的对应数据，此时针对每个普通查询字段，根据数据之间的关联关系只需在对应的数据库表中访问对应的那100条数据即可，因此一共仅需访问1百万零900条数据即可得到最终结果；而采用现有的查询方法则至少需要访问1千万条数据，可见本实施例提供的方案极大的降低了数据库的读写消耗、并有效提升了统计效率。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种数据查询方法,其特征在于，包括：

获取查询条件，所述查询条件包括关键查询字段、与所述关键查询字段关联的普通查询字段、以及关键查询字段数据筛选条件；

确定所述普通查询字段和关键查询字段所分别对应的数据库表；所述普通查询字段和关键查询字段所对应的各数据库表中存储的数据之间存在关联关系；

根据所述关键字查询字段从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据；

根据所述关联关系从所述普通查询字段对应的数据库表中查询出与所述关键数据对应的关联数据。

2.如权利要求1所述的数据查询方法，其特征在于，当所述关键查询字段包括多个查询字段时，确定所述关键查询字段所对应的数据库表包括：

将所述多个查询字段在各自的数据库表中的对应数据按照预设算法进行处理后得到新的数据库表，该新的数据库表为所述关键字查询字段所对应的数据库表。

3.如权利要求2所述的数据查询方法，其特征在于，从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据之前，还包括：

判断所述关键字查询字段包括的查询字段个数与所述普通查询字段包括的查询字段个数之比是否小于所述预设比值；如是，再从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据。

4.如权利要求1-3任一项所述的数据查询方法，其特征在于，从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据之前，还包括：

判断所述数据库表所在的数据库中存储的数据量是否大于预设阈值，如是，再从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据。

5.如权利要求1-3任一项所述的数据查询方法，其特征在于，所述关联关系包括时间关联、位置关联中的至少一种。

6.一种数据查询装置,其特征在于，包括条件获取模块、数据表确定模块、关键数据查询模块和关联数据查询模块；

所述条件获取模块获取查询条件，所述查询条件包括关键查询字段、与所述关键查询字段关联的普通查询字段、以及关键查询字段数据筛选条件；

所述数据表确定模块用于确定所述普通查询字段和关键查询字段所分别对应的数据库表；所述普通查询字段和关键查询字段所对应的各数据库表中存储的数据之间存在关联关系；

所述关键数据查询模块用于根据所述关键字查询字段从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据；

所述关联数据查询模块用于根据所述关联关系从所述普通查询字段对应的数据库表中查询出与所述关键数据对应的关联数据。

7.如权利要求6所述的数据查询装置，其特征在于，所述数据表确定模块包括计算处理子模块，用于当所述关键查询字段包括多个查询字段时，将所述多个查询字段在各自的数据库表中的对应数据按照预设算法进行处理后得到新的数据库表，该新的数据库表为所述关键字查询字段所对应的数据库表。

8.如权利要求7所述的数据查询装置，其特征在于，还包括比值判断模块，用于在所述关键数据查询模块从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据之前，判断所述关键字查询字段包括的查询字段个数与所述普通查询字段包括的查询字段个数之比是否小于所述预设比值；如是，再通知所述关键数据查询模块从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据。

9.如权利要求6-8任一项所述的数据查询装置，其特征在于，还包括数据量判断模块，用于在所述关键数据查询模块从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据之前，判断所述数据库表所在的数据库中存储的数据量是否大于预设阈值，如是，再通知所述关键数据查询模块从所述关键查询字段对应的数据库表中查询出满足所述关键查询字段数据筛选条件的关键数据。

10.如权利要求6-8任一项所述的数据查询装置，其特征在于，所述关联关系包括时间关联、位置关联中的至少一种。