CN103207919A - 一种MongoDB集群快速查询计算的方法及装置 - Google Patents

Abstract

本发明公开了一种MongoDB集群的快速查询计算的方法及装置，应用于计算机、通信及相关领域。所述方法包括：S1、确定查询条件，所述查询条件用于查询MongoDB所有分片的指定数据表中与查询条件对应的指定分组的分组汇总数据；S2、根据所述查询条件，查询所述指定数据表，获取与所述查询条件对应的指定分组中的数据；S3、将所述数据存储在服务器上的第一临时数据缓存表中；S4、对所述第一临时数据缓存表中的数据进行分组查询并对查询结果进行计算。该方法将原来的分片查询方式改进为一台服务器上查询的方式，在保证查询结果准确性的前提下，大大提高了查询速度。

Description

一种MongoDB集群快速查询计算的方法及装置

技术领域

本发明涉及一种分布式文件存储的数据库集群技术，尤其涉及一种MongoDB集群的快速查询计算的方法及装置。

背景技术

随着信息化的进一步加深，在各个领域，如电信、交通、金融、零售、航天、医药等，数据量级都呈现快速增长趋势，如何高效并且无误的存储、分析、理解以及利用这些大规模数据，成为一个关键性的问题。为了应对大规模数据处理的难题，数据库集群技术应运而生。数据库集群技术是将多个数据库连在一起组成分布式数据库集群，将海量数据“分而治之”。MongoDB作为分布式数据库的一员，表现的非常优秀。在MongoDB数据库集群中，可以采用find语句查询数据，查询结果可以采用MapReduce分布计算的方式返回查询计算的结果。MapReduce分布式计算框架是Google公司提出的软件架构，借鉴了函数式编程的思想，高效地进行大规模数据集的分布式计算。MapReduce以函数的形式提供了Map和Reduce来进行分布式计算。Map相对独立且并行运行，对存储***中的文件按行处理，并产生键值（key/value）对。Reduce以Map的输出作为输入，相同key的记录汇聚到同一reduce，reduce对这组记录进行操作，并产生新的数据集。所有Reduce任务的输出组成最终结果。随着数据库集群技术的发展，人们对其业务功能的需求也越来越高。目前的技术可以实现多台MongoDB服务器之间的数据汇总，但是实现多台MongoDB服务器之间的联表分组查询的方法很少，提出的相关专利有“MONGODB分片联表查询方法及装置”。以下对该专利进行说明，该方法包括：

步骤1、确定查询条件，该查询条件用于查询MongoDB所有分片的指定数据表中与指定分组对应的分组汇总信息；

步骤2、确定所述指定数据表中属于所述指定分组中任意分组的数据记录标识，作为目标记录标识；

步骤3、获取所述MongoDB各个分片中的指定数据表中数据记录标识是各所述目标数据记录标识之一的数据信息；

步骤4、将所获取的数据信息存储在一临时数据表中；

步骤5、基于所述临时数据表对所获取的数据进行分组汇总，得到分组汇总信息。

通过以上步骤，可以实现多台MongoDB服务器之间高效联表分组查询，但是，该方案在多台MongoDB服务器上建立临时数据表，通过MapReduce对临时数据表进行分组汇总。这样做，存在着以下缺点：1、MapReduce支持分片数据库查询，处理速度偏慢，MapReduce并不适用需要实时响应的***；2、MapReduce相对于具有完善索引的***而言，不再具有优势，因为它需要对每条数据进行匹配，并将与搜索条件相匹配的数据提取出来，而如果采用索引***，并不需要遍历所有数据。与MapReduce功能相近的语句是Group by语句。Group by语句的查询速度比MapReduce快很多，但是Group by语句只能用于一台服务器上的数据查询和计算，无法应用于分布式数据库的查询中。

发明内容

本发明的目的在于提供一种MongoDB集群的快速查询方法。当用户对分片联表数据进行查询时，将使用MapReduce进行分片查询方式改进为一台服务器上查询的方式,通过这种方法大大提高了数据的查询速度。

为达此目的，本发明采用以下技术方案：

一种MongoDB集群快速查询计算的方法，所述方法包括：

S1、确定查询条件，所述查询条件用于查询MongoDB所有分片的指定数据表中与查询条件对应的指定分组的分组汇总数据；

S2、根据所述查询条件，查询所述指定数据表，获取与所述查询条件对应的指定分组中的数据；

S3、将所述数据存储在服务器上的第一临时数据缓存表中；

S4、对所述第一临时数据缓存表中的数据进行分组查询并对查询结果进行计算。

进一步地、在所述步骤S4之后，还包括步骤S5，将步骤S4中所述的分组查询计算的结果存储在服务器上的第二临时数据缓存表中。

进一步地、所述步骤S2中，采用find语句查询所述指定数据表，获取与所述查询条件对应的指定分组中的数据，所述步骤S4中，采用Group by语句对所述第一临时数据缓存表中的数据进行分组查询并对查询结果进行计算。

进一步地、在所述步骤S3与步骤S4之间，还包括步骤S3-1，建立所述第一数据缓存表的日志表。

进一步地、在所述步骤S2中，根据所述查询条件，查询所述指定数据表包括：将所述查询条件拆分为多个区间的查询条件。

进一步地、所述步骤S3中，将所述数据信息存储在服务器的第一临时数据缓存表中包括：将需要存储的数据分为多个小块的数据分批存储。

进一步地、在所述步骤S5之后，还包括步骤S6，建立所述第二临时数据缓存表的日志表。

进一步地、当所述第一临时数据缓存表的日志表或第二临时数据缓存表的日志表中的数据的查询频率低于预定频率阈值时，删除第一临时数据缓存表或第二临时数据缓存表中的所述数据。

进一步地、当所述第一临时数据缓存表的日志表或第二临时数据缓存表的日志表中数据的日期属性超过过期时间阈值时，删除第一临时数据缓存表或第二临时数据缓存表中的对应的数据信息。

相应地、本发明还公开了一种MongoDB集群的快速查询计算装置，所述装置包含：

确定模块，用于确定查询条件，所述查询条件用于查询MongoDB所有分片的指定数据表中与查询条件对应的指定分组的分组汇总数据；

查询模块，用于根据所述查询条件，查询所述指定数据表，获取与所述指定分组对应的数据信息；

记录模块，用于将所述数据信息存储在服务器上的第一临时数据缓存表中；

处理模块，用于对所述第一临时数据缓存表中的数据信息进行分组查询并对查询结果进行计算。

本发明的有益效果为，提供了一种MongoDB集群的快速查询方法，通过对临时缓存表存储形式的修改，将在多台服务器上存储的数据在一台服务器上集中存储，通过在一台服务器上进行数据查询、计算，大大提高了查询和计算的速度。

附图说明

下面根据附图和实施例对本发明作进一步详细说明。

图1为本发明实施例所述MongoDB集群快速查询计算方法流程图；

图2为本发明实施例所述的数据表、日志表及索引之间的关系示意图；

图3为本发明实施例所述MongoDB集群快速查询计算装置结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

在图1中示出了本发明的第一实施例。

图1为根据本发明第一实施例的MongoDB集群快速查询方法的实现流程，该实现流程100详述如下：

在步骤101中，确定查询条件。

查询条件用于查询MongoDB所有分片的指定数据表中与指定分组对应的分组汇总信息。可以指定一个分组，也可以指定多个分组。

通常，可通过接收用户端发来的用户请求来确定查询条件。可以通过网络接收来自浏览器等用户端发来的用户请求。

此外，用户请求还可以用于查询MongoDB服务器中所有分片中的指定数据表中与指定分组对应且满足预设条件的数据。

例如：在一段时间内，和/或属于某一地域等的数据。

需要说明的是，通过用户端接收用户发来的用户请求作为查询条件只是一个例子。

在步骤102中，查询数据信息。

根据步骤101中的查询条件，查询指定数据表，获取与所述指定分组对应的数据信息。

在本实施例中，使用find语句查询数据信息。通过在find语句中限定查询条件，获取与所述指定分组对应的数据信息。

例如：查询年龄大于20且小于30的用户时，可使用：

db.users.find({"age":{"$gt":20,"$lte":30}})。

在步骤103中，存储查询数据。

将步骤102中查询到的数据信息存储在服务器上的第一临时数据缓存表中。该第一临时数据缓存表可以是预先建立好的数据库，也可以在存储数据信息时同步建立。用户在存储所述查询的数据信息时，可以使用insert语句。

例如：在mt1表中查询“name”为“joe”的数据信息，存储于tab2表中。

var temp1=db.mt1.find(name:"joe")；

while(temp1.hasNext())db.tab2.insert(temp1.next())。

在步骤104中，对第一临时数据缓存表中的数据进行分组查询计算。

执行步骤103之后，MongoDB数据库中的分片数据，已经存储于一台服务器上的临时数据缓存表中，在进行所述分组查询计算时，可以使用Group by语句，达到快速查询计算的效果。

在本实施例的一个优选实施方式中，在步骤102中，将原查询条件拆分为多个区间的查询条件之和进行查询。

例如：用户希望查看2012-1-1至2012-12-31日之间MongoDB下所有分片下广告投放量的分组汇总结果。可以将该查询条件拆分为5天为一区间，对每一区间内的数据依次进行查询。

在步骤102中，可能查询出的数据量非常大，在步骤103中，将这些数据存储在第一临时数据表时，可能由于程序的脚本超时、程序脚本可承担的数据大小、网络延时、超时等问题会导致程序、网络出现不稳定或者错误。

在本实施例的另一个优选实施方式中，在步骤103中，在存储数据时，可将大批量的数据分成多个小块后，分别存储。

例如：将100万条存储于第一临时数据库时，可分成100个小块（每次1万条）进行入库。

需要说明的是，对第一临时数据库的操作，不仅限于存储数据的操作，也可进行修改或删除数据的操作，修改或删除数据时的分块与存储数据时的分块，原理相同。

数据表、日志表及索引之间的关系示意图，请参见图2。如图2所示，一张数据表200，可以包括一个或组合索引201及数据记录202。索引201是对数据表200中一列或多列的数据记录进行排序的一种结构，使用索引201可快速访问数据库表中的特定数据记录202，提高查找效率。

另外，还可以为一张数据表200，建立与之对应的日志表210。日志表210用来记录数据库的工作状态，例如当用户添加，查找、修改或删除数据库对象的时候，记录下来详细的操作步骤及操作时间。

建立日志表210的主要目的是减少数据库产生临时缓存表的数据***或更新的开销，以及通过这些日志表210存储查询条件可以分析冷热数据，或者说为区分常用查询数据、非常用查询数据。

在本实施例的另一个优选实施方式中，在步骤103和步骤104之间，增加步骤103-1（未示出），建立第一临时数据缓存表的日志表。

由于第一临时数据存储表中存储的数据量可能相当大，通过第一临时数据表的日志表可以对第一临时数据表中存储的数据进行管理。

通过查询所述日志表，可以找到第一临时数据存储表中查询不频繁的数据，例如查询频率小于1次/天的数据。

通过查询所述日志表，可以找到第一临时数据存储表中过时的信息。例如，已经变化的名字或者地址等。

将查找到的上述数据从第一临时数据存储表中删除可以释放部分第一临时数据存储表占用的内存空间并减少第一临时数据缓存表中数据存储或更新的开销。

在本实施例的另一个优选实施方式中，在步骤103-1和步骤104之间，增加步骤103-2（未示出）。建立第一临时数据缓存表的一个或组合索引。

可根据经验分析、经常用到查询条件及日志表中经常出现的数据等因素综合考虑，创建一个或组合索引。

在本实施例的另一个优选实施方式中，在步骤104之后，增加步骤105（未示出），对第一临时数据缓存表中的数据进行分组查询计算后，将结果存储于第二临时数据缓存表中。

在步骤104中，使用Group by语言进行分组查询和计算时，返回的数据相对较小，不能超过1万条，返回超过该条数将报错。

为了避免Group by查询时报错，将Group by分组查询计算的结果存储在服务器上的第二临时数据缓存表中。

优选的，Group by查询时，将原查询条件自动拆分为多个区间的数据进行查询。

例如：通过Group by查询后，每次向第二临时数据缓存表中存储、修改或删除的数据为1万条。

优选的，在建立第二临时数据存储表之后，建立第二临时数据表的日志表。通过查询所述日志表，可以找到第二临时数据存储表中查询不频繁或过时的数据。

将查找到的上述数据从第一临时数据存储表中删除可以释放部分第一临时数据存储表占用的内存空间并减少第一临时数据缓存表中数据存储或更新的开销。

优选的，在对第二临时数据存储表进行的操作或维护过程中，可建立第二临时数据存储表的一个或组合索引。

本实施例的技术方案，通过对临时缓存表存储形式的修改，将在多台服务器上存储的数据在一台服务器上集中存储，可以将原来的MapReduce查询替换为Group by查询，大大提高了数据的查询和计算的速度。

另外，在本实施例的优选的实施方式中，通过增加日志表、索引及分块操作数据库的方式，在保证查询结果准确性的前提下，将Group by查询的性能发挥到最佳。

图3示出了本发明的第二实施例。

图3为根据本发明第二实施例的一种MongoDB集群快速查询计算装置结构示意图。如图3所示，为本发明实施例所述MongoDB集群快速查询装置结构示意图。MongoDB集群快速查询计算装置300包括：确定模块301、查询模块302、记录模块303和处理模块304。其中：确定模块301用于确定查询条件，所述查询条件用于查询MongoDB所有分片的指定数据表中与指定分组对应的分组汇总信息；查询模块302根据确定模块301确定的查询条件，查询位于MongoDB数据库集群310中指定数据表，获取所述数据表中与所述分组对应的数据信息；记录模块303，用于将所述数据信息存储在服务器上的第一临时数据缓存表中，该服务器可以是MongoDB集群中的某个服务器，也可以是另外设定的一台服务器；处理模块304，用于对所述第一临时数据缓存表中的数据信息进行分组查询计算。

在本实施例中，所述查询模块采用find语句查询所述指定数据表，获取与所述指定分组对应的数据信息。

在本实施例中，所述处理模块采用Group by语句对所述第一临时数据缓存表中的数据信息进行分组查询计算。

在本实施例的优选实施方式中，在所述快速查询计算装置300中包括转存模块（未示出）用于将所述分组查询计算的结果存储在服务器上第二临时数据缓存表中。

在本实施例的优选实施方式中，所述查询计算装置300还包括日志表建立模块（未示出），用于建立所述第一数据缓存表或第二数据缓存表的日志表。

在本实施例的优选实施方式中，所述查询计算装置还包括索引建立模块（未示出），用于建立所述第一数据缓存表或第二数据缓存表的一个或组合索引。

本实施例的查询装置，通过对临时缓存表存储形式的修改，将在多台服务器上存储的数据在一台服务器上集中存储，可以将原来的MapReduce查询替换为Group by查询，大大提高了数据的查询和计算的速度。

另外，在本实施例的优选的实施方式中，通过增加日志表、索引及分块操作数据库的方式，在保证查询结果准确性的前提下，将Group by查询的性能发挥到最佳。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种MongoDB集群快速查询计算的方法，其特征在于，所述方法包括：

S1、确定查询条件，所述查询条件用于查询MongoDB所有分片的指定数据表中与查询条件对应的指定分组的分组汇总数据；

S2、根据所述查询条件，查询所述指定数据表，获取与所述查询条件对应的指定分组中的数据；

S3、将所述数据存储在服务器上的第一临时数据缓存表中；

S4、对所述第一临时数据缓存表中的数据进行分组查询并对查询结果进行计算。

2.根据权利要求1所述的快速查询计算方法，其特征在于，在所述步骤S4之后，还包括步骤S5，将步骤S4中所述的分组查询计算的结果存储在服务器上的第二临时数据缓存表中。

3.根据权利要求1或2所述的快速查询计算方法，其特征在于，所述步骤S2中，采用find语句查询所述指定数据表，获取与所述查询条件对应的指定分组中的数据，所述步骤S4中，采用Group by语句对所述第一临时数据缓存表中的数据进行分组查询并对查询结果进行计算。

4.根据权利要求1或2所述的快速查询计算方法，其特征在于，在所述步骤S3与步骤S4之间，还包括步骤S3-1，建立所述第一数据缓存表的日志表。

5.根据权利要求1或2所述的快速查询计算方法，其特征在于，在所述步骤S2中，根据所述查询条件，查询所述指定数据表包括：将所述查询条件拆分为多个区间的查询条件。

6.根据权利要求1或2所述的快速查询计算方法，其特征在于，所述步骤S3中，将所述数据信息存储在服务器的第一临时数据缓存表中包括：将需要存储的数据分为多个小块的数据分批存储。

7.根据权利要求2所述的快速查询计算方法，其特征在于，在所述步骤S5之后，还包括步骤S6，建立所述第二临时数据缓存表的日志表。

8.根据权利要求7所述的快速查询计算方法，其特征在于，当所述第一临时数据缓存表的日志表或第二临时数据缓存表的日志表中的数据的查询频率低于预定频率阈值时，删除第一临时数据缓存表或第二临时数据缓存表中的所述数据。

9.根据权利要求8所述的快速查询计算方法，其特征在于，当所述第一临时数据缓存表的日志表或第二临时数据缓存表的日志表中数据的日期属性超过过期时间阈值时，删除第一临时数据缓存表或第二临时数据缓存表中的对应的数据信息。

10.一种MongoDB集群的快速查询计算装置，其特征在于，所述装置包含：

确定模块，用于确定查询条件，所述查询条件用于查询MongoDB所有分片的指定数据表中与查询条件对应的指定分组的分组汇总数据；

查询模块，用于根据所述查询条件，查询所述指定数据表，获取与所述指定分组对应的数据信息；

记录模块，用于将所述数据信息存储在服务器上的第一临时数据缓存表中；

处理模块，用于对所述第一临时数据缓存表中的数据信息进行分组查询并对查询结果进行计算。

Images