CN109271449A - 一种基于文件的分布式存储查询***及查询方法 - Google Patents

Abstract

一种基于文件的分布式存储查询***包括：数据分配模块，数据分配模块将待存储的数据划分为多个子数据，并给每个子数据添加时间和ID标识符；分别与数据分配模块可通信地连接的多个数据存储节点，多个数据存储节点用于存储并基于时间和ID标识符来查询子数据；和分别与客户端和多个数据存储节点可通信地连接的服务器，服务器用于接收来自客户端的数据查询请求，并将其转发给多个数据存储节点，并将由多个数据存储节点查询到的子数据进行合并后返回到客户端。本发明的方案简化了***的设计，使整个***更加的简练、透明，执行查询时就像是在查询本机数据，同时整个***的维护也更加的简单容易。

Description

一种基于文件的分布式存储查询***及查询方法

技术领域

本发明属于计算机技术领域，特别涉及一种基于文件的分布式存储查询***及查询方法。

背景技术

现代计算机的广泛使用，数字信息的迅速膨胀，在各种领域中，特别是IT领域中，每天都可能会产生海量的原始数据，如何快速查询自己想要知道的原始数据，变得越来越重要。

现今的分布式存储***，一般采用的是分布式数据库***。分布式数据库技术较为复杂，整个***维护管理较为困难。本专利根据实际的应用，结合分布式原理，设计和实现了一种基于文件的分布式存储***，把海量数据分成多个小的数据文件，存储于多个存储节点上，并在此***开发了一个快速查询应用。

发明内容

有鉴于此，本发明实施例的目的在于提出一种基于文件的分布式存储查询***及查询方法，能够实现查询的所有处理都是在存储节点上完成的，这样可以简化***的设计，使整个***更加的简练、透明，执行查询时就像是在查询本机数据，同时整个***的维护也更加的简单容易。

基于上述目的，本发明的实施例的一个方面提供了一种基于文件的分布式存储查询***，包括：

数据分配模块，数据分配模块将待存储的数据划分为多个子数据，并给每个子数据添加时间和ID标识符；

分别与数据分配模块可通信地连接的多个数据存储节点，多个数据存储节点用于存储并基于时间和ID标识符来查询子数据；和

分别与客户端和多个数据存储节点可通信地连接的服务器，服务器用于接收来自客户端的数据查询请求，并将其转发给多个数据存储节点，并将由多个数据存储节点查询到的子数据进行合并后返回到客户端。

根据本发明的一个实施例，服务器中还包括用于将查询到的子数据进行合并的数据合并单元。

根据本发明的一个实施例，多个数据存储节点中的每一个中都包含处理器，处理器用于查询相应数据存储节点中的子数据。

根据本发明的一个实施例，标识符是产品名/年/月/日/ID前两位/文件名标识符。

根据本发明的一个实施例，数据分配模块设置在服务器中。

根据本发明的一个实施例，多个子数据的数量对应于多个数据存储节点的数量。

本发明的实施例的另一个方面，还提供了一种基于文件的分布式存储查询方法，包括以下步骤：

1)经由数据分配模块将待存储的数据划分为多个子数据，并给每个子数据添加时间和ID标识符，并将子数据发送到对应的多个数据存储结点中进行存储；

2)服务器接收数据查询请求，并将其转发给多个数据存储结点；

3)多个数据存储结点基于时间和ID标识符查询子数据，并将查询到的子数据发送到服务器；

4)服务器将子数据进行合并，并将合并后的数据返回客户端。

根据本发明的一个实施例，给每个所述子数据添加时间和ID标识符包括：给每个子数据添加产品名/年/月/日/ID前两位/文件名标识符。

根据本发明的一个实施例，步骤3)中查询子数据是通过设置在多个数据存储节点中的每一个中的处理器进行的。

根据本发明的一个实施例，步骤4)中将子数据进行合并是通过设置在服务器中的数据合并单元进行的。

本发明具有以下有益技术效果：本发明实施例提供的基于文件的分布式存储查询***及查询方法，通过数据分配模块，数据分配模块将待存储的数据划分为多个子数据，并给每个子数据添加时间和ID标识符；分别与数据分配模块可通信地连接的多个数据存储节点，多个数据存储节点用于存储并基于时间和ID标识符来查询子数据；和分别与客户端和多个数据存储节点可通信地连接的服务器，服务器用于接收来自客户端的数据查询请求，并将其转发给多个数据存储节点，并将由多个数据存储节点查询到的子数据进行合并后返回到客户端的技术方案，能够实现查询的所有处理都是在存储节点上完成的，这样可以简化***的设计，使整个***更加的简练、透明，执行查询时就像是在查询本机数据，同时整个***的维护也更加的简单容易。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明一个实施例的基于文件的分布式存储查询***的示意性框图；

图2为根据本发明一个实施例的基于文件的分布式存储查询方法的示意性流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

基于上述目的，本发明的实施例的第一个方面，提出了一种基于文件的分布式存储查询***的一个实施例。图1示出的是该***100的示意性框图。

如图1中所示，***100可以包括数据分配模块103，数据分配模块103将待存储的数据划分为多个子数据，并给每个子数据添加时间和ID标识符；分别与数据分配模块103可通信地连接的多个数据存储节点1-N，多个数据存储节点1-N用于存储并基于时间和ID标识符来查询子数据；和分别与客户端101和多个数据存储节点1-N可通信地连接的服务器102，服务器102用于接收来自客户端的数据查询请求，并将其转发给多个数据存储节点1-N，并将由多个数据存储节点1-N查询到的子数据进行合并后返回到客户端101。

通过以上技术方案，能够实现查询的所有处理都是在存储节点上完成的，这样可以简化***的设计，使整个***更加的简练、透明，执行查询时就像是在查询本机数据，同时整个***的维护也更加的简单容易。

在本发明的一个优选实施例中，服务器中还包括用于将查询到的子数据进行合并的数据合并单元，数据合并单元可以存储在服务器的存储器中，也可以存储在单独的存储器中，数据存储节点1-N将基于时间和ID标识符查询到的子数据首先返回到数据合并单元，数据合并单元将1-N个子数据合并为原始的数据文件，然后将该原始的数据文件发送的服务器，然后经由服务器返回到客户端。

在本发明的一个优选实施例中，多个数据存储节点1-N中的每一个中都包含处理器，该处理器用于查询相应的数据存储节点中的子数据，该处理器基于时间和ID标识符在各自相应的数据存储节点中搜索子数据，并将搜索到的子数据发送给服务器。

在本发明的一个优选实施例中，标识符是产品名/年/月/日/ID前两位/文件名标识符。在数据库存储***中，索引可以提高数据的查询速度，该***中各节点存储的文本文件，根据数据写入过程的设计，可以利用数据存储的目录结构来实现类似于数据库的索引功能，根据查询请求中的信息，可得到：产品名/年/月/日/ID前两位/文件名，这样就可以确定查询结果在节点中的具体路径与文件，完成结果所在文件的快速定位，提高数据局部查询的速度。

在本发明的一个优选实施例中，数据分配模块设置在服务器中，数据分配模块设置在服务器中单独的存储器中，服务器接收数据后首先发送到数据分配模块将数据划分成若干个子数据，然后将分配好的子数据返回到服务器中，再经由服务器将子数据分别发送到对应的数据存储节点用于存储。

在本发明的一个优选实施例中，多个子数据的数量对应于多个数据存储节点的数量，数据分配模块将数据划分为子数据的数量可以基于数据存储加点的数量来设置，保证每个子数据都可以存储在单独的数据存储节点中，以保证查询子数据时的速度。

各节点在接收到数据查询请求时，完成对自身的数据查询。从整个查询***来看，***并行查询所用时间，就是整个***中局部查询最慢节点查询所用的时间，所以必须尽可可能的提高每一个节点的查询速度或者适当增加数据被划分为子数据的数量以及相应数据存储节点的数量。

基于上述目的，本发明的实施例的第二个方面，提出了一种基于文件的分布式存储查询方法的一个实施例。如图2中所示，该方法可以包括：经由数据分配模块将待存储的数据划分为多个子数据，并给每个子数据添加时间和ID标识符，并将子数据发送到对应的多个数据存储结点中进行存储S201；服务器接收数据查询请求，并将其转发给多个数据存储结点S202；多个数据存储结点基于时间和ID标识符查询子数据，并将查询到的子数据发送到服务器S203；服务器将子数据进行合并，并将合并后的数据返回客户端S204。

在本发明的一个优选实施例中，步骤S201中给每个所述子数据添加时间和ID标识符包括：给每个子数据添加产品名/年/月/日/ID前两位/文件名标识符。在数据库存储***中，索引可以提高数据的查询速度，该***中各节点存储的文本文件，根据数据写入过程的设计，可以利用数据存储的目录结构来实现类似于数据库的索引功能，根据查询请求中的信息，可得到：产品名/年/月/日/ID前两位/文件名，这样就可以确定查询结果在节点中的具体路径与文件，完成结果所在文件的快速定位，提高数据局部查询的速度。

在本发明的一个优选实施例中，步骤S203中查询子数据是通过设置在多个数据存储节点中的每一个中的处理器进行的。在本发明的一个优选实施例中，步骤S204中将子数据进行合并是通过设置在服务器中的数据合并单元进行的。

通过以上技术方案，能够实现查询的所有处理都是在存储节点上完成的，这样可以简化***的设计，使整个***更加的简练、透明，执行查询时就像是在查询本机数据，查询速度快，同时整个***的维护也更加的简单容易。

在通常的计算机中，当输入到内存的数据量超过内存的大小时，数据内存的数据就会反复输出到硬盘，这样就会引起较高的费用。在局部查询中，若查询较长一段时间叫某ID号的记录时,如果将所有相关的结果文件都存放到内存中，这些文件的总大小极可能超出计算机的内存，这样必然影响查询的速度。为避免出现这种情况，在局部查询中，顺序查询每天的对应的文件，最终在节点上将查询时间段中每天的结果进行合并，发送给服务器端，这样局部查询中，各节点在执行查询中内存的消耗非常小，有利于提高局部查询速度。

本发明是设计一种基于文件的分布式存储查询***，本发明的分布式数据存储***最终是应用在数据的快速查洵上，给出一个ID号与时间段，能快速的查询这个ID号在这个时间段内所有的原始记录。本专利采用的是C/S(客户机/服务器)模式，其为分布式查询***的核心，把客户界面和应用***的应用逻辑分离开来，实现不同的应用。具体表现为client(客户端)的请求和server(服务器端)的请求响应。

需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，上述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(Read-Only Memory，ROM)或随机存取存储器(RandomAccess Memory，RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

此外，根据本发明实施例公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本发明实施例公开的方法中限定的上述功能。

需要特别指出的是，上述***的实施例采用了上述方法的实施例来具体说明各模块的工作过程，本领域技术人员能够很容易想到，将这些模块应用到上述方法的其他实施例中。

此外，典型地，本发明实施例公开所述的***、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本发明实施例公开的保护范围不应限定为某种特定类型的***、设备。

此外，上述方法步骤以及***单元或模块也可以利用控制器以及用于存储使得控制器实现上述步骤或单元或模块功能的计算机程序的计算机可读存储介质实现。

此外，应该明白的是，实现本发明的方法和***所采用的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个***的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

上述实施例，特别是任何“优选”实施例是实现的可能示例，并且仅为了清楚地理解本发明的原理而提出。可以在不脱离本文所描述的技术的精神和原理的情况下对上述实施例进行许多变化和修改。所有修改旨在被包括在本公开的范围内并且由所附权利要求保护。

Claims (10)

1.一种基于文件的分布式存储查询***，其特征在于，包括：

数据分配模块，所述数据分配模块将待存储的数据划分为多个子数据，并给每个所述子数据添加时间和ID标识符；

分别与所述数据分配模块可通信地连接的多个数据存储节点，所述多个数据存储节点用于存储并基于所述时间和ID标识符来查询所述子数据；和

分别与客户端和所述多个数据存储节点可通信地连接的服务器，所述服务器用于接收来自客户端的数据查询请求，并将其转发给所述多个数据存储节点，并将由多个数据存储节点查询到的所述子数据进行合并后返回到所述客户端。

2.根据权利要求1所述的基于文件的分布式存储查询***，其特征在于，所述服务器中还包括用于将查询到的所述子数据进行合并的数据合并单元。

3.根据权利要求1所述的基于文件的分布式存储查询***，其特征在于，所述多个数据存储节点中的每一个中都包含处理器，所述处理器用于查询相应数据存储节点中的所述子数据。

4.根据权利要求1所述的基于文件的分布式存储查询***，其特征在于，所述标识符是产品名/年/月/日/ID前两位/文件名标识符。

5.根据权利要求1所述的基于文件的分布式存储查询***，其特征在于，所述数据分配模块设置在所述服务器中。

6.根据权利要求1所述的基于文件的分布式存储查询***，其特征在于，所述多个子数据的数量对应于所述多个数据存储节点的数量。

7.一种基于文件的分布式存储查询方法，其特征在于，包括以下步骤：

1)经由数据分配模块将待存储的数据划分为多个子数据，并给每个所述子数据添加时间和ID标识符，并将所述子数据发送到对应的多个数据存储结点中进行存储；

2)服务器接收数据查询请求，并将其转发给所述多个数据存储结点；

3)所述多个数据存储结点基于所述时间和ID标识符查询所述子数据，并将查询到的所述子数据发送到所述服务器；

4)所述服务器将所述子数据进行合并，并将合并后的数据返回客户端。

8.根据权利要求7所述的基于文件的分布式存储查询方法，其特征在于，给每个所述子数据添加时间和ID标识符包括：给每个所述子数据添加产品名/年/月/日/ID前两位/文件名标识符。

9.根据权利要求7所述的基于文件的分布式存储查询方法，其特征在于，步骤3)中查询所述子数据是通过设置在所述多个数据存储节点中的每一个中的处理器进行的。

10.根据权利要求7所述的基于文件的分布式存储查询方法，其特征在于，步骤4)中将所述子数据进行合并是通过设置在所述服务器中的数据合并单元进行的。