CN109408467A - 一种实现数据存储的方法及装置 - Google Patents

Abstract

本申请实施例公开了一种实现数据存储的方法及装置，在传统的文件存储***中配置两种存储模式，分别为文件存储模式和对象存储模式，在具体实现时，存储***通过对外接口接收对象客户端发送的数据存储请求，并对该数据存储请求进行解析，获得用户身份信息，然后根据用户身份信息查找该数据存储请求对应的用户配置文件，再根据用户配置文件确定数据存储模式，最后根据确定的数据存储模式选择对应的存储路径进行数据存储，从而实现在一个存储***中融合两种存储模式，根据用户的需求选择不同的存储模式，提高存储***的利用率，满足海量数据的存储。同时，在一种存储***中部署两种存储模式，减少设备成本。

Description

一种实现数据存储的方法及装置

技术领域

本申请涉及互联网技术领域，具体涉及一种实现数据存储的方法及装置。

背景技术

随着信息技术的进一步加速，海量数据的存储和共享显得更加的紧迫和必要。随着大数据和云的兴起，数据存储作为一切其他数据行为的基础扮演着越来越重要的角色。

传统的文件***存储服务正被广泛应用，文件存储采用网络文件***(NetworkFile System，NFS)或通用网络文件***(Common Internet File System，CIFS)命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS文件***。但由于文件存储的协议开销高、带宽低、延迟大，不利于在高性能集群中应用，无法适用海量数据的存储。

发明内容

有鉴于此，本申请实施例提供一种实现数据存储方法及装置，以提高数据存储服务，实现海量数据存储。

为解决上述问题，本申请实施例提供的技术方案如下：

本申请第一方面提供了一种实现数据存储的方法，所述方法应用于分布式文件存储***，所述分布式文件存储***的对外接口连接对象客户端，所述方法包括：

接收所述对象客户端发送的数据存储请求；所述数据存储请求包括存储的数据以及用户身份信息；

解析所述数据存储请求，根据所述用户身份信息获取所述数据存储请求对应的用户配置文件；

根据所述用户配置文件确定数据存储模式；所述数据存储模式为文件存储模式或对象存储模式；

根据所述数据存储模式，选择对应的存储路径对数据进行存储。

在一种可能的实现方式中，在接收所述对象客户端发送的数据存储请求前，所述方法还包括：

启动rados服务；所述rados服务用于提供对象存储服务；

当所述数据存储模式为所述对象存储模式时，所述根据所述数据存储模式，选择对应的存储路径对数据进行存储，包括：

选择对应的存储路径，利用所述rados服务对数据进行存储。

在一种可能的实现方式中，所述方法还包括：

修改所述对外接口对应的配置文件，在所述配置文件中添加执行所述rados服务的存储节点。

在一种可能的实现方式中，所述分布式文件存储***的对外接口与所述对象客户端采用s3协议或Swift协议进行数据传输。

在一种可能的实现方式中，所述方法还包括：

向所述对象客户端发送存储结果信息，以便向用户展示存储结果。

本申请第二方面提供了一种实现数据存储的装置，所述装置应用于分布式文件存储***，所述分布式文件存储***的对外接口连接对象客户端，所述装置包括：

接收单元，用于接收所述对象客户端发送的数据存储请求；所述数据存储请求包括存储的数据以及用户身份信息；

解析单元，用于解析所述数据存储请求，根据所述用户身份信息获取所述数据存储请求对应的用户配置文件；

确定单元，用于根据所述用户配置文件确定数据存储模式；所述数据存储模式为文件存储模式或对象存储模式；

存储单元，用于根据所述数据存储模式，选择对应的存储路径对数据进行存储。

在一种可能的实现方式中，所述装置还包括：

启动单元，用于在接收单元接收所述数据存储请求前，启动rados服务；所述rados服务用于提供对象存储服务；

当所述数据存储模式为所述对象存储模式时，所述存储单元，具体用于选择对应的存储路径，利用所述rados服务对数据进行存储。

在一种可能的实现方式中，所述装置还包括：

修改单元，用于修改所述对外接口对应的配置文件，在所述配置文件中添加执行所述rados服务的存储节点。

在一种可能的实现方式中，所述分布式文件存储***的对外接口与所述对象客户端采用s3协议或Swift协议进行数据传输。

在一种可能的实现方式中，所述装置还包括：

发送单元，用于向所述对象客户端发送存储结果信息，以便向用户展示存储结果。

由此可见，本申请实施例具有如下有益效果：

本申请实施例在传统的文件存储***中配置两种存储模式，分别为文件存储模式和对象存储模式，在具体实现时，存储***通过对外接口接收对象客户端发送的数据存储请求，并对该数据存储请求进行解析，获得用户身份信息，然后根据用户身份信息查找该数据存储请求对应的用户配置文件，再根据用户配置文件确定数据存储模式，最后根据确定的数据存储模式选择对应的存储路径进行数据存储，从而实现在一个存储***中融合两种存储模式，根据用户的需求选择不同的存储模式，提高存储***的利用率，满足海量数据的存储。同时，在一种存储***中部署两种存储模式，减少设备成本。

附图说明

图1为本申请实施例提供的示例性应用场景的框架示意图；

图2为本申请实施例提供的一种实现数据存储的方法的流程图

图3为本申请实施例提供的一种分布式文件存储***划分结构图；

图4为本申请实施例提供的一种实现数据存储的装置结构图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。

为便于理解本申请的技术方案，下面将先对本申请的背景技术进行说明。

发明在对传统的存储方法研究中发现，传统的文件***存储服务正被广泛应用，文件存储就是网络存储(Network Attached Storage，NAS)。但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。然而，面对海量存储需求，对象存储服务因其高安全与高可靠性、外加其随时随地可访问的特性，越来越受到广大互联网用户的青睐。对象存储是无层次结构的数据存储方法，通常用于云中。不同于其他数据存储方法，基于对象的存储不使用目录树，对象存储，则采用的是扁平的数据结构，替代了传统NAS的目录树结构，其次是简洁的数据读写接口，以提高用户访问与数据读写的效率。

基于此，本申请实施例提供了一种实现数据存储的方法及装置，该存储方法基于分布式文件存储***，在该存储***中融合两种不同的存储模式，即文件存储模式和对象存储模式，该***通过对外接口接收对象客户端发送的数据存储请求，并解析该数据存储请求以根据用户身份信息获取该数据存储请求对应的用户配置文件，然后根据用户配置文件确定数据存储模式，最后根据数据存储模式，选择对应的存路径对数据进行存储。可见，本申请实施例为在一种存储***中为用户提供两种不同数据存储模式，既节约了设备成本，同时满足不同用户需求，提高文件存储和对象存储的竞争力。

参见图1，该图为本申请实施例提供的示例性应用场景的框架示意图。其中，本申请实施例提供的实现数据存储的方法应用于分布式文件存储***20。

实际应用时，分布式文件存储***20接收对象客户端10发送的数据存储请求，并对数据存储请求进行解析，根据解析获得的用户身份信息确定该数据存储请求对应的用户配置文件，确定数据存储模式，进行数据存储。

本领域技术人员可以理解，图1所示的框架示意图仅是本申请的实施方式可以在其中得以实现的一个示例。本申请实施方式的适用范围不受到该框架任何方面的限制。

需要注意的是，对象客户端10可以承载于终端，终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如，Wi-Fi、LAN、蜂窝、同轴电缆等)相互交互的任何用户设备，包括但不限于：现有的、正在研发的或将来研发的智能可穿戴设备、智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本申请的实施方式在此方面不受任何限制。还需要注意的是，本申请实施例中分布式文件存储***20可以是现有的、正在研发的或将来研发的、能够向用户提供数据存储服务的设备的一个示例。本申请的实施方式在此方面不受任何限制。

为便于理解本申请提供的技术方案，下面将结合附图对本申请提供的实现数据存储方法进行说明。

参见图2，该图为本申请实施例提供的一种实现数据存储方法的流程图，该方法应用于分布式文件存储***，其中，分布式文件存储***的对外接口连接对象客户端，该方法可以包括：

S201：接收对象客户端发送的数据存储请求。

本实施例中，当对象客户端有数据需要进行存储时，向分布式文件存储***发送数据存储请求，以便分布式文件存储***可以根据数据存储请求进行相应操作，实现数据存储。

其中，数据存储请求可以包括存储的数据以及用户身份信息，该用户身份信息可以为对应对象客户端的ID、IP地址等可以唯一标识用户身份的信息。

S202：解析数据存储请求，根据用户身份信息获取数据存储请求对应的用户配置文件。

本实施例中，当接收到对象客户端发送的数据存储请求后，解析数据存储请求，以获取用户身份信息。然后，根据用户身份信息获取数据存储请求对应的用户配置文件。

其中，用户配置文件为由***根据用户的请求预先创建的配置文件，该用户配置文件可以包括用户标识、该用户存储数据所设置的数据存储模式。在实际应用中，不同的用户对应不同的用户配置文件，不同的用户配置文件中可以包括不同的数据存储模式。其中数据存储模式可以为文件存储模式和对象存储模式。

S203：根据用户配置文件确定数据存储模式。

本实施例中，当解析获得用户配置文件后，可以从用户配置文件确定该对象客户端对应的数据存储模式。

S204：根据数据存储模式，选择对应的存储路径对数据进行存储。

本实施例中，当确定出数据存储模式，选择与该数据存储模式对应的存储路径，然后进行数据存储。即，当确定数据存储模式为文件存储模式时，根据预先设置的存储路径，以文件存储模式对数据进行存储；当确定数据存储模式为对象存储模式时，根据预先设置的存储路径，以对象存储模式对数据进行存储。

在实际应用中，对象存储划分为三层结构，分别为用户层、容器层和对象层，租户不作为独立的层次划分。而为了实现在一套存储***中融合文件存储和对象存储两种存储模式，统一划分为四层结构，即将租户作为一层，实现支持对象存储的多租户功能。在本申请对应的分布式文件存储***包括租户级目录、容器级目录、文件级目录，该四层分别对应对象存储的租户、用户、容器和对象，如图3所示。

另外，当存储***完成数据存储时，可以向对象客户端发送存储结果信息，以便对象客户端向用户展示存储结果，便于用户查看存储情况。

在实际应用中，分布式文件存储***对外接口可以为rados网关，rados能够在动态变化和异质结构的存储设备机群之上提供一种稳定、可扩展、高性能的单一逻辑对象(Object)存储接口，通过rados网关与对象客户端通信。在具体实现时，对外接口与对象客户端可以采用s3协议或Swift协议进行数据传输。

当利用该分布式文件存***向对象客户端提供存储服务时，首先启动rados服务，该rados服务可以用于为对象客户端提供对象存储服务；当确定数据存储模式为对象存储模式时，选择对应的存储路径，利用rados服务对数据进行存储。

需要说明的是，在启动rados服务之前，还需修改对外接口对应的配置文件，在配置文件中添加执行rados服务的存储节点。可以理解的是，分布式文件存储***中可以包括多个存储节点，可以选择其中一个存储节点用于执行rados服务。

通过上述描述，本实施例提供的存储方法基于分布式文件存储***，在该存储***中融合两种不同的存储模式，即文件存储模式和对象存储模式，该***通过对外接口接收对象客户端发送的数据存储请求，并解析该数据存储请求以根据用户身份信息获取该数据存储请求对应的用户配置文件，然后根据用户配置文件确定数据存储模式，最后根据数据存储模式，选择对应的存路径对数据进行存储。可见，本申请实施例在一种存储***中为用户提供两种不同数据存储模式，既节约了设备成本，同时满足不同用户需求，提高文件存储和对象存储的竞争力。

基于上述方法实施例，本申请还提供了一种实现数据存储的装置，下面将结合附图对该装置进行说明。

参见图4，该图为本申请实施例提供的一种实现数据存储的装置结构图，所述装置应用于分布式文件存储***，所述分布式文件存储***的对外接口连接对象客户端，所述装置包括：

接收单元401，用于接收所述对象客户端发送的数据存储请求；所述数据存储请求包括存储的数据以及用户身份信息；

解析单元402，用于解析所述数据存储请求，根据所述用户身份信息获取所述数据存储请求对应的用户配置文件；

确定单元403，用于根据所述用户配置文件确定数据存储模式；所述数据存储模式为文件存储模式或对象存储模式；

存储单元404，用于根据所述数据存储模式，选择对应的存储路径对数据进行存储。

在一种可能的实现方式，所述装置还包括：

启动单元，用于在接收单元接收所述数据存储请求前，启动rados服务；所述rados服务用于提供对象存储服务；

当所述数据存储模式为所述对象存储模式时，所述存储单元，具体用于选择对应的存储路径，利用所述rados服务对数据进行存储。

在一种可能的实现方式，所述装置还包括：

修改单元，用于修改所述对外接口对应的配置文件，在所述配置文件中添加执行所述rados服务的存储节点。

在一种可能的实现方式，所述分布式文件存储***的对外接口与所述对象客户端采用s3协议或Swift协议进行数据传输。

在一种可能的实现方式，所述装置还包括：

发送单元，用于向所述对象客户端发送存储结果信息，以便向用户展示存储结果。

需要说明的是，本实施例中各个单元的实现可以参见图2所述方法实施例的实现，本实施例在此不再赘述。

通过上述描述，本申请实施例在传统的文件存储***中配置两种存储模式，分别为文件存储模式和对象存储模式，在具体实现时，存储***通过对外接口接收对象客户端发送的数据存储请求，并对该数据存储请求进行解析，获得用户身份信息，然后根据用户身份信息查找该数据存储请求对应的用户配置文件，再根据用户配置文件确定数据存储模式，最后根据确定的数据存储模式选择对应的存储路径进行数据存储，从而实现在一个存储***中融合两种存储模式，根据用户的需求选择不同的存储模式，提高存储***的利用率，满足海量数据的存储。同时，在一种存储***中部署两种存储模式，减少设备成本。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种实现数据存储方法，其特征在于，所述方法应用于分布式文件存储***，所述分布式文件存储***的对外接口连接对象客户端，所述方法包括：

接收所述对象客户端发送的数据存储请求；所述数据存储请求包括存储的数据以及用户身份信息；

解析所述数据存储请求，根据所述用户身份信息获取所述数据存储请求对应的用户配置文件；

根据所述用户配置文件确定数据存储模式；所述数据存储模式为文件存储模式或对象存储模式；

根据所述数据存储模式，选择对应的存储路径对数据进行存储。

2.根据权利要求1所述的方法，其特征在于，在接收所述对象客户端发送的数据存储请求前，所述方法还包括：

启动rados服务；所述rados服务用于提供对象存储服务；

当所述数据存储模式为所述对象存储模式时，所述根据所述数据存储模式，选择对应的存储路径对数据进行存储，包括：

选择对应的存储路径，利用所述rados服务对数据进行存储。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

修改所述对外接口对应的配置文件，在所述配置文件中添加执行所述rados服务的存储节点。

4.根据权利要求1所述的方法，其特征在于，所述分布式文件存储***的对外接口与所述对象客户端采用s3协议或Swift协议进行数据传输。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：

向所述对象客户端发送存储结果信息，以便向用户展示存储结果。

6.一种实现数据存储的装置，其特征在于，所述装置应用于分布式文件存储***，所述分布式文件存储***的对外接口连接对象客户端，所述装置包括：

接收单元，用于接收所述对象客户端发送的数据存储请求；所述数据存储请求包括存储的数据以及用户身份信息；

解析单元，用于解析所述数据存储请求，根据所述用户身份信息获取所述数据存储请求对应的用户配置文件；

确定单元，用于根据所述用户配置文件确定数据存储模式；所述数据存储模式为文件存储模式或对象存储模式；

存储单元，用于根据所述数据存储模式，选择对应的存储路径对数据进行存储。

7.根据权利要求6所述的方法，其特征在于，所述装置还包括：

启动单元，用于在接收单元接收所述数据存储请求前，启动rados服务；所述rados服务用于提供对象存储服务；

当所述数据存储模式为所述对象存储模式时，所述存储单元，具体用于选择对应的存储路径，利用所述rados服务对数据进行存储。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

修改单元，用于修改所述对外接口对应的配置文件，在所述配置文件中添加执行所述rados服务的存储节点。

9.根据权利要求6所述的装置，其特征在于，所述分布式文件存储***的对外接口与所述对象客户端采用s3协议或Swift协议进行数据传输。

10.根据权利要求6至9任意一项所述的装置，其特征在于，所述装置还包括：

发送单元，用于向所述对象客户端发送存储结果信息，以便向用户展示存储结果。