CN107844542A - 一种分布式文件存储方法及装置 - Google Patents

一种分布式文件存储方法及装置 Download PDF

Info

Publication number
CN107844542A
CN107844542A CN201711013180.7A CN201711013180A CN107844542A CN 107844542 A CN107844542 A CN 107844542A CN 201711013180 A CN201711013180 A CN 201711013180A CN 107844542 A CN107844542 A CN 107844542A
Authority
CN
China
Prior art keywords
file
storage system
storage
information
api interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711013180.7A
Other languages
English (en)
Inventor
魏星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Genersoft Information Technology Co Ltd
Original Assignee
Shandong Inspur Genersoft Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Genersoft Information Technology Co Ltd filed Critical Shandong Inspur Genersoft Information Technology Co Ltd
Priority to CN201711013180.7A priority Critical patent/CN107844542A/zh
Publication of CN107844542A publication Critical patent/CN107844542A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种分布式文件存储方法及装置，该方法包括：设置至少一种文件存储***；在应用层搭建认证服务器；设置至少一个API接口；利用所述认证服务器认证外部输入的存储信息；在所述存储信息认证通过时，根据所述存储信息，在所述至少一种文件存储***中确定目标文件存储***以及在所述至少一个API接口中确定至少一个目标API接口；利用所述目标文件存储***以及所述至少一个目标API接口，获取所述存储信息对应的待存储文件，并对所获取的待存储文件进行分布式存储。因此，本发明提供的方案可以提高文件的安全性。

Description

一种分布式文件存储方法及装置
技术领域
本发明涉及计算机技术领域，特别涉及一种分布式文件存储方法及装置。
背景技术
随着信息化的快速发展，各行各业在进行业务活动时通常会产生大量的文件。为了对业务活动进行有效的管理，需要对所产生的文件进行存储。
目前，无论业务活动中产生何种类型的待存储文件，均将所产生的待存储文件存储在指定的存储设备中。但是，存储设备在运行过程中可能会出现故障，且在对已存储文件进行管理时，管理成本较高。
可见，现有的方式，在存储设备发生故障时，其存储的文件可能会丢失或损伤。因此，文件的安全性较低。
发明内容
本发明实施例提供了一种分布式文件存储方法及装置，可以提高文件的安全性。
第一方面，本发明实施例提供了一种分布式文件存储方法，该方法包括：
设置至少一种文件存储***；
在应用层搭建认证服务器；
设置至少一个API接口；
利用所述认证服务器认证外部输入的存储信息；
在所述存储信息认证通过时，根据所述存储信息，在所述至少一种文件存储***中确定目标文件存储***以及在所述至少一个API接口中确定至少一个目标API接口；
利用所述目标文件存储***以及所述至少一个目标API接口，获取所述存储信息对应的待存储文件，并对所获取的待存储文件进行分布式存储。
优选地，
所述认证服务器包括至少一种认证方法；
所述存储信息包括用户信息、待存储文件属性信息以及至少一个操作要求；
所述利用所述认证服务器认证外部输入的存储信息，包括：
在所述至少一种认证方法中确定目标认证方法；
利用所述目标认证方法对所述存储信息包括的用户信息进行认证。
优选地，
所述至少一种认证方法包括：数字签名、OAUTH认证标准以及基于角色的权限访问控制RBAC中的至少一种或多种。
优选地，
每一种所述文件存储***分别对应一种存储需求；
每一个所述API接口对应一种操作动作；
所述存储信息包括用户信息、待存储文件属性信息以及至少一个操作要求；
所述根据所述存储信息，在所述至少一种文件存储***中确定目标文件存储***以及在所述至少一个API接口中确定至少一个目标API接口，包括：
针对每一种所述文件存储***均执行，判断当前所述文件存储***对应的存储需求是否与所述存储信息包括的待存储文件属性信息相匹配，如果是，将当前所述文件存储***确定为目标文件存储***；
针对每一个所述API接口均执行，判断当前所述API接口对应的操作动作是否与所述存储信息包括的任意一个操作要求相匹配，如果是，将当前所述API接口确定为目标API接口。
优选地，
每一种所述文件存储***分别对应至少一个存储节点；
所述对所获取的待存储文件进行分布式存储，包括：
将所获取的待存储文件切分成至少两个数据块；
为每一个所述数据块形成对应的至少一个备份块；
将所述至少两个数据块以及各个所述备份块，分布式存储在所述目标文件存储***对应的至少一个存储节点中。
优选地，
进一步包括：
接收外部输入的第一访问信息；
利用所述认证服务器认证所述访问信息；
在所述访问信息认证通过时，在所述至少一个API接口中确定至少一个待使用API接口，以及在所述至少一种文件存储***中确定待访问文件存储***；
利用所述至少一个待使用API接口以及所述待访问文件存储***，访问与所述访问信息对应的待访问文件；
缓存所述待访问文件；
在接收外部输入第二访问信息，且确定所述第二访问信息与所述第一访问信息相同时，直接访问缓存的待访问文件。
第二方面，本发明实施例提供了一种分布式文件存储装置，该装置包括：
存储***设置模块，用于设置至少一种文件存储***；
搭建模块，用于在应用层搭建认证服务器；
接口设置模块，用于设置至少一个API接口；
认证模块，用于利用所述搭建模块搭建的所述认证服务器认证外部输入的存储信息；
确定模块，用于在所述存储信息认证通过时，根据所述存储信息，在所述存储***设置模块设置的所述至少一种文件存储***中确定目标文件存储***以及在所述接口设置模块设置的所述至少一个API接口中确定至少一个目标API接口；
存储模块，用于利用所述确定模块确定的所述目标文件存储***以及所述至少一个目标API接口，获取所述存储信息对应的待存储文件，并对所获取的待存储文件进行分布式存储。
优选地，
在所述认证服务器包括至少一种认证方法、所述存储信息包括用户信息、待存储文件属性信息以及至少一个操作要求时，
所述认证模块，用于在所述至少一种认证方法中确定目标认证方法；利用所述目标认证方法对所述存储信息包括的用户信息进行认证。
优选地，
在每一种所述文件存储***分别对应一种存储需求、每一个所述API接口对应一种操作动作、所述存储信息包括用户信息、待存储文件属性信息以及至少一个操作要求时，
所述确定模块包括：***确定子模块以及接口确定子模块；
所述***确定子模块，用于针对每一种所述文件存储***均执行，判断当前所述文件存储***对应的存储需求是否与所述存储信息包括的待存储文件属性信息相匹配，如果是，将当前所述文件存储***确定为目标文件存储***；
所述接口确定子模块，用于针对每一个所述API接口均执行，判断当前所述API接口对应的操作动作是否与所述存储信息包括的任意一个操作要求相匹配，如果是，将当前所述API接口确定为目标API接口。
优选地，
在每一种所述文件存储***分别对应至少一个存储节点时，
所述存储模块包括：备份子模块以及存储子模块；
所述备份子模块，用于将所获取的待存储文件切分成至少两个数据块；为每一个所述数据块形成对应的至少一个备份块；
所述存储子模块，用于将所述至少两个数据块以及各个所述备份块，分布式存储在所述目标文件存储***对应的至少一个存储节点中。
优选地，
进一步包括：访问模块；
所述访问模块包括：访问子模块、缓存子模块以及确定子模块；
所述访问子模块，用于利用所述认证服务器认证所述访问信息；在所述访问信息认证通过时，在所述至少一个API接口中确定至少一个待使用API接口，以及在所述至少一种文件存储***中确定待访问文件存储***；利用所述至少一个待使用API接口以及所述待访问文件存储***，访问与所述访问信息对应的待访问文件；
所述缓存子模块，用于缓存所述待访问文件；
所述确定子模块，用于在接收外部输入第二访问信息，且确定所述第二访问信息与所述第一访问信息相同时，直接访问缓存的待访问文件。
本发明实施例提供了一种分布式文件存储方法及装置，首先设置至少一种文件存储***。然后在应用层搭建认证服务器，并设置至少一个API接口。在接收到外部输入的存储信息时，利用认证服务器认证存储信息。在存储信息认证通过时，根据存储信息在设置的各种文件存储***中确定目标文件存储***以及在设置的各种API接口中确定至少一个目标API接口。最后利用目标文件存储***以及各个目标API接口，获取存储信息对应的待存储文件，并对所获取的待存储文件进行分布式存储。通过上述可知，在接收到存储信息时，可以确定出目标文件存储***以及各个目标API接口，并利用目标文件存储***以及各个目标API接口对存储信息对应的待存储文件进行分布式存储。因此本发明实施例提供的方案可以提高文件的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种分布式文件存储方法的流程图；
图2是本发明另一个实施例提供的一种分布式文件存储方法的流程图；
图3是本发明一个实施例提供的一种分布式文件存储装置所在设备的一种硬件结构图；
图4是本发明一个实施例提供的一种分布式文件存储装置的结构示意图；
图5是本发明一个实施例提供的一种包括***确定子模块以及接口确定子模块的分布式文件存储装置的结构示意图；
图6是本发明一个实施例提供的一种包括备份子模块和存储子模块的分布式文件存储装置的结构示意图；
图7是本发明一个实施例提供的一种包括访问模块的分布式文件存储装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种分布式文件存储方法，该方法可以包括以下步骤：
步骤101：设置至少一种文件存储***；
步骤102：在应用层搭建认证服务器；
步骤103：设置至少一个API接口；
步骤104：利用所述认证服务器认证外部输入的存储信息；
步骤105：在所述存储信息认证通过时，根据所述存储信息，在所述至少一种文件存储***中确定目标文件存储***以及在所述至少一个API接口中确定至少一个目标API接口；
步骤106：利用所述目标文件存储***以及所述至少一个目标API接口，获取所述存储信息对应的待存储文件，并对所获取的待存储文件进行分布式存储。
根据图1所示的实施例，首先设置至少一种文件存储***。然后在应用层搭建认证服务器，并设置至少一个API接口。在接收到外部输入的存储信息时，利用认证服务器认证存储信息。在存储信息认证通过时，根据存储信息在设置的各种文件存储***中确定目标文件存储***以及在设置的各种API接口中确定至少一个目标API接口。最后利用目标文件存储***以及各个目标API接口，获取存储信息对应的待存储文件，并对所获取的待存储文件进行分布式存储。通过上述可知，在接收到存储信息时，可以确定出目标文件存储***以及各个目标API接口，并利用目标文件存储***以及各个目标API接口对存储信息对应的待存储文件进行分布式存储。因此本发明实施例提供的方案可以提高文件的安全性。
在本发明一个实施例中，至少一种文件存储***的数量以及型式均可以根据业务要求确定。比如，至少一种文件存储***可以设置为开源的轻量级分布式文件***FastDFS、TFS(TaobaoFileSystem，淘宝文件***)、可扩展的分布式文件***GFS、Hadoop分布式文件***HDFS、平行分布式文件***Lustre中的至少一种或多种。
在本发明一个实施例中，在上述图1所示流程图中的步骤102所涉及的认证服务器包括至少一种认证方法、上述图1所示流程图中步骤104所涉及的所述存储信息包括用户信息、待存储文件属性信息以及至少一个操作要求时，
上述图1所示流程图中步骤104利用所述认证服务器认证外部输入的存储信息，可以包括：
在所述至少一种认证方法中确定目标认证方法；
利用所述目标认证方法对所述存储信息包括的用户信息进行认证。
在本实施例中，用户信息可以包括用户名以及登录密码。待存储文件属性信息可以包括待存储文件标识、待存储文件的文件类型、待存储文件的文件大小。至少一种操作要求可以包括：访问、存储、更新、删除以及修改中的至少一种或多种。
在本实施例中，可以根据外部输入的认证复杂程度，在至少一种认证方法中确定目标认证方法。其中，认证复杂程度越高确定的目标认证方法越严格。在目标认证方法确定之后，利用目标认证方法对用户信息中包括的用户名以及登录密码进行认证，以判断用户信息是否为合法信息。
根据上述实施例，在认证服务器包括的各种认证方法中确定出目标认证方法，并利用目标认证方法对存储信息包括的用户信息进行认证，以保证存储信息为合法信息，从而提高安全性。
在本发明一个实施例中，认证服务器中包括的至少一种认证方法可以包括：数字签名、OAUTH认证标准以及RBAC中的至少一种或多种。
在本实施例中，认证方法可以根据业务要求确定。但是，至少一种认证方法包括但不限于数字签名、OAUTH认证标准以及RBAC中的至少一种或多种。其中OAUTH认证标准可以根据业务要求选用不同的版本，比如，选用OAUTH2.0认证标准。
根据上述实施例，至少一种认证方法可以根据业务要求选择数字签名、OAUTH认证标准以及RBAC中的至少一种或多种。因此，业务适用性较强。
在本发明一个实施例中，在上述图1所示流程图中的步骤101所涉及的每一种所述文件存储***分别对应一种存储需求、上述图1所示流程图中步骤103所涉及的每一个所述API接口对应一种操作动作、上述图1所示流程图中步骤104所涉及的存储信息可以包括用户信息、待存储文件标识以及操作动作时，
则上述所述图1所示流程图中的步骤105中所涉及的根据所述存储信息，在所述至少一种文件存储***中确定目标文件存储***以及在所述至少一个API接口中确定至少一个目标API接口，包括：
针对每一种所述文件存储***均执行，判断当前所述文件存储***对应的存储需求是否与所述存储信息包括的待存储文件属性信息相匹配，如果是，将当前所述文件存储***确定为目标文件存储***；
针对每一个所述API接口均执行，判断当前所述API接口对应的操作动作是否与所述存储信息包括的任意一个操作要求相匹配，如果是，将当前所述API接口确定为目标API接口。
在本实施例中，可以根据每一种文件存储***的特点，为每一种文件存储***设置对应的存储要求。其中，存储要求可以为存储预设文件类型的待存储文件，存储文件大小在预设数值区间内的待存储文件，存储具有预设权限的待存储文件，存储来自预设项目规模的待存储文件中的任意一种。
在本实施例中，待存储文件属性信息可以包括待存储文件标识、待存储文件的文件类型、待存储文件的文件大小。在确定目标文件存储***时，可以在待存储文件属性信息中确定出匹配项，其中，匹配项可以为待存储文件标识、待存储文件的文件类型、待存储文件的文件大小中的任意一种。然后将匹配项与每一种文件存储***对应的存储需求进行比对，以确定出与匹配项相匹配的存储需求。并将所确定的存储需求对应的文件存储***确定为目标文件存储***。
下面以设置文件存储***1和文件存储***2为例进行说明。文件存储***1对应的存储需求为存储文件大小在预设数值区间内的待存储文件，文件存储***2对应的存储需求为存储预设文件类型的待存储文件。接收到的存储信息的待存储文件属性信息中包括待存储文件标识A、待存储文件的文件类型B、待存储文件的文件大小C。那么在确定目标文件存储***时，将待存储文件属性信息中的待存储文件的文件类型B确定为匹配项，则判断文件存储***1对应的存储需求是否与文件类型B相匹配，经过判断，由于文件存储***1对应的存储需求为存储文件大小在预设数值区间内的待存储文件，与文件类型B不匹配，则不将文件存储***1确定为目标文件存储***。继续判断文件存储***2对应的存储需求是否与文件类型B相匹配，经过判断，由于文件存储***2对应的存储需求为存储预设文件类型的待存储文件，与文件类型B相匹配，则将文件存储***2确定为目标文件存储***。
在本实施例中，可以根据业务要求为每一个API(Application ProgrammingInterface，应用程序编程接口)接口设置对应的操作动作。其中，操作动作可以为上传、存储、分享以及管理中的任意一种。其中，管理可以为修改、更新以及删除中的任意一种。
在本实施例中，待存储文件属性信息可以包括待存储文件标识、待存储文件的文件类型、待存储文件的文件大小。在确定目标API接口时，可以在待存储文件属性信息中确定出至少一个匹配动作，其中，至少一个匹配动作可以为访问、存储、更新、删除以及修改中的任意一种或多种。然后将至少一个匹配动作与每一个API接口对应的操作动作进行比对，以确定出与至少一个匹配动作相匹配的至少一个操作动作。并将所确定的操作动作对应的API接口确定为目标API接口。
下面以设置API接口1以及A PI接口2为例进行说明。API接口1对应的操作动作为存储，API接口2对应的操作动作为管理。接收到的存储信息中包括的操作要求为存储。那么在确定目标API接口时，将待存储文件属性信息中的存储确定为匹配动作，则API接口1对应的操作动作是否与匹配动作“存储”相匹配，经过判断，API接口1对应的操作动作“存储”与匹配动作“存储”相匹配，则将API接口1确定为目标API接口。继续判断API接口2对应的操作动作是否与匹配动作“存储”相匹配，经过判断，API接口2对应的操作动作“管理”与匹配动作“存储”不匹配，则不将API接口2确定为目标API接口。
根据上述实施例，由于目标文件存储***是根据每一种文件存储***对应的存储需求以及存储信息包括的待存储文件属性信息确定出来的，因此确定出来的目标文件存储***与存储信息的匹配度较高。另外由于各个目标API接口是根据每一个API接口对应的操作动作以及存储***包括的操作要求确定出来的，因此确定出来的目标API接口与存储信息的匹配度较高。
在本发明一个实施例中，在上述图1所示流程图中的步骤101所涉及的每一种所述文件存储***分别对应至少一个存储节点时，
则上述图1所示流程图中的步骤106中所涉及的对所获取的待存储文件进行分布式存储，可以包括：
将所获取的待存储文件切分成至少两个数据块；
为每一个所述数据块形成对应的至少一个备份块；
将所述至少两个数据块以及各个所述备份块，分布式存储在所述目标文件存储***对应的至少一个存储节点中。
在本实施例中，每一种文件存储***对应的存储节点的数量均可以根据业务要求确定。且存储节点的具体型式也可以根据业务要求确定。比如，每一个存储节点均为固态硬盘。
在本实施例中，利用至少一个目标API接口根据存储信息中包括的待存储文件标识，获取存储信息对应的待存储文件。然后利用目标文件存储***根据业务要求将所获取的待存储文件切分成预设数量个数据块。并对各个数据块进行备份。为每一个数据块形成预设数量个备份块。然后将各个数据块以及各个备份块，分布式存储在目标文件存储***对应的各个存储节点中。这样即使任何一个数据块出现丢失时，也不会造成待存储文件出现不完整的情况。
根据上述实施例，将待存储文件切分成设定数量个数据块，并为各个数据块均形成了对应的备份块。在对待存储文件进行分布式存储时，将各个数据以及各个备份块分布式存储在目标文件存储***对应的各个存储节点中，以对待存储文件进行容灾备份，从而降低待存储文件丢失的概率。
在本发明一个实施例中，分布式文件存储方法可以进一步包括：
进一步包括：
接收外部输入的第一访问信息；
利用所述认证服务器认证所述访问信息；
在所述访问信息认证通过时，在所述至少一个API接口中确定至少一个待使用API接口，以及在所述至少一种文件存储***中确定待访问文件存储***；
利用所述至少一个待使用API接口以及所述待访问文件存储***，访问与所述访问信息对应的待访问文件；
缓存所述待访问文件；
在接收外部输入第二访问信息，且确定所述第二访问信息与所述第一访问信息相同时，直接访问缓存的待访问文件。
在本实施例中，在用户对已存储的文件进行访问时，需要发送访问信息。其中，访问信息中可以包括进行访问的用户信息、待访问文件标识以及访问动作。为了保证各个已存储文件不被非法用户访问，需要对访问信息进行认证。其中，认证的步骤可以为：在认证服务器包括的至少一种认证方法中确定目标认证方法，利用目标认证方法对访问信息中包括的用户信息进行认证，以确定访问信息是否为合法信息。
在认证通过时，在各个API接口中确定出操作动作与访问动作相匹配的API接口，将所确定的API接口确定为待使用API接口。然后根据待访问文件标识确定出待访问文件存储***。再利用各个待使用API接口去访问待访问文件存储***中的待访问文件。并缓存待访问文件。
当再次接收到访问信息时，判断当前接收到访问信息与之前接收到的访问信息是否一致。如果一致，则直接访问缓存的待访问文件即可，以减少访问文件存储***的访问量。如果不一致，则执行上述的访问过程，访问与当前访问信息对应的待访问文件。
根据上述实施例，在根据访问信息访问到待访问文件时，缓存待访问文件。当再次接收到与访问信息相同的访问信息时，直接访问缓存的待访问文件即可，从而可以减少文件存储***的访问量。
下面以接收到存储信息A为例。展开说明分布式文件存储方法，如图2所示，该分布式文件存储方法可以包括如下步骤：
步骤201：设置至少一种文件存储***，其中，每一种文件存储***分别对应至少一个存储节点，每一种文件存储***分别对应一种存储需求。
在本步骤中，设置了文件存储***1以及文件存储***2，其中，文件存储***1对应的存储需求为“存储文件大小在预设数据区间内的待存储文件”，且对应5个存储节点。文件存储***2对应的存储需求为“存储预设文件类型的待存储文件”，且对应10个存储节点。
在本步骤中，每一个存储节点中部署的操作***均可以根据业务要求确定。
下面以设置文件存储***1为例，对文件存储***的设置过程进行说明：文件存储***1为FastDFS，其对应5个存储节点，每一存储节点中均部署了centos7操作***。
文件存储***1的设置过程如下所示：
软件包准备如下：
FastDFS_v5.05.tar.gz
libfastcommon-1.0.7.tar.gz
下载：wget https://github.com/happyfish100/libfastcommon/archive/
V1.0.7.tar.gz
修改名字：mv V1.0.7libfastcommon-1.0.7.tar.gz
解压：tarzxvf libfastcommon-1.0.7.tar.gz
进入解压后目录：cd libfastcommon-1.0.7/
编译：./make.sh
安装：./make.sh install
设置几个软链接：ln-s/usr/lib64/libfastcommon.so/usr/local/lib/libfastcommon.so
设置几个软链接：ln-s/usr/lib64/libfastcommon.so/usr/lib/libfastcommon.so
设置几个软链接：ln-s/usr/lib64/libfdfsclient.so/usr/local/lib/libfdfsclient.so
设置几个软链接：ln-s/usr/lib64/libfdfsclient.so/usr/lib/libfdfsclient.so
安装tracker(***)服务FastDFS_v5.05.tar.gz
下载：wget https://github.com/happyfish100/FastDFS/archive/V5.05.tar.gz
修改名字：mv V5.05FastDFS_v5.05.tar.gz
解压：tarzxvf FastDFS_v5.05.tar.gz
进入解压后目录：cd FastDFS-5.05/
编译：./make.sh
安装：./make.sh install
安装结果：
/usr/bin存放有编译出来的文件/etc/fdfs存放有配置文件。
另外，为了使得文件操作***1可以通信，则在文件存储***1中配置tracker服务。
tracker服务配置过程如下：
制一份配置文件：cp/etc/fdfs/tracker.conf.sample/etc/fdfs/tracker.conf
编辑：vim/etc/fdfs/tracker.conf，编辑内容看下面中文注释，关键配置节如下：
#是否有效
disabled＝false
bind_addr＝
#服务端口
port＝22122
#连接超时时间
connect_timeout＝30
#服务超时时间
network_timeout＝60
#下面这个路径是保存store data和log的地方，需要改下，指向我们一个存在的目录
#创建目录：mkdir-p/opt/FastDFS/tracker/data-and-log
base_path＝/opt/FastDFS/tracker/data-and-log
启动tracker服务：/usr/bin/fdfs_trackerd/etc/fdfs/tracker.conf
重启tracker服务：/usr/bin/fdfs_trackerd/etc/fdfs/tracker.confrestart
最后，在文件存储***1对应的每一个存储节点中进行服务部署。可以部署torage(存储节点)服务部署，部署的过程如下：
复制一份配置文件：cp/etc/fdfs/storage.conf.sample/etc/fdfs/storage.conf
编辑：vim/etc/fdfs/storage.conf，编辑内容看下面中文注释，关键配置节如下：
#配置是否有效
disabled＝false
#组名
group_name＝group1
#绑定地址
bind_addr＝
client_bind＝true
#绑定端口
port＝23000
#下面这个路径是保存store data和log的地方，需要改下，指向一个存在的目录
#创建目录：mkdir-p/opt/FastDFS/storage/data-and-logbase_path＝/opt/FastDFS/storage/data-and-log
max_connections＝256
store_path_count＝1
#图片实际存放路径，如果有多个，这里可以有多行：
#store_path0＝/opt/FastDFS/storage/images-data0
#store_path1＝/opt/FastDFS/storage/images-data1
#store_path2＝/opt/FastDFS/storage/images-data2
#创建目录：mkdir-p/opt/FastDFS/storage/images-datastore_path0＝/opt/FastDFS/storage/images-data
subdir_count_per_path＝256
#指定tracker服务器的IP和端口
tracker_server＝192.168.1.114:22122
启动storage服务：/usr/bin/fdfs_storaged/etc/fdfs/storage.conf，
重启storage服务：/usr/bin/fdfs_storaged/etc/fdfs/storage.confrestart
步骤202：在应用层搭建认证服务器，其中，认证服务器中包括至少一种认证方法。
在本步骤中，认证服务器中包括的认证方法分别为数字签名、OAUTH认证标准以及RBAC。
下面以设置OAUTH为例进行说明：选用一台服务器，在所选用的认证服务器中搭建认证服务器，在该服务器中安装OAUTH服务层使用cas认证框架。配置好java开发环境和tomcat后，安装cas war包。
步骤203：设置至少一个API接口，其中，每一个API接口对应一种操作动作。
在本步骤中，设置了API接口1以及A PI接口2。其中，API接口1对应的操作动作为存储，API接口2对应的操作动作为访问。
下面以API接口1为RESTful的服务接口，文件存储***为FastDFS为例对API接口的设置过程进行说明：
在开发API时，需要使用FastDFS的java客户端jdk，maven依赖如下：
<dependency>
<groupId>org.csource</groupId>
<artifactId>FastDFS-client-java</artifactId>
<version>1.27-SNAPSHOT</version>
</dependency>
上传文件关键代码：
步骤204：接收外部输入的存储信息，其中，存储信息中包括用户信息、待存储文件属性信息以及至少一个操作要求。
在本实施例中，接收存储信息A，其中，存储信息A中包括用户名A、登录密码A、待存储文件标识A、待存储文件的文件类型A、待存储文件的文件大小A、操作要求为存储。
步骤205：在认证服务器包括的至少一种认证方法中确定目标认证方法。
在本步骤中，确定目标认证方法为OAUTH认证标准。
步骤206：利用目标认证方法对存储信息包括的用户信息进行认证，认证通过，执行步骤207；否则，结束当前流程。
在本步骤中，利用目标认证方法“OAUTH认证标准”对存储信息A包括的用户信息“用户名A以及登录密码A”进行认证，认证通过，执行步骤207。
步骤207：依次在至少一个文件存储***中选择一个文件存储***作为当前文件存储***。
步骤208：判断当前文件存储***对应的存储需求是否与存储信息包括的待存储文件属性信息相匹配，如果是，执行步骤210；否则，执行步骤209。
在本步骤中，以文件存储***1作为当前文件存储***进行说明：在确定目标文件存储***时，将待存储文件属性信息中的待存储文件的文件大小A确定为匹配项，则判断文件存储***1对应的存储需求“存储文件大小在预设数据区间内的待存储文件”是否与文件大小A相匹配，经过判断，文件存储***1对应的存储需求与文件大小A匹配，执行步骤210。
步骤209：判断当前文件存储***是否为最后一个文件存储***，如果是，结束当前流程；否则，执行步骤207。
步骤210：将当前文件存储***确定为目标文件存储***。
在本步骤中，将文件存储***1确定为目标文件存储***。
步骤211：依次在至少一个API接口中选择一个API接口作为当前API接口。
步骤212：判断当前所述API接口对应的操作动作是否与所述存储信息包括的任意一个操作要求相匹配，如果是，执行步骤214；否则，执行步骤213。
在本步骤中，以当前API接口为API接口1为例进行说明：在确定目标API接口时，将待存储文件属性信息“存储”确定为匹配动作，则API接口1对应的操作动作是否与匹配动作“存储”相匹配，经过判断，API接口1对应的操作动作“存储”与匹配动作“存储”相匹配，执行步骤214。
在本步骤中，在当前API接口为API接口2时，确定API接口对应的操作动作不与存储信息包括的任意一个操作要求相匹配，执行步骤213。
步骤213：判断当前文件存储***是否为最后一个文件存储***，如果是，步骤215；否则，执行步骤211。
步骤214：将当前API接口确定为目标API接口。
在本步骤中，将API接口1确定为目标API接口。
步骤215：利用各个目标API接口，根据存储信息包括的待存储文件属性信息，获取存储信息对应的待存储文件。
在本步骤中，利用目标API接口“API接口1”，根据存储信息包括的待存储文件标识A，获取存储信息A对应的待存储文件A。
步骤216：将所获取的待存储文件切分成至少两个数据块。
在本步骤中，利用目标文件存储***“文件存储***1”将待存储文件A切分成10个数据块。
步骤217：为每一个数据块形成对应的至少一个备份块。
在本步骤中，利用目标文件存储***“文件存储***1”分别为每一个数据块形成对应的5个备份块。
步骤218：将至少两个数据块以及各个备份块，分布式存储在目标文件存储***对应的至少一个存储节点中。
在本步骤中，利用目标文件存储***“文件存储***1”以及目标API接口“API接口1”将各个数据块以及各个备份块，分布式存储在“文件存储***1”对应的5个存储节点中。
步骤219：判断是否接收到第一访问信息，如果是，执行步骤220；否则，结束当前流程。
在本步骤中，接收到了访问信息B，其中，访问信息B中包括进行访问的用户信息B、待访问文件标识B以及访问动作B。
步骤220：在认证服务器包括的至少一种认证方法中确定认证方法。
在本步骤中，在认证服务器包括的各种认证方法中确定OAUTH认证标准。
步骤221：利用所确定的认证方法认证当前访问信息，认证通过，执行步骤222，否则，结束当前流程。
在本步骤中，利用认证方法“OAUTH认证标准”对访问信息B包括的用户信息“用户名B以及登录密码B”进行认证。认证通过，执行步骤222。
步骤222：在当前访问信息认证通过时，在至少一个API接口中确定至少一个待使用API接口，以及在至少一种文件存储***中确定待访问文件存储***。
在本步骤中，根据访问信息中的访问动作B确定的待使用API接口为“API接口2”，根据访问信息中的待访问文件标识B确定出待访问文件存储***为“文件存储***2”。
步骤223：利用至少一个待使用API接口以及待访问文件存储***，访问与访问信息对应的待访问文件。
在本步骤中，利用API接口2以及文件存储***2访问与访问信息B对应的待访问文件B。
步骤224：缓存待访问文件。
在本步骤中，缓存待访问文件B。
步骤225：判断是否接收到第二访问信息，如果是，执行步骤226；否则，结束当前流程。
在本步骤中，接收到了访问信息C，其中，访问信息C中包括进行访问的用户信息B、待访问文件标识B以及访问动作B。
步骤226：判断第二访问信息是否与第一访问信息一致，如果是，执行步骤227；否则，执行步骤221。
在本步骤中，判断出访问信息C与访问信息B一致，执行步骤228。
步骤227：直接访问缓存的待访问文件。
在本步骤中，直接访问缓存的待访问文件B。
如图3、图4所示，本发明实施例提供了一种分布式文件存储装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的分布式文件存储装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的分布式文件存储装置，包括：
存储***设置模块401，用于设置至少一种文件存储***；
搭建模块402，用于在应用层搭建认证服务器；
接口设置模块403，用于设置至少一个API接口；
认证模块404，用于利用所述搭建模块402搭建的所述认证服务器认证外部输入的存储信息；
确定模块405，用于在所述存储信息认证通过时，根据所述存储信息，在所述存储***设置模块401设置的所述至少一种文件存储***中确定目标文件存储***以及在所述接口设置模块403设置的所述至少一个API接口中确定至少一个目标API接口；
存储模块406，用于利用所述确定模块405确定的所述目标文件存储***以及所述至少一个目标API接口，获取所述存储信息对应的待存储文件，并对所获取的待存储文件进行分布式存储。
根据图4所示的实施例，首先利用存储***设置模块设置至少一种文件存储***。然后利用搭建模块在应用层搭建认证服务器，并利用接口设置模块设置至少一个API接口。在接收到外部输入的存储信息时，认证模块利用认证服务器认证存储信息。在存储信息认证通过时，确定模块根据存储信息在设置的各种文件存储***中确定目标文件存储***以及在设置的各种API接口中确定至少一个目标API接口。最后存储模块利用目标文件存储***以及各个目标API接口，获取存储信息对应的待存储文件，并对所获取的待存储文件进行分布式存储。通过上述可知，在接收到存储信息时，可以确定出目标文件存储***以及各个目标API接口，并利用目标文件存储***以及各个目标API接口对存储信息对应的待存储文件进行分布式存储。因此本发明实施例提供的方案可以提高文件的安全性。
在本发明一个实施例中，在所述认证服务器包括至少一种认证方法、所述存储信息包括用户信息、待存储文件属性信息以及至少一个操作要求时，
所述认证模块404，用于在所述至少一种认证方法中确定目标认证方法；利用所述目标认证方法对所述存储信息包括的用户信息进行认证。
在本发明一个实施例中，搭建模块402中包括的至少一种认证方法可以包括：数字签名、OAUTH认证标准、基于角色的权限访问控制RBAC中的至少一种或多种。
在本发明一个实施例中，如图5所示，在每一种所述文件存储***分别对应一种存储需求、每一个所述API接口对应一种操作动作、所述存储信息包括用户信息、待存储文件属性信息以及至少一个操作要求时，
所述确定模块405可以包括：***确定子模块501以及接口确定子模块502；
所述***确定子模块501，用于针对每一种所述文件存储***均执行，判断当前所述文件存储***对应的存储需求是否与所述存储信息包括的待存储文件属性信息相匹配，如果是，将当前所述文件存储***确定为目标文件存储***；
所述接口确定子模块502，用于针对每一个所述API接口均执行，判断当前所述API接口对应的操作动作是否与所述存储信息包括的任意一个操作要求相匹配，如果是，将当前所述API接口确定为目标API接口。
在本发明一个实施例中，如图6所示，在每一种所述文件存储***分别对应至少一个存储节点时，
所述存储模块406可以包括：备份子模块601以及存储子模块602；
所述备份子模块601，用于将所获取的待存储文件切分成至少两个数据块；为每一个所述数据块形成对应的至少一个备份块；
所述存储子模块602，用于将所述至少两个数据块以及各个所述备份块，分布式存储在所述目标文件存储***对应的至少一个存储节点中。
在本发明一个实施例中，如图7所示，进一步包括：访问模块701；
所述访问模块701包括：访问子模块7011、缓存子模块7012以及确定子模块7013；
所述访问子模块7011，用于利用所述认证服务器认证所述访问信息；在所述访问信息认证通过时，在所述至少一个API接口中确定至少一个待使用API接口，以及在所述至少一种文件存储***中确定待访问文件存储***；利用所述至少一个待使用API接口以及所述待访问文件存储***，访问与所述访问信息对应的待访问文件；
所述缓存子模块7012，用于缓存所述待访问文件；
所述确定子模块7013，用于在接收外部输入第二访问信息，且确定所述第二访问信息与所述第一访问信息相同时，直接访问缓存的待访问文件。
在本发明一个实施例提供了一种存储控制器，该存储控制器包括：处理器、存储器和总线；所述存储器用于存储执行指令；所述处理器与所述存储器通过所述总线连接；当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行上述任一项所述的分布式文件存储方法。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
综上所述，本发明各个实施例至少可以实现如下有益效果：
1、在本发明实施例中，首先设置至少一种文件存储***。然后在应用层搭建认证服务器，并设置至少一个API接口。在接收到外部输入的存储信息时，利用认证服务器认证存储信息。在存储信息认证通过时，根据存储信息在设置的各种文件存储***中确定目标文件存储***以及在设置的各种API接口中确定至少一个目标API接口。最后利用目标文件存储***以及各个目标API接口，获取存储信息对应的待存储文件，并对所获取的待存储文件进行分布式存储。通过上述可知，在接收到存储信息时，可以确定出目标文件存储***以及各个目标API接口，并利用目标文件存储***以及各个目标API接口对存储信息对应的待存储文件进行分布式存储。因此本发明实施例提供的方案可以提高文件的安全性。
2、在本发明实施例中，在认证服务器包括的各种认证方法中确定出目标认证方法，并利用目标认证方法对存储信息包括的用户信息进行认证，以保证存储信息为合法信息，从而提高安全性。
3、在本发明实施例中，至少一种认证方法可以根据业务要求选择数字签名、OAUTH认证标准以及RBAC中的至少一种或多种。因此，业务适用性较强。
4、在本发明实施例中，由于目标文件存储***是根据每一种文件存储***对应的存储需求以及存储信息包括的待存储文件属性信息确定出来的，因此确定出来的目标文件存储***与存储信息的匹配度较高。另外由于各个目标API接口是根据每一个API接口对应的操作动作以及存储***包括的操作要求确定出来的，因此确定出来的目标API接口与存储信息的匹配度较高。
5、在本发明实施例中，将待存储文件切分成设定数量个数据块，并为各个数据块均形成了对应的备份块。在对待存储文件进行分布式存储时，将各个数据以及各个备份块分布式存储在目标文件存储***对应的各个存储节点中，以对待存储文件进行容灾备份，从而降低待存储文件丢失的概率。
6、在本发明实施例中，在根据访问信息访问到待访问文件时，缓存待访问文件。当再次接收到与访问信息相同的访问信息时，直接访问缓存的待访问文件即可，从而可以减少文件存储***的访问量。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种分布式文件存储方法，其特征在于，
设置至少一种文件存储***；
在应用层搭建认证服务器；
设置至少一个API接口；
还包括：
利用所述认证服务器认证外部输入的存储信息；
在所述存储信息认证通过时，根据所述存储信息，在所述至少一种文件存储***中确定目标文件存储***以及在所述至少一个API接口中确定至少一个目标API接口；
利用所述目标文件存储***以及所述至少一个目标API接口，获取所述存储信息对应的待存储文件，并对所获取的待存储文件进行分布式存储。
2.根据权利要求1所述的方法，其特征在于，
所述认证服务器包括至少一种认证方法；
所述存储信息包括用户信息、待存储文件属性信息以及至少一个操作要求；
所述利用所述认证服务器认证外部输入的存储信息，包括：
在所述至少一种认证方法中确定目标认证方法；
利用所述目标认证方法对所述存储信息包括的用户信息进行认证。
3.根据权利要求2所述的方法，其特征在于，
所述至少一种认证方法包括：数字签名、OAUTH认证标准以及基于角色的权限访问控制RBAC中的至少一种或多种。
4.根据权利要求1所述的方法，其特征在于，
每一种所述文件存储***分别对应一种存储需求；
每一个所述API接口对应一种操作动作；
所述存储信息包括用户信息、待存储文件属性信息以及至少一个操作要求；
所述根据所述存储信息，在所述至少一种文件存储***中确定目标文件存储***以及在所述至少一个API接口中确定至少一个目标API接口，包括：
针对每一种所述文件存储***均执行，判断当前所述文件存储***对应的存储需求是否与所述存储信息包括的待存储文件属性信息相匹配，如果是，将当前所述文件存储***确定为目标文件存储***；
针对每一个所述API接口均执行，判断当前所述API接口对应的操作动作是否与所述存储信息包括的任意一个操作要求相匹配，如果是，将当前所述API接口确定为目标API接口。
5.根据权利要求1所述的方法，其特征在于，
每一种所述文件存储***分别对应至少一个存储节点；
所述对所获取的待存储文件进行分布式存储，包括：
将所获取的待存储文件切分成至少两个数据块；
为每一个所述数据块形成对应的至少一个备份块；
将所述至少两个数据块以及各个所述备份块，分布式存储在所述目标文件存储***对应的至少一个存储节点中。
6.根据权利要求1至5任一所述的方法，其特征在于，
进一步包括：
接收外部输入的第一访问信息；
利用所述认证服务器认证所述访问信息；
在所述访问信息认证通过时，在所述至少一个API接口中确定至少一个待使用API接口，以及在所述至少一种文件存储***中确定待访问文件存储***；
利用所述至少一个待使用API接口以及所述待访问文件存储***，访问与所述访问信息对应的待访问文件；
缓存所述待访问文件；
在接收外部输入第二访问信息，且确定所述第二访问信息与所述第一访问信息相同时，直接访问缓存的待访问文件。
7.一种分布式文件存储装置，其特征在于，
存储***设置模块，用于设置至少一种文件存储***；
搭建模块，用于在应用层搭建认证服务器；
接口设置模块，用于设置至少一个API接口；
认证模块，用于利用所述搭建模块搭建的所述认证服务器认证外部输入的存储信息；
确定模块，用于在所述存储信息认证通过时，根据所述存储信息，在所述存储***设置模块设置的所述至少一种文件存储***中确定目标文件存储***以及在所述接口设置模块设置的所述至少一个API接口中确定至少一个目标API接口；
存储模块，用于利用所述确定模块确定的所述目标文件存储***以及所述至少一个目标API接口，获取所述存储信息对应的待存储文件，并对所获取的待存储文件进行分布式存储。
8.根据权利要求7所述的装置，其特征在于，
在所述认证服务器包括至少一种认证方法、所述存储信息包括用户信息、待存储文件属性信息以及至少一个操作要求时，
所述认证模块，用于在所述至少一种认证方法中确定目标认证方法；利用所述目标认证方法对所述存储信息包括的用户信息进行认证。
9.根据权利要求7所述的装置，其特征在于，
在每一种所述文件存储***分别对应一种存储需求、每一个所述API接口对应一种操作动作、所述存储信息包括用户信息、待存储文件属性信息以及至少一个操作要求时，
所述确定模块包括：***确定子模块以及接口确定子模块；
所述***确定子模块，用于针对每一种所述文件存储***均执行，判断当前所述文件存储***对应的存储需求是否与所述存储信息包括的待存储文件属性信息相匹配，如果是，将当前所述文件存储***确定为目标文件存储***；
所述接口确定子模块，用于针对每一个所述API接口均执行，判断当前所述API接口对应的操作动作是否与所述存储信息包括的任意一个操作要求相匹配，如果是，将当前所述API接口确定为目标API接口；
和/或，
在每一种所述文件存储***分别对应至少一个存储节点时，
所述存储模块包括：备份子模块以及存储子模块；
所述备份子模块，用于将所获取的待存储文件切分成至少两个数据块；为每一个所述数据块形成对应的至少一个备份块；
所述存储子模块，用于将所述至少两个数据块以及各个所述备份块，分布式存储在所述目标文件存储***对应的至少一个存储节点中。
10.根据权利要求7至9任一所述的装置，其特征在于，
进一步包括：访问模块；
所述访问模块包括：访问子模块、缓存子模块以及确定子模块；
所述访问子模块，用于利用所述认证服务器认证所述访问信息；在所述访问信息认证通过时，在所述至少一个API接口中确定至少一个待使用API接口，以及在所述至少一种文件存储***中确定待访问文件存储***；利用所述至少一个待使用API接口以及所述待访问文件存储***，访问与所述访问信息对应的待访问文件；
所述缓存子模块，用于缓存所述待访问文件；
所述确定子模块，用于在接收外部输入第二访问信息，且确定所述第二访问信息与所述第一访问信息相同时，直接访问缓存的待访问文件。
CN201711013180.7A 2017-10-26 2017-10-26 一种分布式文件存储方法及装置 Pending CN107844542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711013180.7A CN107844542A (zh) 2017-10-26 2017-10-26 一种分布式文件存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711013180.7A CN107844542A (zh) 2017-10-26 2017-10-26 一种分布式文件存储方法及装置

Publications (1)

Publication Number Publication Date
CN107844542A true CN107844542A (zh) 2018-03-27

Family

ID=61662769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711013180.7A Pending CN107844542A (zh) 2017-10-26 2017-10-26 一种分布式文件存储方法及装置

Country Status (1)

Country Link
CN (1) CN107844542A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595591A (zh) * 2018-04-19 2018-09-28 国云科技股份有限公司 一种混合文件存储的方法
CN110968259A (zh) * 2018-09-30 2020-04-07 武汉斗鱼网络科技有限公司 分步式对象存储***、对象储存方法及存储介质
CN111581158A (zh) * 2020-05-04 2020-08-25 上海维信荟智金融科技有限公司 分布式文件存储方法及***
CN112380178A (zh) * 2020-11-25 2021-02-19 北京明略软件***有限公司 文件存储与管理方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1464453A (zh) * 2002-06-06 2003-12-31 联想(北京)有限公司 基于分布式文件***的文件存储***及其文件访问方法
CN101944124A (zh) * 2010-09-21 2011-01-12 卓望数码技术（深圳）有限公司 分布式文件***管理方法、装置以及对应的文件***
CN102375853A (zh) * 2010-08-24 2012-03-14 ***通信集团公司 分布式数据库***、在其中建立索引的方法和查询方法
CN102394894A (zh) * 2011-11-28 2012-03-28 武汉大学 一种基于云计算的网络虚拟磁盘文件安全管理方法
CN102457555A (zh) * 2010-10-28 2012-05-16 中兴通讯股份有限公司 一种分布式存储的安全***及方法
CN102546664A (zh) * 2012-02-27 2012-07-04 中国科学院计算技术研究所 用于分布式文件***的用户与权限管理方法及***
US8504565B2 (en) * 2004-09-09 2013-08-06 William M. Pitts Full text search capabilities integrated into distributed file systems— incrementally indexing files
CN104239125A (zh) * 2014-09-28 2014-12-24 北京奇艺世纪科技有限公司 对象处理方法、分布式文件***及客户端设备
CN105190622A (zh) * 2013-03-15 2015-12-23 亚马逊科技公司 用于分布式数据库***的快速崩溃恢复

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1464453A (zh) * 2002-06-06 2003-12-31 联想(北京)有限公司 基于分布式文件***的文件存储***及其文件访问方法
US8504565B2 (en) * 2004-09-09 2013-08-06 William M. Pitts Full text search capabilities integrated into distributed file systems— incrementally indexing files
CN102375853A (zh) * 2010-08-24 2012-03-14 ***通信集团公司 分布式数据库***、在其中建立索引的方法和查询方法
CN101944124A (zh) * 2010-09-21 2011-01-12 卓望数码技术（深圳）有限公司 分布式文件***管理方法、装置以及对应的文件***
CN102457555A (zh) * 2010-10-28 2012-05-16 中兴通讯股份有限公司 一种分布式存储的安全***及方法
CN102394894A (zh) * 2011-11-28 2012-03-28 武汉大学 一种基于云计算的网络虚拟磁盘文件安全管理方法
CN102546664A (zh) * 2012-02-27 2012-07-04 中国科学院计算技术研究所 用于分布式文件***的用户与权限管理方法及***
CN105190622A (zh) * 2013-03-15 2015-12-23 亚马逊科技公司 用于分布式数据库***的快速崩溃恢复
CN104239125A (zh) * 2014-09-28 2014-12-24 北京奇艺世纪科技有限公司 对象处理方法、分布式文件***及客户端设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595591A (zh) * 2018-04-19 2018-09-28 国云科技股份有限公司 一种混合文件存储的方法
CN110968259A (zh) * 2018-09-30 2020-04-07 武汉斗鱼网络科技有限公司 分步式对象存储***、对象储存方法及存储介质
CN111581158A (zh) * 2020-05-04 2020-08-25 上海维信荟智金融科技有限公司 分布式文件存储方法及***
CN112380178A (zh) * 2020-11-25 2021-02-19 北京明略软件***有限公司 文件存储与管理方法及***
CN112380178B (zh) * 2020-11-25 2024-07-05 北京明略软件***有限公司 文件存储与管理方法及***

Similar Documents

Publication Publication Date Title
AU2016264496B2 (en) Custom communication channels for application deployment
CN111198848B (zh) 一种分布式文件访问方法、***、服务器和存储介质
CN109479062B (zh) 混合云计算***中的使用跟踪
US8756418B1 (en) System and method for automatically detecting and then self-repairing corrupt, modified or non-existent files via a communication medium
CN114666412A (zh) 混合云计算***中的访问服务
CN108289098B (zh) 分布式文件***的权限管理方法和装置、服务器、介质
CN107844542A (zh) 一种分布式文件存储方法及装置
CN106506587A (zh) 一种基于分布式存储的Docker镜像下载方法
US7584228B1 (en) System and method for duplication of virtual private server files
Calcote et al. Istio: Up and running: Using a service mesh to connect, secure, control, and observe
CN106254466B (zh) 基于局域网的hdfs分布式文件共享方法
US11494493B1 (en) Software verification for network-accessible applications
US11163499B2 (en) Method, apparatus and system for controlling mounting of file system
CN110213290A (zh) 数据获取方法、api网关以及存储介质
CN106909325A (zh) 日志打印方法和装置、以及日志打印***
Liao et al. Last-hdfs: Location-aware storage technique for hadoop distributed file system
CN117376364A (zh) 一种数据处理方法及相关设备
WO2021226854A1 (zh) 区块链机、区块链数据接入认证方法及计算机可读存储介质
CN115510018A (zh) 数据库集群扩容方法及***
CN106855872A (zh) 基于Hadoop平台的海量图片的快速检索方法
CN113760725A (zh) 数据处理方法、装置及存储介质
US10452837B1 (en) Inbound link handling
CN116339767B (zh) 应用资源配置方法、装置、计算机设备和存储介质
US11593498B2 (en) Distribution of user specific data elements in a replication environment
CN117319501A (zh) 基于云计算和K8s集群部署的数据访问方法、***、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327