CN106484322A - 一种挂载文件***的方法、装置及设备 - Google Patents
一种挂载文件***的方法、装置及设备 Download PDFInfo
- Publication number
- CN106484322A CN106484322A CN201610819478.6A CN201610819478A CN106484322A CN 106484322 A CN106484322 A CN 106484322A CN 201610819478 A CN201610819478 A CN 201610819478A CN 106484322 A CN106484322 A CN 106484322A
- Authority
- CN
- China
- Prior art keywords
- communication connection
- target storage
- node
- storage node
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种挂载文件***的方法,包括:客户端获取多个目标存储节点的标识,客户端根据多个目标存储节点的标识,建立与多个目标存储节点的多个通信连接,客户端使用多个通信连接挂载文件***。这样,单个客户端所建立的挂载点中,使用了与多个存储节点所建立的多条通信连接,使得客户端能够并行访问多个存储节点,从而提高客户端与存储***之间的传输速率,同时也提高了高带宽要求业务的运行稳定性。
Description
技术领域
本发明涉及通信领域,尤其涉及一种挂载文件***的方法、装置及设备。
背景技术
网络存储基于标准网络协议实现数据传输,为网络中的Windows/Linux/Mac OS等各种不同操作***的客户端提供文件共享和数据备份。多个客户端通过连接同一存储***(即网络存储)从而实现不同客户端的不同业务需求。比如基本的读取存储***中的文件,或者往存储***中写入文件等。由于存储***对存储容量的要求较大,所以存储***一般由多个存储节点组成。
客户端在访问存储***中的多个文件时,单个客户端就需要很高的稳定带宽(通常>2GB/s)。但是,随着人们的需求越来越高,越来越多的业务需要更高更稳定的带宽才能够实现,比如视频制作、高性能计算机群(英文全称:High Performance Computing,英文缩写:HPC)等的业务。而在现有技术中,基于标准NFS协议,单个客户端只能与存储***的单个存储节点建立连接。当存储***中的单个存储节点稳点带宽不能满足单台工作站需求时,则会影响业务正常运行,比如视频业务,可能会出现卡顿情况。因此,如现有的连接机制中,单个客户端在运行高带宽要求的业务时,由于单节点带宽不稳定,提供的带宽不足,使得客户端与存储***之间的传输速率较低,从而导致这类业务的正常运行。
发明内容
本申请提供了一种挂载文件***的方法、装置及设备,用于提高客户端与存储***之间的传输速率,提高了高带宽要求业务的运行稳定性。
本申请第一方面提供一种挂载文件***的方法,该文件***用于管理存储***中存储的文件,该方法包括:
该存储***包括多个存储节点,客户端从存储***中选择多个存储节点作为目标存储节点,该目标存储节点为客户端需要建立通信连接的存储节点,客户端获取多个目标存储节点的标识,该标识可以为存储节点的唯一识别标识,比如网络互连协议(英文全称:Internet Protocol,英文缩写:简称IP)地址,或者存储节点的序号,或者存储节点的节点名称等,客户端根据多个目标存储节点的标识,与多个目标存储节点建立多个通信连接,客户端再使用该多个通信连接挂载文件***,创建挂载点。
客户端获取多个目标存储节点的标识,客户端根据多个目标存储节点的标识,建立与多个目标存储节点的多个通信连接,客户端使用多个通信连接挂载文件***。这样,单个客户端所建立的挂载点中,使用了与多个存储节点所建立的多条通信连接,使得客户端能够并行访问多个存储节点,从而提高客户端与存储***之间的传输速率,同时也提高了高带宽要求业务的运行稳定性。
在一种可能的实现方式中,在客户端获取多个目标存储节点的标识之前,该方法还可以包括:
客户端从存储***包括的存储节点中,确定存储有目标文件中任一数据块的存储节点作为所述目标存储节点。
在存储***中,单个存储节点一般只存储有文件的数据块,在该实现方式中,客户端优先选择建立连接的存储节点存储有该客户端需要获取的目标文件的数据块,比如存储节点包括第一节点、第二节点以及第三节点,目标文件被分为两部分数据块分别存储于第一节点与第二节点中。而客户端在与存储节点建立通信连接之前,优先选择存储有目标文件数据块的第一节点与第二节点,从而使得客户端在获取目标文件时能够直接从第一节点与第二节点中获取目标文件,减少了客户端所连接的存储节点从其它存储节点获取目标文件数据块的时间,从而提高了客户端与存储***之间的数据传输效率。
在另一种可能的实现方式中,客户端根据多个目标存储节点的标识,建立与多个目标存储节点的多个通信连接具体可以为:
客户端根据目标存储节点的标识,从连接索引库中确定多个目标存储节点的连接索引,客户端根据多个目标存储节点的连接索引,建立与多个目标存储节点的多个通信连接。
在该实现方式中,客户端保存有一个连接索引库,该连接索引库中保存有每个存储节点与该客户端首次建立通信连接时所使用的连接索引。以便下次客户端再需要与该存储节点建立通信连接时,只需将客户端所获取到的目标存储节点的标识与连接索引库的存储节点的标识进行匹配,则能找到所对应的连接索引,从而建立通信连接。无需客户端再与存储节点进行发送远程调用请求和返回入口句柄等一系列建立通信连接的准备操作,提高了客户端与存储节点建立通信连接的效率。
在另一种可能的实现方式中,该方法还可以包括:
在客户端挂载所述文件***后,客户端从多个通信连接中确定至少一个通信连接,客户端基于至少一个通信连接访问所对应的目标存储节点来获取至少一个目标文件。
若客户端与存储***之间以文件为粒度进行传输,那么客户端在同时获取多个目标文件时,则可以通过多个通信连接并行访问多个目标存储节点来获取多个目标文件。比如客户端可以并行访问三个存储节点从而获取三个目标文件,这样,提高了客户端的业务运行速率。
本申请第二方面提供一种挂载文件***的装置,该文件***用于管理存储***中存储的文件,该装置可以通过软件实现,也可以通过软硬结合的方式实现,在一种实现方式中,该装置包括:
获取单元,用于获取多个目标存储节点的标识,存储***包括多个存储节点,该标识可以为存储节点的唯一识别标识,比如IP地址,或者存储节点的序号,或者存储节点的节点名称等;
连接单元,用于根据多个目标存储节点的标识,建立与多个目标存储节点的多个通信连接;
挂载单元,用于使用多个通信连接挂载文件***。
在另一种实现方式中,该装置包括:收发器、存储器以及处理器,收发器、存储器以及处理器通过总线连接,存储器内存储有计算机指令,处理器通过执行存储器内的计算机指令实现如上述第一方面所提供的挂载文件***的方法。
第三方面提供一种设备,该设备括至少一个处理器、存储器和通信接口。所述至少一个处理器、所述存储器和所述通信接口均通过总线连接;所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述设备通过所述通信接口与存储***进行数据交互来执行上述第一方面或者第一方面的各种可能设计提供的挂载文件***的方法,或者使得所述设备通过所述通信接口与存储***进行数据交互来实现第二方面中的挂载文件***的装置。
本申请第四方面提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当设备的至少一个处理器执行该计算机执行指令时,设备执行上述第一方面或者第一方面的各种可能设计提供的挂载文件***的方法。
本申请第五方面提供一种计算机程序产品,该计算机程序产品包括计算机执行指令,该计算机执行指令存储在计算机可读存储介质中。设备的至少一个处理器可以从计算机可读存储介质读取该计算机执行指令,至少一个处理器执行该计算机执行指令使得设备实施上述第一方面或者第一方面的各种可能设计提供的挂载文件***的方法。
附图说明
图1为发明实施例中挂载文件***的一个***架构示意图;
图2为本发明实施例中挂载文件***的方法的一个示意图;
图3为本发明实施例中挂载文件***的装置的一个示意图;
图4为本发明实施例中设备的一个示意图。
具体实施方式
本发明实施例提供了一种挂载文件***的方法、装置及设备,用于提高客户端与存储***之间的传输速率,提高了高带宽要求业务的运行稳定性。
参照图1所示,图1为本发明实施例中挂载文件***的一个***架构示意图。在该***架构中,包括客户端,存储***。其中,存储***由多个存储节点组成,多个存储节点通过光纤连接交换机,该交换机通过光纤连接该客户端,从而实现多个存储节点与客户端的互联。其中,光纤可以为10千兆以太网(英文全称:Gigabit Ethernet,英文缩写:GE)光纤线,交换机可以为10GE的高速率传输交换机。存储节点中存储有客户端需要获取的目标文件的整个文件或者文件的数据块,多个存储节点之间能够进行数据互传,客户端可以通过访问某一个存储节点来获取存储于该存储节点或者不存储于该存储节点上的目标文件。当客户端需要获取的目标文件不存储于该存储节点时,该存储节点通过该目标文件的标识遍历整个存储***中的其它存储节点,从而从其它存储节点中获取该目标文件的数据。单个客户端还可以通过本发明提供的挂载文件的方法与该存储***中的多个存储节点建立通信连接,从而实现并行访问多个存储节点来获取目标文件,提高客户端与存储***之间的数据传输速率。
需要说明的是,该客户端可以为个人计算机(英文全称:Personal Computer,英文缩写:PC)或者服务器等具有计算能力的设备;具体地,该设备上运行可以访问存储***的客户端程序来使得该设备成为客户端。存储***可以为网络附属存储(英文全称:NetworkAttached Storage,英文缩写:NAS)、开放***的直连式存储(英文全称:Direct AccessStorage英文缩写:DAS),存储区域网络(英文全称:Storage Area Network,英文缩写:SAN)等。存储节点的硬件介质可同构或异构。为了便于阐述,本发明实施例以NAS存储为例进行说明,该举例并非对本发明方案的限定。
参照图2所示,图2为本发明实施例中挂载文件***的方法的一个实施例,其中,所述文件***用于管理存储***中存储的文件,该方法具体为:
101、客户端获取多个目标存储节点的标识,所述存储***包括多个存储节点。
为了提高客户端与存储***之间的数据传输速率,在本发明实施例中,客户端需要与存储***中的多个存储节点建立多个通信连接。而在建立通信连接之前,客户端需要获取多个目标存储节点的标识,该标识可以为存储节点的IP地址。具体的,客户端获取存储节点的IP地址可以为:客户端先向域名***(英文全称:Domain Name System,英文缩写:DNS)服务器发起存储***发起浮动IP查询,该浮动IP为可以跟多个物理IP进行匹配的虚拟IP,其中,每一个浮动IP对应一个存储节点。DNS服务器返回包含存储***中浮动IP地址的列表。需要说明的是,目标存储节点的标识可以为存储节点的唯一识别标识,并不仅限于IP地址,还可以使存储节点的序号,或者存储节点的节点名称等。DNS服务器属于该存储***,负责该存储***的域名解析。
可选的,客户端可以获取存储***中的所有存储节点的标识,与所有存储节点均建立通信连接。或者,客户端也可以获取存储***中的部分存储节点的标识,与部分存储节点建立通信连接。在与部分存储节点建立通信连接的方式中,客户端可以根据所有存储节点的连接负载情况进行选择,优先选择连接负载较少的存储节点,并与之建立通信连接。
在另一种可能的实现方式中,客户端还可以通过待获取的目标文件所在的位置来选择存储节点。具体为,客户端先从存储***包括的存储节点中,确定存储有目标文件中任一数据块的存储节点作为目标存储节点。在存储***中,单个存储节点一般只存储有文件的数据块,极少存储有整个文件,因此,当客户端需要获取某个完整的目标文件时,则需要该客户端所连接的存储节点从其它存储节点中获取该目标文件的其它数据块,从而使得客户端从所连接的存储节点获取该整个目标文件。因此,在该实现方式中,客户端优先选择建立连接的存储节点存储有该客户端需要获取的目标文件的数据块,比如存储节点包括第一节点、第二节点以及第三节点,目标文件被分为两部分数据块分别存储于第一节点与第二节点中。而客户端在与存储节点建立通信连接之前,优先选择存储有目标文件数据块的第一节点与第二节点,从而使得客户端在获取目标文件时能够直接从第一节点与第二节点中获取目标文件,减少了客户端所连接的存储节点从其它存储节点获取目标文件数据块的时间,从而提高了客户端与存储***之间的数据传输效率。
102、客户端根据所述多个目标存储节点的标识,建立与所述多个目标存储节点的多个通信连接。
客户端在获取了多个目标存储节点的标识后,即上述的目标存储节点的浮动IP地址后,客户端则能够与多个目标存储节点建立通信连接,具体建立通信连接的方式为:客户端根据浮动IP地址的列表向任意一个浮动IP(比如第一个)所对应的存储节点请求挂载连接,例如请求的方式可以是发送文件***挂载的远程调用请求,例如MOUNT RPC调用请求;第一个浮动IP所对应的存储节点则会通过挂载模块(例如mountd模块)返回文件***根目录的入口句柄,例如ROOT FILEHANDLE;客户端遍历浮动IP地址列表,分别与多个对应的存储节点的网络文件***(英文全称:Network File System,英文缩写:NFS)服务模块(例如NFS Server)建立通信连接。该通信连接可以为套接字(Socket)连接,客户端在建立的所有Socket连接后,还可以将所有Socket连接的连接状态进行存储,每个存储节点的Socket连接状态包括该存储节点的Socket连接状态为正常或异常、以及该存储节点的Socket连接的负载情况等信息。在客户端与多个目标存储节点建立通信连接,即Socket连接后,则可以进行实例化,使用该多个通信连接挂载文件***。
在上述建立通信连接的方式中,客户端为通过所获取到的多个存储节点的浮动IP地址,实时获取该多个存储节点的入口句柄,从而建立通信连接。而在另一种实现方式中,客户端在确定了多个目标存储节点的浮动IP地址后,还可以从预先存储的连接索引库中确定该多个目标存储节点的连接索引,再根据该多个连接索引与多个存储节点建立通信连接。
由于每个存储节点的入口句柄以及浮动IP地址一般是不会更改的,因此客户端在首次获取到存储节点的入口句柄以及该存储节点的浮动IP地址后,则将与该客户端建立通信连接,并将该通信连接的连接索引,即入口句柄以及该存储节点的浮动IP地址保存到连接索引库中,以便下次客户端再需要与该存储节点建立通信连接时,只需将客户端所获取到的浮动IP地址与连接索引库中的IP地址进行匹配,则能找到所对应的连接索引,从而建立通信连接。无需客户端再与存储节点进行发送远程调用请求和返回入口句柄等一系列建立通信连接的准备操作,提高了客户端与存储节点建立通信连接的效率。需要说明的是,若客户端当前所需要连接的存储节点为第一次连接,那么在连接索引库中则没有保存该存储节点的连接索引,从而客户端需要通过上述实时建立通信连接的步骤与该存储节点建立通信连接,在建立通信连接后,将该存储节点的连接索引保存于该连接索引库中。
103、客户端使用所述多个通信连接挂载文件***。
客户端在于多个目标存储节点建立通信连接后,则能够进行实例化本地挂载点,即创建好文件***本地挂载点。挂载点实际上就是Linux操作***中的磁盘文件***的入口目录,类似于Windows操作***中的用来访问不同分区的C:、D:、E:等盘符。客户端在实例化挂载点后,则可以访问所连接的存储节点,从而获取目标文件。
本发明实施例中,客户端获取多个目标存储节点的标识,所述存储***包括所述多个存储节点,客户端根据所述多个目标存储节点的标识,建立与所述多个目标存储节点的多个通信连接,客户端使用所述多个通信连接挂载文件***。这样,单个客户端所建立的挂载点中,使用了与多个存储节点所建立的多条通信连接,使得客户端能够并行访问多个存储节点,从而提高客户端与存储***之间的传输速率,同时也提高了高带宽要求业务的运行稳定性。
结合图2实施例,在一个可选实施例中,该挂载文件***的方法还包括:
在客户端挂载所述文件***后,客户端从所述多个通信连接中确定至少一个通信连接;
客户端基于所述至少一个通信连接访问所对应的目标存储节点来获取至少一个目标文件。
当客户端与多个存储节点建立多个通信连接,并通过这些多个通信连接挂载文件***之后,客户端则能够根据这些通信连接访问多个存储节点,从而获取存储节点中的目标文件。可选的,客户端可以从多个通信连接中选择一条或多条通信连接,从而访问一个或多个存储节点,进而获取一个或多个目标文件。客户端获取目标文件的方式可以通过按文件为粒度进行传输,也可以是以目标文件存储于存储节点的数据块为粒度进行传输。比如,客户端可以选择一条通信连接访问一个存储节点,若该存储节点只存储有目标文件的一部分数据块或未存储有目标文件的数据块,则该存储节点则根据目标文件的标识,比如文件名从搜索其它存储节点,从而获取该目标文件的所有数据块,从而将该整个目标文件的所有数据块发送给客户端。或者,多个存储节点中分别存储有目标文件的不同的数据块,那么客户端可以使用多个通信连接同时访问多个存储节点,从不同的存储节点获取到目标文件的不同数据块,客户端再重新整合不同的数据块,从而生成完整的目标文件。
可选的,客户端还可以基于所述多个通信连接并行访问所对应的目标存储节点来获取多个目标文件。
若客户端与存储***之间以文件为粒度进行传输,那么客户端在同时获取多个目标文件时,则可以通过多个通信连接并行访问多个目标存储节点来获取多个目标文件。比如客户端可以并行访问三个存储节点从而获取三个目标文件。客户端获取目标文件可以包括客户端对目标文件进行读操作或者写操作等业务操作。
可选的,上述客户端从所述多个通信连接中确定所述至少一个通信连接,具体可以为:
客户端从所述多个通信连接中确定通信负载小的至少一个通信连接。
上述实施例中说明了客户端在存储节点建立通信连接后,则存储了存储节点的连接状态,该连接状态中包含了存储节点的负载情况。基于负载均衡原则,客户端在选择存储节点进行数据传输时,可以优先选择当前通信负载教小的通信连接的存储节点进行数据传输。具体可以为:客户端从所述多个目标存储节点中,确定通信连接数少的第一存储节点,再从所述多个通信连接中,确定与所述第一存储节点的通信连接作为通信负载小的通信连接。
需要说明的是,当客户端需要使用两个以上的通信连接访问两个以上的存储节点时,那么客户端所选择的两个以上的通信连接均为通信负载小的通信连接。
可选的,当目标文件为至少两个时,客户端还可以先获取所述至少两个目标文件中每个文件的大小信息;
客户端根据与存储***的传输速率计算出所述每个文件传输所消耗的时间;
客户端根据所述每个文件传输所消耗的时间以文件为粒度计算出平均所述每个存储节点需传输的文件数目;
所述客户端通过所述文件数目并行访问多个存储节点来获取所述至少两个目标文件。
比如客户端需要获取的目标文件为4个,客户端选择两个通信连接进行该4个文件的传输。客户端首先向存储***发送该4个文件的读请求,存储***则会根据该4个文件的文件标识获取到该4个文件的每个文件的大小信息,其中若第一个文件为10G,第二个文件为1G,第三个文件为3G,第四个文件为2G,那么按照以文件为粒度传输的方式,通过两个连接进行传输,若每条通信连接的传输速率均为1G/s,那么传输第一个文件需要花费10s,传输第二个文件需要花费1s,传输第三个文件需要花费3s,传输第四个文件需要花费2s。那么按照均衡的原则,可以通过一个通信线路来传输第一个文件,而另一条通信链路来传输另外三个文件。又或者,第四个文件的大小为8G,那么4个文件的总大小为22G,通过两条通信线路来传输,平均每条通信线路则可以传输两个文件,分别是第一个文件与第二个文件在一条通信线路上进行传输,第二个文件与第三个文件在另一条通信线路上进行传输。这样,使得客户端与存储***之间进行数据传输的数据大小负载更为均衡,提高了客户端与存储***之间的传输效率。
可选的,为了提高XNFS多连接的安全性,以存储***为NAS存储为例,还可以将NAS存储中的统一认证模块移植到客户端中,客户端和NAS存储分别固化一对相同的账户及密码,加密保存,然后客户端作为认证客户端,NAS存储作为认证服务端,使用上述统一认证机制完成双向认证,在双向认证通过后才能进行文件***挂载和文件访问。
参照图3所示,本发明实施例中挂载文件***的装置的一个实施例包括:
获取单元201,用于获取多个目标存储节点的标识,所述存储***包括多个存储节点;
连接单元202,用于根据所述多个目标存储节点的标识,建立与所述多个目标存储节点的多个通信连接;
挂载单元203,用于使用所述多个通信连接挂载文件***。
可选的,所述装置包括:
确定单元204,用于在所述获取单元获取多个目标存储节点的标识之前,从所述存储***包括的存储节点中,确定存储有目标文件中任一数据块的存储节点作为所述目标存储节点。
可选的,所述连接单元202具体用于:
根据所述目标存储节点的标识,从连接索引库中确定所述多个目标存储节点的连接索引;
根据所述多个目标存储节点的连接索引,建立与所述多个目标存储节点的多个通信连接。
可选的,所述确定单元204还用于,在所述挂载单元203挂载所述文件***后,从所述多个通信连接中确定至少一个通信连接;
所述获取单元201还用于,基于所述至少一个通信连接访问所对应的目标存储节点来获取至少一个目标文件。
可选的,所述确定单元204具体用于:
从所述多个通信连接中确定通信负载小的至少一个通信连接。
可选的,所述确定单元204具体用于:
从所述多个目标存储节点中,确定通信连接数少的第一存储节点;
从所述多个通信连接中,确定与所述第一存储节点的通信连接作为通信负载小的通信连接。
可选的,所述获取单元201还用于:
在挂载所述文件***后,基于所述多个通信连接并行访问所对应的目标存储节点来获取多个目标文件。
关于图3实施例中各个单元的具体描述可以参照图2实施例以及图2的可选实施例中所提供的挂载文件***的方法的详细描述,此处不做赘述。
本发明实施例还提供一种存储***,所述存储***为上述实施例中描述的存储***,用于与客户端配合来实现上述的挂载文件***的方法。
本发明实施例还提供一种存储节点,该存储节点属于上述实施例中描述的存储***,该存储节点为上述实施例中描述的存储节点,该存储节点用于与客户端配合来实现上述的挂载文件***的方法。
参见图4所示,本发明实施例还提供了一种设备300,设备300包括至少一个处理器301、存储器302和通信接口303;所述至少一个处理器301、所述存储器302和所述通信接口303均通过总线304连接;
所述存储器302,用于存储计算机执行指令;
所述至少一个处理器301,用于执行所述存储器302存储的计算机执行指令,使得所述设备300通过所述通信接口303与存储***进行数据交互来执行上述方法实施例提供的挂载文件***的方法,或者使得所述设备300通过所述通信接口303与存储***进行数据交互来实现挂载文件***的装置的部分或者全部功能。
至少一个处理器301,可以包括不同类型的处理器301,或者包括相同类型的处理器301;处理器301可以是以下的任一种:中央处理器(Central Processing Unit,简称CPU)、ARM处理器、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、专用处理器等具有计算处理能力的器件。一种可选实施方式,所述至少一个处理器301还可以集成为众核处理器。
存储器302可以是以下的任一种或任一种组合:随机存取存储器(Random AccessMemory,简称RAM)、只读存储器(read only memory,简称ROM)、非易失性存储器(non-volatile memory,简称NVM)、固态硬盘(Solid State Drives,简称SSD)、机械硬盘、磁盘、磁盘整列等存储介质。
通信接口303用于设备300与其他设备(例如存储***中的存储节点)进行数据交互。通信接口303可以是以下的任一种或任一种组合:网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。
该总线304可以包括地址总线、数据总线、控制总线等,为便于表示,图4用一条粗线表示该总线。总线304可以是以下的任一种或任一种组合:工业标准体系结构(IndustryStandard Architecture,简称ISA)总线、外设组件互连标准(Peripheral ComponentInterconnect,简称PCI)总线、扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等有线数据传输的器件。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (15)
1.一种挂载文件***的方法,其特征在于,所述文件***用于管理存储***中存储的文件;所述方法包括:
获取多个目标存储节点的标识,所述存储***包括多个存储节点;
根据所述多个目标存储节点的标识,建立与所述多个目标存储节点的多个通信连接;
使用所述多个通信连接挂载文件***。
2.根据权利要求1所述的方法,其特征在于,在所述获取多个目标存储节点的标识之前,所述方法包括:
从所述存储***包括的存储节点中,确定存储有目标文件中任一数据块的存储节点作为所述目标存储节点。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述多个目标存储节点的标识,建立与所述多个目标存储节点的多个通信连接包括:
根据所述目标存储节点的标识,从连接索引库中确定所述多个目标存储节点的连接索引;
根据所述多个目标存储节点的连接索引,建立与所述多个目标存储节点的多个通信连接。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
在挂载所述文件***后,从所述多个通信连接中确定至少一个通信连接;
基于所述至少一个通信连接访问所对应的目标存储节点来获取至少一个目标文件。
5.根据权利要求4所述的方法,其特征在于,所述从所述多个通信连接中确定所述至少一个通信连接,具体为:
从所述多个通信连接中确定通信负载小的至少一个通信连接。
6.根据权利要求5所述的方法,其特征在于,所述从所述多个通信连接中确定通信负载小的至少一个通信连接,具体为:
从所述多个目标存储节点中,确定通信连接数少的第一存储节点;
从所述多个通信连接中,确定与所述第一存储节点的通信连接作为通信负载小的通信连接。
7.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
在挂载所述文件***后,基于所述多个通信连接并行访问所对应的目标存储节点来获取多个目标文件。
8.一种挂载文件***的装置,其特征在于,所述文件***用于管理存储***中存储的文件;所述装置包括:
获取单元,用于获取多个目标存储节点的标识,所述存储***包括多个存储节点;
连接单元,用于根据所述多个目标存储节点的标识,建立与所述多个目标存储节点的多个通信连接;
挂载单元,用于使用所述多个通信连接挂载文件***。
9.根据权利要求8所述的装置,其特征在于,所述装置包括:
确定单元,用于在所述获取单元获取多个目标存储节点的标识之前,从所述存储***包括的存储节点中,确定存储有目标文件中任一数据块的存储节点作为所述目标存储节点。
10.根据权利要求8或9所述的装置,其特征在于,所述连接单元具体用于:
根据所述目标存储节点的标识,从连接索引库中确定所述多个目标存储节点的连接索引;
根据所述多个目标存储节点的连接索引,建立与所述多个目标存储节点的多个通信连接。
11.根据权利要求8至10任一项所述的装置,其特征在于,
所述确定单元还用于,在所述挂载单元挂载所述文件***后,从所述多个通信连接中确定至少一个通信连接;
所述获取单元还用于,基于所述至少一个通信连接访问所对应的目标存储节点来获取至少一个目标文件。
12.根据权利要求11所述的装置,其特征在于,所述确定单元具体用于:
从所述多个通信连接中确定通信负载小的至少一个通信连接。
13.根据权利要求12所述的装置,其特征在于,所述确定单元具体用于:
从所述多个目标存储节点中,确定通信连接数少的第一存储节点;
从所述多个通信连接中,确定与所述第一存储节点的通信连接作为通信负载小的通信连接。
14.根据权利要求8至10任一项所述的装置,其特征在于,所述获取单元还用于:
在挂载所述文件***后,基于所述多个通信连接并行访问所对应的目标存储节点来获取多个目标文件。
15.一种设备,其特征在于,包括至少一个处理器、存储器和通信接口;所述至少一个处理器、所述存储器和所述通信接口均通过总线连接;
所述存储器,用于存储计算机执行指令;
所述至少一个处理器,用于执行所述存储器存储的计算机执行指令,使得所述设备通过所述通信接口与存储***进行数据交互来执行权利要求1至7任一项所述的挂载文件***的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610819478.6A CN106484322A (zh) | 2016-09-12 | 2016-09-12 | 一种挂载文件***的方法、装置及设备 |
PCT/CN2017/097681 WO2018045860A1 (zh) | 2016-09-12 | 2017-08-16 | 一种挂载文件***的方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610819478.6A CN106484322A (zh) | 2016-09-12 | 2016-09-12 | 一种挂载文件***的方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106484322A true CN106484322A (zh) | 2017-03-08 |
Family
ID=58273487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610819478.6A Pending CN106484322A (zh) | 2016-09-12 | 2016-09-12 | 一种挂载文件***的方法、装置及设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106484322A (zh) |
WO (1) | WO2018045860A1 (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018045860A1 (zh) * | 2016-09-12 | 2018-03-15 | 华为技术有限公司 | 一种挂载文件***的方法、装置及设备 |
CN109460182A (zh) * | 2017-09-06 | 2019-03-12 | 杭州海康威视***技术有限公司 | 一种数据存储、读取方法及装置 |
CN110045929A (zh) * | 2019-04-19 | 2019-07-23 | 苏州浪潮智能科技有限公司 | 一种挂载点管理方法及相关装置 |
CN111078658A (zh) * | 2019-10-31 | 2020-04-28 | 苏州浪潮智能科技有限公司 | 一种集群文件***挂载的方法和设备 |
CN111859414A (zh) * | 2020-06-18 | 2020-10-30 | 厦门亿联网络技术股份有限公司 | 一种文件***的挂载方法、装置及存储介质 |
CN111988409A (zh) * | 2020-08-20 | 2020-11-24 | 深圳市瑞驰信息技术有限公司 | 一种实现云手机挂载外部存储启动的方法及*** |
CN112492011A (zh) * | 2020-11-19 | 2021-03-12 | 苏州浪潮智能科技有限公司 | 分布式存储***故障切换方法、***、终端及存储介质 |
CN113157647A (zh) * | 2021-03-29 | 2021-07-23 | 普联技术有限公司 | 一种访问挂载文件的方法及装置 |
CN113342281A (zh) * | 2021-06-28 | 2021-09-03 | 深圳市瑞驰信息技术有限公司 | 一种基于rbd存储在安卓***实现挂载的方法 |
CN113835613A (zh) * | 2020-06-24 | 2021-12-24 | 浙江宇视科技有限公司 | 一种文件读取方法、装置、电子设备和存储介质 |
CN114124651A (zh) * | 2022-01-26 | 2022-03-01 | 苏州浪潮智能科技有限公司 | 云平台管理节点的控制方法、装置及云平台服务器集群 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112291292B (zh) * | 2019-07-26 | 2023-04-07 | 浙江宇视科技有限公司 | 数据存储方法、装置、设备和介质 |
CN110688073B (zh) * | 2019-10-10 | 2023-07-14 | 深圳市网心科技有限公司 | 数据存储方法、电子设备、***及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040078465A1 (en) * | 2002-10-17 | 2004-04-22 | Coates Joshua L. | Methods and apparatus for load balancing storage nodes in a distributed stroage area network system |
CN101510223A (zh) * | 2009-04-03 | 2009-08-19 | 成都市华为赛门铁克科技有限公司 | 一种数据处理方法和*** |
CN101567003A (zh) * | 2009-05-27 | 2009-10-28 | 清华大学 | 并行文件***中资源的管理和分配方法 |
CN101699825A (zh) * | 2009-10-28 | 2010-04-28 | 成都市华为赛门铁克科技有限公司 | 网络文件***访问方法、装置及*** |
CN104050248A (zh) * | 2014-06-05 | 2014-09-17 | 北京捷成世纪科技股份有限公司 | 一种文件存储***及存储方法 |
CN105677703A (zh) * | 2015-12-25 | 2016-06-15 | 曙光云计算技术有限公司 | Nas文件***及其访问方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140222879A1 (en) * | 2013-02-01 | 2014-08-07 | Apple Inc. | Method and system for unmounting an inaccessible network file system |
CN106484322A (zh) * | 2016-09-12 | 2017-03-08 | 华为技术有限公司 | 一种挂载文件***的方法、装置及设备 |
-
2016
- 2016-09-12 CN CN201610819478.6A patent/CN106484322A/zh active Pending
-
2017
- 2017-08-16 WO PCT/CN2017/097681 patent/WO2018045860A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040078465A1 (en) * | 2002-10-17 | 2004-04-22 | Coates Joshua L. | Methods and apparatus for load balancing storage nodes in a distributed stroage area network system |
CN101510223A (zh) * | 2009-04-03 | 2009-08-19 | 成都市华为赛门铁克科技有限公司 | 一种数据处理方法和*** |
CN101567003A (zh) * | 2009-05-27 | 2009-10-28 | 清华大学 | 并行文件***中资源的管理和分配方法 |
CN101699825A (zh) * | 2009-10-28 | 2010-04-28 | 成都市华为赛门铁克科技有限公司 | 网络文件***访问方法、装置及*** |
CN104050248A (zh) * | 2014-06-05 | 2014-09-17 | 北京捷成世纪科技股份有限公司 | 一种文件存储***及存储方法 |
CN105677703A (zh) * | 2015-12-25 | 2016-06-15 | 曙光云计算技术有限公司 | Nas文件***及其访问方法和装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018045860A1 (zh) * | 2016-09-12 | 2018-03-15 | 华为技术有限公司 | 一种挂载文件***的方法、装置及设备 |
CN109460182A (zh) * | 2017-09-06 | 2019-03-12 | 杭州海康威视***技术有限公司 | 一种数据存储、读取方法及装置 |
CN110045929B (zh) * | 2019-04-19 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种挂载点管理方法及相关装置 |
CN110045929A (zh) * | 2019-04-19 | 2019-07-23 | 苏州浪潮智能科技有限公司 | 一种挂载点管理方法及相关装置 |
CN111078658B (zh) * | 2019-10-31 | 2022-08-12 | 苏州浪潮智能科技有限公司 | 一种集群文件***挂载的方法和设备 |
CN111078658A (zh) * | 2019-10-31 | 2020-04-28 | 苏州浪潮智能科技有限公司 | 一种集群文件***挂载的方法和设备 |
CN111859414A (zh) * | 2020-06-18 | 2020-10-30 | 厦门亿联网络技术股份有限公司 | 一种文件***的挂载方法、装置及存储介质 |
CN113835613A (zh) * | 2020-06-24 | 2021-12-24 | 浙江宇视科技有限公司 | 一种文件读取方法、装置、电子设备和存储介质 |
CN113835613B (zh) * | 2020-06-24 | 2024-03-29 | 浙江宇视科技有限公司 | 一种文件读取方法、装置、电子设备和存储介质 |
CN111988409A (zh) * | 2020-08-20 | 2020-11-24 | 深圳市瑞驰信息技术有限公司 | 一种实现云手机挂载外部存储启动的方法及*** |
CN111988409B (zh) * | 2020-08-20 | 2023-06-13 | 深圳市臂云科技有限公司 | 一种实现云手机挂载外部存储启动的方法及*** |
CN112492011A (zh) * | 2020-11-19 | 2021-03-12 | 苏州浪潮智能科技有限公司 | 分布式存储***故障切换方法、***、终端及存储介质 |
CN113157647A (zh) * | 2021-03-29 | 2021-07-23 | 普联技术有限公司 | 一种访问挂载文件的方法及装置 |
CN113157647B (zh) * | 2021-03-29 | 2024-04-26 | 普联技术有限公司 | 一种访问挂载文件的方法及装置 |
CN113342281A (zh) * | 2021-06-28 | 2021-09-03 | 深圳市瑞驰信息技术有限公司 | 一种基于rbd存储在安卓***实现挂载的方法 |
CN114124651A (zh) * | 2022-01-26 | 2022-03-01 | 苏州浪潮智能科技有限公司 | 云平台管理节点的控制方法、装置及云平台服务器集群 |
Also Published As
Publication number | Publication date |
---|---|
WO2018045860A1 (zh) | 2018-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106484322A (zh) | 一种挂载文件***的方法、装置及设备 | |
CN102918808B (zh) | 在虚拟站接口发现和配置协议中传输虚拟局域网信息的方法 | |
CN108701004B (zh) | 一种数据处理的***、方法及对应装置 | |
US9330156B2 (en) | System and method for software defined network aware data replication | |
US20200092084A1 (en) | System and methods for operating a blockchain network | |
US5321815A (en) | Route selection using cached partial trees in a data communications network | |
US9983813B2 (en) | Maintenance of a fabric priority during synchronous copy operations | |
JP6275850B2 (ja) | ストレージシステムにおいて操作要求を処理するための方法及び装置 | |
CN107079060A (zh) | 用于运营商级nat优化的***和方法 | |
CN107707628A (zh) | 用于传输数据处理请求的方法和装置 | |
CN105493445A (zh) | 联网计算环境中的区域防火墙集群 | |
CN105975214A (zh) | 配置用于输入/输出操作的对象存储*** | |
CN112134741A (zh) | 分布式***中的客户导向的联网限制 | |
CN107819891A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
US20160337726A1 (en) | Data switching system, method for sending data traffic, and switching apparatus | |
CN104092758B (zh) | 一种分布式高速云存储服务器集群***的读取方法 | |
CN104811392A (zh) | 用于处理网络中的资源访问请求的方法和*** | |
CN104954275A (zh) | 用于多路径负载平衡的***和方法 | |
CN105867843A (zh) | 一种数据传输方法及装置 | |
CN104508651A (zh) | 镜像非对称集群多处理器***中的连接网 | |
CN109597903A (zh) | 图像文件处理装置和方法、文件存储***及存储介质 | |
US10313470B2 (en) | Hierarchical caching and analytics | |
CN106506647A (zh) | 一种客户端具有数据备份装置的智慧社区云存储*** | |
US9544371B1 (en) | Method to discover multiple paths to disk devices cluster wide | |
US9614910B2 (en) | Maintenance of a fabric priority among operations in related fibre channel exchanges |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |