CN1619522A - 机群文件服务***及其输入输出处理方法 - Google Patents
机群文件服务***及其输入输出处理方法 Download PDFInfo
- Publication number
- CN1619522A CN1619522A CN 200310113554 CN200310113554A CN1619522A CN 1619522 A CN1619522 A CN 1619522A CN 200310113554 CN200310113554 CN 200310113554 CN 200310113554 A CN200310113554 A CN 200310113554A CN 1619522 A CN1619522 A CN 1619522A
- Authority
- CN
- China
- Prior art keywords
- file
- storage server
- request
- group
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种机群文件服务***,包括:元数据服务器和一个以上的存储服务器;每一个存储服务器都与元数据服务器相连,保持二者的信息一致;所述的元数据服务器用来存储所有文件的元数据,并完成对文件的元数据进行操作;所述的存储服务器用来存储文件,并完成对文件本身进行操作。本发明通过元数据和数据的分散处理简化了存储服务器的结构,从设计上增强了CFS的稳定性、增强了CFS对读写操作的处理能力;数据分条技术扩展了已有***的带宽,实现了并行IO,使***具有良好的可扩展性;操作请求的无状态和等幂设计支持高可用和简化了提高存储服务器CPU的利用率,能够支持更多的客户端并发访问的多线程实现。
Description
技术领域
本发明涉及一种计算机机群的文件服务***及其输入输出(IO)处理方法,尤其是一种应用于文件服务***的IO处理方法,属于计算机机群技术领域。
背景技术
计算机机群文件***(Cluster File System)用来在机群环境下提供分布式文件服务,是高性能服务器的重要组成部分。
在IO密集型的计算机群环境中,需要读写处理的文件往往非常大,对文件读写的强度也大,因此,在很大程度上机群中文件服务器对文件的读写操作成为机群处理的一个主要操作,或者说,文件服务器处理读写请求的能力往往就决定了整个***的处理效率。
现有技术中,机群文件服务***一般只包括一个文件服务器,如图1所示,虽然服务器的高速读写的技术不断发展,进行IO操作的速度越来越快,但是与机群处理的海量数据和大规模科学计算的数据相比,单个文件服务器处理的能力仍然太慢,无法满足机群处理的需要;在密集IO的机群处理环境中,文件读写处理速度已经成为一个整个机群***的瓶颈,如何提高机群文件服务***处理IO操作的效率,是机群文件服务***中迫切需要解决的问题。
如果能够采用多个服务器来分担单个文件服务器的工作,利用机群中多结点来共同完成文件操作,一定可以大大提高文件的处理速度,突破整体机群***处理的瓶颈;但是如果文件存储在不同的服务器中就会对机群的单一***映像产生影响。所谓的单一***映像是指用户可以登录到机群中的任一客户端结点,通过使用机群***软件,如同使用一台机器一样方便进行操作,对文件***而言,用户所看到的文件目录结构应该完全相同。文件存储在不同的文件服务器,给机群单一***映像的实现带来了困难。
发明内容
本发明所要解决的技术问题在于:提供一种计算机机群文件服务***实现在密集IO的计算环境中对读写操作的并行处理,有着更高的读写聚集带宽,支持外部高可用工具对存储服务器的高可用操作。
本发明所要解决的另一个技术问题在于:提供一种在上述的文件***中进行文件IO处理的方法。
本发明的机群文件服务***,包括:元数据服务器和一个以上的存储服务器;每一个存储服务器都与元数据服务器相连,保持二者的信息一致;
所述的元数据服务器用来存储所有文件的元数据,并完成对文件的元数据进行操作;
所述的存储服务器用来存储文件,并完成对文件本身进行操作。
本发明机群文件服务***的输入输出处理方法,其特征在于:包括如下步骤:
步骤一、用户在客户端结点通过文件***API提交IO请求;
步骤二、客户端结点分析用户的IO请求类型,
如果是元数据操作,则直接发送请求到元数据服务器,元数据服务器处理后将结果返回给用户,结束IO处理;
如果请求中包括存储服务器操作,则先从元数据服务器获得文件的存储服务器信息,然后向相应的存储服务器发出请求;执行步骤三;
步骤三、存储服务器完成相应的处理,将结果返回给用户;
步骤四、如果本次操作改变了文件的元数据属性则需要在元数据服务器上更新此文件的元教据信息。
本发明具有以下优点:
1.元数据和数据的分散处理简化了存储服务器的结构,从设计上增强了CFS的稳定性、增强了CFS对读写操作的处理能力。
2.数据分条技术很好地扩展了已有***的带宽,实现了并行IO,使***具有良好的可扩展性。
3.存储服务器的无状态和操作请求的等幂设计能够更好地支持高可用和简化***的多线程实现。
4.多线程技术提高了存储服务器CPU的利用率,能够支持更多的客户端并发访问,提高了***的聚集带宽。
附图说明
图1是现有的机群中的文件服务***;
图2是本发明的机群文件服务***;
图3是本发明的文件服务***处理用户IO请求的示意图;
图4是本发明存储服务器的工作流程示意图;
图5是本发明存储服务器主线程示意图;
图6是本发明存储服务器子线程示意图。
具体实施方式
存储服务器中CPU的处理能力大大强于磁盘读写的处理能力,因此,如何发挥存储服务器CPU的强大处理能力,同时利用机群中多个存储服务器的特点实现并行IO,是提高机群文件服务***处理效率一个关键技术。
本发明的设计思想是利用存储服务器的CPU的强大处理能力,和机群多个存储服务器的特点,实现并行IO操作,来极大的提高机群文件服务***的处理效率。
本发明所述的机群文件服务***,如图2所示,包括:元数据服务器和一个以上的存储服务器;每一个存储服务器都与元数据服务器相连,保持二者的信息一致;
所述的元数据服务器用来存储所有文件的元数据,并完成对文件的元数据进行操作;
所述的存储服务器用来存储文件,并完成对文件本身进行操作。
本发明通过将传统机群文件服务***服务器操作中的元数据操作请求分离出来,由专门的元数据服务器来处理;这样,存储服务器仅仅处理针对文件的打开(open)、关闭(close)、读(read)、写(write)、删除(remove)、截断(truncate)、数据刷新(sync)等请求进行处理。
所述的元数据是指文件的属主、文件的建立时间等文件信息数据以及各文件存储服务器的分布信息和各文件存储服务器的地址等文件属性信息。
当用户进行文件操作时,元数据服务器首先响应用户的请求,提供给用户所有文件的信息和单一的目录结构,满足机群***要求的单一***映像。用户通过元数据服务器获得了用户需要操作的文件的存储服务器信息,当用户对文件进行打开(open)、关闭(close)、读(read)、写(write)、删除(remove)、截断(truncate)、数据刷新(sync)等操作时,直接对相应的一个或多个存储服务器提出请求,进行操作,实现存储服务器的并布处理,不再经过元数据服务器。
通过多个存储服务器对单一的元数据服务器的支持,当多个用户提出请求时可以由不同的存储服务器作出响应,也可以是一个用户提出对一个较大的文件进行操作时,由多个存储服务器对文件进行分条后,共同响应处理,以两种方式实现并行处理。
并行处理的实现是在文件进行存储的时候,就预先采取了多个服务器存储的方式。对于一个比较大的文件,文件数据采用分条存储方式,即将一个文件数据根据分条的大小在多个存储服务器的磁盘上分布,当客户端对一个文件进行读写操作时可由多个存储服务器进行并行处理。
分条的大小可以根据存储服务器的数量,机群的规模进行不同的选择,一般为64K的倍数,如64K,128K,等等。
由于服务器硬件等意外因素的发生,可能出现存储服务器失效情况,为了避免这种情况的发生,提供***的可用性,本发明的文件***采用了无状态存储服务器的方式来进行存储,即每一个发送到存储服务器的请求包含存储服务器执行这个请求的全部信息。这样,通过客户端的重做机制可以方便的支持存储服务器的高可用。
同样是出于提高***可用性的考虑,存储服务器处理的请求必须是等幂操作,这是因为等幂操作可以保证客户端请求乱序重发时服务器处理结果的正确性。请求的等幂特性可以方便的支持存储服务器的多线程实现和高可用实现。
为了提高存储服务器cpu的利用率,存储服务器采用多线程进行存储操作,包括主线程和子线程,主线程负责监听请求socket,监听到客户端发送的请求后将请求放入工作队列中;所有子线程轮询工作队列,如果工作队列为空,则不操作;否则轮询到的子线程处理这个请求;子线程完成请求后将请求放入清除队列;主线程根据清除队列清除那些已经结束运行的工作线程。
本发明所述的机群文件服务***的IO处理方法,如图3所示,包括如下步骤:
步骤一、用户在客户端结点通过文件***API提交IO请求;
步骤二、客户端结点分析用户的IO请求,如果是对元数据的操作,则直接发送请求到元数据服务器,元数据服务器处理后将结果返回给用户;如果请求中包括读写等操作,则先从元数据服务器获得文件存储服务器信息,包括该文件在各文件存储服务器的分布信息和各文件存储服务器的地址,然后向相应的存储服务器发出请求;
步骤三、存储服务器完成相应的处理,将结果返回给用户;
步骤四、如果本次操作改变了文件的元数据属性则需要在元数据服务器上更新此文件的元数据信息。
所述的步骤二中,客户端结点分析用户IO请求的类型,就可以判断出需要对用户的请求如何进行处理,对元数据的操作包括:列出文件的基本信息、改变文件的属主、显示目录信息等,一般不记录文件长度。一个文件的元数据信息,一般一次写成,以利于进行一致性检查。元数据服务器根据自身的存储的直接处理,将结果返回给用户。
所述的对元数据的操作至少包括:列出文件的基本信息、改变文件的属主、显示目录信息。
所述的存储服务器操作中,从元数据服务器获取的文件信息至少包括:该文件在各文件存储服务器的分布信息和各文件存储服务器的地址。
所述的客户端节点每一个发送到存储服务器的请求都包含存储服务器执行这个请求的全部信息。所述的客户端节点每一个发送到存储服务器,请求存储服务器处理的请求都是等幂操作。如果步骤一中用户提出的IO请求中包含写操作,则客户端节点首先执行对文件的分条,分条的大小可以为64K的倍数,然后将分条写操作向不同的存储服务器提出请求,实现并行操作。
存储服务器的工作流程,如图4所示,包括以下步骤:
步骤3.1、启动存储服务器STARTUP,如果成功,则执行步骤3.2;否则中止,返回错误信息;
步骤3.2、获得需要监听的sockets;如果需要监听的sockets的数量大于等于零,则执行步骤3.3;否则,返回错误信息;
步骤3.3、判断是否有sockets准备好,如果有sockets准备好,则执行步骤3.4;否则,则继续监听来自客户端的请求,执行步骤3.2;
步骤3.4、如果socket上有任务,则完成该任务,执行步骤3.3;否则,接收新请求,执行步骤3.3。
图4的实施例步骤3.2中,通过建立一个监听队列来获得需要监听的sockets。当如果需要监听的sockets的数量小于零,则返回一个“-1”,以此来通知***,出现错误。图4中通过变量cnt来获得需要监听的socket的数量,check_socks表示从监听队列获得的socket的数量。
存储服务器可以采用多线程的方式完成用户请求文件操作,多线程技术提高了存储服务器CPU的利用率,能够支持更多的客户端并发访问,提高了***的聚集带宽;其主流程,如图5所示,包括如下步骤:
步骤301、初始化,即从命令行或配置文件获取需要的参数,并完成参数的设置;
步骤302、创建子线程;
步骤303、从监听队列获取需要监听的sockets;
步骤304、设置超时,判断是否有socket请求需要处理;
步骤305、判断返回值,如果超时,则执行步骤303;如果出错,则执行步骤307;如果有socket需要处理,则执行步骤306;
步骤306、将需要处理的socket放入工作队列,执行步骤303;
步骤307、根据清除队列等待工作线程的结束;
步骤308、清除多线程运行数据。
主线程负责监听请求socket,监听到客户端发送的请求后将请求放入工作队列中。所有子线程轮询工作队列,如果工作队列为空,则不操作;否则轮询到的子线程处理这个请求。子线程完成请求后将请求放入清除队列。主线程根据清除队列清除那些已经结束运行的工作线程。
以上所述的步骤304中,判断是否有socket请求需要处理,是通过一个带有返回值的函数来进行的,该函数负责对监听的socket进行处理,如果处理时间过长,超过设定的超时时间,则重新执行步骤303,监听的sockets;如果出错,则停止主线程,释放资源,返回错误信息。
子线程的个数静态决定:主线程根据存储服务器的启动参数决定子线程的个数。所述的子线程,如图6所示,包括:
步骤311、从工作队列中读取需要处理的socket;
步骤312、根据请求类型,处理此socket上的任务
步骤313、将处理一次任务完毕的socket重新放入监听队列;
步骤314、判断工作队列是否继续有效,如果有效,执行步骤311;否则,则将自己的相关控制信息放入清除队列,结束执行。
最后所应说明的是:以上实施例仅用以说明而非限制本发明的技术方案,尽管参照上述实施例对本发明进行了详细说明,本领域的普通技术人员应当理解:依然可以对本发明进行修改或者等同替换,而不脱离本发明的精神和范围的任何修改或局部替换,其均应涵盖在本发明的权利要求范围当中。
Claims (12)
1、一种机群文件服务***,其特征在于:包括:元数据服务器和一个以上的存储服务器;每一个存储服务器都与元数据服务器相连,保持二者的信息一致;
所述的元数据服务器用来存储所有文件的元数据,并完成对文件的元数据进行操作;
所述的存储服务器用来存储文件,并完成对文件本身进行操作。
2、根据权利要求1所述的机群文件服务***,其特征在于:所述的元数据是文件信息数据,至少包括:文件的属主和文件的建立时间以及文件在各文件存储服务器的分布信息和各文件存储服务器的地址。
3、根据权利要求1或2所述的机群文件服务***,其特征在于:所述的存储服务器仅仅处理针对文件的打开open、关闭close、读read、写write、删除remove、截断truncate、数据刷新sync请求进行处理。
4、一种机群文件服务***的输入输出处理方法,其特征在于:包括如下步骤:
步骤一、用户在客户端结点通过文件***API提交IO请求;
步骤二、客户端结点分析用户的IO请求类型,
如果是元数据操作,则直接发送请求到元数据服务器,元数据服务器处理后将结果返回给用户,结束IO处理;
如果请求中包括存储服务器操作,则先从元数据服务器获得文件的存储服务器信息,然后向相应的存储服务器发出请求;执行步骤三;
步骤三、存储服务器完成相应的处理,将结果返回给用户;
步骤四、如果本次操作改变了文件的元数据属性则需要在元数据服务器上更新此文件的元数据信息。
5、根据权利要求4所述的机群文件服务***的输入输出处理方法,其特征在于:所述的步骤二中,所述的对元数据的操作至少包括:列出文件的基本信息、改变文件的属主、显示目录信息。
6、根据权利要求4所述的机群文件服务***的输入输出处理方法,其特征在于:所述的存储服务器操作中,从元数据服务器获取的文件信息至少包括:该文件在各文件存储服务器的分布信息和各文件存储服务器的地址。
7、根据权利要求4-6任一所述的机群文件服务***的输入输出处理方法,其特征在于:所述的客户端节点每一个发送到存储服务器的请求都包含存储服务器执行这个请求的全部信息。
8、根据权利要求4-6任一所述的机群文件服务***的输入输出处理方法,其特征在于:所述的客户端节点每一个发送到存储服务器,请求存储服务器处理的请求都是等幂操作。
9、根据权利要求4-6任一所述的机群文件服务***的输入输出处理方法,其特征在于:如果步骤一中用户提出的IO请求中包含写操作,则客户端节点首先执行对文件的分条,分条的大小可以为64K的倍数,然后将分条写操作向不同的存储服务器提出请求,实现并行操作。
10、根据权利要求所述4的机群文件服务***的输入输出处理方法,其特征在于:所述的存储服务器的工作流程,包括以下步骤:
步骤3.1、启动存储服务器STARTUP,如果成功,则执行步骤3.2;否则中止,返回错误信息;
步骤3.2、获得需要监听的sockets;如果需要监听的sockets的数量大于等于零,则执行步骤3.3;否则,返回错误信息;
步骤3.3、判断是否有sockets准备好,如果有sockets准备好,则执行步骤3.4;否则,则继续监听来自客户端的请求,执行步骤3.2;
步骤3.4、如果socket上有任务,则完成该任务,执行步骤3.3;否则,接收新请求,执行步骤3.3。
11、根据权利要求所述10的机群文件服务***的输入输出处理方法,其特征在于:所述的存储服务器可以采用多线程的方式完成用户请求文件操作,其主流程包括如下步骤:
步骤301、初始化,即从命令行或配置文件获取需要的参数,并完成参数的设置;
步骤302、创建子线程;
步骤303、从监听队列获取需要监听的sockets;
步骤304、设置超时,判断是否有socket请求需要处理;
步骤305、判断返回值,如果超时,则执行步骤303;如果出错,则执行步骤307;如果有socket需要处理,则执行步骤306;
步骤306、将需要处理的socket放入工作队列,执行步骤303;
步骤307、根据清除队列等待工作线程的结束;
步骤308、清除多线程运行数据。
12、根据权利要求所述10的机群文件服务***的输入输出处理方法,其特征在于:所述的子线程包括:
步骤311、从工作队列中读取需要处理的socket;
步骤312、根据请求类型,处理此socket上的任务;
步骤313、将处理一次任务完毕的sockct重新放入监听队列;
步骤314、判断工作队列是否继续有效,如果有效,执行步骤311;否则,则将自己的相关控制信息放入清除队列,结束执行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2003101135544A CN1293493C (zh) | 2003-11-17 | 2003-11-17 | 机群文件服务***及其输入输出处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2003101135544A CN1293493C (zh) | 2003-11-17 | 2003-11-17 | 机群文件服务***及其输入输出处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1619522A true CN1619522A (zh) | 2005-05-25 |
CN1293493C CN1293493C (zh) | 2007-01-03 |
Family
ID=34759973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2003101135544A Expired - Fee Related CN1293493C (zh) | 2003-11-17 | 2003-11-17 | 机群文件服务***及其输入输出处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1293493C (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100456676C (zh) * | 2005-12-01 | 2009-01-28 | 国际商业机器公司 | 合并关于备份存储装置中的文件的元数据的***和方法 |
CN101702113B (zh) * | 2009-11-23 | 2011-02-16 | 成都市华为赛门铁克科技有限公司 | 写操作处理方法和装置 |
CN102193952A (zh) * | 2010-03-19 | 2011-09-21 | 联想(北京)有限公司 | 元数据服务器、机群***及机群***中的文件创建方法 |
CN102364474A (zh) * | 2011-11-17 | 2012-02-29 | 中国科学院计算技术研究所 | 用于机群文件***的元数据存储***和管理方法 |
CN102447736A (zh) * | 2011-11-17 | 2012-05-09 | 华中科技大学 | 一种多方网络存储***中用户配额管理和控制方法 |
CN102622412A (zh) * | 2011-11-28 | 2012-08-01 | 中兴通讯股份有限公司 | 一种分布式文件***中的并发写入方法及装置 |
CN103052930A (zh) * | 2011-07-27 | 2013-04-17 | 赛普拉斯半导体公司 | 用于触摸感测阵列的并行扫描和数据处理的方法及装置 |
CN103067419A (zh) * | 2011-10-19 | 2013-04-24 | 北大方正集团有限公司 | 一种分布式文件***及在该***中控制文件存储的方法 |
CN101449559B (zh) * | 2006-05-23 | 2013-08-21 | 诺燕控股公司 | 分布式存储器 |
CN104239125A (zh) * | 2014-09-28 | 2014-12-24 | 北京奇艺世纪科技有限公司 | 对象处理方法、分布式文件***及客户端设备 |
CN104793981A (zh) * | 2014-01-20 | 2015-07-22 | 联想(北京)有限公司 | 一种虚拟机集群的在线快照管理方法及装置 |
CN104793999A (zh) * | 2014-01-21 | 2015-07-22 | 航天信息股份有限公司 | 伺服服务器架构*** |
CN105353987A (zh) * | 2015-11-13 | 2016-02-24 | 曙光信息产业股份有限公司 | 一种文件处理方法及装置 |
CN111385255A (zh) * | 2018-12-28 | 2020-07-07 | 北京金山云网络技术有限公司 | 一种异步调用实现方法、装置、服务器及服务器集群 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5999976A (en) * | 1997-07-11 | 1999-12-07 | International Business Machines Corporation | Parallel file system and method with byte range API locking |
EP1256225B1 (en) * | 2000-02-04 | 2010-08-18 | Listen.Com, Inc. | System for distributed media network and meta data server |
CN1209714C (zh) * | 2002-03-12 | 2005-07-06 | 中国科学院计算技术研究所 | 基于网络存储和可扩展体系结构的服务器***及方法 |
-
2003
- 2003-11-17 CN CNB2003101135544A patent/CN1293493C/zh not_active Expired - Fee Related
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100456676C (zh) * | 2005-12-01 | 2009-01-28 | 国际商业机器公司 | 合并关于备份存储装置中的文件的元数据的***和方法 |
CN101449559B (zh) * | 2006-05-23 | 2013-08-21 | 诺燕控股公司 | 分布式存储器 |
CN101702113B (zh) * | 2009-11-23 | 2011-02-16 | 成都市华为赛门铁克科技有限公司 | 写操作处理方法和装置 |
CN102193952A (zh) * | 2010-03-19 | 2011-09-21 | 联想(北京)有限公司 | 元数据服务器、机群***及机群***中的文件创建方法 |
CN102193952B (zh) * | 2010-03-19 | 2014-03-12 | 联想(北京)有限公司 | 元数据服务器、机群***及机群***中的文件创建方法 |
CN103052930A (zh) * | 2011-07-27 | 2013-04-17 | 赛普拉斯半导体公司 | 用于触摸感测阵列的并行扫描和数据处理的方法及装置 |
CN103067419A (zh) * | 2011-10-19 | 2013-04-24 | 北大方正集团有限公司 | 一种分布式文件***及在该***中控制文件存储的方法 |
US9449005B2 (en) | 2011-11-17 | 2016-09-20 | Huawei Technologies Co., Ltd. | Metadata storage system and management method for cluster file system |
WO2013071882A1 (zh) * | 2011-11-17 | 2013-05-23 | 华为技术有限公司 | 用于机群文件***的元数据存储***和管理方法 |
CN102447736A (zh) * | 2011-11-17 | 2012-05-09 | 华中科技大学 | 一种多方网络存储***中用户配额管理和控制方法 |
CN102447736B (zh) * | 2011-11-17 | 2013-12-18 | 华中科技大学 | 一种多方网络存储***中用户配额管理和控制方法 |
CN102364474A (zh) * | 2011-11-17 | 2012-02-29 | 中国科学院计算技术研究所 | 用于机群文件***的元数据存储***和管理方法 |
CN102364474B (zh) * | 2011-11-17 | 2014-08-20 | 中国科学院计算技术研究所 | 用于机群文件***的元数据存储***和管理方法 |
CN102622412A (zh) * | 2011-11-28 | 2012-08-01 | 中兴通讯股份有限公司 | 一种分布式文件***中的并发写入方法及装置 |
CN104793981A (zh) * | 2014-01-20 | 2015-07-22 | 联想(北京)有限公司 | 一种虚拟机集群的在线快照管理方法及装置 |
CN104793981B (zh) * | 2014-01-20 | 2018-08-31 | 联想(北京)有限公司 | 一种虚拟机集群的在线快照管理方法及装置 |
CN104793999A (zh) * | 2014-01-21 | 2015-07-22 | 航天信息股份有限公司 | 伺服服务器架构*** |
CN104239125A (zh) * | 2014-09-28 | 2014-12-24 | 北京奇艺世纪科技有限公司 | 对象处理方法、分布式文件***及客户端设备 |
CN104239125B (zh) * | 2014-09-28 | 2018-04-10 | 北京奇艺世纪科技有限公司 | 对象处理方法、分布式文件***及客户端设备 |
CN105353987A (zh) * | 2015-11-13 | 2016-02-24 | 曙光信息产业股份有限公司 | 一种文件处理方法及装置 |
CN111385255A (zh) * | 2018-12-28 | 2020-07-07 | 北京金山云网络技术有限公司 | 一种异步调用实现方法、装置、服务器及服务器集群 |
CN111385255B (zh) * | 2018-12-28 | 2022-05-06 | 北京金山云网络技术有限公司 | 一种异步调用实现方法、装置、服务器及服务器集群 |
Also Published As
Publication number | Publication date |
---|---|
CN1293493C (zh) | 2007-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1293493C (zh) | 机群文件服务***及其输入输出处理方法 | |
US20230169095A1 (en) | Multi-cluster warehouse | |
Davidson et al. | Optimizing shuffle performance in spark | |
CN1834956A (zh) | 多线程元数据的处理方法 | |
CA2512312C (en) | Metadata based file switch and switched file system | |
US8396895B2 (en) | Directory aggregation for files distributed over a plurality of servers in a switched file system | |
US8195769B2 (en) | Rule based aggregation of files and transactions in a switched file system | |
CN109542595B (zh) | 一种数据采集方法、装置和*** | |
US20130218934A1 (en) | Method for directory entries split and merge in distributed file system | |
JP2004533668A (ja) | ファイル管理を改良するための方法および装置 | |
WO2010005460A1 (en) | Media aware distributed data layout | |
CN1540524A (zh) | 存储区域网络中分布式虚拟化存储的方法 | |
CN1602480A (zh) | 管理附装在数据网络上的存储器资源 | |
CN101047580A (zh) | 创建点对点数据通道的方法 | |
CN1744047A (zh) | 一种实现基于机群结构的高性能服务器动态部署方法 | |
CN1503152A (zh) | 处理多网络连接上的定序记录的设备和方法 | |
US10749902B2 (en) | Method and apparatus for organizing elements of a server application in a client-server system | |
US20150019745A1 (en) | Connection distribution within a connectional parallelism architecture | |
CA2425048C (en) | Method and system for resource access | |
CN1913448A (zh) | 一种网管对网元进行同步操作的方法及其*** | |
CN115248887A (zh) | 一种基于流式下载的爬虫方法 | |
CN1561029A (zh) | 一种并发网络文件读写方法及装置 | |
CN113672583A (zh) | 基于存储与计算分离的大数据多数据源分析方法及*** | |
Abead et al. | An efficient replication technique for hadoop distributed file system | |
US20240232226A1 (en) | Multi-cluster warehouse |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070103 Termination date: 20201117 |
|
CF01 | Termination of patent right due to non-payment of annual fee |