CN110781159B - Ceph目录文件信息读取方法、装置、服务器及存储介质 - Google Patents

Ceph目录文件信息读取方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN110781159B
CN110781159B CN201911030299.4A CN201911030299A CN110781159B CN 110781159 B CN110781159 B CN 110781159B CN 201911030299 A CN201911030299 A CN 201911030299A CN 110781159 B CN110781159 B CN 110781159B
Authority
CN
China
Prior art keywords
file information
directory file
processing unit
reading
directory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911030299.4A
Other languages
English (en)
Other versions
CN110781159A (zh
Inventor
陈明雄
许宇峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baike Data Technology Shenzhen Co ltd
Original Assignee
Baike Data Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baike Data Technology Shenzhen Co ltd filed Critical Baike Data Technology Shenzhen Co ltd
Priority to CN201911030299.4A priority Critical patent/CN110781159B/zh
Publication of CN110781159A publication Critical patent/CN110781159A/zh
Application granted granted Critical
Publication of CN110781159B publication Critical patent/CN110781159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种Ceph目录文件信息读取方法、装置、服务器及存储介质，所述方法包括：第一处理单元获取目录文件信息的读取请求；所述第一处理单元根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务；所述第一处理单元将所述目录文件信息的读取任务发送到第二处理单元,以使所述第二处理单元按照预设规则将所述目录文件信息的读取任务拆分成多个子任务；所述第二处理单元执行多个所述子任务以读取所述目录文件信息。实现了目录文件信息的读取，提高了目录文件信息的读取速度，减少了目录文件信息的读取时间。

Description

Ceph目录文件信息读取方法、装置、服务器及存储介质
技术领域
本发明实施例涉及集群文件***领域，尤其涉及一种Ceph目录文件信息读取方法、装置、服务器及存储介质。
背景技术
分布式文件集群***简称为Ceph文件***，是指运行在多台计算机之间，通过某种方式相互通信从而将集群内所有存储空间资源整合、虚拟化并对外提供文件访问服务的文件***。
用户经常需要通过Ceph文件***读取文件目录，对于目录的读取操作一般是指元数据操作，比如获取目录下所有文件的信息等。通常，客户查询端发出读取目录下文件信息的请求，元数据管理服务查询得到目录下文件数总量，CPU根据文件数总量依次获取相关文件信息，直到文件数总量获取完毕，再将结果返回到客户查询端。
目录均是归属于元数据服务器集群中的主元数据服务器，而其余的元数据服务器仅有在主元数据服务器故障的时候，才接替主元数据服务器的功能，但仍是同一时间仅有一个元数据服务器在建立目录，故元数据服务器负载不均衡，无法发挥元数据服务器集群的性能，当目录过大时，导致读取目录文件信息时的时间变长。
发明内容
有鉴于此，本发明实施例提供一种Ceph目录文件信息读取方法、装置、服务器及存储介质，以提高目录文件信息的读取速度，减少目录文件信息的读取时间。
第一方面，本发明实施例提供一种Ceph目录文件信息读取方法，包括：
第一处理单元获取目录文件信息的读取请求；
所述第一处理单元根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务；
所述第一处理单元将所述目录文件信息的读取任务发送到第二处理单元,以使所述第二处理单元按照预设规则将所述目录文件信息的读取任务拆分成多个子任务；
所述第二处理单元执行多个所述子任务以读取所述目录文件信息。
进一步的，所述第一处理单元根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务包括：
所述第一处理单元根据所述目录文件信息的读取请求获取所述目录文件信息对应的文件信息总数；
所述第一处理单元根据所述目录文件信息对应的文件信息总数生成所述目录文件信息的读取任务。
进一步的，所述第二处理单元按照预设规则将所述目录文件信息的读取任务拆分成多个子任务包括：
所述第二处理单元根据将所述文件信息总数和预设单个子任务文件信息数量将所述目录文件信息的读取任务平均分成多个子任务。
进一步的，所述第二处理单元执行多个所述子任务以读取所述目录文件信息包括：
所述第二处理单元采用多个线程同时执行多个所述子任务，得到所述目录文件信息的多个子目录；
所述第二处理单元将所述目录文件信息的多个子目录进行重组，得到所述目录文件信息。
进一步的，所述第二处理单元执行多个所述子任务以读取所述目录文件信息之后，包括：
所述第二处理单元将所述目录文件信息发送到所述第一处理单元；
所述第一处理单元将所述目录文件信息返回到查询端。
进一步的，所述第一处理单元为元数据管理模块。
进一步的，所述第二处理单元为GPU运算模块。
第二方面，本发明实施例提供一种Ceph目录文件信息读取装置，包括：
第一处理单元，用于获取目录文件信息的读取请求，根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务，并将所述目录文件信息的读取任务发送到第二处理单元；
第二处理单元，用于按照预设规则将所述目录文件信息的读取任务拆分成多个子任务，并执行多个所述子任务以读取所述目录文件信息。
第三方面，本发明实施例提供一种服务器，包括：
一个或多个处理；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理执行，使得所述一个或多个处理实现本发明任意实施例提供的Ceph目录文件信息读取方法。
第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理执行时实现本发明任意实施例提供的Ceph目录文件信息读取方法。
本发明实施例通过第一处理单元获取目录文件信息的读取请求；所述第一处理单元根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务；所述第一处理单元将所述目录文件信息的读取任务发送到第二处理单元,以使所述第二处理单元按照预设规则将所述目录文件信息的读取任务拆分成多个子任务；所述第二处理单元执行多个所述子任务以读取所述目录文件信息。实现了目录文件信息的读取，提高了目录文件信息的读取速度，减少了目录文件信息的读取时间。
附图说明
图1为本发明实施例一提供的一种Ceph目录文件信息读取方法的流程示意图；
图2为本发明实施例二提供的一种Ceph目录文件信息读取方法的流程示意图；
图3为本发明实施例三提供的一种Ceph目录文件信息读取装置的结构示意图；
图4是本发明实施例四提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一处理单元称为第二处理单元，且类似地，可将第二处理单元称为第一处理单元。第一处理单元和第二处理单元两者都是处理单元，但其不是同一处理单元。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种Ceph目录文件信息读取方法的流程示意图，可适用于使用Ceph的文件接口读取目录文件信息。该方法可以由本发明任意实施例提供的Ceph目录文件信息读取装置来实现，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器。如图1所示，本发明实施例一提供的一种Ceph目录文件信息读取方法包括：
S110、第一处理单元获取目录文件信息的读取请求。
具体的，为实现“按名存取”，需要建立文件名与存储空间中物理地址的对应关系，体现这种对应关系的数据结构称为文件目录。目录的文件信息是指目录内包含的文件的信息，例如一个目录下包含多个Word文件，目录的文件信息则包括但不限于每个Word文档的存储位置、文档大小、文档属性、文档类型等等。当用户需要读取目录文件信息时，通过查询端发起目录文件信息的读取请求，第一处理单元通过获取目录文件信息的读取请求，则可以执行相关操作从而达到读取相关信息的要求。
元数据(Metadata)又称为中介数据、中继数据，是描述数据的数据(data aboutdata)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在Ceph文件***中，目录的文件信息通常使用元数据信息进行记录，存储于多个元数据服务器中，元数据管理模块则拥有管理这些元数据服务器，故第一处理单元可以是Ceph文件***的元数据管理模块。
S120、所述第一处理单元根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务。
具体的，第一处理单元通过获取目录文件信息的读取请求后，生成对应的目录文件信息的读取任务，根据目录文件信息的读取任务进行目录文件信息的读取操作。
S130、所述第一处理单元将所述目录文件信息的读取任务发送到第二处理单元,以使所述第二处理单元按照预设规则将所述目录文件信息的读取任务拆分成多个子任务。
具体的，第一处理单元生成目录文件信息的读取任务后并不直接进行目录文件信息的读取操作，而是将其发送到第二处理单元，第二处理单元的算力高于第一处理单元，第二处理单元可以是GPU运算模块。
第二处理单元按照预设规则将目录文件信息的读取任务拆分成多个子任务，预设规则为目录文件信息的读取任务的拆分规则，可以根据目录文件信息包含的文件信息数量进行拆分，也可以根据目录文件信息进行拆分，本实施例不做限制。
S140、所述第二处理单元执行多个所述子任务以读取所述目录文件信息。
具体的，第二处理单元可以同时执行多个子任务，每个子任务都可以读取到目录文件信息的一部分文件信息，所有的子任务执行完成，则完成读取目录文件信息的全部文件信息。
本发明实施例一通过第一处理单元获取目录文件信息的读取请求；所述第一处理单元根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务；所述第一处理单元将所述目录文件信息的读取任务发送到第二处理单元,以使所述第二处理单元按照预设规则将所述目录文件信息的读取任务拆分成多个子任务；所述第二处理单元执行多个所述子任务以读取所述目录文件信息。实现了目录文件信息的读取，提高了目录文件信息的读取速度，减少了目录文件信息的读取时间。
实施例二
图2为本发明实施例二提供的一种Ceph目录文件信息读取方法的流程示意图，本实施例是对上述实施例的进步一细化。如图2所示，本发明实施例二提供的一种Ceph目录文件信息读取方法包括：
S210、第一处理单元获取目录文件信息的读取请求。
具体的，为实现“按名存取”，需要建立文件名与存储空间中物理地址的对应关系，体现这种对应关系的数据结构称为文件目录。目录的文件信息是指目录内包含的文件的信息，例如一个目录下包含多个Word文件，目录的文件信息则包括但不限于每个Word文档的存储位置、文档大小、文档属性、文档类型等等。当用户需要读取目录文件信息时，通过查询端发起目录文件信息的读取请求，第一处理单元通过获取目录文件信息的读取请求，则可以执行相关操作从而达到读取相关信息的要求。
元数据(Metadata)又称为中介数据、中继数据，是描述数据的数据(data aboutdata)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在Ceph文件***中，目录的文件信息通常使用元数据信息进行记录，存储于多个元数据服务器中，元数据管理模块则拥有管理这些元数据服务器，故第一处理单元可以是Ceph文件***的元数据管理模块。
S220、所述第一处理单元根据所述目录文件信息的读取请求获取所述目录文件信息对应的文件信息总数。
具体的，文件信息总数表示该目录下包括的所有文件信息的数量，例如，元数据管理模块根据目录文件信息的读取请求获取的文件信息总数为1000条。
S230、所述第一处理单元根据所述目录文件信息对应的文件信息总数生成所述目录文件信息的读取任务。
具体的，根据文件信息总数生成目录文件信息的读取任务，则可以知道需要读取的文件信息的数量，例如，元数据管理模块生成的目录文件信息的读取任务为读取该目录的1000条文件信息。
S240、所述第一处理单元将所述目录文件信息的读取任务发送到第二处理单元，所述第二处理单元根据将所述文件信息总数和预设单个子任务文件信息数量将所述目录文件信息的读取任务平均分成多个子任务。
具体的，第一处理单元生成目录文件信息的读取任务后并不直接进行目录文件信息的读取操作，而是将其发送到第二处理单元，第二处理单元的算力高于第一处理单元，优选的，本实施例中第二处理单元为GPU运算模块。
文件信息总数为N，预设单个子任务文件信息数量为M，则GPU运算模块根据L＝N/M将目录文件信息的读取任务平均分成L个子任务，当计算所得L为非整数时，L采用向上取整法。例如，文件信息总数为1000条，预设单个子任务文件信息数量为50条，则GPU运算模块将文件信息总数为1000条的读取任务分成20个读取文件信息数为50条的子任务。又例如，文件信息总数为1020条，预设单个子任务文件信息数量为50条，则GPU运算模块将文件信息总数为1050条的读取任务分成20个读取文件信息数为50条的子任务和1个读取文件信息数为20条的子任务。
在可替代实施例中，也可以先确定子任务的个数，再根据文件信息总数和子任务的个数计算分配到每个子任务中需要读取的文件信息数量。例如，子任务的个数为25个，当文件信息总数为1000条，每个子任务需要读取的文件信息数量为40条，当文件信息总数为1200条，每个子任务需要读取的文件信息数量为48条。
S250、所述第二处理单元采用多个线程同时执行多个所述子任务，得到所述目录文件信息的多个子目录。
具体的，一个线程执行一个子任务，GPU运算模块可以同时执行多个线程，则可以采用多个线程同时执行多个子任务。每个子任务执行获得目录文件信息的一部分，目录文件信息的一部分则称为目录文件信息的一个子目录，多个子任务同时执行，则可以同时获取目录文件信息的多个子目录。
S260、所述第二处理单元将所述目录文件信息的多个子目录进行重组，得到所述目录文件信息。
具体的，GPU运算模块将目录文件信息的多个子目录按照该目录文件信息的排序规则进行重新排列，则可以得到完整的目录文件信息。
S270、所述第二处理单元将所述目录文件信息发送到所述第一处理单元。
具体的，GPU运算模块将读取的目录文件信息发送到元数据管理模块。
S280、所述第一处理单元将所述目录文件信息返回到查询端。
具体的，元数据管理模块将目录文件信息返回到用户查询端，用户端则获取到相应的目录文件信息。
本发明实施例二通过将目录文件信息的读取任务发送到GPU运算模块执行，GPU运算模块将读取任务划分成多个子任务同时进行，提高了目录文件信息的读取速度，减少了目录文件信息的读取时间。
实施例三
图3为本发明实施例三提供的一种Ceph目录文件信息读取装置的结构示意图，可适用于使用Ceph的文件接口读取目录文件信息。该装置可以采用软件和/或硬件的方式实现，并可集成在服务器，可以实现本发明任意实施例提供的Ceph目录文件信息读取方法，具备执行方法的相应功能和模块。
如图3所示，本发明实施例三提供的一种Ceph目录文件信息读取装置包括：第一处理单元310和第二处理单元320，第一处理单元310用于获取目录文件信息的读取请求，根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务，并将所述目录文件信息的读取任务发送到第二处理单元；第二处理单元320用于按照预设规则将所述目录文件信息的读取任务拆分成多个子任务，并执行多个所述子任务以读取所述目录文件信息。
进一步的，所述第一处理单元310还用于：
根据所述目录文件信息的读取请求获取所述目录文件信息对应的文件信息总数；
根据所述目录文件信息对应的文件信息总数生成所述目录文件信息的读取任务。
进一步的，所述第二处理单元320还用于：根据将所述文件信息总数和预设单个子任务文件信息数量将所述目录文件信息的读取任务平均分成多个子任务。
进一步的，所述第二处理单元320还用于：
采用多个线程同时执行多个所述子任务，得到所述目录文件信息的多个子目录；
将所述目录文件信息的多个子目录进行重组，得到所述目录文件信息。
进一步的，第二处理单元320将所述目录文件信息发送到所述第一处理单元310，第一处理单元310将所述目录文件信息返回到查询端。
本发明实施例三通过，第一处理单元，用于获取目录文件信息的读取请求，根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务，并将所述目录文件信息的读取任务发送到第二处理单元；第二处理单元，用于按照预设规则将所述目录文件信息的读取任务拆分成多个子任务，并执行多个所述子任务以读取所述目录文件信息。实现了目录文件信息的读取，提高了目录文件信息的读取速度，减少了目录文件信息的读取时间。
实施例四
图4是本发明实施例四提供的一种服务器的结构示意图。图4示出了适于用来实现本发明实施方式的示例***器412的框图。图4显示的服务器412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，服务器412以通用服务器的形式表现。服务器412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同***组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及***组件互连(Peripheral Component Interconnect，PCI)总线。
服务器412典型地包括多种计算机***可读介质。这些介质可以是任何能够被服务器412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。服务器412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
服务器412也可以与一个或多个外部设备414(例如键盘、指向服务器、显示器424等)通信，还可与一个或者多个使得用户能与该服务器412交互的服务器通信，和/或与使得该服务器412能与一个或多个其它计算服务器进行通信的任何服务器(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，服务器412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器420通过总线418与服务器412的其它模块通信。应当明白，尽管图中未示出，可以结合服务器412使用其它硬件和/或软件模块，包括但不限于：微代码、服务器驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)***、磁带驱动器以及数据备份存储***等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的Ceph目录文件信息读取方法，该方法可以包括：
第一处理单元获取目录文件信息的读取请求；
所述第一处理单元根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务；
所述第一处理单元将所述目录文件信息的读取任务发送到第二处理单元,以使所述第二处理单元按照预设规则将所述目录文件信息的读取任务拆分成多个子任务；
所述第二处理单元执行多个所述子任务以读取所述目录文件信息。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的Ceph目录文件信息读取方法，该方法可以包括：
第一处理单元获取目录文件信息的读取请求；
所述第一处理单元根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务；
所述第一处理单元将所述目录文件信息的读取任务发送到第二处理单元,以使所述第二处理单元按照预设规则将所述目录文件信息的读取任务拆分成多个子任务；
所述第二处理单元执行多个所述子任务以读取所述目录文件信息。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种Ceph目录文件信息读取方法，其特征在于，包括：
第一处理单元获取目录文件信息的读取请求，其中，所述第一处理单元为Ceph文件***的元数据管理模块；
所述第一处理单元根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务；
所述第一处理单元将所述目录文件信息的读取任务发送到第二处理单元,以使所述第二处理单元按照预设规则将所述目录文件信息的读取任务拆分成多个子任务；所述第二处理单元的算力高于所述第一处理单元；
所述第二处理单元执行多个所述子任务以读取所述目录文件信息；
所述第二处理单元执行多个所述子任务以读取所述目录文件信息包括：
所述第二处理单元采用多个线程同时执行多个所述子任务，得到所述目录文件信息的多个子目录；
所述第二处理单元将所述目录文件信息的多个子目录进行重组，得到所述目录文件信息；
其中，所述第二处理单元执行多个所述子任务以读取所述目录文件信息之后，包括：
所述第二处理单元将所述目录文件信息发送到所述第一处理单元；
所述第一处理单元将所述目录文件信息返回到查询端。
2.如权利要求1所述的方法，其特征在于，所述第一处理单元根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务包括：
所述第一处理单元根据所述目录文件信息的读取请求获取所述目录文件信息对应的文件信息总数；
所述第一处理单元根据所述目录文件信息对应的文件信息总数生成所述目录文件信息的读取任务。
3.如权利要求2所述的方法，其特征在于，所述第二处理单元按照预设规则将所述目录文件信息的读取任务拆分成多个子任务包括：
所述第二处理单元根据将所述文件信息总数和预设单个子任务文件信息数量将所述目录文件信息的读取任务平均分成多个子任务。
4.如权利要求1-3任一项所述的方法，其特征在于，所述第二处理单元为GPU运算模块。
5.一种Ceph目录文件信息读取装置，其特征在于，包括：
第一处理单元，用于获取目录文件信息的读取请求，根据所述目录文件信息的读取请求生成所述目录文件信息的读取任务，并将所述目录文件信息的读取任务发送到第二处理单元；其中，所述第一处理单元为Ceph文件***的元数据管理模块；
第二处理单元，用于按照预设规则将所述目录文件信息的读取任务拆分成多个子任务，并执行多个所述子任务以读取所述目录文件信息；所述第二处理单元的算力高于所述第一处理单元；
所述第二处理单元还用于：采用多个线程同时执行多个所述子任务，得到所述目录文件信息的多个子目录；将所述目录文件信息的多个子目录进行重组，得到所述目录文件信息；
所述第二处理单元执行多个所述子任务以读取所述目录文件信息之后，还包括：所述第二处理单元将所述目录文件信息发送到所述第一处理单元；
所述第一处理单元将所述目录文件信息返回到查询端。
6.一种服务器，其特征在于，包括：
一个或多个处理；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理执行，使得所述一个或多个处理实现如权利要求1-4中任一项所述的Ceph目录文件信息读取方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理执行时实现如权利要求1-4中任一所述的Ceph目录文件信息读取方法。
CN201911030299.4A 2019-10-28 2019-10-28 Ceph目录文件信息读取方法、装置、服务器及存储介质 Active CN110781159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911030299.4A CN110781159B (zh) 2019-10-28 2019-10-28 Ceph目录文件信息读取方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911030299.4A CN110781159B (zh) 2019-10-28 2019-10-28 Ceph目录文件信息读取方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN110781159A CN110781159A (zh) 2020-02-11
CN110781159B true CN110781159B (zh) 2021-02-02

Family

ID=69386997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911030299.4A Active CN110781159B (zh) 2019-10-28 2019-10-28 Ceph目录文件信息读取方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN110781159B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400012A (zh) * 2020-03-20 2020-07-10 中国建设银行股份有限公司 数据并行处理方法、装置、设备及存储介质
CN111625357A (zh) * 2020-05-22 2020-09-04 柏科数据技术（深圳）股份有限公司 基于飞腾平台的目录读取方法、装置、服务器和存储介质
CN112035501B (zh) * 2020-09-01 2023-09-19 中国银行股份有限公司 用户标识的更新方法、装置和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166538A (zh) * 2013-05-16 2014-11-26 北大方正集团有限公司 一种数据任务处理方法及***
CN107590278A (zh) * 2017-09-28 2018-01-16 郑州云海信息技术有限公司 一种基于ceph的文件预读方法及相关装置
CN109597681A (zh) * 2018-10-22 2019-04-09 平安科技（深圳）有限公司 云端控制方法、装置、计算机设备及存储介质
CN109873868A (zh) * 2019-03-01 2019-06-11 深圳市网心科技有限公司 一种计算能力共享方法、***及相关设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331255B (zh) * 2014-11-17 2018-04-17 中国科学院声学研究所 一种基于嵌入式文件***的流式数据读取方法
KR101918806B1 (ko) * 2015-06-30 2018-11-14 전자부품연구원 분산 파일 시스템의 읽기 성능 극대화를 위한 캐시 관리 방법
CN105677892B (zh) * 2016-01-29 2018-12-25 华为技术有限公司 一种读取目录子项元数据的方法及装置
CN106777180B (zh) * 2016-12-22 2020-09-01 北京京东金融科技控股有限公司 高性能分布式数据转换的方法、装置及***
CN108319634B (zh) * 2017-12-15 2021-08-06 深圳创新科技术有限公司 分布式文件***的目录访问方法和装置
CN109766183A (zh) * 2018-12-28 2019-05-17 郑州云海信息技术有限公司 一种集群gpu复用及智能负载的方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166538A (zh) * 2013-05-16 2014-11-26 北大方正集团有限公司 一种数据任务处理方法及***
CN107590278A (zh) * 2017-09-28 2018-01-16 郑州云海信息技术有限公司 一种基于ceph的文件预读方法及相关装置
CN109597681A (zh) * 2018-10-22 2019-04-09 平安科技（深圳）有限公司 云端控制方法、装置、计算机设备及存储介质
CN109873868A (zh) * 2019-03-01 2019-06-11 深圳市网心科技有限公司 一种计算能力共享方法、***及相关设备

Also Published As

Publication number Publication date
CN110781159A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
JP6764989B2 (ja) 要求処理技術
CN110781159B (zh) Ceph目录文件信息读取方法、装置、服务器及存储介质
MX2007014899A (es) Mecanismo de concesion para busqueda.
US9063918B2 (en) Determining a virtual interrupt source number from a physical interrupt source number
CN112905596B (zh) 数据处理的方法、装置、计算机设备以及存储介质
US10552419B2 (en) Method and system for performing an operation using map reduce
US20160283522A1 (en) Matching untagged data sources to untagged data analysis applications
US20190258736A1 (en) Dynamic Execution of ETL Jobs Without Metadata Repository
CN111475279B (zh) 用于备份的智能数据负载平衡的***和方法
US20180225333A1 (en) Data write/import performance in a database through distributed memory
US20150007046A1 (en) Management of an application for an electronic device
WO2022199206A1 (zh) 用于虚拟机的内存共享方法及装置
CN113886353B (zh) 分层存储管理软件的数据配置推荐方法、装置及存储介质
US12001458B2 (en) Multi-cloud object store access
US9298487B2 (en) Managing virtual machine images in a distributed computing environment
US10169076B2 (en) Distributed batch job promotion within enterprise computing environments
CN110753136B (zh) 域名解析方法、装置、设备及存储介质
Wang et al. ODDS: Optimizing data-locality access for scientific data analysis
US9176910B2 (en) Sending a next request to a resource before a completion interrupt for a previous request
US10528400B2 (en) Detecting deadlock in a cluster environment using big data analytics
CN114153620B (zh) Hudi运行环境资源优化分配方法及装置
CN111008074B (zh) 一种文件处理方法、装置、设备和介质
CN109587224B (zh) 数据处理方法、装置、电子设备及计算机可读介质
CN111753017B (zh) 基于Kylin***的维表处理方法、装置、电子设备及存储介质
US20160283521A1 (en) Matching untagged data sources to untagged data analysis applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: No.3333 Liuxian Avenue, Fuguang community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong 518000

Patentee after: BAIKE DATA TECHNOLOGY (SHENZHEN) Co.,Ltd.

Address before: 518000 room 701-c, 7th floor, bike technology, No.9, Keke Road, high tech Zone, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: BAIKE DATA TECHNOLOGY (SHENZHEN) Co.,Ltd.

CP02 Change in the address of a patent holder