CN112130747A - 分布式对象存储***及数据读写方法 - Google Patents

分布式对象存储***及数据读写方法 Download PDF

Info

Publication number
CN112130747A
CN112130747A CN201910548604.2A CN201910548604A CN112130747A CN 112130747 A CN112130747 A CN 112130747A CN 201910548604 A CN201910548604 A CN 201910548604A CN 112130747 A CN112130747 A CN 112130747A
Authority
CN
China
Prior art keywords
cache
cluster
data
target data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910548604.2A
Other languages
English (en)
Inventor
甘红星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201910548604.2A priority Critical patent/CN112130747A/zh
Publication of CN112130747A publication Critical patent/CN112130747A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了分布式对象存储***及数据读写方法，该分布式对象存储***，包括：存储服务器集群，多个Cache组成的Cache集群及多个API客户端；其中，各API客户端均能够访问Cache集群中任一Cache。每个API客户端均能够访问Cache集群中的任一Cache，因此对于相同的数据文件，Cache集群仅缓存一份即可，能够节约Cache的存储资源。同时能够解决多个客户端访问同一数据的一致性问题，使用相同的资源做Cache，整体的Cache缓存数据的命中率相比于单节点会更高。Cache采用集群的方式部署，可以按照需求调整Cache集群的规模，具有较好的容错性和可扩展性。

Description

分布式对象存储***及数据读写方法
技术领域
本申请涉及数据存储技术领域，特别是涉及分布式对象存储***及数据读写方法。
背景技术
分布式对象存储***可以在一个持久稳固且高度可用的***中存储任意的对象，用户和应用可以在对象存储中使用API(Application Programming Interface，应用程序编程接口)访问数据。分布式对象存储***大多是通过在多个磁盘上存储多个副本来保证数据的安全性，多个副本之间数据保持一致。对于强一致性的分布式对象***，读取任意的副本是等价的，因此当热点访问时客户端会随机访问多个副本来均衡不同副本的压力，为了提高吞吐和性能客户端通常采用Cache(高速缓存存储器)来缓存读取到的数据。
相关技术中的分布式对象存储***如图1所示，包括API客户端、元数据服务器集群及数据服务器集群，其中，各API客户端分别内置有Cache。其数据读写过程如图2所示，在API客户端获取到针对待读取数据的读取请求时，该API客户端首先检查自身的Cache中是否缓存有该待读取数据。若该API客户端自身的Cache中不包含该待读取数据，则该API客户端通过元数据服务器集群及数据服务器集群获取该待读取数据，并将该待读取数据存储在该API客户端自身的Cache中；若该API客户端自身的Cache中包含该待读取数据，则该API客户端直接从自身的Cache中读取该待读取数据。
但是采用上述方法，在当多个不同的API客户端分别访问同一数据文件时，各API客户端均需要在自身的Cache中缓存该数据文件，造成了Cache存储资源的浪费。
发明内容
本申请实施例的目的在于提供一种分布式对象存储***及数据读写方法，以实现减少Cache存储资源的浪费。具体技术方案如下：
第一方面，本申请实施例提供了一种分布式对象存储***，所述***包括：
存储服务器集群、多个高速缓冲存储器Cache组成的Cache集群及多个应用程序编程接口API客户端；其中，各所述API客户端均能够访问所述Cache集群中任一所述Cache；
所述Cache，用于缓存数据；
所述存储服务器集群，用于存储数据；
所述API客户端，用于在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述Cache中。
可选的，所述API客户端，还用于：在所述Cache集群中缓存有所述目标数据时，从所述Cache集群中获取所述目标数据以响应所述访问请求。
可选的，所述存储服务集群包括元数据服务器集群及数据服务器集群；
所述数据服务器集群，用于存储数据；
所述元数据服务器集群，用于管理所述数据服务器集群中的数据。
可选的，所述API客户端，还用于：在获取到指定数据写入请求时，向所述存储服务器集群中写入所述指定数据，并将所述指定数据缓存到所述Cache集群中的一所述Cache中。
可选的，所述查询所述Cache集群的各所述Cache中是否存在所述目标数据，包括：
获取所述目标数据标识；
按照所述目标数据标识，查询所述Cache集群的数据表，确定所述目标数据标识对应的各数据块的存储位置标识key；
根据各数据块的存储位置标识key，利用一致性哈希算法对key值进行计算，确定目标Cache标识；
按照所述目标Cache标识，查询所述目标Cache，判断所述目标数据是否存在。
可选的，所述Cache与所述API客户端所在的服务器不同。
可选的，各所述Cache分别部署在各所述API客户端所在的服务器上。
第二方面，本申请实施例提供了一种数据读写方法，应用于分布式对象存储***中的API客户端，所述分布式对象存储***还包括：存储服务器集群、多个Cache组成的Cache集群；其中，所述API客户端均能够访问所述Cache集群中任一所述Cache；所述方法包括：
在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；
在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述Cache中。
可选的，在所述查询所述Cache集群的各所述Cache中是否存在所述目标数据之后，所述方法还包括：
在所述Cache集群中缓存有所述目标数据时，从所述Cache集群中获取所述目标数据以响应所述访问请求。
可选的，所述方法还包括：
在获取到指定数据写入请求时，向所述存储服务器集群中写入所述指定数据，并将所述指定数据缓存到所述Cache集群中的一所述Cache中。
可选的，所述查询所述Cache集群的各所述Cache中是否存在所述目标数据，包括：
获取所述目标数据标识；
按照所述目标数据标识，查询所述Cache集群的数据表，确定所述目标数据标识对应的各数据块的存储位置标识key；
根据各数据块的存储位置标识key，利用一致性哈希算法对key值进行计算，确定目标Cache标识；
按照所述目标Cache标识，查询所述目标Cache，判断所述目标数据是否存在。
可选的，在本申请实施例的数据读写方法中，所述Cache与所述API客户端所在的服务器不同。
可选的，在本申请实施例的数据读写方法中，各所述Cache分别部署在各所述API客户端所在的服务器上。
第三方面，本申请实施例提供了一种数据读写装置，应用于分布式对象存储***中的API客户端，所述分布式对象存储***还包括：存储服务器集群、多个Cache组成的Cache集群；其中，所述API客户端均能够访问所述Cache集群中任一所述Cache；所述装置包括：
缓存数据判断模块，用于在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；
缓存数据写入模块，用于在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述Cache中。
可选的，所述装置还包括：
缓存数据读取模块，用于在所述Cache集群中缓存有所述目标数据时，从所述Cache集群中获取所述目标数据以响应所述访问请求。
可选的，所述缓存数据写入模块，还用于：
在获取到指定数据写入请求时，向所述存储服务器集群中写入所述指定数据，并将所述指定数据缓存到所述Cache集群中的一所述Cache中。
可选的，所述缓存数据判断模块，具体用于：在获取到针对目标数据的访问请求时，获取所述目标数据标识；按照所述目标数据标识，查询所述Cache集群的数据表，确定所述目标数据标识对应的各数据块的存储位置标识key；根据各数据块的存储位置标识key，利用一致性哈希算法对key值进行计算，确定目标Cache标识；按照所述目标Cache标识，查询所述目标Cache，判断所述目标数据是否存在。
可选的，在本申请实施例的数据读写装置中，所述Cache与所述API客户端所在的服务器不同。
可选的，在本申请实施例的数据读写装置中，各所述Cache分别部署在各所述API客户端所在的服务器上。
第四方面，本申请实施例还提供了一种电子设备，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第二方面任一所述的数据读写方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面任一所述的数据读写方法。
第六方面，本申请实施例提供了一种分布式对象存储***，所述***包括：
存储服务器集群及多个缓存服务器，所述缓存服务器包括Cache及API客户端，多个所述Cache组成Cache集群；其中，各所述API客户端均能够访问所述Cache集群中任一所述Cache；
所述Cache，用于缓存数据；
所述存储服务器集群，用于存储数据；
所述API客户端，用于在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述Cache中。
第七方面，本申请实施例提供了一种分布式对象存储***，所述***包括：
存储服务器集群、多个Cache及多个API客户端，所述多个Cache采用集群的方式部署为Cache集群，所述Cache与所述API客户端所在的服务器不同；其中，各所述API客户端均能够访问所述Cache集群中任一所述Cache；
所述Cache，用于缓存数据；
所述存储服务器集群，用于存储数据；
所述API客户端，用于在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述Cache中。
本申请实施例提供的分布式对象存储***及数据读写方法，该分布式对象存储***，包括：存储服务器集群，多个Cache组成的Cache集群及多个API客户端；其中，各API客户端均能够访问Cache集群中任一Cache；Cache，用于缓存数据；存储服务器集群，用于存储数据；API客户端，用于在获取到针对目标数据的访问请求时，查询Cache集群的各Cache中是否存在目标数据；在Cache集群的各Cache中均不包含目标数据时，从存储服务器集群中获取目标数据，并将目标数据缓存到Cache集群中的一Cache中。每个API客户端均能够访问Cache集群中的任一Cache，因此对于相同的数据文件，Cache集群仅缓存一份即可，充分利用了Cache的存储资源，能够节约Cache的存储资源。同时能够解决多个客户端访问同一数据的一致性问题，使用相同的资源做Cache，整体的Cache缓存数据的命中率相比于单节点会更高。Cache采用集群的方式部署，可以按照需求调整Cache集群的规模，具有较好的容错性和可扩展性。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为相关技术中分布式对象存储***的一种示意图；
图2为相关技术中分布式对象存储***的数据读写方法的一种示意图；
图3为本申请实施例的分布式对象存储***的第一种示意图；
图4为本申请实施例的分布式对象存储***的第二种示意图；
图5为本申请实施例的分布式对象存储***的第三种示意图；
图6为本申请实施例的数据读写方法的一种示意图；
图7为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先，对本申请实施例中的专业术语进行解释：
对象存储：一种非结构数据的存储方式。
访问热点：短时间内对同一个资源的高并发的访问。
强一致：更新操作完成后，任何多个后续的访问都会返回最新更新过的值。
LRU：Least Recently Used Cache，最近最少使用的置换算法。
一致性哈希算法：一种分布式算法，常用于负载均衡。
相关技术中，分布式对象存储***中数据读写过程如图2所示，在API客户端获取到针对待读取数据的读取请求时，该API客户端首先检查自身的Cache中是否缓存有该待读取数据。若该API客户端自身的Cache中不包含该待读取数据，则该API客户端通过元数据服务器集群及数据服务器集群获取该待读取数据，并将该待读取数据存储在该API客户端自身的Cache中；若该API客户端自身的Cache中包含该待读取数据，则该API客户端直接从自身的Cache中读取该待读取数据。
但是采用上述方法，在当多个不同的API客户端分别访问同一数据文件时，各API客户端均需要在自身的Cache中缓存该数据文件，造成了Cache存储资源的浪费。并且鉴于每个API客户端Cache的存储空间的限制，Cache中缓存数据的命中率较低。其中，Cache中缓存数据的命中率是指Cache中缓存数据被使用的概率。
有鉴于此，本申请实施例提供了一种分布式对象存储***，参见图3，该***包括：
存储服务器集群、多个Cache组成的Cache集群及多个API客户端；其中，各上述API客户端均能够访问上述Cache集群中任一上述Cache；
上述Cache，用于缓存数据；
上述存储服务器集群，用于存储数据；
上述API客户端，用于在获取到针对目标数据的访问请求时，查询上述Cache集群的各上述Cache中是否存在上述目标数据；在上述Cache集群的各上述Cache中均不包含上述目标数据时，从上述存储服务器集群中获取上述目标数据以响应上述访问请求，并将上述目标数据缓存到上述Cache集群中的一上述Cache中。
在一种可能的实施方式中，上述API客户端，还用于：在上述Cache集群中缓存有上述目标数据时，从上述Cache集群中获取上述目标数据以响应上述访问请求。在Cache集群的Cache中存储有目标数据时，API客户端直接从Cache集群中获取目标数据即可。
本申请实施例的Cache集群可以为基于一致性哈希算法的分布式集群，在一种可能的实施方式中，上述查询上述Cache集群的各上述Cache中是否存在上述目标数据，包括：
步骤一，获取上述目标数据标识。
步骤二，按照上述目标数据标识，查询上述Cache集群的数据表，确定上述目标数据标识对应的各数据块的存储位置标识key。
步骤三，根据各数据块的存储位置标识key，利用一致性哈希算法对key值进行计算，确定目标Cache标识。
具体的，目标Cache标识可以为目标Cache的ID。
步骤四，按照上述目标Cache标识，查询上述目标Cache，判断上述目标数据是否存在。
在向分布式对象存储***中写入数据时，在一种可能的实施方式中，上述API客户端，还用于：在获取到指定数据写入请求时，向上述存储服务器集群中写入上述指定数据，并将上述指定数据缓存到上述Cache集群中的一上述Cache中。
在本申请实施例中，将各API客户端与Cache独立开来，引入Cache集群作为分布式对象存储集群的缓存，各Cache共同组成一个Cache集群，该Cache集群基于相关的分布式算法实现数据的读写，具体的，Cache集群可以为基于一致性哈希算法的Cache集群，可以支持增加或者删除Cache的数量,每个Cache中可以采用LRU算法来对缓存数据进行淘汰更新。对于相同的数据文件，Cache集群可以仅缓存一份。每个API客户端均能够访问Cache集群中任一Cache，因此各API客户端可以访问同一次缓存的数据文件。
在一种可能的实施方式中，上述Cache与上述API客户端所在的服务器不同。此种情况下，参见图4，本申请实施例的分布式对象存储***，包括：
存储服务器集群、多个Cache及多个API客户端，上述多个Cache采用集群的方式部署为Cache集群，上述Cache与上述API客户端所在的服务器不同；其中，各上述API客户端均能够访问上述Cache集群中任一上述Cache；
上述Cache，用于缓存数据；
上述存储服务器集群，用于存储数据；
上述API客户端，用于在获取到针对目标数据的访问请求时，查询上述Cache集群的各上述Cache中是否存在上述目标数据；在上述Cache集群的各上述Cache中均不包含上述目标数据时，从上述存储服务器集群中获取上述目标数据以响应所述访问请求，并将上述目标数据缓存到上述Cache集群中的一上述Cache中。
将每一个Cache单独部署到一***立的服务器上(该服务器可以是物理服务器也可以是一台物理服务器虚拟化后得到的多个虚拟服务器中的一台虚拟服务器)，每个Cache可以被任一API客户端访问。
在一种可能的实施方式中，各上述Cache分别部署在各上述API客户端所在的服务器上。此种情况下，参见图5，本申请实施例的分布式对象存储***，包括：
存储服务器集群及多个缓存服务器，上述缓存服务器包括Cache及API客户端，多个上述Cache组成Cache集群；其中，各上述API客户端均能够访问上述Cache集群中任一上述Cache；
上述Cache，用于缓存数据；
上述存储服务器集群，用于存储数据；
上述API客户端，用于在获取到针对目标数据的访问请求时，查询上述Cache集群的各上述Cache中是否存在上述目标数据；在上述Cache集群的各上述Cache中均不包含上述目标数据时，从上述存储服务器集群中获取上述目标数据以响应上述访问请求，并将上述目标数据缓存到上述Cache集群中的一上述Cache中。
将各个Cache部署到各个API客户端所在的服务器(该服务器可以是物理服务器也可以是一台物理服务器虚拟化后得到的多个虚拟服务器中的一台虚拟服务器)上，每个Cache可以被任一API客户端访问。本领域技术人员可以理解的是，例如图1所示的相关技术中的分布式对象存储系，是将Cache作为API客户端的一个内置模块，与API客户端的其他模块共享同一进程。而本申请实施例中虽然将Cache与API客户端部署在同一个服务器上，但是Cache并不是作为API客户端的一个内置模块，而是独立于API客户端的一个单独的进程。
在一种可能的实施方式中，上述存储服务集群包括元数据服务器集群及数据服务器集群；
上述数据服务器集群，用于存储数据；
上述元数据服务器集群，用于管理上述数据服务器集群中的数据。
相应的，数据访问过程包括：
API客户端在接收到用户针对目标数据的访问请求后，基于一致性哈希算法判断Cache集群中是否存在目标数据，如果Cache集群中存在目标数据，则将目标数据反馈给用户。如果Cache集群中不存在目标数据，则API客户端向元数据服务器集群发送数据查询请求，元数据服务器集群基于预存的数据与数据服务器集群中各存储节点的对应关系列表向API客户端反馈目标数据所在存储节点的ID；API客户端在接收到该存储节点的ID后，向数据服务器集群中与该ID对应的存储节点发送数据查询指令；API客户端在接收到存储节点反馈的目标数据后，将目标数据发送给用户，并且将目标数据缓存到Cache集群中。
相应的，数据写入过程包括：
API客户端在接收到用户的指定数据写入请求后，根据预先从元数据服务器集群中获取的数据服务器集群中各个存储节点的IP地址，从多个存储节点选择一个作为目标存储节点，并将数据写入至目标存储节点；如果写入成功，API客户端接收目标存储节点反馈的数据存储位置信息(包括指定数据所在存储节点的ID、block的ID以及objectID)后，基于一致性哈希算法将指定数据写入至Cache集群。如果写入失败，则API客户端接收到目标存储节点反馈的失败消息，并将失败消息返回给用户。
元数据服务器集群及数据服务器集群的具体实现流程可以参见相关技术中元数据服务器集群及数据服务器集群的实现，此处不在赘述。
在本申请实施例中，每个API客户端均能够访问Cache集群中的任一Cache，因此对于相同的数据文件，Cache集群仅缓存一份即可，充分利用了Cache的存储资源，能够节约Cache的存储资源。同时能够解决多个客户端访问同一数据的一致性问题，使用相同的资源做Cache，整体的Cache缓存数据的命中率相比于单节点会更高。Cache采用集群的方式部署，可以按照需求调整Cache集群的规模，具有较好的容错性和可扩展性。
本申请实施例提供了一种数据读写方法，参见图6，应用于分布式对象存储***中的API客户端，上述分布式对象存储***还包括：存储服务器集群、多个Cache组成的Cache集群；其中，上述API客户端均能够访问上述Cache集群中任一上述Cache；上述方法包括：
S601，在获取到针对目标数据的访问请求时，查询上述Cache集群的各上述Cache中是否存在上述目标数据；
S602，在上述Cache集群的各上述Cache中均不包含上述目标数据时，从上述存储服务器集群中获取上述目标数据以响应上述访问请求，并将上述目标数据缓存到上述Cache集群中的一上述Cache中。
可选的，在上述查询上述Cache集群的各上述Cache中是否存在上述目标数据之后，上述方法还包括：
在上述Cache集群中缓存有上述目标数据时，从上述Cache集群中获取上述目标数据以响应上述访问请求。
可选的，上述本申请实施例的数据读写方法还包括：
在获取到指定数据写入请求时，向上述存储服务器集群中写入上述指定数据，并将上述指定数据缓存到上述Cache集群中的一上述Cache中。
可选的，上述查询上述Cache集群的各上述Cache中是否存在上述目标数据，包括：
获取上述目标数据标识；
按照上述目标数据标识，查询上述Cache集群的数据表，确定上述目标数据标识对应的各数据块的存储位置标识key；
根据各数据块的存储位置标识key，利用一致性哈希算法对key值进行计算，确定目标Cache标识；
按照上述目标Cache标识，查询上述目标Cache，判断上述目标数据是否存在。
可选的，在本申请实施例的数据读写方法中，上述Cache与上述API客户端所在的服务器不同。
可选的，在本申请实施例的数据读写方法中，各上述Cache分别部署在各上述API客户端所在的服务器上。
可选的，在本申请实施例的数据读写方法中，上述存储服务集群包括元数据服务器集群及数据服务器集群。
本申请实施例提供了一种数据读写装置，应用于分布式对象存储***中的API客户端，上述分布式对象存储***还包括：存储服务器集群、多个Cache组成的Cache集群；其中，上述API客户端均能够访问上述Cache集群中任一上述Cache；上述装置包括：
缓存数据判断模块，用于在获取到针对目标数据的访问请求时，查询上述Cache集群的各上述Cache中是否存在上述目标数据；
缓存数据写入模块，用于在上述Cache集群的各上述Cache中均不包含上述目标数据时，从上述存储服务器集群中获取上述目标数据以响应上述访问请求，并将上述目标数据缓存到上述Cache集群中的一上述Cache中。
可选的，上述装置还包括：
缓存数据读取模块，用于在上述Cache集群中缓存有上述目标数据时，从上述Cache集群中获取上述目标数据以响应上述访问请求。
可选的，上述缓存数据写入模块，还用于：
在获取到指定数据写入请求时，向上述存储服务器集群中写入上述指定数据，并将上述指定数据缓存到上述Cache集群中的一上述Cache中。
可选的，上述缓存数据判断模块，具体用于：在获取到针对目标数据的访问请求时，获取上述目标数据标识；按照上述目标数据标识，查询上述Cache集群的数据表，确定上述目标数据标识对应的各数据块的存储位置标识key；根据各数据块的存储位置标识key，利用一致性哈希算法对key值进行计算，确定目标Cache标识；按照上述目标Cache标识，查询上述目标Cache，判断上述目标数据是否存在。
可选的，在本申请实施例的数据读写装置中，所述Cache与所述API客户端所在的服务器不同。
可选的，在本申请实施例的数据读写装置中，各所述Cache分别部署在各所述API客户端所在的服务器上。
可选的，在本申请实施例的数据读写装置中，上述存储服务集群包括元数据服务器集群及数据服务器集群。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；
上述存储器，用于存放计算机程序
上述处理器用于执行上述存储器存放的计算机程序时，实现如下步骤：
在获取到针对目标数据的访问请求时，查询上述Cache集群的各上述Cache中是否存在上述目标数据；
在上述Cache集群的各上述Cache中均不包含上述目标数据时，从上述存储服务器集群中获取上述目标数据以响应上述访问请求，并将上述目标数据缓存到上述Cache集群中的一上述Cache中。
可选的，参见图7，本申请实施例的电子设备还包括通信接口702和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。
可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实现上述任一数据读写方法。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现如下步骤：
在获取到针对目标数据的访问请求时，查询上述Cache集群的各上述Cache中是否存在上述目标数据；
在上述Cache集群的各上述Cache中均不包含上述目标数据时，从上述存储服务器集群中获取上述目标数据以响应上述访问请求，并将上述目标数据缓存到上述Cache集群中的一上述Cache中。
可选的，上述计算机程序被处理器执行时，还能够实现上述任一数据读写方法。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (13)

1.一种分布式对象存储***，其特征在于，所述***包括：
存储服务器集群、多个高速缓冲存储器Cache组成的Cache集群及多个应用程序编程接口API客户端；其中，各所述API客户端均能够访问所述Cache集群中任一所述Cache；
所述Cache，用于缓存数据；
所述存储服务器集群，用于存储数据；
所述API客户端，用于在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述Cache中。
2.根据权利要求1所述的***，其特征在于，所述API客户端，还用于：在所述Cache集群中缓存有所述目标数据时，从所述Cache集群中获取所述目标数据以响应所述访问请求。
3.根据权利要求1所述的***，其特征在于，所述存储服务集群包括元数据服务器集群及数据服务器集群；
所述数据服务器集群，用于存储数据；
所述元数据服务器集群，用于管理所述数据服务器集群中的数据。
4.根据权利要求1所述的***，其特征在于，所述API客户端，还用于：在获取到指定数据写入请求时，向所述存储服务器集群中写入所述指定数据，并将所述指定数据缓存到所述Cache集群中的一所述Cache中。
5.根据权利要求1所述的***，其特征在于，所述查询所述Cache集群的各所述Cache中是否存在所述目标数据，包括：
获取所述目标数据标识；
按照所述目标数据标识，查询所述Cache集群的数据表，确定所述目标数据标识对应的各数据块的存储位置标识key；
根据各数据块的存储位置标识key，利用一致性哈希算法对key值进行计算，确定目标Cache标识；
按照所述目标Cache标识，查询所述目标Cache，判断所述目标数据是否存在。
6.一种分布式对象存储***，其特征在于，所述***包括：
存储服务器集群及多个缓存服务器，所述缓存服务器包括Cache及API客户端，多个所述Cache组成Cache集群；其中，各所述API客户端均能够访问所述Cache集群中任一所述Cache；
所述Cache，用于缓存数据；
所述存储服务器集群，用于存储数据；
所述API客户端，用于在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述Cache中。
7.一种分布式对象存储***，其特征在于，所述***包括：
存储服务器集群、多个Cache及多个API客户端，所述多个Cache采用集群的方式部署为Cache集群，所述Cache与所述API客户端所在的服务器不同；其中，各所述API客户端均能够访问所述Cache集群中任一所述Cache；
所述Cache，用于缓存数据；
所述存储服务器集群，用于存储数据；
所述API客户端，用于在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述Cache中。
8.一种数据读写方法，其特征在于，应用于分布式对象存储***中的API客户端，所述分布式对象存储***还包括：存储服务器集群、多个Cache组成的Cache集群；其中，所述API客户端均能够访问所述Cache集群中任一所述Cache；所述方法包括：
在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；
在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述Cache中。
9.根据权利要求8所述的方法，其特征在于，在所述查询所述Cache集群的各所述Cache中是否存在所述目标数据之后，所述方法还包括：
在所述Cache集群中缓存有所述目标数据时，从所述Cache集群中获取所述目标数据以响应所述访问请求。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
在获取到指定数据写入请求时，向所述存储服务器集群中写入所述指定数据，并将所述指定数据缓存到所述Cache集群中的一所述Cache中。
11.根据权利要求8所述的方法，其特征在于，所述查询所述Cache集群的各所述Cache中是否存在所述目标数据，包括：
获取所述目标数据标识；
按照所述目标数据标识，查询所述Cache集群的数据表，确定所述目标数据标识对应的各数据块的存储位置标识key；
根据各数据块的存储位置标识key，利用一致性哈希算法对key值进行计算，确定目标Cache标识；
按照所述目标Cache标识，查询所述目标Cache，判断所述目标数据是否存在。
12.根据权利要求8所述的方法，其特征在于，所述Cache与所述API客户端所在的服务器不同。
13.根据权利要求8所述的方法，其特征在于，各所述Cache分别部署在各所述API客户端所在的服务器上。
CN201910548604.2A 2019-06-24 2019-06-24 分布式对象存储***及数据读写方法 Pending CN112130747A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910548604.2A CN112130747A (zh) 2019-06-24 2019-06-24 分布式对象存储***及数据读写方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910548604.2A CN112130747A (zh) 2019-06-24 2019-06-24 分布式对象存储***及数据读写方法

Publications (1)

Publication Number Publication Date
CN112130747A true CN112130747A (zh) 2020-12-25

Family

ID=73849231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910548604.2A Pending CN112130747A (zh) 2019-06-24 2019-06-24 分布式对象存储***及数据读写方法

Country Status (1)

Country Link
CN (1) CN112130747A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347250A (zh) * 2021-05-31 2021-09-03 中国工商银行股份有限公司 数据访问方法、数据访问装置、电子设备及可读存储介质
WO2024051259A1 (zh) * 2022-09-06 2024-03-14 华为技术有限公司 数据处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090150511A1 (en) * 2007-11-08 2009-06-11 Rna Networks, Inc. Network with distributed shared memory
CN101764848A (zh) * 2010-01-12 2010-06-30 浪潮(北京)电子信息产业有限公司 传输网络文件的方法和装置
CN104850509A (zh) * 2015-04-27 2015-08-19 交通银行股份有限公司 一种银行业务数据内存缓存的操作方法及***
CN107979629A (zh) * 2016-10-25 2018-05-01 北京京东尚科信息技术有限公司 分布式缓存***及其数据缓存方法和装置
CN108234616A (zh) * 2017-12-25 2018-06-29 深圳华强聚丰电子科技有限公司 一种高可用分布式web缓存***和方法
CN109327543A (zh) * 2018-11-21 2019-02-12 科大智能电气技术有限公司 一种物联网设备数据传输的实现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090150511A1 (en) * 2007-11-08 2009-06-11 Rna Networks, Inc. Network with distributed shared memory
CN101764848A (zh) * 2010-01-12 2010-06-30 浪潮(北京)电子信息产业有限公司 传输网络文件的方法和装置
CN104850509A (zh) * 2015-04-27 2015-08-19 交通银行股份有限公司 一种银行业务数据内存缓存的操作方法及***
CN107979629A (zh) * 2016-10-25 2018-05-01 北京京东尚科信息技术有限公司 分布式缓存***及其数据缓存方法和装置
CN108234616A (zh) * 2017-12-25 2018-06-29 深圳华强聚丰电子科技有限公司 一种高可用分布式web缓存***和方法
CN109327543A (zh) * 2018-11-21 2019-02-12 科大智能电气技术有限公司 一种物联网设备数据传输的实现方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347250A (zh) * 2021-05-31 2021-09-03 中国工商银行股份有限公司 数据访问方法、数据访问装置、电子设备及可读存储介质
WO2024051259A1 (zh) * 2022-09-06 2024-03-14 华为技术有限公司 数据处理方法及装置

Similar Documents

Publication Publication Date Title
WO2017050014A1 (zh) 一种数据存储处理方法和装置
CN108459826B (zh) 一种处理io请求的方法及装置
US8930313B2 (en) System and method for managing replication in an object storage system
US11245774B2 (en) Cache storage for streaming data
CN110018998B (zh) 一种文件管理方法、***及电子设备和存储介质
CN106648464B (zh) 基于云存储的多节点混合块缓存数据读写方法及***
US10891074B2 (en) Key-value storage device supporting snapshot function and operating method thereof
US9378218B2 (en) Apparatus and method for enabling clients to participate in data storage in distributed file system
US6968382B2 (en) Activating a volume group without a quorum of disks in the volume group being active
US10067719B1 (en) Methods and systems for storing and accessing data in a distributed data storage system
US20230359628A1 (en) Blockchain-based data processing method and apparatus, device, and storage medium
CN112130747A (zh) 分布式对象存储***及数据读写方法
CN111399760B (zh) Nas集群元数据处理方法、装置、nas网关及介质
CN114546898A (zh) 一种tlb管理方法、装置、设备及存储介质
WO2016131175A1 (zh) 多核***中数据访问者目录的访问方法及设备
CN112115521B (zh) 数据访问方法及装置
CN112579650A (zh) 基于Redis缓存的数据处理方法及***
CN111611223A (zh) 非易失性数据的访问方法、***、电子设备和介质
US7058773B1 (en) System and method for managing data in a distributed system
CN115599532A (zh) 一种访问索引的方法以及计算机集群
CN108694209B (zh) 基于对象的分布式索引方法和客户端
CN112637327B (zh) 一种数据处理方法、装置及***
US11914865B2 (en) Methods and systems for limiting data traffic while processing computer system operations
US11741078B1 (en) Witness service for ensuring data consistency in a distributed storage system
US12032562B1 (en) Data event management for monotonic read consistency in a distributed storage system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination