CN114968851A - 基于存储桶的数据处理方法及装置、电子设备、存储介质 - Google Patents

基于存储桶的数据处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN114968851A
CN114968851A CN202210563852.6A CN202210563852A CN114968851A CN 114968851 A CN114968851 A CN 114968851A CN 202210563852 A CN202210563852 A CN 202210563852A CN 114968851 A CN114968851 A CN 114968851A
Authority
CN
China
Prior art keywords
data
storage
elimination
bucket
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210563852.6A
Other languages
English (en)
Inventor
吴素宏
池信泽
张旭明
王豪迈
胥昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xingchen Tianhe Technology Co ltd
Original Assignee
Beijing Xingchen Tianhe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xingchen Tianhe Technology Co ltd filed Critical Beijing Xingchen Tianhe Technology Co ltd
Priority to CN202210563852.6A priority Critical patent/CN114968851A/zh
Publication of CN114968851A publication Critical patent/CN114968851A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/122—Replacement control using replacement algorithms of the least frequently used [LFU] type, e.g. with individual count value
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/123—Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于存储桶的数据处理方法及装置、电子设备、存储介质。其中，该方法包括：获取业务层的数据集合，其中，数据集合中包括多个数据卷；将数据集合中的数据卷分别放入不同的存储桶中；根据每份数据卷中的数据属性参数和数据存储要求，设置每个存储桶的淘汰参数；基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。本发明解决了相关技术中采用单一的淘汰策略，结合数据热点信息对缓存池的数据进行淘汰，淘汰效率较低的技术问题。

Description

基于存储桶的数据处理方法及装置、电子设备、存储介质
技术领域
本发明涉及数据处理领域，具体而言，涉及一种基于存储桶的数据处理方法及装置、电子设备、存储介质。
背景技术
相关技术中，一般的数据存储***为了兼顾性能和成本，会采用多层数据存储策略，数据先写入缓存池，当缓存池的数据存储量(或者存储水位)达到一定阀值的时候，再由缓存池淘汰部分数据到数据存储池，这样所有的客户端I/O操作都首先由缓存池处理，如果大部分读写都在缓存池里处理，性能就比较高。
在由缓存池淘汰部分数据到数据存储池的过程中，传统的淘汰算法，只能根据特定应用场景，选择固定的淘汰算法，并且算法是根据数据热点来做统计的，也就是数据产生读写后，产生相应的热点信息，根据这些信息通过算法来决策是否在缓存中淘汰，这种淘汰方式比较单一，并且对业务数据的特点，是不能感知的，识别业务的要求低时延的数据比较困难，淘汰效率较低，所以效果并不那么理想。
传统的缓存池因为上下没有联动，并且淘汰策略比较单一，需要一种新的方案去改善这种缺点。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于存储桶的数据处理方法及装置、电子设备、存储介质，以至少解决相关技术中采用单一的淘汰策略，结合数据热点信息对缓存池的数据进行淘汰，淘汰效率较低的技术问题。
根据本发明实施例的一个方面，提供了一种基于存储桶的数据处理方法，应用于数据存储***，所述数据存储***与业务层对接，包括：获取业务层的数据集合，其中，所述数据集合中包括多个数据卷；将所述数据集合中的数据卷分别放入不同的存储桶中；根据每份所述数据卷中的数据属性参数和数据存储要求，设置每个所述存储桶的淘汰参数；基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理。
可选地，在获取业务层的数据集合之前，还包括：所述业务层接收数据存储需求；所述业务层响应数据存储需求，将待存储的多份数据按照数据类型分类存储在不同的数据卷中，其中，每个所述数据卷关联有数据类型。
可选地，在获取业务层的数据集合之前，还包括：获取所述业务层中当前已经存在的所有数据类型，得到数据类型的总数量；创建与所述数据类型的总数量具有相同数量的存储桶。
可选地，在创建与所述数据类型的总数量具有相同数量的存储桶之后，还包括：根据每种所述数据类型的数据卷的容量和待缓存的数据量参数，设置所述存储桶的存储容量。
可选地，在基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理之后，还包括：接收数据查询请求；响应所述数据查询请求，结合预先配置的数据淘汰策略，确定是否命中所述存储桶中的数据；在命中所述存储桶中的数据的情况下，将所述存储桶中的查询数据返回至目标查询方；在未命中所述存储桶中的数据的情况下，通过访问数据池得到查询数据，并将所述数据池中的查询数据返回至目标查询方，其中，所述数据池与所述数据存储***预先建立通讯连接。
可选地，所述数据卷中的数据属性参数包括：存储时延要求、数据类型和数据当前存储时长。
可选地，预先配置的淘汰算法为下述之一：最近最少使用算法LRU、最不经常使用算法LFU和先进先出算法FIFO。
根据本发明实施例的另一方面，还提供了一种基于存储桶的数据处理装置，应用于数据存储***，所述数据存储***与业务层对接，包括：获取单元，用于获取业务层的数据集合，其中，所述数据集合中包括多个数据卷；存储单元，用于将所述数据集合中的数据卷分别放入不同的存储桶中；设置单元，用于根据每份所述数据卷中的数据属性参数和数据存储要求，设置每个所述存储桶的淘汰参数；淘汰单元，用于基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理。
可选地，基于存储桶的数据处理装置还包括：第一响应单元，用于在获取业务层的数据集合之前，所述业务层接收数据存储需求；所述业务层响应数据存储需求，将待存储的多份数据按照数据类型分类存储在不同的数据卷中，其中，每个所述数据卷关联有数据类型。
可选地，基于存储桶的数据处理装置还包括：第一获取模块，用于在获取业务层的数据集合之前，获取所述业务层中当前已经存在的所有数据类型，得到数据类型的总数量；创建模块，用于创建与所述数据类型的总数量具有相同数量的存储桶。
可选地，基于存储桶的数据处理装置还包括：设置模块，用于在创建与所述数据类型的总数量具有相同数量的存储桶之后，根据每种所述数据类型的数据卷的容量和待缓存的数据量参数，设置所述存储桶的存储容量。
可选地，基于存储桶的数据处理装置还包括：接收单元，用于在基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理之后，接收数据查询请求；第二响应单元，用于响应所述数据查询请求，结合预先配置的数据淘汰策略，确定是否命中所述存储桶中的数据；第一返回单元，用于在命中所述存储桶中的数据的情况下，将所述存储桶中的查询数据返回至目标查询方；第二返回单元，用于在未命中所述存储桶中的数据的情况下，通过访问数据池得到查询数据，并将所述数据池中的查询数据返回至目标查询方，其中，所述数据池与所述数据存储***预先建立通讯连接。
可选地，所述数据卷中的数据属性参数包括：存储时延要求、数据类型和数据当前存储时长。
可选地，预先配置的淘汰算法为下述之一：最近最少使用算法LRU、最不经常使用算法LFU和先进先出算法FIFO。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的基于存储桶的数据处理方法。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的基于存储桶的数据处理方法。
本发明实施例中，采用获取业务层的数据集合，其中，数据集合中包括多个数据卷，将数据集合中的数据卷分别放入不同的存储桶中，根据每份数据卷中的数据属性参数和数据存储要求，设置每个存储桶的淘汰参数，基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。在该实施例中，引用了存储桶的概念，缓存池采用上下联动的方式，根据业务层的实际需求，配置存储桶的相关参数，设置存储桶的淘汰参数，结合每个存储桶所设置的不同淘汰算法，能够精确的控制数据淘汰，从而解决相关技术中采用单一的淘汰策略，结合数据热点信息对缓存池的数据进行淘汰，淘汰效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明的一种可选的数据存储***的示意图；
图2是根据本发明实施例的一种可选的基于存储桶的数据处理方法的流程图；
图3是根据本发明实施例的一种可选的基于存储桶的数据处理装置的示意图；
图4是根据本发明实施例的一种基于存储桶的数据处理方法的电子设备(或移动设备)的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于本领域技术人员方便理解本发明，下面对本发明各实施例中出现的部分术语或者名词做出解释：
数据卷，volume，简称卷，逻辑存储空间；
存储桶，buckut，也可以叫缓存桶；
最近最少使用算法，least recently used，简称LRU；
最不经常使用算法，Least Frequently Used，简称LFU；
先进先出算法，First In First Out，简称FIFO。
本发明可以应用于各种数据存储***\缓存装置中，该数据存储***或者缓存装置，包括：客户端(Client)、缓存层(或者是缓存池Cache，可以使用SSD盘组成缓存池)、数据层(或者是数据存储池Data Pool,后端数据池可使用HDD盘组成)。本实施例中的客户端中可以包括多个数据卷，由客户配置不同卷(volume)，并且不同的卷可以有不同的淘汰优先级和淘汰算法；而缓存层/缓存池配置由多个存储桶(buckut)。
图1是根据本发明的一种可选的数据存储***的示意图，如图1所示，该数据存储***包括：客户端11、缓存池12和数据池13，其中，客户端11中可以配置多个数据卷(图1中示意了四个数据卷，分别为Volume1、Volume2、Volume3和Volume4)，而缓存池13中配置了多个存储桶(图1中示意了三个存储桶，分别为存储桶1、存储桶2和存储桶3)。
本发明下述各实施例，可以实现一种基于桶管理的上下联动进行灵活淘汰缓存数据的方案。
下面结合图1对本发明各实施例进行说明。
实施例一
根据本发明实施例，提供了一种基于存储桶的数据处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例提供了一种基于存储桶的数据处理方法，应用于数据存储***，数据存储***与业务层对接。
本实施例可以应用于块场景、对象存储场景、文件存储场景等，以块场景来说明本实施例的技术方案，由客户通过客户端配置不同数据卷；在对象或者文件场景也同样适应，根据对象或者文件特点，由命名的规则，通过对象名或者文件名生成一个hash值，相同hash值的放入到同一个桶中，这样也可以配置多个不同的hash桶，数据存储到对应的桶里，淘汰方案与块场景的淘汰方式的逻辑一样。
下面主要以块场景来说明本实施例的技术方案，由客户通过客户端配置不同数据卷，并且不同的数据卷可以有不同的淘汰优先级和淘汰算法。
图2是根据本发明实施例的一种可选的基于存储桶的数据处理方法的流程图，如图2所示，该方法包括如下步骤：
步骤S202，获取业务层的数据集合，其中，数据集合中包括多个数据卷；
步骤S204，将数据集合中的数据卷分别放入不同的存储桶中；
步骤S206，根据每份数据卷中的数据属性参数和数据存储要求，设置每个存储桶的淘汰参数；
步骤S208，基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。
通过上述步骤，可以获取业务层的数据集合，其中，数据集合中包括多个数据卷，将数据集合中的数据卷分别放入不同的存储桶中，根据每份数据卷中的数据属性参数和数据存储要求，设置每个存储桶的淘汰参数，基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。在该实施例中，引用了存储桶的概念，缓存池采用上下联动的方式，根据业务层的实际需求，配置存储桶的相关参数，设置存储桶的淘汰参数，结合每个存储桶所设置的不同淘汰算法，能够精确的控制数据淘汰，从而解决相关技术中采用单一的淘汰策略，结合数据热点信息对缓存池的数据进行淘汰，淘汰效率较低的技术问题。
本实施例中，缓存池与业务层(可以是指客户端所在层级)对接，根据数据特征配置不同存储桶的数量和大小，结合不同存储桶的淘汰参数和淘汰算法，对数据进行淘汰处理，然后将缓存池的淘汰部分数据放入到数据池。
下面结合上述各实施步骤来详细说明本实施例。
可选的，在获取业务层的数据集合之前，还包括：业务层接收数据存储需求；业务层响应数据存储需求，将待存储的多份数据按照数据类型分类存储在不同的数据卷中，其中，每个数据卷关联有数据类型。
本实施例中，业务层在接收到数据存储需求后，确认需求，并创建相应的数据卷，同时，会将相同数据类型或者相同数据特征的数据存储在同一数据卷中，便于后续进行桶归纳。
另一种可选的，在获取业务层的数据集合之前，还包括：获取业务层中当前已经存在的所有数据类型，得到数据类型的总数量；创建与数据类型的总数量具有相同数量的存储桶。
本实施例引用了缓存桶的概念，缓存池采用了上下联动的方式，根据业务层的实际需求，由业务端配置桶的数量、桶的缓存大小，设置桶淘汰的优先级，并且还可以设置桶里淘汰算法，不同桶采用了不同的淘汰算法，这样数据淘汰的策略能够匹配到各种的应用场景，能够精确的控制数据淘汰。
本实施例中，在创建与数据类型的总数量具有相同数量的存储桶之后，还包括：根据每种数据类型的数据卷的容量和待缓存的数据量参数，设置存储桶的存储容量。
步骤S202，获取业务层的数据集合，其中，数据集合中包括多个数据卷。
步骤S204，将数据集合中的数据卷分别放入不同的存储桶中。
本实施例中，在业务层创建相应的数据卷，归纳存储各类型的数据后，可以将相同数据类型或者相同数据特征的数据可以放到同一个存储桶里，例如上面的图1,volume3和volume4放的业务数据类型和数据特征一样，那么可以放到同一个存储桶里，根据不同的数据类型，确认需要创建的桶数量。
可选的，在本实施例中还可根据volume的容量和需要缓存的数据量大小，来设置每个存储桶的大小。
步骤S206，根据每份数据卷中的数据属性参数和数据存储要求，设置每个存储桶的淘汰参数。
可选的，本实施例中的数据卷中的数据属性参数包括但不限于：存储时延要求、数据类型和数据当前存储时长。本实施例中，存储桶可以设置淘汰的优先值，并且是让上层来决定哪个桶的数据优先淘汰。
在本实施例中，可以确定业务数据时延要求，设置桶淘汰的优先值，例如，在数据卷1中，放的是比较重要的元数据，对时延要求比较高，数据放入到存储桶1，希望数据能够保持长期在缓存池cache，那么就可以设置存储桶1的淘汰的优先值最低，这样该存储桶的数据就最后才淘汰或者是不淘汰。
本实施例中，可以通过数据对时延要求的重要性，设置桶淘汰的优先值，例如，对于图1出现的存储桶3>存储桶2>存储桶1,也就是优先从存储桶3淘汰，当存储桶3淘汰完，或者淘汰到一定的阀值后(这个阀值自行设置，例如，设置阈值可以是0)，从存储桶2开始淘汰，最后才淘汰存储桶1。
步骤S208，基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。
可选的，预先配置的淘汰算法为下述之一：最近最少使用算法LRU、最不经常使用算法LFU和先进先出算法FIFO。存储桶可以配置不同的算法，同一种类型的数据放到同一个桶，可以根据这个存储桶的数据特征，配置这个存储桶的淘汰算法，这样就可灵活配置不同的存储桶可以采用了不同的淘汰算法。
本实施例中，可以根据数据特征，设置对应存储桶里的淘汰算法。例如，存储桶1采用LRU算法，存储桶2采用了LFU,存储桶3采用了FIFO，上面只是举例说明，当然也可以选择其它改进的淘汰算法。
另一种可选的，在基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理之后，还包括：接收数据查询请求；响应数据查询请求，结合预先配置的数据淘汰策略，确定是否命中存储桶中的数据；在命中存储桶中的数据的情况下，将存储桶中的查询数据返回至目标查询方；在未命中存储桶中的数据的情况下，通过访问数据池得到查询数据，并将数据池中的查询数据返回至目标查询方，其中，数据池与数据存储***预先建立通讯连接。
当前面的准备工作后，后面的IO流就比较简单了，业务数据如果是写volume1，根据相应的规则，或者是简单的绑定关系知道bucket的id为1，数据直接写入到bucket1中，由当前的bukcet1的淘汰策略是否需要回刷到data pool，如果由volume1发起的读，流程也是一样，先确定数据是归属哪个bucket id，由这个id，去当前的桶查找数据，如果命中，直接从cache读返回，如果不命中，就可以直接到数据池(data pool)访问数据。
下面结合另一种可选的实施例来说明本发明。
实施例二
本实施例提供一种基于存储桶的数据处理装置，应用于数据存储***，数据存储***与业务层对接，该数据处理装置包含的各个实施单元对应于上述实施例一中的各个实施步骤。
图3是根据本发明实施例的一种可选的基于存储桶的数据处理装置的示意图，如图3所示，该数据处理装置可以包括：获取单元31、存储单元33、设置单元35、淘汰单元37，其中，
获取单元31，用于获取业务层的数据集合，其中，数据集合中包括多个数据卷；
存储单元33，用于将数据集合中的数据卷分别放入不同的存储桶中；
设置单元35，用于根据每份数据卷中的数据属性参数和数据存储要求，设置每个存储桶的淘汰参数；
淘汰单元37，用于基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。
上述基于存储桶的数据处理装置，可以通过获取单元31获取业务层的数据集合，其中，数据集合中包括多个数据卷，通过存储单元33将数据集合中的数据卷分别放入不同的存储桶中，通过设置单元35根据每份数据卷中的数据属性参数和数据存储要求，设置每个存储桶的淘汰参数，通过淘汰单元37基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。在该实施例中，引用了存储桶的概念，缓存池采用上下联动的方式，根据业务层的实际需求，配置存储桶的相关参数，设置存储桶的淘汰参数，结合每个存储桶所设置的不同淘汰算法，能够精确的控制数据淘汰，从而解决相关技术中采用单一的淘汰策略，结合数据热点信息对缓存池的数据进行淘汰，淘汰效率较低的技术问题。
可选的，基于存储桶的数据处理装置还包括：第一响应单元，用于在获取业务层的数据集合之前，业务层接收数据存储需求；业务层响应数据存储需求，将待存储的多份数据按照数据类型分类存储在不同的数据卷中，其中，每个数据卷关联有数据类型。
可选的，基于存储桶的数据处理装置还包括：第一获取模块，用于在获取业务层的数据集合之前，获取业务层中当前已经存在的所有数据类型，得到数据类型的总数量；创建模块，用于创建与数据类型的总数量具有相同数量的存储桶。
可选的，基于存储桶的数据处理装置还包括：设置模块，用于在创建与数据类型的总数量具有相同数量的存储桶之后，根据每种数据类型的数据卷的容量和待缓存的数据量参数，设置存储桶的存储容量。
可选的，基于存储桶的数据处理装置还包括：接收单元，用于在基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理之后，接收数据查询请求；第二响应单元，用于响应数据查询请求，结合预先配置的数据淘汰策略，确定是否命中存储桶中的数据；第一返回单元，用于在命中存储桶中的数据的情况下，将存储桶中的查询数据返回至目标查询方；第二返回单元，用于在未命中存储桶中的数据的情况下，通过访问数据池得到查询数据，并将数据池中的查询数据返回至目标查询方，其中，数据池与数据存储***预先建立通讯连接。
可选的，数据卷中的数据属性参数包括：存储时延要求、数据类型和数据当前存储时长。
可选的，预先配置的淘汰算法为下述之一：最近最少使用算法LRU、最不经常使用算法LFU和先进先出算法FIFO。
上述的基于存储桶的数据处理装置还可以包括处理器和存储器，上述获取单元31、存储单元33、设置单元35、淘汰单元37等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的基于存储桶的数据处理方法。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的基于存储桶的数据处理方法。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取业务层的数据集合，其中，数据集合中包括多个数据卷；将数据集合中的数据卷分别放入不同的存储桶中；根据每份数据卷中的数据属性参数和数据存储要求，设置每个存储桶的淘汰参数；基于淘汰参数和预先配置的淘汰算法，对存储桶中的数据进行淘汰处理。
图4是根据本发明实施例的一种基于存储桶的数据处理方法的电子设备(或移动设备)的硬件结构框图。如图4所示，电子设备可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、键盘、电源和/或相机。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于存储桶的数据处理方法，其特征在于，应用于数据存储***，所述数据存储***与业务层对接，包括：
获取业务层的数据集合，其中，所述数据集合中包括多个数据卷；
将所述数据集合中的数据卷分别放入不同的存储桶中；
根据每份所述数据卷中的数据属性参数和数据存储要求，设置每个所述存储桶的淘汰参数；
基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理。
2.根据权利要求1所述的数据处理方法，其特征在于，在获取业务层的数据集合之前，还包括：
所述业务层接收数据存储需求；
所述业务层响应数据存储需求，将待存储的多份数据按照数据类型分类存储在不同的数据卷中，其中，每个所述数据卷关联有数据类型。
3.根据权利要求2所述的数据处理方法，其特征在于，在获取业务层的数据集合之前，还包括：
获取所述业务层中当前已经存在的所有数据类型，得到数据类型的总数量；
创建与所述数据类型的总数量具有相同数量的存储桶。
4.根据权利要求3所述的数据处理方法，其特征在于，在创建与所述数据类型的总数量具有相同数量的存储桶之后，还包括：
根据每种所述数据类型的数据卷的容量和待缓存的数据量参数，设置所述存储桶的存储容量。
5.根据权利要求1所述的数据处理方法，其特征在于，在基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理之后，还包括：
接收数据查询请求；
响应所述数据查询请求，结合预先配置的数据淘汰策略，确定是否命中所述存储桶中的数据；
在命中所述存储桶中的数据的情况下，将所述存储桶中的查询数据返回至目标查询方；
在未命中所述存储桶中的数据的情况下，通过访问数据池得到查询数据，并将所述数据池中的查询数据返回至目标查询方，其中，所述数据池与所述数据存储***预先建立通讯连接。
6.根据权利要求1至5中任意一下所述的数据处理方法，其特征在于，所述数据卷中的数据属性参数包括：存储时延要求、数据类型和数据当前存储时长。
7.根据权利要求1至5中任意一下所述的数据处理方法，其特征在于，预先配置的淘汰算法为下述之一：最近最少使用算法LRU、最不经常使用算法LFU和先进先出算法FIFO。
8.一种基于存储桶的数据处理装置，其特征在于，应用于数据存储***，所述数据存储***与业务层对接，包括：
获取单元，用于获取业务层的数据集合，其中，所述数据集合中包括多个数据卷；
存储单元，用于将所述数据集合中的数据卷分别放入不同的存储桶中；
设置单元，用于根据每份所述数据卷中的数据属性参数和数据存储要求，设置每个所述存储桶的淘汰参数；
淘汰单元，用于基于所述淘汰参数和预先配置的淘汰算法，对所述存储桶中的数据进行淘汰处理。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述的基于存储桶的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的基于存储桶的数据处理方法。
CN202210563852.6A 2022-05-23 2022-05-23 基于存储桶的数据处理方法及装置、电子设备、存储介质 Pending CN114968851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210563852.6A CN114968851A (zh) 2022-05-23 2022-05-23 基于存储桶的数据处理方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210563852.6A CN114968851A (zh) 2022-05-23 2022-05-23 基于存储桶的数据处理方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN114968851A true CN114968851A (zh) 2022-08-30

Family

ID=82984817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210563852.6A Pending CN114968851A (zh) 2022-05-23 2022-05-23 基于存储桶的数据处理方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN114968851A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117407361A (zh) * 2023-12-13 2024-01-16 镕铭微电子(济南)有限公司 数据管理方法、装置、***、服务器及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117407361A (zh) * 2023-12-13 2024-01-16 镕铭微电子(济南)有限公司 数据管理方法、装置、***、服务器及存储介质
CN117407361B (zh) * 2023-12-13 2024-03-22 镕铭微电子(济南)有限公司 数据管理方法、装置、***、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN110290217B (zh) 数据请求的处理方法及装置、存储介质及电子装置
US9372880B2 (en) Reclamation of empty pages in database tables
US10795577B2 (en) De-duplication of client-side data cache for virtual disks
US10235047B2 (en) Memory management method, apparatus, and system
CN108647151A (zh) 一种全闪***元数据落盘方法、装置、设备及存储介质
TWI507987B (zh) 智能設備啓動過程的資料處理方法及智能設備
US20190332577A1 (en) Data access method based on feature analysis, storage device and storage system
CN111737170B (zh) 一种缓存数据管理方法、***、终端及存储介质
CN110750211B (zh) 一种存储空间的管理方法及装置
CN108959519A (zh) 一种读取数据的方法、装置和计算机可读存储介质
CN106201923A (zh) 读写数据方法及装置
CN106133707A (zh) 高速缓存管理
US10387308B2 (en) Method and apparatus for online reducing caching devices
CN109947720A (zh) 一种文件预读方法、装置、设备及可读存储介质
US20160048344A1 (en) Distributed caching systems and methods
CN114968851A (zh) 基于存储桶的数据处理方法及装置、电子设备、存储介质
CN109213450A (zh) 一种基于闪存阵列的关联元数据删除方法、装置及设备
CN111159130A (zh) 一种小文件合并方法及电子设备
CN113010526A (zh) 基于对象存储服务的存储方法及装置
CN116450287A (zh) 业务容器存储容量的管理方法、装置、设备及可读介质
CN115840731A (zh) 文件处理方法、计算设备及计算机存储介质
CN107133183A (zh) 一种基于tcmu虚拟块设备的缓存数据访问方法及***
CN109977074B (zh) 一种基于hdfs的lob数据处理方法及装置
CN111913913A (zh) 访问请求的处理方法和装置
US10686906B2 (en) Methods for managing multi-level flash storage and devices thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination