CN116257186A - 一种数据对象纠删码存储方法、装置、设备及介质 - Google Patents

一种数据对象纠删码存储方法、装置、设备及介质 Download PDF

Info

Publication number
CN116257186A
CN116257186A CN202310201833.3A CN202310201833A CN116257186A CN 116257186 A CN116257186 A CN 116257186A CN 202310201833 A CN202310201833 A CN 202310201833A CN 116257186 A CN116257186 A CN 116257186A
Authority
CN
China
Prior art keywords
data object
read
local
target
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310201833.3A
Other languages
English (en)
Inventor
樊云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Jinan data Technology Co ltd
Original Assignee
Inspur Jinan data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Jinan data Technology Co ltd filed Critical Inspur Jinan data Technology Co ltd
Priority to CN202310201833.3A priority Critical patent/CN116257186A/zh
Publication of CN116257186A publication Critical patent/CN116257186A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据对象纠删码存储方法、装置、设备及介质，涉及云计算数据中心技术领域，包括：获取数据对象读写请求，将数据对象读写请求保存至本地；基于数据对象读写请求对数据对象进行读写操作，确定出本地的当前剩余存储空间容量，判断当前剩余存储空间容量是否大于预设门限值，若当前剩余存储空间容量大于预设门限值，则从本地所有数据对象中筛选出待存储的目标数据对象；判断目标数据对象的类型，若目标数据对象的类型为主副本，则对目标数据对象进行纠删码编码操作，以得到各子目标数据对象；将各目标子数据对象发送并存储至集群中除自身外的其他节点。本申请能够提高数据对象纠删码存储利用率，降低成本，增加分布式存储***稳定性。

Description

一种数据对象纠删码存储方法、装置、设备及介质
技术领域
本发明涉及云计算数据中心技术领域，特别涉及一种数据对象纠删码存储方法、装置、设备及介质。
背景技术
分布式存储***是将数据分散存储在多***立的设备上，它采用可扩展的***结构，利用多台存储服务器分担存储负荷，同时利用位置服务器定位存储信息，以Ceph(分布式文件***)、VSAN(VMware Virtual SAN)为代表的软件定义存储是一个横向扩展、自动均衡、自愈合的分布式存储***，将商用x86服务器、固态硬盘、机械硬盘等硬件资源整合为一个瘦供给的资源池，并以块存储、文件存储、对象存储、Restful API等多种接口方式提供存储服务。目前，在分布式存储***中，通常采用多副本和纠删码来实现数据保护，纠删码就是将数据对象进行切分后再编码，它仍然是单个副本，但是由于需要为编码算法提供冗余校验码字，会导致副本数据本身存储空间的增加，纠删码的原理是将数据对象划分为n份，同时为n份数据增加m份数据作为冗余数据进行存储，根据采用的算法可以通过n+m份中的任意n份数据，还原为原始数据对象。如果把n+m份数据分布在存储***的不同节点上，对于任意小于等于m个节点故障(m份数据失效)，都可以通过其他剩余的数据还原出原始数据，多副本就将数据对象一样多个副本的方式保存在分布式存储***中的多个节点中，显然多副本是高可靠的，且实现简单，只要集群中存在至少一个副本对象就不会影响业务，然而，由于同一份数据对象在分布式***中保存了多份，空间利用率偏低，无形中为企业级用户增加了存储成本，同时多副本之间的一致性模型也会导致写入性能的下降。
由上可见，如何提高数据对象纠删码存储的利用率，降低成本，增加分布式存储***的稳定性是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种数据对象纠删码存储方法、装置、设备及介质，能够提高数据对象纠删码存储的利用率，降低成本，增加分布式存储***的稳定性。其具体方案如下：
第一方面，本申请公开了一种数据对象纠删码存储方法，应用于集群中的任意节点，包括：
获取数据对象读写请求，并将所述数据对象读写请求保存至本地；
基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象；
判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象；
将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。
可选的，所述获取数据对象读写请求，并将所述数据对象读写请求保存至本地，包括：
获取数据对象读写请求，并将所述数据对象读写请求保存至本地的网关；
将所述网关中的所述数据对象读写请求发送至本地的存储层。
可选的，所述基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，包括：
利用所述存储层并基于所述数据对象读写请求对数据对象进行读写操作，以得到读写占用的存储空间容量；
基于本地的总存储空间容量和所述读写占用的存储空间容量确定出当前剩余存储空间容量。
可选的，所述从本地的所有数据对象中筛选出待存储的目标数据对象，包括：
基于业务需求确定出脏数据对象判定规则；
按照所述脏数据对象判定规则对本地的所述存储层中的所有数据对象进行筛选，以得到待存储的目标数据对象。
可选的，所述对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象，包括：
利用本地的超级模块并采用异步处理的方式，对所述目标数据对象进行纠删码编码操作，以得到各所述子目标数据对象。
可选的，所述将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点之后，还包括：
生成用于表征发送成功的消息；
将用于表征发送成功的消息以广播的形式发送至集群中的所有节点。
可选的，所述的数据对象纠删码存储方法，还包括：
当获取到用于表征发送成功的消息之后，对本地的存储层中的目标数据对象进行删除操作。
第二方面，本申请公开了一种数据对象纠删码存储装置，包括：
请求获取模块，用于获取数据对象读写请求，并将所述数据对象读写请求保存至本地；
目标数据对象确定模块，用于基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象；
判断模块，用于判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象；
数据对象存储模块，用于将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的数据对象纠删码存储方法。
第四方面，本申请公开了一种计算机存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的数据对象纠删码存储方法的步骤。
可见，本申请提供了一种数据对象纠删码存储方法，包括获取数据对象读写请求，并将所述数据对象读写请求保存至本地；基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象；判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象；将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。本申请实现在存储层采用多副本策略，保证分布式存储***的可靠性和性能，采用异步过程将待存储的目标数据对象发送至数据层，该过程不会影响到运行的业务IO，在数据层采用纠删码策略，提高分布式存储***的空间利用率；同时，通过定义主副本实现分布式存储***稳定可靠，性能好的同时，也具备较高的存储利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种数据对象纠删码存储方法流程图；
图2为本申请公开的一种分布式存储模型图；
图3为本申请公开的一种数据对象纠删码存储方法流程图；
图4为本申请公开的一种数据对象纠删码存储的具体示意图；
图5为本申请公开的一种数据对象纠删码存储装置结构示意图；
图6为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
分布式存储***是将数据分散存储在多***立的设备上，它采用可扩展的***结构，利用多台存储服务器分担存储负荷，同时利用位置服务器定位存储信息，以Ceph(分布式文件***)、VSAN(VMware Virtual SAN)为代表的软件定义存储是一个横向扩展、自动均衡、自愈合的分布式存储***，将商用x86服务器、固态硬盘、机械硬盘等硬件资源整合为一个瘦供给的资源池，并以块存储、文件存储、对象存储、Restful API等多种接口方式提供存储服务。目前，在分布式存储***中，通常采用多副本和纠删码来实现数据保护，纠删码就是将数据对象进行切分后再编码，它仍然是单个副本，但是由于需要为编码算法提供冗余校验码字，会导致副本数据本身存储空间的增加，纠删码的原理是将数据对象划分为n份，同时为n份数据增加m份数据作为冗余数据进行存储，根据采用的算法可以通过n+m份中的任意n份数据，还原为原始数据对象。如果把n+m份数据分布在存储***的不同节点上，对于任意小于等于m个节点故障(m份数据失效)，都可以通过其他剩余的数据还原出原始数据，多副本就将数据对象一样多个副本的方式保存在分布式存储***中的多个节点中，显然多副本是高可靠的，且实现简单，只要集群中存在至少一个副本对象就不会影响业务，然而，由于同一份数据对象在分布式***中保存了多份，空间利用率偏低，无形中为企业级用户增加了存储成本，同时多副本之间的一致性模型也会导致写入性能的下降。由上可见，如何提高数据对象纠删码存储的利用率，降低成本，增加分布式存储***的稳定性是本领域有待解决的问题。
本申请应用于如图2所示的分布式存储模型中的任意一个节点，对于传统采用多副本策略的分布式存储***模型中，分布式存储***不但提高了***的可靠性、可用性和存取效率，还能够带来高扩展性和极低的成本控制，具有构建和提供出企业级存储的能力。对比多副本和纠删码，多副本读写性能好，但是得盘率低，纠删码得盘率高，但是校验码计算有性能损耗；对于性能要求高的关键业务，一般采用多副本策略，然而对于海量存储场景可以采用纠删码，提高存储***利用率，降低成本。在Cache层使用多副本策略，使分布式存储***的可靠性和性能得以保障；对于Data层空间，Cache层数据的下刷本身是异步过程，该过程不会影响到运行的业务IO，因此采取在下刷数据的时候将数据对象在Data层使用纠删码存储，从而提高了Data层的得盘率，而分布式存储***的得盘率取决于Data层，显然该方案可以保障高性能的同时，也可以提高***得盘率。
参见图1所示，本发明实施例公开了一种数据对象纠删码存储方法，具体可以包括：
步骤S11：获取数据对象读写请求，并将所述数据对象读写请求保存至本地。
本实施例中，获取数据对象读写请求，并将所述数据对象读写请求保存至本地的网关；将所述网关中的所述数据对象读写请求发送至本地的存储层。即集群中包含多个不同的节点，当获取到数据对象读写请求后，节点中的Gateway(即网关)会将该数据对象读写请求转发至各节点，然后当节点收到该数据对象读写请求时，将该数据对象读写请求保存至本地。
步骤S12：基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象。
本实施例中，利用所述存储层并基于所述数据对象读写请求对数据对象进行读写操作，以得到读写占用的存储空间容量；基于本地的总存储空间容量和所述读写占用的存储空间容量确定出当前剩余存储空间容量，然后判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则基于业务需求确定出脏数据对象判定规则；按照所述脏数据对象判定规则对本地的所述存储层中的所有数据对象进行筛选，以得到待存储的目标数据对象。
可以理解的是，利用节点中的Cache层(即存储层)对数据对象进行读写，确定出读写占用的存储空间容量，将节点中的总存储空间容量和读写占用的存储空间容量作差，以得到当前剩余存储空间容量，当Cache层容量达到预定门限值后，由Cache管理进行Cache层中脏数据下刷操作，即根据业务需求从Cache层中的数据对象中筛选出脏数据，将该脏数据作为待存储的目标数据对象。
步骤S13：判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象。
步骤S14：将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。
本实施例中，判断本节点中的待存储的目标数据对象是否为主副本，如果不是主副本，则忽略该过程；若为主副本，则进行脏数据下刷，即目标数据对象进行纠删码编码操作，得到各子目标数据对象，然后将各子目标数据对象发送至集群中除自身外的其他节点。
本申请应用于如图2所示的分布式存储模型中的任意一个节点，对于传统采用多副本策略的分布式存储***模型中，Gateway(即网关)负责请求在节点间的转发，Cache层(即存储层)为高性能介质组成的空间，其容量有限，但可以提供较高的性能；Data层(即数据层)为大容量介质组成的空间，其容量较大，但性能较差；对象请求通过Gateway模块转发到不同的副本节点上，当副本请求到达节点A和节点C后，请求首先由Cache层处理，由于Cache层空间有限，当Cache层空间达到预定门限后需要将脏数据对象下刷到Data层空间，即将Cache层的数据对象写入Data层即可，然后释放Cache空间，达到Cache空间回收的目的；通常为了避免下刷过程影响到业务IO，该过程采取异步处理实现；通常分布式存储***在Cache层和Data层都采用多副本策略，从而导致空间利用率低。然而，本申请是在Cache层使用多副本策略，使分布式存储***的可靠性和性能得以保障；对于Data层空间，Cache层数据的下刷本身是异步过程，该过程不会影响到运行的业务IO，因此采取在下刷数据的时候将数据对象在Data层使用纠删码存储，从而提高了Data层的得盘率，而分布式存储***的得盘率取决于Data层，显然该方案可以保障高性能的同时，也可以提高***得盘率。
本实施例中，获取数据对象读写请求，并将所述数据对象读写请求保存至本地；基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象；判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象；将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。本申请实现在存储层采用多副本策略，保证分布式存储***的可靠性和性能，采用异步过程将待存储的目标数据对象发送至数据层，该过程不会影响到运行的业务IO，在数据层采用纠删码策略，提高分布式存储***的空间利用率；同时，通过定义主副本实现分布式存储***稳定可靠，性能好的同时，也具备较高的存储利用率。
参见图3所示，本发明实施例公开了一种数据对象纠删码存储方法，具体可以包括：
步骤S21：获取数据对象读写请求，并将所述数据对象读写请求保存至本地。
步骤S22：基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象。
步骤S23：判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则利用本地的超级模块并采用异步处理的方式，对所述目标数据对象进行纠删码编码操作，以得到各所述子目标数据对象。
步骤S24：将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。
步骤S25：生成用于表征发送成功的消息，然后将用于表征发送成功的消息以广播的形式发送至集群中的所有节点。
本实施例中，当获取到用于表征发送成功的消息之后，对本地的存储层中的目标数据对象进行删除操作。
本实施例中，在下刷时，目标数据对象通过EC模块(即超级模块)进行纠删码编码后将数据分发在集群中所有节点的Data层空间中，当数据下刷完成后，广播集群消息，通知所有节点的Cache管理去删除Cache空间中的副本，从而释放Cache空间，从而实现了数据对象在Data层空间的纠删码存储方案。如图4所示，定义主副本的规则，即在多副本策略中定义主副本，集群中包含节点A、节点B以及节点C，例如，节点A获取数据对象读写请求，通过节点A中的Gateway层将该数据对象读写请求发送至节点C，然后节点A中的Cache层对数据对象进行读写操作，得到当前剩余存储空间容量，然后判断当前剩余存储空间容量是否大于预设门限值，若当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象，然后利用EC模块对目标数据对象进行纠删码编码操作，以得到各子目标数据对象，然后将子目标数据对象分别发送至节点B和节点C，然后节点A生成用于表征发送成功的消息，然后将用于表征发送成功的消息以广播的形式发送至集群中的所有节点，节点A在收到该消息后，将自身Cache层中的目标数据对象进行删除操作，若节点B和节点C的自身Cache层中也存在目标数据对象，则同样将自身Cache层中的目标数据对象进行删除操作。
本实施例中，获取数据对象读写请求，并将所述数据对象读写请求保存至本地；基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象；判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象；将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。本申请实现在存储层采用多副本策略，保证分布式存储***的可靠性和性能，采用异步过程将待存储的目标数据对象发送至数据层，该过程不会影响到运行的业务IO，在数据层采用纠删码策略，提高分布式存储***的空间利用率；同时，通过定义主副本实现分布式存储***稳定可靠，性能好的同时，也具备较高的存储利用率。
参见图5所示，本发明实施例公开了一种数据对象纠删码存储装置，具体可以包括：
请求获取模块11，用于获取数据对象读写请求，并将所述数据对象读写请求保存至本地；
目标数据对象确定模块12，用于基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象；
判断模块13，用于判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象；
数据对象存储模块14，用于将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。
本实施例中，获取数据对象读写请求，并将所述数据对象读写请求保存至本地；基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象；判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象；将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。本申请实现在存储层采用多副本策略，保证分布式存储***的可靠性和性能，采用异步过程将待存储的目标数据对象发送至数据层，该过程不会影响到运行的业务IO，在数据层采用纠删码策略，提高分布式存储***的空间利用率；同时，通过定义主副本实现分布式存储***稳定可靠，性能好的同时，也具备较高的存储利用率。
本申请应用于分布式存储模型中的任意一个节点，对于传统采用多副本策略的分布式存储***模型中，Gateway(即网关)负责请求在节点间的转发，Cache层(即存储层)为高性能介质组成的空间，其容量有限，但可以提供较高的性能；Data层(即数据层)为大容量介质组成的空间，其容量较大，但性能较差；对象请求通过Gateway模块转发到不同的副本节点上，当副本请求到达节点A和节点C后，请求首先由Cache层处理，由于Cache层空间有限，当Cache层空间达到预定门限后需要将脏数据对象下刷到Data层空间，即将Cache层的数据对象写入Data层即可，然后释放Cache空间，达到Cache空间回收的目的；通常为了避免下刷过程影响到业务IO，该过程采取异步处理实现；通常分布式存储***在Cache层和Data层都采用多副本策略，从而导致空间利用率低。然而，本申请是在Cache层使用多副本策略，使分布式存储***的可靠性和性能得以保障；对于Data层空间，Cache层数据的下刷本身是异步过程，该过程不会影响到运行的业务IO，因此采取在下刷数据的时候将数据对象在Data层使用纠删码存储，从而提高了Data层的得盘率，而分布式存储***的得盘率取决于Data层，显然该方案可以保障高性能的同时，也可以提高***得盘率。
在一些具体实施例中，所述请求获取模块11，具体可以包括：
请求获取模块，用于获取数据对象读写请求，并将所述数据对象读写请求保存至本地的网关；
请求发送模块，用于将所述网关中的所述数据对象读写请求发送至本地的存储层。
在一些具体实施例中，所述目标数据对象确定模块12，具体可以包括：
读写模块，用于利用所述存储层并基于所述数据对象读写请求对数据对象进行读写操作，以得到读写占用的存储空间容量；
当前剩余存储空间容量确定模块，用于基于本地的总存储空间容量和所述读写占用的存储空间容量确定出当前剩余存储空间容量。
在一些具体实施例中，所述目标数据对象确定模块12，具体可以包括：
判定规则确定模块，用于基于业务需求确定出脏数据对象判定规则；
目标数据对象确定模块，用于按照所述脏数据对象判定规则对本地的所述存储层中的所有数据对象进行筛选，以得到待存储的目标数据对象。
在一些具体实施例中，所述判断模块13，具体可以包括：
子目标数据对象确定模块，用于利用本地的超级模块并采用异步处理的方式，对所述目标数据对象进行纠删码编码操作，以得到各所述子目标数据对象。
在一些具体实施例中，所述数据对象存储模块14，具体可以包括：
消息生成模块，用于生成用于表征发送成功的消息；
消息发送模块，用于将用于表征发送成功的消息以广播的形式发送至集群中的所有节点。
在一些具体实施例中，所述数据对象存储模块14，具体可以包括：
删除模块，用于当获取到用于表征发送成功的消息之后，对本地的存储层中的目标数据对象进行删除操作。
图6为本申请实施例提供的一种电子设备的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的数据对象纠删码存储方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作***221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作***221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数据对象纠删码存储方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括数据对象纠删码存储设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的数据对象纠删码存储方法步骤。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种数据对象纠删码存储方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据对象纠删码存储方法，其特征在于，应用于集群中的任意节点，包括：
获取数据对象读写请求，并将所述数据对象读写请求保存至本地；
基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象；
判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象；
将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。
2.根据权利要求1所述的数据对象纠删码存储方法，其特征在于，所述获取数据对象读写请求，并将所述数据对象读写请求保存至本地，包括：
获取数据对象读写请求，并将所述数据对象读写请求保存至本地的网关；
将所述网关中的所述数据对象读写请求发送至本地的存储层。
3.根据权利要求2所述的数据对象纠删码存储方法，其特征在于，所述基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，包括：
利用所述存储层并基于所述数据对象读写请求对数据对象进行读写操作，以得到读写占用的存储空间容量；
基于本地的总存储空间容量和所述读写占用的存储空间容量确定出当前剩余存储空间容量。
4.根据权利要求3所述的数据对象纠删码存储方法，其特征在于，所述从本地的所有数据对象中筛选出待存储的目标数据对象，包括：
基于业务需求确定出脏数据对象判定规则；
按照所述脏数据对象判定规则对本地的所述存储层中的所有数据对象进行筛选，以得到待存储的目标数据对象。
5.根据权利要求1所述的数据对象纠删码存储方法，其特征在于，所述对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象，包括：
利用本地的超级模块并采用异步处理的方式，对所述目标数据对象进行纠删码编码操作，以得到各所述子目标数据对象。
6.根据权利要求1至5任一项所述的数据对象纠删码存储方法，其特征在于，所述将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点之后，还包括：
生成用于表征发送成功的消息；
将用于表征发送成功的消息以广播的形式发送至集群中的所有节点。
7.根据权利要求6所述的数据对象纠删码存储方法，其特征在于，还包括：
当获取到用于表征发送成功的消息之后，对本地的存储层中的目标数据对象进行删除操作。
8.一种数据对象纠删码存储装置，其特征在于，包括：
请求获取模块，用于获取数据对象读写请求，并将所述数据对象读写请求保存至本地；
目标数据对象确定模块，用于基于所述数据对象读写请求对数据对象进行读写操作，并确定出本地的当前剩余存储空间容量，判断所述当前剩余存储空间容量是否大于预设门限值，若所述当前剩余存储空间容量大于预设门限值，则从本地的所有数据对象中筛选出待存储的目标数据对象；
判断模块，用于判断所述目标数据对象的类型，若所述目标数据对象的类型为主副本，则对所述目标数据对象进行纠删码编码操作，以得到各子目标数据对象；
数据对象存储模块，用于将各所述目标子数据对象分别发送并存储至集群中除自身外的其他节点。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的数据对象纠删码存储方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据对象纠删码存储方法。
CN202310201833.3A 2023-02-28 2023-02-28 一种数据对象纠删码存储方法、装置、设备及介质 Pending CN116257186A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310201833.3A CN116257186A (zh) 2023-02-28 2023-02-28 一种数据对象纠删码存储方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310201833.3A CN116257186A (zh) 2023-02-28 2023-02-28 一种数据对象纠删码存储方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116257186A true CN116257186A (zh) 2023-06-13

Family

ID=86684087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310201833.3A Pending CN116257186A (zh) 2023-02-28 2023-02-28 一种数据对象纠删码存储方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116257186A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116954523A (zh) * 2023-09-20 2023-10-27 苏州元脑智能科技有限公司 一种存储***、数据存储方法、数据读取方法和存储介质
CN117240873A (zh) * 2023-11-08 2023-12-15 阿里云计算有限公司 云存储***、数据读写方法、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116954523A (zh) * 2023-09-20 2023-10-27 苏州元脑智能科技有限公司 一种存储***、数据存储方法、数据读取方法和存储介质
CN116954523B (zh) * 2023-09-20 2024-01-26 苏州元脑智能科技有限公司 一种存储***、数据存储方法、数据读取方法和存储介质
CN117240873A (zh) * 2023-11-08 2023-12-15 阿里云计算有限公司 云存储***、数据读写方法、设备及存储介质
CN117240873B (zh) * 2023-11-08 2024-03-29 阿里云计算有限公司 云存储***、数据读写方法、设备及存储介质

Similar Documents

Publication Publication Date Title
US11614867B2 (en) Distributed storage system-based data processing method and storage device
CN116257186A (zh) 一种数据对象纠删码存储方法、装置、设备及介质
JP4696089B2 (ja) 分散ストレージシステム
US9361034B2 (en) Transferring storage resources between snapshot storage pools and volume storage pools in a distributed network
EP2830284A1 (en) Caching method for distributed storage system, node and computer readable medium
WO1991014230A1 (en) Message communication processing system
CN112783445A (zh) 数据存储方法、装置、***、电子设备及可读存储介质
CN110780819A (zh) 一种分布式存储***的数据读写方法
CN109302448B (zh) 一种数据处理方法及装置
WO2019062856A1 (zh) 数据重构方法及装置、数据存储***
US20200142634A1 (en) Hybrid distributed storage system to dynamically modify storage overhead and improve access performance
CN112130758B (zh) 一种数据读请求的处理方法、***、电子设备及存储介质
US20230137007A1 (en) Data storage method, storage system, storage device, and storage medium
CN111399760B (zh) Nas集群元数据处理方法、装置、nas网关及介质
CN109254958A (zh) 分布式数据读写方法、设备及***
JP5475702B2 (ja) メール保存バックアップシステムおよびバックアップ方法
CN117914675A (zh) 一种分布式缓存***的构建的方法及装置
CN112104729A (zh) 一种存储***及其缓存方法
CN103685359B (zh) 数据处理方法及装置
CN115981559A (zh) 分布式数据存储方法、装置、电子设备和可读介质
CN103488768A (zh) 一种基于云计算的文件管理方法及***
CN115061630A (zh) 一种数据迁移方法、装置、设备及介质
CN113301086A (zh) Dns数据管理***和管理方法
CN111488324A (zh) 一种基于消息中间件的分布式网络文件***及其工作方法
US10938701B2 (en) Efficient heartbeat with remote servers by NAS cluster nodes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination