CN115878042A - 一种数据存储***、数据处理方法及存储介质 - Google Patents
一种数据存储***、数据处理方法及存储介质 Download PDFInfo
- Publication number
- CN115878042A CN115878042A CN202211709814.3A CN202211709814A CN115878042A CN 115878042 A CN115878042 A CN 115878042A CN 202211709814 A CN202211709814 A CN 202211709814A CN 115878042 A CN115878042 A CN 115878042A
- Authority
- CN
- China
- Prior art keywords
- data
- storage subsystem
- hard disk
- disk drive
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 114
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 239000007787 solid Substances 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims description 66
- 238000013508 migration Methods 0.000 claims description 38
- 230000005012 migration Effects 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 7
- 238000013523 data management Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开一种数据存储***、数据处理方法及存储介质。该***包括：副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***；其中，副本固态硬盘介质存储子***，用于基于预先设置的第一副本数据冗余策略，在固态硬盘介质中进行数据存储；副本硬盘驱动器介质存储子***，用于基于预先设置的第二副本数据冗余策略，在硬盘驱动器介质中进行数据存储；纠删码硬盘驱动器介质存储子***，用于基于预先设置的纠删码数据冗余策略，在硬盘驱动器介质中进行数据存储。本发明实施例所述的可用于实现数据分层的数据存储***，将不同的存储介质和不同的数据冗余策略相结合，同时具备高性能和低成本。
Description
技术领域
本发明实施例涉及数据存储技术领域，尤其涉及一种数据存储***、数据处理方法及存储介质。
背景技术
在大数据时代，数据存储至关重要，目前可用于实现数据分层的数据存储***已成为各行各业的研发重点。
但是，目前研发的数据存储***无法同时具备高性能和低成本，有待改进。
发明内容
本发明实施例提供了一种数据存储***、数据处理方法及存储介质，解决了无法同时具备高性能和低成本的问题。
根据本发明的一方面，提供了一种数据存储***，可包括：副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***；
其中，副本固态硬盘介质存储子***，用于基于预先设置的第一副本数据冗余策略，在固态硬盘介质中进行数据存储；
副本硬盘驱动器介质存储子***，用于基于预先设置的第二副本数据冗余策略，在硬盘驱动器介质中进行数据存储；
纠删码硬盘驱动器介质存储子***，用于基于预先设置的纠删码数据冗余策略，在硬盘驱动器介质中进行数据存储。
根据本发明的另一方面，提供了一种数据处理方法，包括：
响应于数据处理请求，针对数据存储***中的目标存储子***，对与目标存储子***关联的待处理数据进行处理；
其中，数据存储***包括副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***，目标存储子***包括副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中的至少一个；
其中，副本固态硬盘介质存储子***，用于基于预先设置的第一副本数据冗余策略，在固态硬盘介质中进行数据存储；
副本硬盘驱动器介质存储子***，用于基于预先设置的第二副本数据冗余策略，在硬盘驱动器介质中进行数据存储；
纠删码硬盘驱动器介质存储子***，用于基于预先设置的纠删码数据冗余策略，在硬盘驱动器介质中进行数据存储。
根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令用于使处理器执行时实现本发明任意实施例所提供的数据处理方法。
本发明实施例中所述的数据存储***，包括：副本SSD介质存储子***、副本HDD介质存储子***以及纠删码HDD介质存储子***；其中，副本SSD介质存储子***，用于基于预先设置的第一副本数据冗余策略，在SSD介质中进行数据存储；副本HDD介质存储子***，用于基于预先设置的第二副本数据冗余策略，在HDD介质中进行数据存储；纠删码HDD介质存储子***，用于基于预先设置的纠删码数据冗余策略，在HDD介质中进行数据存储。上述数据存储***，通过利用存储介质并非完全一致的各数据存储子***实现数据分层，在此基础上，还通过将SSD介质、HDD介质、副本数据冗余策略以及EC数据冗余策略相结合，从而同时具备高性能和低成本。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或是重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的一种数据存储***的结构框图；
图2是根据本发明实施例提供的另一种数据存储***的结构框图；
图3是根据本发明实施例提供的另一种数据存储***的结构框图；
图4a是根据本发明实施例提供的另一种数据存储***中的数据上传示例的示意图；
图4b是根据本发明实施例提供的另一种数据存储***中的数据下载示例的示意图；
图4c是根据本发明实施例提供的另一种数据存储***中的数据删除示例的示意图；
图5a是根据本发明实施例提供的另一种数据存储***中第一数据迁移示例的示意图；
图5b是根据本发明实施例提供的另一种数据存储***中的第二数据迁移示例的结构框图；
图6是根据本发明实施例提供的一种数据处理方法的流程图；
图7是实现本发明实施例的数据处理方法的接入模块的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。“目标”、“原始”等的情况类似，在此不再赘述。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、***、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、***、产品或设备固有的其它步骤或单元。
在介绍本发明实施例之前，先对本发明实施例的应用场景进行示例性说明：固态硬盘(Solid State Disk，SSD)介质具有较高的(访问)性能，因此基于SSD介质实现的数据存储***可有效保证数据的访问性能；硬盘驱动器(Hard Disk Drive，HDD)介质具有较低的成本，因此基于HDD介质实现的数据存储***可有效控制数据的存储成本。另外，为保障数据的可靠性，数据存储***可以基于副本(例如多副本或双副本)的方式进行数据冗余，即基于副本数据冗余策略进行数据冗余，也可以基于纠删码(Erasure-Code，EC)的方式进行数据冗余，即基于纠删码数据冗余策略进行数据冗余。相较于前者，后者能以更低的副本份数实现相同程度的数据可靠性，但是能够承载的读负载更低。
为此，可以考虑将SSD介质、HDD介质、副本数据冗余策略以及EC数据冗余策略相结合，从而构建得到同时具备高性能(即高访问质量)和低成本这两个特点的数据存储***。接下来对该数据存储***进行详细介绍。
图1是本发明实施例中所提供的一种数据存储***的结构框图。本实施例可以适用于通过将SSD介质、HDD介质、副本数据冗余策略以及EC数据冗余策略相结合，从而构建出同时具备高性能和低成本这两个特点的数据存储***的情况，尤其适用于由此构建出的数据存储***可用于实现数据分层的情况。
如图1所示，本发明实施例所述的数据存储***1，包括：副本固态硬盘介质存储子***10、副本硬盘驱动器介质存储子***11以及纠删码硬盘驱动器介质存储子***12；其中，
其中，副本固态硬盘介质存储子***10，可用于基于预先设置的第一副本数据冗余策略，在固态硬盘介质中进行数据存储；
副本硬盘驱动器介质存储子***11，可用于基于预先设置的第二副本数据冗余策略，在硬盘驱动器介质中进行数据存储；
纠删码硬盘驱动器介质存储子***12，可用于基于预先设置的纠删码数据冗余策略，在硬盘驱动器介质中进行数据存储。
其中，针对副本固态硬盘介质存储子***10，其采用SSD介质和使用第一副本数据冗余策略进行数据冗余，访问性能最佳。
针对副本硬盘驱动器介质存储子***11，其采用HDD介质以及使用第二副本数据策略进行数据冗余，访问性能和成本均介于副本SSD介质存储子***10和EC HDD介质存储子***12这二者之间。需要说明的是，第一副本数据冗余策略和第二副本数据策略可以是相同的副本数据冗余策略，也可以是不同的副本数据冗余策略，例如二者所冗余的副本份数不同，这可以根据实际情况进行设置，在此未做具体限定。
针对纠删码硬盘驱动器介质存储子***12，其采用HDD介质以及EC数据冗余策略进行数据冗余，成本最低但依旧能保持良好的数据可靠性，访问性能较为普通。
在此基础上，为了便于后续表述，可以将上述的副本SSD介质存储子***10、副本HDD介质存储子***11及EC HDD介质存储子***12，均称为数据存储子***，即上述的数据存储***1包括三个数据存储子***。
需要说明的是，第一，上述的数据存储***1中的三个数据存储子***在存储介质上并非完全一致，有的数据存储子***例如副本SSD介质存储子***10的存储介质是SSD介质，而有的数据存储子***例如副本HDD介质存储子***11和EC HDD介质存储子***12的存储介质是HDD介质，因此可以在这三个数据存储子***之间进行数据分层，即在拥有不同存储介质的数据存储子***之间实施数据转移；第二，上述的数据存储***1能充分发挥SSD介质、HDD介质、副本数据冗余策略以及EC数据冗余策略的优势，从而同时具备高性能和低成本；第三，将前两点结合起来，上述的数据存储***1相比于基于副本不同存储介质的数据存储***的数据分层方案的成本更低，相比于基于EC不同存储介质的数据存储***的数据分层方案的性能更高，同时相比于基于SSD介质和HDD介质实现的两级数据分层方案，更能够发挥高性能存储***和低成本存储***的优势；第四，上述的数据存储***1是一种多级异构存储***，这里的多级可理解为其具有不同层级的数据存储子***，异构可理解为其具有不同的存储介质和数据冗余策略，从而可以在多级异构的软件和硬件的数据存储子***之间进行数据分层。
本发明实施例中所述的数据存储***，包括：副本SSD介质存储子***、副本HDD介质存储子***以及纠删码HDD介质存储子***；其中，副本SSD介质存储子***，用于基于预先设置的第一副本数据冗余策略，在SSD介质中进行数据存储；副本HDD介质存储子***，用于基于预先设置的第二副本数据冗余策略，在HDD介质中进行数据存储；纠删码HDD介质存储子***，用于基于预先设置的纠删码数据冗余策略，在HDD介质中进行数据存储。上述数据存储***，通过利用存储介质并非完全一致的各数据存储子***实现数据分层，在此基础上，还通过将SSD介质、HDD介质、副本数据冗余策略以及EC数据冗余策略相结合，从而同时具备高性能和低成本。
图2是本发明实施例中提供的另一种数据存储***的结构框图。本实施例以上述各技术方案为基础进行优化。本实施例中，可选的，上述数据存储***，还包括：接入模块；其中，接入模块，用于响应于数据处理请求，对目标存储子***关联的待处理数据进行处理；其中，目标存储子***包括副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中的至少一个。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
具体的，参见图2，本实施例所述的数据存储***2，包括：副本固态硬盘介质存储子***20、副本硬盘驱动器介质存储子***21、纠删码硬盘驱动器介质存储子***22以及接入模块23；其中，
其中，副本固态硬盘介质存储子***20，可用于基于预先设置的第一副本数据冗余策略，在固态硬盘介质中进行数据存储；
副本硬盘驱动器介质存储子***21，可用于基于预先设置的第二副本数据冗余策略，在硬盘驱动器介质中进行数据存储；
纠删码硬盘驱动器介质存储子***22，可用于基于预先设置的纠删码数据冗余策略，在硬盘驱动器介质中进行数据存储；
接入模块23，可用于响应于数据处理请求，对与目标存储子***关联的待处理数据进行处理，其中，目标存储子***包括副本固态硬盘介质存储子***20、副本硬盘驱动器介质存储子***21以及纠删码硬盘驱动器介质存储子***22中的至少一个。
其中，通过接入模块23，为三个存储子***提供了统一的访问入口和方式，任意需要访问三个存储子***中的任意存储子***的对象，均可通过接入模块23进行访问，由此无需为各存储子***分别设置相应的访问入口和方式，具有较好的便捷性。上述对象可以是数据存储***2中的某子***，也可以是数据存储***2之外的对象，在此未做具体限定。
具体的，数据处理请求可以理解为用于对与目标存储子***关联的待处理数据进行处理的请求，具体的数据处理方式可以是数据上传、数据下载、数据删除或是数据转移等，在此未做具体限定。目标存储子***可以是上述的三个数据存储子***中的至少一个，其可以根据具体的数据处理请求进行确定。待处理数据可以是已存储于目标存储子***中的数据，也可以是需要存储至目标存储子***中的数据，这与实际情况有关，在此未做具体限定。接入模块23，通过响应于数据处理请求，对与目标存储子***关联的待处理数据进行处理，从而实现了与目标存储子***相关的数据处理过程。
本发明实施例所述的数据存储***，还包括用于为各数据存储子***提供统一的访问入口和方式的接入模块，从而可通过接入模块响应于数据处理请求，对与目标存储子***关联的待处理数据进行处理，由此实现了目标存储子***相关的数据处理过程。
图3是本发明实施例中提供的另一种数据存储***的结构框图。本实施例以上述各技术方案为基础进行优化。本实施例中，可选的，上述数据存储***，还可包括：索引存储子***；其中，索引存储子***，用于存储待处理数据的索引；接入模块，还用于处理待处理数据的索引。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
具体的，参见图3，本实施例所述的数据存储***3，包括：副本固态硬盘介质存储子***30、副本硬盘驱动器介质存储子***31、纠删码硬盘驱动器介质存储子***32、接入模块33以及索引存储子***34；其中，
其中，副本固态硬盘介质存储子***30，可用于基于预先设置的第一副本数据冗余策略，在固态硬盘介质中进行数据存储；
副本硬盘驱动器介质存储子***31，可用于基于预先设置的第二副本数据冗余策略，在硬盘驱动器介质中进行数据存储；
纠删码硬盘驱动器介质存储子***32，可用于基于预先设置的纠删码数据冗余策略，在硬盘驱动器介质中进行数据存储；
索引存储子***34，用于存储待处理数据的索引，该待处理数据的索引用于表征待处理数据在数据存储***内的存储位置；
接入模块33，用于响应于数据处理请求，对目标存储子***关联的待处理数据进行处理，以及，对待处理数据的索引进行处理，其中，目标存储子***包括副本固态硬盘介质存储子***30、副本硬盘驱动器介质存储子***31以及纠删码硬盘驱动器介质存储子***32中的至少一个。
其中，针对索引存储子***34，其可用于存储待处理数据的索引，该索引可用于表征待处理数据在数据存储***3内的存储位置，例如副本SSD介质存储子***、副本HDD介质存储子***或是EC HDD介质存储子***；除此外，还可用于表征访问待处理数据时所需要的元数据信息。在实际应用中，可选的，索引存储子***34除了可用于存储待处理数据的索引外，还可用于存储当前已存储在各数据存储***中的已存储数据的索引，在此未做具体限定。索引存储子***34，有助于接入模块33快速读取到待处理数据。
为了保证待处理数据的有效读取，接入模块33在响应于数据处理请求时，除了对待处理数据进行处理外，还需对索引存储子***34中存储的待处理数据的索引进行处理，从而便于后续对于待处理数据的读取过程。
本发明实施例所述的数据存储***，还包括用于存储待处理数据的索引的索引存储子***，从而接入模块在处理待处理数据时，还可以对待处理数据的索引进行处理，从而便于后续对于待处理数据的读取过程。
在此基础上，一种可选的技术方案，数据处理请求包括数据上传请求，待处理数据包括待上传数据，目标存储子***包括副本固态硬盘介质存储子***；其中，接入模块，具体用于响应于数据上传请求，获取待上传数据，将待上传数据写入副本固态硬盘介质存储子***中，并将根据副本固态硬盘介质存储子***确定出的待上传数据的索引，写入索引存储子***中。换言之，将待上传数据写入副本SSD介质存储子***中，从而便于待上传数据的高性能访问；而且，将待上传数据的用于表征副本SSD介质存储子***的索引写入索引存储子***中，从而便于后续根据索引从副本SSD介质存储子***中读取待上传数据。示例性的，如图4a所示，接入模块在响应于数据上传请求时，可以先将待上传数据写入到高性能的副本SSD介质存储子***中，然后再将待上传数据的索引写入到索引存储子***中，从而完成数据上传过程。
另一种可选的技术方案，数据处理请求包括数据下载请求，待处理数据包括待下载数据；其中，接入模块，具体用于响应于数据下载请求，从索引存储子***中读取待下载数据的索引，并根据待下载数据的索引，从副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中确定存储有待下载数据的目标存储子***，从目标存储子***中下载待下载数据。换言之，可以根据从索引存储子***中读取到的待下载数据的索引，从三个数据存储子***中确定存储有待下载数据的目标存储子***，然后从目标存储子***中下载待下载数据。示例性的，如图4b所示，接入模块在响应于数据下载请求时，可以先从索引存储子***中读取待下载数据的索引，再然后根据索引从具体的数据存储子***(即目标存储子***)中读取待下载数据，由此完成数据下载过程。
再一种可选的技术方案，数据处理请求包括数据删除请求，待处理数据包括待删除数据；其中，接入模块，具体用于响应于数据删除请求，从索引存储子***中删除待删除数据的索引，并根据待删除数据的索引，从副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中确定存储有待删除数据的目标存储子***，从目标存储子***中删除待删除数据。换言之，可以从索引存储子***中删除待删除数据的索引，并根据删除前获取到的待删除数据的索引，从三个数据存储子***中确定存储有待删除数据的目标存储子***，然后从目标存储子***中删除待删除数据。示例性的，如图4c所示，接入模块在响应于数据删除请求时，可以先删除索引存储子***中存储的待删除数据的索引，再然后根据索引从具体的数据存储子***(即目标存储子***)中异步删除待删除数据，由此完成数据删除过程。
本实施例以上述各技术方案为基础进行优化。本实施例中，可选的，数据处理请求包括数据迁移请求，目标存储子***包括源存储子***和目的存储子***，待处理数据包括源存储子***中的待迁移数据；其中，接入模块，具体用于响应于数据迁移请求，从副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中确定源存储子***和目的存储子***，将源存储子***中的待迁移数据迁移至目的存储子***，以及基于目的存储子***对索引存储子***中存储的索引进行修改。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
具体的，本实施例所述的数据存储***，包括：副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***、纠删码硬盘驱动器介质存储子***、接入模块以及索引存储子***；其中，
其中，副本固态硬盘介质存储子***，用于基于预先设置的第一副本数据冗余策略，在固态硬盘介质中进行数据存储；
副本硬盘驱动器介质存储子***，用于基于预先设置的第二副本数据冗余策略，在硬盘驱动器介质中进行数据存储；
纠删码硬盘驱动器介质存储子***，用于基于预先设置的纠删码数据冗余策略，在硬盘驱动器介质中进行数据存储；
索引存储子***，用于存储待处理数据的索引，该待处理数据的索引用于表征待处理数据在数据存储***内的存储位置；
接入模块，用于响应于数据迁移请求，从副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中确定源存储子***和目的存储子***，将源存储子***中的待迁移数据迁移至目的存储子***，及基于目的存储子***对索引存储子***中存储的索引进行修改。
其中，数据迁移请求可理解为将源存储子***中的待迁移数据迁移至目的存储子***中的请求，源存储子***和目的存储子***均来源于三个数据存储子***。因此，接入模块可通过响应于数据迁移请求，从三个数据存储子***中确定源存储子***和目的存储子***，将源存储子***中的待迁移数据迁移至目的存储子***，并且基于目的存储子***对索引存储子***中存储的索引进行修改，以便于后续从目的存储子***中读取到待迁移数据。
本发明实施例的技术方案，接入模块可通过响应于数据迁移请求，从三个数据存储子***中确定源存储子***和目的存储子***，然后将源存储子***中的待迁移数据迁移至目的存储子***，并且基于目的存储子***对索引存储子***中存储的索引进行修改，以便于后续从目的存储子***中读取到待迁移数据，由此完成数据迁移过程。
在此基础上，一种可选的技术方案，上述的接入模块，具体用于：响应于数据迁移请求，从索引存储子***中读取待迁移数据的索引，根据待迁移数据的索引，从副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***及纠删码硬盘驱动器介质存储子***中确定存储有待迁移数据的源存储子***；
从纠删码硬盘驱动器介质存储子***、副本固态硬盘介质存储子***以及副本硬盘驱动器介质存储子***中确定目的存储子***；
从源存储子***中读取待迁移数据，将读取到的待迁移数据写入目的存储子***中，基于目的存储子***对索引存储子***中存储的索引进行修改，并删除源存储子***中的待迁移数据。
换言之，根据从索引存储子***中读取到的待迁移数据的索引，可以确定待迁移数据在数据存储***内的存储位置，进而根据存储位置可以从三个数据存储子***中确定存储有待迁移数据的源存储子***。进一步，在从三个数据存储子***中确定目的存储子***后，可以从源存储子***中读取待迁移数据，并将读取到的待迁移数据写入目的存储子***中，然后基于目的存储子***对索引存储子***中存储的索引进行修改，并删除源存储子***中的待迁移数据，由此保证后续只会在目的存储子***中进行待迁移数据的读取过程。
示例性的，如图5a所示，接入模块响应于数据迁移请求时，可以先从索引存储子***中读取待迁移数据的索引，然后根据读取到的索引从源存储子***中读取待迁移数据，并将读取到的待迁移数据写入目的存储子***中。进一步，将索引存储子***中存储的索引修改为目的存储子***，然后再删除源存储子***中的待迁移数据，由此完成数据迁移过程。
另一种可选的技术方案，上述数据存储***，还包括：采集子***和数据迁移子***；其中，
采集子***，用于采集副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中各自存储的已存储数据的访问频次信息，其中，已存储数据包括待迁移数据；
数据迁移子***，用于从采集子***中拉取访问频次信息，根据访问频次信息生成数据迁移请求。
其中，由于每个数据存储子***内部均可统计自身存储的各已存储数据的访问频次信息，因此可通过采集子***从各数据存储子***内采集到它们各自存储的已存储数据的访问频次信息。在此基础上，可以通过数据迁移子***从采集子***中拉取这些已存储数据的访问频次信息，然后再根据访问频次信息确定这些已存储数据中存在数据迁移需求的待迁移数据，从而生成相应的数据迁移请求，并将数据迁移请求发送给接入模块，以使接入模块通过响应于数据迁移请求来实现待迁移数据的迁移过程。
示例性的，参见图5b，本示例所述的数据存储***，包括：副本SSD介质存储子***、副本HDD介质存储子***、EC HDD介质存储子***、接入模块、索引存储子***、采集子***以及数据迁移子***；其中，
其中，副本SSD介质存储子***，用于基于预先设置的第一副本数据冗余策略，在SSD介质中进行数据存储；
副本HDD介质存储子***，用于基于预先设置的第二副本数据冗余策略，在HDD介质中进行数据存储；
EC HDD介质存储子***，用于基于预先设置的EC数据冗余策略，在HDD介质中进行数据存储；
采集子***，用于采集副本SSD介质存储子***、副本HDD介质存储子***以及ECHDD介质存储子***中各自存储的已存储数据的访问频次信息；
数据迁移子***，用于从采集子***中拉取访问频次信息，根据访问频次信息生成数据迁移请求；
索引存储子***，用于存储待迁移数据的索引，该待迁移数据的索引用于表征待迁移数据在数据存储***内的存储位置；
接入模块，用于响应于数据迁移请求，从副本SSD介质存储子***、副本HDD介质存储子***以及ECHDD介质存储子***中确定源存储子***和目的存储子***，将源存储子***中的待迁移数据迁移至目的存储子***，及基于目的存储子***对索引存储子***中存储的索引进行修改。
在此基础上，可选的，与访问频次信息大于或等于第一预设阈值的已存储数据对应的目的存储子***，包括副本固态硬盘介质存储子***；和/或，
与访问频次信息小于第一预设阈值且大于或是等于第二预设阈值的已存储数据对应的目的存储子***，包括副本硬盘驱动器介质存储子***；和/或，
与访问频次信息小于第二预设阈值的已存储数据对应的目的存储子***，包括纠删码硬盘驱动器介质存储子***。
换言之，可以将高频次访问的待迁移数据迁移到副本SSD介质存储子***，较低访问频次的待迁移数据迁移到副本HDD介质存储子***，并且几乎不访问的待迁移数据迁移到EC HDD介质存储子***，从而保证了经常访问的已存储数据具有较高的访问性能，并且几乎不访问的已存储数据具有较低的存储成本。
值得注意的是，上述数据存储***的实施例中，所包括的各个子***以及模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
图6是本发明实施例中所提供的一种数据处理方法的流程图。本实施例可适用于在同时具有高性能和低成本这两个特点的数据存储***内进行数据处理的情况。该方法可以由本发明实施例所提供的接入模块来执行，该模块可以由软件和/或硬件的方式实现。
参见图6，本发明实施例的方法具体包括如下步骤：
S510、响应于数据处理请求，针对数据存储***中的目标存储子***，对与目标存储子***关联的待处理数据进行处理；
其中，数据存储***包括副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***，目标存储子***包括副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中的至少一个；
其中，副本固态硬盘介质存储子***，用于基于预先设置的第一副本数据冗余策略，在固态硬盘介质中进行数据存储；
副本硬盘驱动器介质存储子***，用于基于预先设置的第二副本数据冗余策略，在硬盘驱动器介质中进行数据存储；
纠删码硬盘驱动器介质存储子***，用于基于预先设置的纠删码数据冗余策略，在硬盘驱动器介质中进行数据存储。
上述技术方案的具体实现过程，已在上文中进行阐述，在此不再赘述。
本发明实施例的技术方案，通过响应于数据处理请求，针对数据存储***中的目标存储子***，对与目标存储子***关联的待处理数据进行处理，由此实现了具有高性能和低成本这两个特点的数据存储***内的数据处理过程。
一种可选的技术方案，数据存储***还包括索引存储子***，索引存储子***，用于存储待处理数据的索引，该待处理数据的索引用于表征待处理数据在数据存储***内的存储位置；
上述数据处理方法还包括：对待处理数据的索引进行处理。
在此基础上，一种可选的技术方案，数据处理请求包括数据上传请求，待处理数据包括待上传数据，目标存储子***包括副本固态硬盘介质存储子***；
响应于数据处理请求，针对数据存储***中的目标存储子***，对与目标存储子***关联的待处理数据进行处理，以及，对待处理数据的索引进行处理，包括：
响应于数据上传请求，获取待上传数据，将待上传数据写入副本固态硬盘介质存储子***中，并将待上传数据的索引写入索引存储子***中。
另一种可选的技术方案，数据处理请求包括数据下载请求，且待处理数据包括待下载数据；
响应于数据处理请求，针对数据存储***中的目标存储子***，对与目标存储子***关联的待处理数据进行处理，以及，对待处理数据的索引进行处理，包括：
响应于数据下载请求，从索引存储子***中读取待下载数据的索引，根据待下载数据的索引，从副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***及纠删码硬盘驱动器介质存储子***中确定存储有待下载数据的目标存储子***，并从目标存储子***中下载待下载数据。
另一种可选的技术方案，数据处理请求包括数据删除请求，且待处理数据包括待删除数据；其中，
响应于数据处理请求，针对数据存储***中的目标存储子***，对与目标存储子***关联的待处理数据进行处理，以及，对待处理数据的索引进行处理，包括：
响应于数据删除请求，从索引存储子***中删除待删除数据的索引，根据待删除数据的索引，从副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中确定存储有待删除数据的目标存储子***，从目标存储子***中删除待删除数据。
另一种可选的技术方案，数据处理请求可包括数据迁移请求，目标存储子***包括源存储子***和目的存储子***，待处理数据包括源存储子***中的待迁移数据；
响应于数据处理请求，针对数据存储***中的目标存储子***，对与目标存储子***关联的待处理数据进行处理，以及，对待处理数据的索引进行处理，包括：
响应于数据迁移请求，从副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中确定源存储子***和目的存储子***，将源存储子***中的待迁移数据迁移至目的存储子***，以及基于目的存储子***对索引存储子***中存储的索引进行修改。
在此基础上，一可选的，从副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中确定源存储子***和目的存储子***，将源存储子***中的待迁移数据迁移至目的存储子***，以及基于目的存储子***对索引存储子***中存储的索引进行修改，包括：
从索引存储子***中读取待迁移数据的索引，并根据待迁移数据的索引，从副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***及纠删码硬盘驱动器介质存储子***中确定存储有待迁移数据的源存储子***；
从纠删码硬盘驱动器介质存储子***、副本固态硬盘介质存储子***以及副本硬盘驱动器介质存储子***中确定目的存储子***；
从源存储子***中读取待迁移数据，将读取到的待迁移数据写入目的存储子***中，基于目的存储子***对索引存储子***中存储的索引进行修改，并删除源存储子***中的待迁移数据。
另一可选的，上述数据存储***，还包括：采集子***和数据迁移子***；上述数据处理方法，还包括：
接收数据迁移子***发送的数据迁移请求；
其中，数据迁移请求由数据迁移子***根据从采集子***中拉取到的访问频次信息生成，该访问频次信息通过采集子***采集副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***中各自存储的已存储数据的访问频次信息得到。
在此基础上，可选的，与访问频次信息大于或是等于第一预设阈值的已存储数据对应的目的存储子***，包括副本固态硬盘介质存储子***；和/或，
与访问频次信息小于第一预设阈值且大于或是等于第二预设阈值的已存储数据对应的目的存储子***，包括副本硬盘驱动器介质存储子***；和/或，
与访问频次信息小于第二预设阈值的已存储数据对应的目的存储子***，包括纠删码硬盘驱动器介质存储子***。
上述各个可选的技术方案的具体实现过程，已在上文进行详细阐述，在此不再赘述。
图7示出了可以用来实施本发明的实施例的接入模块60的结构示意图。接入模块旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。接入模块还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，接入模块60包括至少一个处理器61，以及与至少一个处理器61通信连接的存储器，如只读存储器(ROM)62、随机访问存储器(RAM)63等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器61可以根据存储在只读存储器(ROM)62中的计算机程序或从存储单元68加载到随机访问存储器(RAM)63中的计算机程序，来执行各种适当的动作和处理。在RAM 63中，还可存储接入模块60操作所需的各种程序和数据。处理器61、ROM 62以及RAM 63通过总线64彼此相连。输入/输出(I/O)接口65也连接至总线64。
接入模块60中的多个部件连接至I/O接口65，包括：输入单元66，例如键盘、鼠标等；输出单元67，例如各种类型的显示器、扬声器等；存储单元68，如磁盘、光盘等；以及通信单元69，例如网卡、调制解调器、无线通信收发机等。通信单元69允许接入模块60通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器61可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器61的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器61执行上文所描述的各个方法和处理，例如数据处理方法。
在一些实施例中，数据处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元68。在一些实施例中，计算机程序的部分或者全部可以经由ROM 62和/或通信单元69而被载入和/或安装到接入模块60上。当计算机程序加载到RAM 63并由处理器61执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，处理器61可通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、以及至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、以及该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或是其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行并且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在接入模块上实施此处描述的***和技术，该接入模块具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给接入模块。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (13)
1.一种数据存储***，其特征在于，包括：副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***；
其中，所述副本固态硬盘介质存储子***，用于基于预先设置的第一副本数据冗余策略，在固态硬盘介质中进行数据存储；
所述副本硬盘驱动器介质存储子***，用于基于预先设置的第二副本数据冗余策略，在硬盘驱动器介质中进行数据存储；
所述纠删码硬盘驱动器介质存储子***，用于基于预先设置的纠删码数据冗余策略，在硬盘驱动器介质中进行数据存储。
2.根据权利要求1所述的***，其特征在于，还包括：接入模块；
其中，所述接入模块，用于响应于数据处理请求，对目标存储子***关联的待处理数据进行处理；
其中，所述目标存储子***包括所述副本固态硬盘介质存储子***、所述副本硬盘驱动器介质存储子***以及所述纠删码硬盘驱动器介质存储子***中的至少一个。
3.根据权利要求2所述的***，其特征在于，还包括：索引存储子***；
其中，所述索引存储子***，用于存储所述待处理数据的索引，所述待处理数据的索引用于表征所述待处理数据在所述数据存储***内的存储位置；
所述接入模块，还用于处理所述待处理数据的索引。
4.根据权利要求3所述的***，其特征在于，所述数据处理请求包括数据上传请求，所述待处理数据包括待上传数据，所述目标存储子***包括所述副本固态硬盘介质存储子***；其中，
所述接入模块，具体用于响应于所述数据上传请求，获取所述待上传数据，将所述待上传数据写入所述副本固态硬盘介质存储子***，并将根据所述副本固态硬盘介质存储子***确定出的所述待上传数据的索引，写入所述索引存储子***中。
5.根据权利要求3所述的***，其特征在于，所述数据处理请求包括数据下载请求，所述待处理数据包括待下载数据；其中，
所述接入模块，具体用于响应于所述数据下载请求，从所述索引存储子***中读取所述待下载数据的索引，并根据所述待下载数据的索引，从所述副本固态硬盘介质存储子***、所述副本硬盘驱动器介质存储子***以及所述纠删码硬盘驱动器介质存储子***中确定存储有所述待下载数据的所述目标存储子***，从所述目标存储子***中下载所述待下载数据。
6.根据权利要求3所述的***，其特征在于，所述数据处理请求包括数据删除请求，所述待处理数据包括待删除数据；其中，
所述接入模块，具体用于响应于所述数据删除请求，从所述索引存储子***中删除所述待删除数据的索引，并根据所述待删除数据的索引，从所述副本固态硬盘介质存储子***、所述副本硬盘驱动器介质存储子***以及所述纠删码硬盘驱动器介质存储子***中确定存储有所述待删除数据的所述目标存储子***，从所述目标存储子***中删除所述待删除数据。
7.根据权利要求3所述的***，其特征在于，所述数据处理请求包括数据迁移请求，所述目标存储子***包括源存储子***和目的存储子***，所述待处理数据包括所述源存储子***中的待迁移数据；其中，
所述接入模块，具体用于响应于所述数据迁移请求，从所述副本固态硬盘介质存储子***、所述副本硬盘驱动器介质存储子***以及所述纠删码硬盘驱动器介质存储子***中确定所述源存储子***和所述目的存储子***，将所述源存储子***中的待迁移数据迁移至所述目的存储子***，以及基于所述目的存储子***对所述索引存储子***中存储的索引进行修改。
8.根据权利要求7所述的***，其特征在于，所述接入模块，具体用于：
响应于所述数据迁移请求，从所述索引存储子***中读取所述待迁移数据的索引，并根据所述待迁移数据的索引，从所述副本固态硬盘介质存储子***、所述副本硬盘驱动器介质存储子***及所述纠删码硬盘驱动器介质存储子***中确定存储有所述待迁移数据的所述源存储子***；
从所述纠删码硬盘驱动器介质存储子***、所述副本固态硬盘介质存储子***以及所述副本硬盘驱动器介质存储子***中确定所述目的存储子***；
从所述源存储子***中读取所述待迁移数据，将读取到的所述待迁移数据写入所述目的存储子***中，基于所述目的存储子***对所述索引存储子***中存储的索引进行修改，并删除所述源存储子***中的待迁移数据。
9.根据权利要求7所述的***，其特征在于，还包括：采集子***和数据迁移子***；其中，
所述采集子***，用于采集所述副本固态硬盘介质存储子***、所述副本硬盘驱动器介质存储子***以及所述纠删码硬盘驱动器介质存储子***中各自存储的已存储数据的访问频次信息，所述已存储数据包括所述待迁移数据；
所述数据迁移子***，用于从所述采集子***中拉取所述访问频次信息，并根据所述访问频次信息生成所述数据迁移请求。
10.根据权利要求9所述的***，其特征在于：
与所述访问频次信息大于或是等于第一预设阈值的所述已存储数据对应的所述目的存储子***，包括所述副本固态硬盘介质存储子***；和/或，
与所述访问频次信息小于所述第一预设阈值且大于或是等于第二预设阈值的所述已存储数据对应的所述目的存储子***，包括所述副本硬盘驱动器介质存储子***；和/或，
与所述访问频次信息小于所述第二预设阈值的所述已存储数据对应的所述目的存储子***，包括所述纠删码硬盘驱动器介质存储子***。
11.一种数据处理方法，其特征在于，包括：
响应于数据处理请求，针对数据存储***中的目标存储子***，对与所述目标存储子***关联的待处理数据进行处理；
其中，所述数据存储***包括副本固态硬盘介质存储子***、副本硬盘驱动器介质存储子***以及纠删码硬盘驱动器介质存储子***，所述目标存储子***包括所述副本固态硬盘介质存储子***、所述副本硬盘驱动器介质存储子***以及所述纠删码硬盘驱动器介质存储子***中的至少一个；
其中，所述副本固态硬盘介质存储子***，用于基于预先设置的第一副本数据冗余策略，在固态硬盘介质中进行数据存储；
所述副本硬盘驱动器介质存储子***，用于基于预先设置的第二副本数据冗余策略，在硬盘驱动器介质中进行数据存储；
所述纠删码硬盘驱动器介质存储子***，用于基于预先设置的纠删码数据冗余策略，在硬盘驱动器介质中进行数据存储。
12.根据权利要求11所述的方法，其特征在于，所述数据存储***还包括用于存储所述待处理数据的索引的索引存储子***，其中，所述待处理数据的索引用于表征所述待处理数据在所述数据存储***内的存储位置；
所述方法还包括：
对所述待处理数据的索引进行处理。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现如权利要求11或是12中所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211709814.3A CN115878042A (zh) | 2022-12-29 | 2022-12-29 | 一种数据存储***、数据处理方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211709814.3A CN115878042A (zh) | 2022-12-29 | 2022-12-29 | 一种数据存储***、数据处理方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115878042A true CN115878042A (zh) | 2023-03-31 |
Family
ID=85757201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211709814.3A Pending CN115878042A (zh) | 2022-12-29 | 2022-12-29 | 一种数据存储***、数据处理方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115878042A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117420969A (zh) * | 2023-12-19 | 2024-01-19 | 中电云计算技术有限公司 | 一种分布式数据存储方法、装置、设备及存储介质 |
-
2022
- 2022-12-29 CN CN202211709814.3A patent/CN115878042A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117420969A (zh) * | 2023-12-19 | 2024-01-19 | 中电云计算技术有限公司 | 一种分布式数据存储方法、装置、设备及存储介质 |
| CN117420969B (zh) * | 2023-12-19 | 2024-04-16 | 中电云计算技术有限公司 | 一种分布式数据存储方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9811424B2 (en) | Optimizing restoration of deduplicated data | |
| US9116936B2 (en) | Inline learning-based selective deduplication for primary storage systems | |
| US8495166B2 (en) | Optimized caching for large data requests | |
| US9811577B2 (en) | Asynchronous data replication using an external buffer table | |
| US8843716B2 (en) | Computer system, storage apparatus and data transfer method | |
| CN108629029B (zh) | 一种应用于数据仓库的数据处理方法和装置 | |
| US8386717B1 (en) | Method and apparatus to free up cache memory space with a pseudo least recently used scheme | |
| US10108644B1 (en) | Method for minimizing storage requirements on fast/expensive arrays for data mobility and migration | |
| US20130080397A1 (en) | Database restore using incremental backups in reverse order | |
| JP6774971B2 (ja) | データアクセスアクセラレータ | |
| US9766812B2 (en) | Method and system for storing data in compliance with a compression handling instruction | |
| CN113961510B (zh) | 一种文件处理方法、装置、设备及存储介质 | |
| CN113364877B (zh) | 数据处理方法、装置、电子设备和介质 | |
| US20220197539A1 (en) | Method, electronic device, and computer program product for data processing | |
| US10574751B2 (en) | Identifying data for deduplication in a network storage environment | |
| CN115878042A (zh) | 一种数据存储***、数据处理方法及存储介质 | |
| US9619336B2 (en) | Managing production data | |
| CN105068875A (zh) | 一种智能数据处理方法及装置 | |
| US10592123B1 (en) | Policy driven IO scheduler to improve write IO performance in hybrid storage systems | |
| CN113127438B (zh) | 用于存储数据的方法、装置、服务器和介质 | |
| US8818970B2 (en) | Partitioning a directory while accessing the directory | |
| US11386060B1 (en) | Techniques for verifiably processing data in distributed computing systems | |
| CN111506450B (zh) | 用于数据处理的方法、设备和计算机程序产品 | |
| US9239790B1 (en) | Techniques for evicting cached files | |
| CN115981559A (zh) | 分布式数据存储方法、装置、电子设备和可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |