CN111880731B - 一种数据处理方法、装置及相关组件 - Google Patents

一种数据处理方法、装置及相关组件 Download PDF

Info

Publication number
CN111880731B
CN111880731B CN202010701050.8A CN202010701050A CN111880731B CN 111880731 B CN111880731 B CN 111880731B CN 202010701050 A CN202010701050 A CN 202010701050A CN 111880731 B CN111880731 B CN 111880731B
Authority
CN
China
Prior art keywords
data
real
data block
invalid
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010701050.8A
Other languages
English (en)
Other versions
CN111880731A (zh
Inventor
刘文国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspur Data Technology Co Ltd
Original Assignee
Beijing Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspur Data Technology Co Ltd filed Critical Beijing Inspur Data Technology Co Ltd
Priority to CN202010701050.8A priority Critical patent/CN111880731B/zh
Publication of CN111880731A publication Critical patent/CN111880731A/zh
Application granted granted Critical
Publication of CN111880731B publication Critical patent/CN111880731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理方法，应用于实时压缩存储***，包括：当获取到更新数据，确定与更新数据对应的目标数据块；计算目标数据块的无效信息；判断实时压缩存储***是否满足垃圾回收条件；若是，释放目标数据块中的无效数据，将目标数据块中的数据分为冷数据和热数据，根据无效信息将冷数据和热数据分别存储到各自对应的空闲数据块。本申请能够保证每一数据块中的冷数据只需要迁移一次，无需浪费实时压缩存储***过多的资源，提高实时压缩存储***的性能。本申请还公开了一种数据处理装置、电子设备及计算机可读存储介质，具有以上有益效果。

Description

一种数据处理方法、装置及相关组件
技术领域
本申请涉及存储服务器领域，特别涉及一种数据处理方法、装置及相关组件。
背景技术
数据的指数级增长对存储容量的要求越来越高，目前，通常有两种途径来应对存储容量的增长，一种是扩展存储容量，但这会带来成本的增加；另一种是对数据进行压缩，减少存储容量的消耗，以达到节省成本的目的。实时压缩存储***在数据写入存储设备之前对数据进行压缩，不仅减少了存储空间的占用，更能进一步减少对存储设备(比如磁盘)的访问，从而提高存储***的性能。
当前的实时压缩存储***，将数据压缩后，以数据块为单位顺序写入存储空间，由于数据的更新，数据块中产生了无效数据，当实时压缩存储***的空间不足时，该实时压缩存储***需要执行垃圾回收算法，将无效数据占据的空间释放，成为空闲空间，以便继续存储新到来的数据。在执行垃圾回收算法的过程中，数据块中的冷数据会随着数据块中有效数据的合并被多次迁移，浪费实时压缩存储***的资源，从而导致实时压缩存储***的性能下降。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种数据处理方法、装置、电子设备及计算机可读存储介质，能够保证每一数据块中的冷数据只需要迁移一次，无需浪费实时压缩存储***过多的资源，提高实时压缩存储***的性能。
为解决上述技术问题，本申请提供了一种数据处理方法，应用于实时压缩存储***，包括：
当获取到更新数据，确定与所述更新数据对应的目标数据块；
计算所述目标数据块的无效信息；
判断所述实时压缩存储***是否满足垃圾回收条件；
若是，释放所述目标数据块中的无效数据，将所述目标数据块中的有效数据分为冷数据和热数据，根据所述无效信息将所述冷数据和所述热数据分别存储到各自对应的空闲数据块。
优选的，所述确定与所述更新数据对应的目标数据块之后，该数据处理方法还包括：
标记所述目标数据块中与所述更新数据对应的无效数据，并记录所述无效数据的长度。
优选的，所述无效信息为所述无效数据的长度与所述目标数据块的长度的比值。
优选的，所述根据所述无效信息将所述冷数据和所述热数据分别存储到各自对应的空闲数据块的过程具体包括：
按所述比值从大到小的顺序确定目标数据块的处理顺序；
根据所述处理顺序，依次将各个所述目标数据块中的所述冷数据和所述热数据分别存储到各自对应的空闲数据块。
优选的，所述判断所述实时压缩存储***是否满足垃圾回收条件的过程具体为：
判断所述实时压缩存储***的空闲空间是否小于预设值；
若是，判定所述实时压缩存储***满足垃圾回收条件；
若否，判定所述实时压缩存储***不满足垃圾回收条件。
优选的，所述将所述目标数据块中的有效数据分为冷数据和热数据的过程具体包括：
按写访问频度将所述目标数据块中的有效数据分为冷数据和热数据，其中，所述写访问频度为1的数据为所述冷数据，所述写访问频度大于1的数据为所述热数据。
为解决上述技术问题，本申请还提供了一种数据处理装置，应用于实时压缩存储***，包括：
确定模块，用于当获取到更新数据，确定与所述更新数据对应的目标数据块；
计算模块，用于计算所述目标数据块的无效信息；
判断模块，用于判断所述实时压缩存储***是否满足垃圾回收条件，若是，触发处理模块；
所述处理模块，用于释放所述目标数据块中的无效数据，将所述目标数据块中的有效数据分为冷数据和热数据，根据所述无效信息将所述冷数据和所述热数据分别存储到各自对应的空闲数据块。
优选的，该数据处理装置还包括：
标记模块，用于标记所述目标数据块中与所述更新数据对应的无效数据，并记录所述无效数据的长度。
为解决上述技术问题，本申请还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上文任意一项所述的数据处理方法的步骤。
为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文任意一项所述的数据处理方法的步骤。
本申请提供了一种数据处理方法，应用于实时压缩存储***，当获取到更新数据，说明与该更新数据对应的目标数据块中存在无效数据，此时计算目标数据块的无效信息，当实时压缩存储***满足垃圾回收条件时，释放该目标数据块的无效数据，从而释放实时压缩存储***的空间，并将该数据块中剩余的有效数据按冷热数据进行划分，将冷热数据分别合并到各自对应的空闲数据块中，从而每一数据块中的冷数据只需要迁移一次，无需浪费实时压缩存储***过多的资源，提高实时压缩存储***的性能。本申请还提供了一种数据处理装置、电子设备及计算机可读存储介质，具有和上述数据处理方法相同的有益效果。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种数据处理方法的步骤流程图；
图2为本申请所提供的一种数据处理装置的结构示意图。
具体实施方式
本申请的核心是提供一种数据处理方法、装置、电子设备及计算机可读存储介质，能够保证每一数据块中的冷数据只需要迁移一次，无需浪费实时压缩存储***过多的资源，提高实时压缩存储***的性能。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，图1为本申请所提供的一种数据处理方法的步骤流程图，应用于实时压缩存储***，该数据处理方法包括：
S101：当获取到更新数据，确定与更新数据对应的目标数据块；
具体的，在执行本步骤之前，还可以包括判断接收到的数据是更新数据或新数据的操作，若是新数据则将该新数据写入对应的数据块，本实施例中的更新数据具体为已有旧数据的更新数据，若写入的数据为更新数据，则确定该更新数据对应的目标数据块，这里的目标数据块为该更新数据对应的旧数据所在数据块，一般的，更新数据会写入与其对应的旧数据所在数据块不同的数据块。作为一种优选的实施例，对于更新数据，可以通过查询元数据确定其对应的旧数据所在的目标数据块。
具体的，由于存在更新数据，目标数据块中与更新数据对应的旧数据即为无效数据，考虑到无效数据无意义，还会占据实时压缩存储***的空间，因此，本步骤的目的在于确定无效数据的位置，以便当实时压缩存储***的空间较小时，可以快速定位到无效数据的位置，释放目标数据块中的无效数据。
可以理解的是，本实施例中，在数据写入时记录数据的写访问频度，具体可根据其写入地址确定该数据的写访问频度，若是第一次访问该地址，则记录该数据的写访问频度为1，下一次再访问该地址时，将该数据的写访问频度记录为2，依次累加，其中，写入地址具体可以指LBA。
S102：计算目标数据块的无效信息；
具体的，本步骤中的无效信息具体可以为无效数据的长度与目标数据块的长度的比值。在执行本步骤之前还可以包括获取目标数据块的长度的操作，可以理解的是，该目标数据块中与更新数据对应的数据即为无效数据，因此，每接收到一次与该目标数据块中的数据对应的更新数据，则重新计算一次该目标数据块的无效信息，以保证目标数据块的无效信息的可靠性。
S103：判断实时压缩存储***是否满足垃圾回收条件，若是，执行S104；
S104：释放目标数据块中的无效数据，将目标数据块中的有效数据分为冷数据和热数据，根据无效信息将冷数据和热数据分别存储到各自对应的空闲数据块。
具体的，判断实时压缩存储***是否满足垃圾回收条件，若满足，说明需要对实时压缩***执行垃圾回收，若不满足，则不对实时压缩存储***中的数据进行处理，其中，可根据实时压缩存储***的空闲空间的大小判断实时压缩存储***是否满足垃圾回收条件，若实时压缩存储***的空闲空间小于或等于预设值，则判定满足，否则，判定不满足，预设值可设置为额定存储空间的10％。
具体的，当满足垃圾回收条件，则将目标数据块中的无效数据释放，从而释放实时压缩存储***的空间。然后将该目标数据块中的有效数据分为冷数据和热数据，将冷数据合并到一个空闲数据块中，将热数据合并到另一个空闲数据块中，使原有的目标数据块所占空间被释放，成为空闲空间。作为一种优选的实施例，可以按写访问频度将目标数据块中的有效数据分为冷数据和热数据，其中，写访问频度为1的数据为冷数据，写访问频度大于1的数据为热数据。具体的，在垃圾回收过程中将冷数据和热数据分别存储，能够减少垃圾回收过程中迁移的数据量，从而提高实时压缩存储***的性能。进一步的，应重复S103～S104，以便将实时压缩存储***的空闲空间的大小控制在预设值以上。
可以理解的是，考虑到可能同时存在多个目标数据块，则将某一目标数据块中的冷数据存储到空闲数据块A后，将下一目标数据块中的冷数据也存储到该空闲数据块A中，直至空闲数据块A写满，再将其余目标数据块中的冷数据写入到一个新的空闲数据块B中，以此类推，热数据，同理，从而避免对空闲数据块过多的占用。
可见，本实施例中当获取到更新数据，说明与该更新数据对应的目标数据块中存在无效数据，此时计算目标数据块的无效信息，当实时压缩存储***满足垃圾回收条件时，释放该目标数据块的无效数据，从而释放实时压缩存储***的空间，并将该数据块中剩余的有效数据按冷热数据进行划分，将冷热数据分别合并到各自对应的空闲数据块中，从而每一数据块中的冷数据只需要迁移一次，无需浪费实时压缩存储***过多的资源，提高实时压缩存储***的性能。
在上述实施例的基础上：
作为一种优选的实施例，确定与更新数据对应的目标数据块之后，该数据处理方法还包括：
标记目标数据块中与更新数据对应的无效数据，并记录无效数据的长度。
具体的，在数据写入过程中，确定更新数据对应的目标数据块后，标记该目标数据块中与更新数据对应的无效数据，以便后续可以根据该目标数据块中所有被标记的无效数据的长度，计算目标数据块的无效信息，保证无效信息的准确性，此外，便于后续释放该目标数据块中的无效数据。
作为一种优选的实施例，根据无效信息将冷数据和热数据分别存储到各自对应的空闲数据块的过程具体包括：
按比值从大到小的顺序确定目标数据块的处理顺序；
根据处理顺序，依次将各个目标数据块中的冷数据和热数据分别存储到各自对应的空闲数据块。
具体的，考虑到实时压缩存储***中可以同时包括多个目标数据块，为了提高释放实时压缩存储***中的空间的效率，本申请首先按照按比值从大到小的顺序确定目标数据块的处理顺序，可以理解的是，比值越大，说明该目标数据块中的无效数据越多，因此，应先对比值较大的目标数据块进行处理。
请参照图2，图2为本申请所提供的一种数据处理装置的结构示意图，应用于实时压缩存储***，该数据处理装置包括：
确定模块1，用于当获取到更新数据，确定与更新数据对应的目标数据块；
计算模块2，用于计算目标数据块的无效信息；
判断模块3，用于判断实时压缩存储***是否满足垃圾回收条件，若是，触发处理模块4；
处理模块4，用于释放目标数据块中的无效数据，将目标数据块中的有效数据分为冷数据和热数据，根据无效信息将冷数据和热数据分别存储到各自对应的空闲数据块。
可见，本实施例中当获取到更新数据，说明与该更新数据对应的目标数据块中存在无效数据，此时计算目标数据块的无效信息，当实时压缩存储***满足垃圾回收条件时，释放该目标数据块的无效数据，从而释放实时压缩存储***的空间，并将该数据块中剩余的有效数据按冷热数据进行划分，将冷热数据分别合并到各自对应的空闲数据块中，从而每一数据块中的冷数据只需要迁移一次，无需浪费实时压缩存储***过多的资源，提高实时压缩存储***的性能。
作为一种优选的实施例，该数据处理装置还包括：
标记模块，用于标记目标数据块中与更新数据对应的无效数据，并记录无效数据的长度。
作为一种优选的实施例，无效信息为无效数据的长度与目标数据块的长度的比值。
作为一种优选的实施例，根据无效信息将冷数据和热数据分别存储到各自对应的空闲数据块的过程具体包括：
按比值从大到小的顺序确定目标数据块的处理顺序；
根据处理顺序，依次将各个目标数据块中的冷数据和热数据分别存储到各自对应的空闲数据块。
作为一种优选的实施例，判断实时压缩存储***是否满足垃圾回收条件的过程具体为：
判断实时压缩存储***的空闲空间是否小于预设值；
若是，判定实时压缩存储***满足垃圾回收条件；
若否，判定实时压缩存储***不满足垃圾回收条件。
作为一种优选的实施例，将目标数据块中的有效数据分为冷数据和热数据的过程具体包括：
按写访问频度将目标数据块中的有效数据分为冷数据和热数据，其中，写访问频度为1的数据为冷数据，写访问频度大于1的数据为热数据。
另一方面，本申请还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上文任意一个实施例所描述的数据处理方法的步骤。
对于本申请所提供的一种电子设备的介绍请参照上述实施例，本申请在此不再赘述。
本申请所提供的一种电子设备具有和上述数据处理方法相同的有益效果。
另一方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上文任意一个实施例所描述的数据处理方法的步骤。
对于本申请所提供的一种计算机可读存储介质的介绍请参照上述实施例，本申请在此不再赘述。
本申请所提供的一种计算机可读存储介质具有和上述数据处理方法相同的有益效果。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种数据处理方法，其特征在于，应用于实时压缩存储***，包括：
当获取到更新数据，确定与所述更新数据对应的目标数据块；
计算所述目标数据块的无效信息；
判断所述实时压缩存储***是否满足垃圾回收条件；
若是，释放所述目标数据块中的无效数据，将所述目标数据块中的有效数据分为冷数据和热数据，根据所述无效信息将所述冷数据和所述热数据分别存储到各自对应的空闲数据块；
所述确定与所述更新数据对应的目标数据块之后，该数据处理方法还包括：
标记所述目标数据块中与所述更新数据对应的无效数据，并记录所述无效数据的长度；
所述无效信息为所述无效数据的长度与所述目标数据块的长度的比值；
所述根据所述无效信息将所述冷数据和所述热数据分别存储到各自对应的空闲数据块的过程具体包括：
按所述比值从大到小的顺序确定目标数据块的处理顺序；
根据所述处理顺序，依次将各个所述目标数据块中的所述冷数据和所述热数据分别存储到各自对应的空闲数据块。
2.根据权利要求1所述的数据处理方法，其特征在于，所述判断所述实时压缩存储***是否满足垃圾回收条件的过程具体为：
判断所述实时压缩存储***的空闲空间是否小于预设值；
若是，判定所述实时压缩存储***满足垃圾回收条件；
若否，判定所述实时压缩存储***不满足垃圾回收条件。
3.根据权利要求1-2任意一项所述的数据处理方法，其特征在于，所述将所述目标数据块中的有效数据分为冷数据和热数据的过程具体包括：
按写访问频度将所述目标数据块中的有效数据分为冷数据和热数据，其中，所述写访问频度为1的数据为所述冷数据，所述写访问频度大于1的数据为所述热数据。
4.一种数据处理装置，其特征在于，应用于实时压缩存储***，包括：
确定模块，用于当获取到更新数据，确定与所述更新数据对应的目标数据块；
计算模块，用于计算所述目标数据块的无效信息；
判断模块，用于判断所述实时压缩存储***是否满足垃圾回收条件，若是，触发处理模块；
所述处理模块，用于释放所述目标数据块中的无效数据，将所述目标数据块中的有效数据分为冷数据和热数据，根据所述无效信息将所述冷数据和所述热数据分别存储到各自对应的空闲数据块；
该数据处理装置还包括：
标记模块，用于标记所述目标数据块中与所述更新数据对应的无效数据，并记录所述无效数据的长度；
所述无效信息为所述无效数据的长度与所述目标数据块的长度的比值；
所述根据所述无效信息将所述冷数据和所述热数据分别存储到各自对应的空闲数据块的过程具体包括：
按所述比值从大到小的顺序确定目标数据块的处理顺序；
根据所述处理顺序，依次将各个所述目标数据块中的所述冷数据和所述热数据分别存储到各自对应的空闲数据块。
5.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-3任意一项所述的数据处理方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-3任意一项所述的数据处理方法的步骤。
CN202010701050.8A 2020-07-17 2020-07-17 一种数据处理方法、装置及相关组件 Active CN111880731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010701050.8A CN111880731B (zh) 2020-07-17 2020-07-17 一种数据处理方法、装置及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010701050.8A CN111880731B (zh) 2020-07-17 2020-07-17 一种数据处理方法、装置及相关组件

Publications (2)

Publication Number Publication Date
CN111880731A CN111880731A (zh) 2020-11-03
CN111880731B true CN111880731B (zh) 2023-03-21

Family

ID=73154558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010701050.8A Active CN111880731B (zh) 2020-07-17 2020-07-17 一种数据处理方法、装置及相关组件

Country Status (1)

Country Link
CN (1) CN111880731B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126918B (zh) * 2021-04-01 2023-02-28 山东英信计算机技术有限公司 一种碎片化数据读取方法、装置及介质
CN113253923B (zh) * 2021-04-28 2023-05-09 锐掣(杭州)科技有限公司 数据处理方法、装置、设备、介质及产品
CN114138183B (zh) * 2021-10-29 2023-09-12 郑州云海信息技术有限公司 一种存储***的数据分层方法、装置、设备及存储介质
CN115827660B (zh) * 2023-02-14 2023-05-12 本原数据(北京)信息技术有限公司 数据更新方法、装置、电子设备及非易失性存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201906A (zh) * 2016-07-11 2016-12-07 浪潮(北京)电子信息产业有限公司 一种用于闪存的冷热数据分离方法及***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104516471B (zh) * 2013-09-27 2017-04-12 国际商业机器公司 一种管理存储器***的电源的方法和装置
CN109558244A (zh) * 2018-12-03 2019-04-02 郑州云海信息技术有限公司 垃圾信息回收方法、装置、设备及计算机可读存储介质
CN109683830A (zh) * 2019-01-08 2019-04-26 郑州云海信息技术有限公司 一种全闪存列阵的数据写入方法、***及相关组件
CN110069218A (zh) * 2019-04-22 2019-07-30 珠海全志科技股份有限公司 冷热数据分离方法、装置、计算机设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201906A (zh) * 2016-07-11 2016-12-07 浪潮(北京)电子信息产业有限公司 一种用于闪存的冷热数据分离方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HDFS数据动态分布设计与实现;蔡宇昂等;《绿色科技》(第06期);全文 *
The reconstruction of MODIS land surface temperature products using NSSR;Wenping Yu;《IEEE》;全文 *
移动设备文件***冷热数据管理策略;袁玉环;《信息科技》(第3期);全文 *

Also Published As

Publication number Publication date
CN111880731A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111880731B (zh) 一种数据处理方法、装置及相关组件
US11853549B2 (en) Index storage in shingled magnetic recording (SMR) storage system with non-shingled region
US10802718B2 (en) Method and device for determination of garbage collector thread number and activity management in log-structured file systems
US9965394B2 (en) Selective compression in data storage systems
CN109614377A (zh) 分布式文件***的文件删除方法、装置、设备及存储介质
CN110555001B (zh) 数据处理方法、装置、终端及介质
CN110879800A (zh) 数据写入、压缩和读取方法、数据处理方法及装置
CN110147331B (zh) 缓存数据处理方法、***及可读存储介质
EP3958120A1 (en) Method and device for anonymous page management, terminal device, and readable storage medium
CN103034592B (zh) 数据处理方法和装置
CN107665098B (zh) 信息处理方法、存储设备及计算机存储介质
CN112286459A (zh) 一种数据处理方法、装置、设备及介质
WO2024119775A1 (zh) 一种raid卡的节点更新方法、***及相关装置
CN108304259B (zh) 内存管理方法及***
CN109558456A (zh) 一种文件迁移方法、装置、设备及可读存储介质
CN112799595A (zh) 数据处理方法、设备及存储介质
CN110955388A (zh) 一种存储服务器及其数据存储方法、装置和存储介质
CN106557277A (zh) 磁盘阵列的读方法及装置
CN110658999B (zh) 一种信息更新方法、装置、设备及计算机可读存储介质
CN110795034B (zh) 存储***的数据迁移方法、装置、设备及可读存储介质
CN110688226B (zh) 一种缓存回收方法、装置、设备及可读存储介质
CN109284237B (zh) 一种全闪存储阵列中的垃圾回收方法及***
CN111143288A (zh) 一种数据存储方法、***及相关装置
CN112463048A (zh) 一种compact处理速度的调整方法、装置、电子设备和介质
CN112925629B (zh) 布隆过滤器动态调整方法、***、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant