CN111625186A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111625186A CN111625186A CN202010402288.0A CN202010402288A CN111625186A CN 111625186 A CN111625186 A CN 111625186A CN 202010402288 A CN202010402288 A CN 202010402288A CN 111625186 A CN111625186 A CN 111625186A
- Authority
- CN
- China
- Prior art keywords
- data block
- data
- stored
- database
- set value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000008030 elimination Effects 0.000 claims abstract description 10
- 238000003379 elimination reaction Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 18
- 101100217298 Mus musculus Aspm gene Proteins 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
- G06F3/0641—De-duplication techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例适用于计算机技术领域，提供了一种数据处理方法、装置、电子设备及存储介质，其中，数据处理方法包括：在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。
Description
技术领域
本发明属于计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
数据去重是一种应用在存储***中用于消除冗余数据的技术，数据去重方法把数据流或文件划分为固定大小的数据块，通过比较数据块的指纹来消除重复的数据块。目前，相关技术在进行数据去重时，相同指纹的数据块只存储一份，以此节省存储资源。但是，当数据块丢失或者损坏时，由于无法找回数据块，导致文件不可用。
发明内容
有鉴于此，本发明实施例提供一种数据处理方法、装置、电子设备及存储介质，以至少解决相关在进行数据去重后，当数据块丢失或者损坏时无法找回的问题。
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供了一种数据处理方法，该方法包括：
在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；
在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；
在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。
上述方案中，所述添加关于对应的第二数据块的备份，包括：
在第二数据库中添加关于对应的第二数据块的备份。
上述方案中，在第二数据块的去重次数大于第二设定值的情况下，所述方法还包括：
将对应的第二数据块的去重次数清零。
上述方案中，所述方法还包括：
在第二数据块从所述第一数据库中删除的情况下，在所述第二数据库中删除关于对应的第二数据块的备份。
上述方案中，所述方法还包括：
确定所述待存储数据的重要级别；
基于所述待存储数据的重要级别，确定以下至少一项：
所述第一设定值；
所述第二设定值。
上述方案中，所述对对应的第一数据块进行去重时，所述方法还包括：
确定所述第一数据块的元数据；所述元数据至少包括对应的第二数据块在所述第一数据库中的存储地址；
将所述第一数据块的元数据存入所述第一数据库。
上述方案中，所述方法还包括：
在所述第一数据库中未存储有相同的第二数据块的情况下，将对应的第一数据块存入所述第一数据库。
第二方面，本发明实施例提供了一种数据处理装置，该装置包括：
确定模块，用于在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；
去重模块，用于在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；
添加模块，用于在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行本发明实施例第一方面提供的数据处理方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序。所述计算机程序被处理器执行时实现如本发明实施例第一方面提供的数据处理方法的步骤。
本发明实施例在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；在第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。本发明实施例通过添加去重次数较多的第二数据块的备份，可以防止第二数据块丢失时出现待存储数据的大量数据块无法恢复的情况发生，能够在数据块发生丢失时，及时使用第二数据块的备份恢复第二数据块，从而快速重构待存储数据。
附图说明
图1是本发明实施例提供的一种数据处理方法的实现流程示意图；
图2是本发明实施例提供的另一种数据处理方法的实现流程示意图；
图3是本发明实施例提供的另一种数据处理方法的实现流程示意图；
图4是本发明实施例提供的另一种数据处理方法的实现流程示意图；
图5是本发明应用实施例提供的一种数据处理流程的示意图；
图6是本发明实施例提供的一种数据处理装置的结构框图；
图7是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
需要说明的是，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
另外，在本发明实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
参考图1，图1是本发明实施例提供的一种数据去重的示例图。待处理数据包括A、B、C和D共四种数据块，每种数据块在待处理数据中的数量均为一个以上。在对待处理数据进行数据去重之后，数据块A、B、C和D均只保留一个，不会重复存储。通过数据去重，可以节省磁盘的存储空间，提升磁盘的写入性能，减少网络上的数据传输量，从而节省网络带宽。
作为数据去重的一种实现方案，将待处理数据划分成多个相同长度的数据块，通过指纹比对和/或字节比对，找出其中重复的数据块并删除，最终相同的数据块只存储一份。其中，指纹比对是指比对每个数据块的指纹，数据块的指纹可以是数据块对应的安全哈希算法(SHA-1，SecureHashAlgorithm1)值或信息摘要算法(MD5，MessageDigestAlgorithmMD5)值。字节比对是指将两个数据块的字节进行逐字节比较，如果比较结果表征比较的字节不相同，则认为两个数据块不相同。
由于在数据去重后，相同的数据块只存储一份，这样当数据块出现丢失或损坏时，数据块无法进行恢复，从而无法使用该数据块。
针对上述相关技术在进行数据去重后，当数据块丢失或者损坏时无法恢复的缺点，本发明实施例提供了一种数据处理方法，能够在数据去重之后，数据块丢失或者损坏的情况下恢复数据块。为了更好地阐述本发明所述的技术方案，下面通过具体实施例来进行说明。
图2是本发明实施例提供的一种数据处理方法的实现流程示意图，该方法执行主体可以为手机、平板、服务器等电子设备。参照图2，数据处理方法包括：
S201，在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有相同的第二数据块。
在将待存储数据存入第一数据库时，将待存储数据划分成多个相同长度的第一数据块。例如，第一数据块的块长设置为4KB。第一数据块的块长越小，数据去重效果就越好。
对于每个第一数据块，在将第一数据块写入第一数据库时，确定第一数据库中是否存储有与第一数据块相同的第二数据块。
在实际应用中，可以通过指纹比对或者字节比对的方式来确定第一数据库中是否存储有与第一数据块相同的第二数据块，这里，相同指的是两个数据块之间的数据内容完全一致。
例如，使用指纹比对的方式，首先计算第一数据块的指纹，将第一数据块的指纹在设定指纹库中进行匹配，确定是否得到匹配结果。其中，设定指纹库中的指纹为第二数据块的指纹。在第一数据块的指纹在设定指纹库中得到匹配结果的情况下，确定第一数据块是重复的数据块，即第一数据库中已经存储有与第一数据块相同的第二数据块，第一数据块的指纹和第二数据块的指纹相同，则认为第一数据块和第二数据块相同。在第一数据块的指纹在设定指纹库中未得到匹配结果的情况下，确定第一数据块不是重复的数据块，即第一数据库中并未存储有与第一数据块相同的第二数据块。
S202，在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值。
第一数据库中存储有与第一数据块相同的第二数据块，也就是说第一数据库中已经存在该第一数据块了，为了节省磁盘的存储空间，对对应的第一数据块进行去重。
对对应的第一数据块进行去重，即从待存储数据中删除该第一数据块，也就是不将第一数据块写入第一数据库。这里，虽然将待存储数据中的数据块删除，但是考虑到待存储数据的重构，本发明实施例对第一数据块的元数据进行存储，元数据中包括对应的第二数据块在第一数据库中的存储地址，当重构待存储数据时，能够根据第一数据块的元数据中的存储地址找到对应的第二数据块，以此重构待存储数据。
参考图3，在一实施例中，所述对对应的第一数据块进行去重时，所述方法还包括：
S301，确定所述第一数据块的元数据；所述元数据至少包括对应的第二数据块在所述第一数据库中的存储地址。
元数据是描述数据属性的数据，在本发明实施例中，元数据用来记录与第一数据块相同的第二数据块的存储地址。
S302，将所述第一数据块的元数据存入所述第一数据库。
在本发明实施例中，在第一数据库中存储有与第一数据块相同的第二数据块的情况下，第一数据块本身是不存入第一数据库的，仅将第一数据块的元数据存储在第一数据库中，在重构待存储数据时，通过读取元数据，根据元数据中第二数据块的存储地址，从而读取到第二数据块，利用第二数据块重构待存储数据。由于元数据包含的内容简单，占用的存储空间小，因此可以减小数据的写入，节省磁盘的存储空间，提高磁盘利用率。
在本发明实施例中，在检测到第一数据库中存储有与第一数据块相同的第二数据块时，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值。
针对第一数据库中的每一个第二数据块，每当检测到有第一数据块与该第二数据块相同，就将该第二数据块的去重次数增加第一设定值。这里，第一设定值与待存储数据的重要级别有关。例如，待存储数据的重要级别越高，第一设定值越大，第一设定值的具体设定在后续实施例中进行说明。
进一步的，在一实施例中，在所述第一数据库中未存储有与第一数据块相同的第二数据块的情况下，将对应的第一数据块存入所述第一数据库。
如果第一数据库中未存储有相同的第二数据块，则无需对该第一数据块进行去重处理，将第一数据块存入第一数据库。
S203，在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。
在第二数据块的去重次数大于第二设定值的情况下，说明待存储数据包含较多与该第二数据块相同的第一数据块，该第二数据块对重构待存储数据非常重要，如果该第二数据块丢失，将会导致待存储数据中很大一部分数据块无法恢复。因此，在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份，可以防止数据块丢失或损坏后无法找回，避免无法重构待存储数据。
进一步的，在一实施例中，所述添加关于对应的第二数据块的备份，包括：
在第二数据库中添加关于对应的第二数据块的备份。
第二数据块存储在第一数据库中，将第二数据块的备份存储在不同的数据库中，可以防止在对第一数据库进行数据去重时，将第二数据块的备份删除。还可以避免因为第一数据库出错导致第二数据块备份丢失，从而无法恢复第二数据块。
进一步的，在一实施例中，在第二数据块的去重次数大于第二设定值的情况下，所述方法还包括：
将对应的第二数据块的去重次数清零。
在本发明实施例中，在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份，同时并将对应的第二数据块的去重次数清零。也就是说，本发明实施例可以重复添加第二数据块的备份，每次添加第二数据块的备份之后，将第二数据块的去重次数清零，在第二数据块的去重次数再次大于第二设定值时，又重新添加一次第二数据块的备份，即第二数据块的备份可以为多个。
通过在第二数据块的去重次数大于第二设定值的情况下，将对应的第二数据块的去重次数清零，使得可以重复添加第二数据块的备份，增加第二数据块备份的数量，加强了第二数据块丢失后找回的能力。
在实际应用中，可以每次添加设定数量的第二数据块的备份。例如，每次添加一个第二数据块的备份。或者，可以根据待存储数据的重要级别来决定设定数量的大小，待存储数据的重要级别越高，设定数量越大。这里，还可以将多个备份分别存储在不同的数据库中，以此减小第二数据块丢失的概率
参考图4，在一实施例中，所述数据处理方法还包括：
S401，确定所述待存储数据的重要级别。
在实际应用中，待存储数据的重要级别可以与待存储数据的数据类型有关，或与待存储数据的文件大小有关，或与待存储数据的来源有关，例如来自不同设备的待存储数据的重要级别不同，来自不同操作***的待存储数据的重要级别不同。例如，待存储数据的文件大小越大，则待存储数据的重要级别越高。将待存储数据的重要级别按照文件大小进行划分，每个文件大小区间对应一个级别。例如，0-10M的待存储数据的重要级别为1级，10-100M的待存储数据的重要级别为2级。又例如，企业***中负责员工日常考勤数据的***的待存储数据的重要级别为1，企业***中负责运营数据的***的待存储数据的重要级别为2。又例如，与用户通信次数越多的设备的待存储数据的重要级别越高。
S402，基于所述待存储数据的重要级别，确定以下至少一项：
所述第一设定值；
所述第二设定值。
在本发明实施例中，可以基于待存储数据的重要级别确定第一设定值和第二设定值中的一项，或同时确定第一设定值和第二设定值。
在实际应用中，待存储数据的重要级别越高，第一设定值越大。每个重要级别可以对应一个第一设定值，预先将重要级别和第一设定值的对应关系写入数据表中，在确定第一设定值时，可以通过读取数据表来获取待存储数据的重要级别对应的第一设定值。例如，设定重要级别1对应的第一设定值为1，重要级别2对应的第一设定值为5，重要级别3对应的第一设定值为10。
待存储数据的重要级别越高，第一设定值越大，使得对应的第二数据块的去重次数每次增加的越多，使得总体去重次数能快速达到第二设定值，从而实现快速添加第二数据块的备份。本发明实施例针对重要级别越高的待存储数据，能够越频繁地添加第二数据块的备份，从而可以降低数据丢失后无法找回的风险。
在实际应用中，待存储数据的重要级别越高，第二设定值越小。可以预先设置好待存储数据的重要级别与第二设定值的对应关系，例如，设定重要级别1对应的第二设定值为10，设定重要级别2对应的第二设定值为8，设定重要级别3对应的第二设定值为5。
待存储数据的重要级别越高，第二设定值越小，使得对应的第二数据块的去重次数能越快达到第二设定值，从而越快添加第二数据块的备份。本发明实施例针对重要级别越高的待存储数据，能够越频繁地添加第二数据块的备份，从而可以降低数据丢失后无法找回的风险。
例如，假设第一设定值为1，第二设定值为10，每次添加第二数据块的备份的数量为1。如果待存储数据有100个第一数据块，则最终会添加10个第二数据块的备份，第二数据块的备份越多，第二数据块丢失的概率就越低。
进一步的，在一实施例中，所述数据处理方法还包括：
在第二数据块从所述第一数据库中删除的情况下，在所述第二数据库中删除关于对应的第二数据块的备份。
删除存储空间中的存储数据，也就是删除第一数据库中存储数据的第二数据块。本发明实施例在删除第一数据库中的第二数据块时，同时删除第二数据库中对应的第二数据块的备份。由于存储数据删除了，也就没必要重构存储数据了，第二数据块的备份也就没有作用了，将第二数据块的备份删除，可以节省磁盘的存储空间，提高磁盘利用率。
本发明实施例在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；在第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。本发明实施例通过添加去重次数较多的第二数据块的备份，可以防止第二数据块丢失时出现待存储数据的大量数据块无法恢复的情况发生，能够在数据块发生丢失时，及时使用第二数据块的备份恢复第二数据块，从而快速重构待存储数据。
参考图5，图5是本发明应用实施例提供的另一种数据处理流程的示意图，数据处理流程包括：
S501，读取待存储数据。
S502，将待存储数据划分成多个数据块。
S503，计算每个数据块的SHA1值。
S504，在指纹库中搜索每个数据块的SHA1值。
指纹库中存储有存储空间中所有数据块中每个数据块的SHA1值。
S505，确定指纹库是否存在该SHA1值。
如果存在，则执行S506；如果不存在，则执行S509。
S506，写入该数据块的元数据。
不写入该SHA1值对应的数据块，写入该数据块的元数据，元数据包括指纹库中该SHA1值对应的数据块的存储地址。
S507，将该SHA1值对应的数据块的去重次数加1。
S508，去重次数大于设定值时，备份该SHA1值对应的数据块。
在存储空间中存储有相同的数据块的情况下，对该SHA1值对应的数据块进行去重，并将该SHA1值对应的数据块的去重次数加1；在该SHA1值对应的数据块的去重次数大于设定值的情况下，添加该SHA1值对应的数据块的备份。
S509，将该SHA1值存入指纹库。
S510，写入该SHA1值对应的数据块。
在存储空间中没有存储有相同的数据块的情况下，将该SHA1值对应的数据块写入存储空间，并在指纹库中保存对应的指纹。
本发明应用实施例通过对待存储数据进行数据去重，可以节省磁盘的存储空间，提高磁盘利用率。在数据去重过程中对数据块进行备份，可以避免数据块丢失时无法找回，能够在数据块发生丢失时，及时使用备份恢复数据块，从而重构待存储数据。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
参考图6，图6是本发明实施例提供的一种数据处理装置的示意图，如图6所示，该装置包括：确定模块、去重模块、和添加模块。
确定模块，用于在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；
去重模块，用于在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；
添加模块，用于在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。
所述添加模块具体用于：
在第二数据库中添加关于对应的第二数据块的备份。
所述装置还包括：
清零模块，用于将对应的第二数据块的去重次数清零。
所述装置还包括：
删除模块，用于在第二数据块从所述第一数据库中删除的情况下，在所述第二数据库中删除关于对应的第二数据块的备份。
所述装置还包括：
设定值确定模块，用于确定所述待存储数据的重要级别；
基于所述待存储数据的重要级别，确定以下至少一项：
所述第一设定值；
所述第二设定值。
所述装置还包括：
元数据处理模块，用于确定所述第一数据块的元数据；所述元数据至少包括对应的第二数据块在所述第一数据库中的存储地址；
将所述第一数据块的元数据存入所述第一数据库。
所述装置还包括：
存储模块，用于在所述第一数据库中未存储有相同的第二数据块的情况下，将对应的第一数据块存入所述第一数据库。
需要说明的是：上述实施例提供的数据处理装置在进行数据处理时，仅以上述各模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的模块完成，即将装置的内部结构划分成不同的模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图7是本发明一实施例提供的电子设备的示意图。所述电子设备包括：手机、平板、服务器等。如图7所示，该实施例的电子设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤，例如图2所示的步骤201至203。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如图6所示确定模块、去重模块、和添加模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备中的执行过程。
所述电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图7仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是所述电子设备的内部存储单元，例如电子设备的硬盘或内存。所述存储器也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器还可以既包括所述电子设备的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；
在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；
在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。
2.根据权利要求1所述的方法，其特征在于，所述添加关于对应的第二数据块的备份，包括：
在第二数据库中添加关于对应的第二数据块的备份。
3.根据权利要求2所述的方法，其特征在于，在第二数据块的去重次数大于第二设定值的情况下，所述方法还包括：
将对应的第二数据块的去重次数清零。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在第二数据块从所述第一数据库中删除的情况下，在所述第二数据库中删除关于对应的第二数据块的备份。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述待存储数据的重要级别；
基于所述待存储数据的重要级别，确定以下至少一项：
所述第一设定值；
所述第二设定值。
6.根据权利要求1所述的方法，其特征在于，所述对对应的第一数据块进行去重时，所述方法还包括：
确定所述第一数据块的元数据；所述元数据至少包括对应的第二数据块在所述第一数据库中的存储地址；
将所述第一数据块的元数据存入所述第一数据库。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述第一数据库中未存储有与第一数据块相同的第二数据块的情况下，将对应的第一数据块存入所述第一数据库。
8.一种数据处理装置，其特征在于，包括：
确定模块，用于在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；
去重模块，用于在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；
添加模块，用于在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010402288.0A CN111625186B (zh) | 2020-05-13 | 2020-05-13 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010402288.0A CN111625186B (zh) | 2020-05-13 | 2020-05-13 | 数据处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111625186A true CN111625186A (zh) | 2020-09-04 |
| CN111625186B CN111625186B (zh) | 2023-11-07 |
Family
ID=72271947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010402288.0A Active CN111625186B (zh) | 2020-05-13 | 2020-05-13 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111625186B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118227842A (zh) * | 2024-04-15 | 2024-06-21 | 北京瑞太智联技术有限公司 | 一种多源异构数据存储方法、***、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100223495A1 (en) * | 2009-02-27 | 2010-09-02 | Leppard Andrew | Minimize damage caused by corruption of de-duplicated data |
| CN102308288A (zh) * | 2009-02-06 | 2012-01-04 | 国际商业机器公司 | 经重复消除的数据的备份 |
| CN102436478A (zh) * | 2011-10-12 | 2012-05-02 | 浪潮(北京)电子信息产业有限公司 | 一种实现海量数据存取的***及方法 |
| CN110941514A (zh) * | 2019-11-25 | 2020-03-31 | 湖北工业大学 | 一种数据备份方法、恢复方法、计算机设备和存储介质 |
| CN111124259A (zh) * | 2018-10-31 | 2020-05-08 | 深信服科技股份有限公司 | 一种基于全闪存阵列的数据压缩方法及*** |
| CN111124939A (zh) * | 2018-10-31 | 2020-05-08 | 深信服科技股份有限公司 | 一种基于全闪存阵列的数据压缩方法及*** |
-
2020
- 2020-05-13 CN CN202010402288.0A patent/CN111625186B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102308288A (zh) * | 2009-02-06 | 2012-01-04 | 国际商业机器公司 | 经重复消除的数据的备份 |
| US20100223495A1 (en) * | 2009-02-27 | 2010-09-02 | Leppard Andrew | Minimize damage caused by corruption of de-duplicated data |
| CN102436478A (zh) * | 2011-10-12 | 2012-05-02 | 浪潮(北京)电子信息产业有限公司 | 一种实现海量数据存取的***及方法 |
| CN111124259A (zh) * | 2018-10-31 | 2020-05-08 | 深信服科技股份有限公司 | 一种基于全闪存阵列的数据压缩方法及*** |
| CN111124939A (zh) * | 2018-10-31 | 2020-05-08 | 深信服科技股份有限公司 | 一种基于全闪存阵列的数据压缩方法及*** |
| CN110941514A (zh) * | 2019-11-25 | 2020-03-31 | 湖北工业大学 | 一种数据备份方法、恢复方法、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 朱江;冀鸣;杨志成;张嘉贤;曹雄;: "基于重复数据删除技术的存储***分析", 信息***工程, no. 04, pages 70 * |
| 韩莹;王茂发;张艳霞;: "一种在去重备份***中数据完整性校验算法", 计算机应用研究, no. 06, pages 1819 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118227842A (zh) * | 2024-04-15 | 2024-06-21 | 北京瑞太智联技术有限公司 | 一种多源异构数据存储方法、***、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111625186B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108427538B (zh) | 全闪存阵列的存储数据压缩方法、装置、及可读存储介质 | |
| US9697228B2 (en) | Secure relational file system with version control, deduplication, and error correction | |
| US8443159B1 (en) | Methods and systems for creating full backups | |
| CN108427539B (zh) | 缓存设备数据的离线去重压缩方法、装置及可读存储介质 | |
| CN107506153B (zh) | 一种数据压缩方法、数据解压方法及相关*** | |
| US8751462B2 (en) | Delta compression after identity deduplication | |
| US8904125B1 (en) | Systems and methods for creating reference-based synthetic backups | |
| CN103098035B (zh) | 存储*** | |
| CN110941514B (zh) | 一种数据备份方法、恢复方法、计算机设备和存储介质 | |
| CN111125033B (zh) | 一种基于全闪存阵列的空间回收方法及*** | |
| US11409766B2 (en) | Container reclamation using probabilistic data structures | |
| US11762738B2 (en) | Reducing bandwidth during synthetic restores from a deduplication file system | |
| CN110618974A (zh) | 一种数据存储方法、装置、设备及存储介质 | |
| CN109196478B (zh) | 用于小对象的容错企业对象存储*** | |
| CN111124940B (zh) | 一种基于全闪存阵列的空间回收方法及*** | |
| CN110019063B (zh) | 计算节点数据容灾回放的方法、终端设备及存储介质 | |
| CN113468118B (zh) | 一种基于区块链的文件增量存储方法、装置及存储介质 | |
| CN111124259A (zh) | 一种基于全闪存阵列的数据压缩方法及*** | |
| CN111124939A (zh) | 一种基于全闪存阵列的数据压缩方法及*** | |
| CN111625186B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| US8595271B1 (en) | Systems and methods for performing file system checks | |
| CN108363727B (zh) | 一种基于zfs文件***的数据存储方法及装置 | |
| CN111061428B (zh) | 一种数据压缩的方法及装置 | |
| US20190026299A1 (en) | Metadata separated container format | |
| CN111198857A (zh) | 一种基于全闪存阵列的数据压缩方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |