CN102523290A - 数据的处理方法、设备和*** - Google Patents

数据的处理方法、设备和*** Download PDF

Info

Publication number
CN102523290A
CN102523290A CN2011104266316A CN201110426631A CN102523290A CN 102523290 A CN102523290 A CN 102523290A CN 2011104266316 A CN2011104266316 A CN 2011104266316A CN 201110426631 A CN201110426631 A CN 201110426631A CN 102523290 A CN102523290 A CN 102523290A
Authority
CN
China
Prior art keywords
data
backup
client
historical
random number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104266316A
Other languages
English (en)
Other versions
CN102523290B (zh
Inventor
张程伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CN201110426631.6A priority Critical patent/CN102523290B/zh
Publication of CN102523290A publication Critical patent/CN102523290A/zh
Application granted granted Critical
Publication of CN102523290B publication Critical patent/CN102523290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据的处理方法、设备和***,该方法包括接收客户端发送的数据备份请求消息,数据备份请求消息包括用户标识和备份数据的指纹信息;根据备份数据的指纹信息,查询用户标识对应的文件夹判断是否存在与备份数据相同的数据;若没有存在,则根据备份数据的指纹信息,查询其他用户标识对应的文件夹判断是否存在与备份数据相同的数据;若存在,其中,与备份数据相同的数据为第二历史数据,判断第二历史数据对应的引用数据的数量是否小于第二历史数据对应的随机数;其中,所述随机数大于等于预设阈值;若判断出小于,则发送备份消息给客户端,并接收客户端发送的备份数据以及生成第二历史数据的引用数据。

Description

数据的处理方法、设备和***
技术领域
本发明涉及计算机技术,尤其涉及一种数据的处理方法、设备和***。
背景技术
云存储主要通过使用分布式技术手段,将物理层上分布的存储设备虚拟为一个高性能高可靠的存储***,并统一地提供给用户。另外,为了使得云存储中的数据得到最大程度的优化,主要采用源端重复数据删除的技术,减少现有数据的总容量,其具体的实现方式为:云端将准备存储的数据和已经存储的数据进行一致性比较,并只存储不相同的准备存储的数据,从而降低了对传输带宽的需求,并提高了备份效率。
举例来说,如果用户A已经在云端上备份了第一数据,当用户B往该云端备份含有同样内容的第二数据时,该云端检测已经存储了具有相同内容的第一数据,则进行源端重复数据删除处理,其中,该源端重复数据删除处理的主要工作原理是:生成该第一数据对应的引用数据,该引用数据用于指向该第一数据,并发送备份成功消息给用户B,用户B则不会传输该第二数据。从而使得用户B可以通过监测自己的客户端到云端的流量来判断是否产生了源端重复数据删除处理。
但是,当该第一数据是对外保密的时,采用上述现有技术方法,用户B监测自己的客户端到该云端的流量判断出产生了源端重复数据删除处理,则用户B可以获知云端存储了与第二数据内容相同的数据,从而窃取到了用户A的第一数据的内容。例如:如果用户A和用户B是同时竞标的两个厂商,且都使用相同的云存储服务和招标方提供的相同的报价模板数据,则用户B可能会在本地生成各种报价的报价模板数据,并将这些报价模板数据备份到云端,并通过检测在发送哪个数据时客户端到云端的流量发生了变化,就可以判断进行源端重复数据删除的数据和用户A反馈的报价模板相同,从而导致了用户A存储的数据的泄露,进而无法有效地保证用户在云端存储数据的安全性。
发明内容
本发明的第一个方面是提供一种数据的处理方法,包括:
接收客户端发送的数据备份请求消息,所述数据备份请求消息包括:用户标识和备份数据的指纹信息;
根据所述备份数据的指纹信息,查询所述用户标识对应的文件,判断是否存在与所述备份数据相同的数据;若判断出没有存在与所述备份数据相同的数据,则根据所述备份数据的指纹信息,查询其他用户标识对应的文件夹,判断是否存在与所述备份数据相同的数据;
若判断出在所述其他用户标识对应的文件夹中存在与所述备份数据相同的数据,其中,在所述其他历史标识对应的文件夹中与所述备份数据相同的数据为第二历史数据,判断所述第二历史数据对应的引用数据的数量是否小于所述第二历史数据对应的随机数;其中,所述随机数大于等于预设阈值;
若判断出所述第二历史数据对应的引用数据的数量小于所述第二历史数据对应的随机数,则发送备份消息给所述客户端,并接收所述客户端发送的所述备份数据以及生成所述第二历史数据的引用数据。
本发明的另一个方面是提供一种数据的处理设备,包括:
收发模块,用于接收客户端发送的数据备份请求消息,所述数据备份请求消息包括:用户标识和备份数据的指纹信息;
判断模块,用于根据所述备份数据的指纹信息,查询所述用户标识对应的文件,判断是否存在与所述备份数据相同的数据;若判断出没有存在与所述备份数据相同的数据,则根据所述备份数据的指纹信息,查询其他用户标识对应的文件夹,判断是否存在与所述备份数据相同的数据;若判断出在所述其他用户标识对应的文件夹中存在与所述备份数据相同的数据,其中,在所述其他历史标识对应的文件夹中与所述备份数据相同的数据为第二历史数据,判断所述第二历史数据对应的引用数据的数量是否小于所述第二历史数据对应的随机数;其中,所述随机数大于等于预设阈值;
所述收发模块还用于若所述判断模块判断出所述第二历史数据对应的引用数据的数量小于所述第二历史数据对应的随机数,则发送备份消息给所述客户端;并接收所述备份数据;
引用数据生成模块,用于生成所述第二历史数据的引用数据。
本发明的又一个方面是提供一种数据的处理***,包括:客户端和上述所述的数据的处理设备。
本发明实施例中,根据该备份数据的指纹信息,查询该用户标识对应的文件夹以及其他用户文件夹中的数据中,是否已经存储有相同的数据,若判断得到其他用户文件中的数据中存在相同的数据时,判断该相同数据对应的引用数据的数量是否小于该相同数据对应的随机数,其中在其他用户标识对应的文件中的相同数据为第二历史数据,会对第二历史数据的引用数据的数量和随机数大小进行比较,从而使得其他用户将带有猜测内容的备份数据备份到云端时,即使云端保存了相同内容的数据,由于在第二历史数据对应的引用数据的数量小于第二历史数据对应的随机数时,客户端依然要传输该备份数据到云端,因此使得其他用户无法检测数据库中是否已经备份了相同数据,进而有效地避免了用户的数据泄露。
附图说明
图1为本发明数据的处理方法的一个实施例的流程图;
图2为本发明数据的处理方法的另一个实施例的流程图;
图3为本发明数据的处理设备的一个实施例的结构示意图;
图4为本发明数据的处理设备的另一个实施例的结构示意图;
图5为本发明数据的处理***的一个实施例的结构示意图。
具体实施方式
图1为本发明数据的处理方法的一个实施例的流程图,如图1所示,本实施例的执行主体为数据的处理设备,该设备设置在云存储中,则该方法包括:
步骤101、接收客户端发送的数据备份请求消息,该数据备份请求消息包括:用户标识和备份数据对应的指纹信息;
其中,云存储还可以称之为云端,该云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件***等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个***。指纹信息可以是备份数据的哈希(HASH)值,也可以使用其他可以代表数据独一无二特征的数值来作为该数据的指纹信息。
在本实施例中,客户端以备份数据为单位,计算该备份数据的指纹信息,再将该备份数据的指纹信息和用户标识携带在数据备份请求消息中发送给数据的处理设备。
步骤102、根据该备份数据的指纹信息,查询该用户标识对应的文件夹,判断是否存在与该备份数据相同的数据;若判断出没有存在与该备份数据相同的数据,则根据该备份数据的指纹信息,查询该其他用户标识对应的文件夹,判断是否存在与该备份数据相同的数据。
步骤103、若判断出在该其他用户标识对应的文件夹中存在与该备份数据相同的数据,其中,在该其他用户标识对应的文件夹中与该备份数据相同的数据为第二历史数据,判断该第二历史数据对应的引用数据的数量是否小于该第二历史数据对应的随机数;其中,该随机数大于等于预设阈值。
步骤104、若判断出该第二历史数据对应的引用数据的数量小于该第二历史数据对应的随机数,则发送备份消息给该客户端,并接收该客户端发送的该备份数据以及生成该第二历史数据的引用数据
在本实施例中,该引用数据的大小很小,且该引用数据的内容为对相同内容的历史数据的指向,即客户端在读取该数据时,可以根据具有相同内容的历史数据的指向,找到该指向对应的内容相同的历史数据,并将该历史数据读取出来。
在本实施例中,数据的处理设备中存储的历史数据对应的随机数均是随机生成,即任意两个历史数据对应的随机数可以相同,也可以不相同。当随机数大于等于预设阈值,则一旦判断出其他用户标识文件夹中存在与该备份数据相同的数据,则设置与该备份数据相同的数据为第二历史数据,并判断该第二历史数据的引用数据是否小于该第二历史数据的随机数。由于本发明主要解决的技术问题是如何防止机密的历史数据内容不被窃取,则一般情况下,存储的机密历史数据的数量为1,引用数据的数量一般也为1,当备份数据的HASH值与该机密数据的HASH值相同时,则说明该备份数据的内容与机密历史数据的内容相同,但是在引用数据小于随机数的情况下,则仍然需要提示用户保存所述备份数据,因此,用户无法知道云端存储了与备份数据相同的机密历史数据。如果用户再次向云端备份与该备份数据相同的数据,即使在数据保存过程中,用户通过数据流量来判断出数据库中已经保存有相同的数据,即云端采用了源端重复数据删除处理,但是因为之前已经存储过一次备份数据,且随机数对于该用户而言是不知道的,所以还是无法判断到底云端是否存储了与该备份数据相同的机密历史数据。
在本实施例中,接收客户端发送的携带有用户标识和备份数据的HASH值的数据备份请求消息,并根据该备份数据的指纹信息,查询该用户标识对应的文件夹以及其他用户文件夹中的数据中,是否已经存储有相同的数据,若判断得到其他用户文件中的数据中存在相同的数据时,判断该相同数据对应的引用数据的数量是否小于该相同数据对应的随机数,其中在其他用户标识对应的文件中的相同数据为第二历史数据,会对第二历史数据的引用数据的数量和随机数大小进行比较,从而使得其他用户将带有猜测内容的备份数据备份到云端时,即使云端保存了相同内容的数据,由于在第二历史数据对应的引用数据的数量小于第二历史数据对应的随机数,且随机数大于等于预设阈值时,客户端依然要传输该备份数据到云端,因此使得其他用户无法检测数据库中是否已经备份了相同数据,进而有效地避免了用户的数据泄露。
图2为本发明数据的处理方法的另一个实施例的流程图,在本实施例,该方法的执行主体为数据的处理设备,该设备设置在云存储中,且以指纹数据为HASH值为例,详细介绍本实施例的技术方案,则如图2所示,则该方法包括:
步骤201、接收客户端发送的数据备份请求消息,该数据备份请求消息包括:用户标识和备份数据的HASH值。
在本实施例中,客户端以备份数据为单位,计算该备份数据的HASH值,再将该备份数据的HASH值和用户标识携带在数据备份请求消息中发送给数据的处理设备。
步骤202、根据该备份数据的HASH值,查询该用户标识对应的文件夹,判断是否存在与该备份数据相同的数据,若不存在,则执行步骤203;若存在,则执行步骤207。
步骤203、根据该备份数据的HASH值,查询其他用户标识对应的文件夹,判断是否存在与该备份数据相同的数据,其中,在其他用户标识对应的文件夹中存在与该备份数据相同的数据为第二历史数据;若存在,则执行步骤204;若不存在,则执行步骤209。
步骤204、判断该第二历史数据对应的引用数据的数量是否小于该第二历史数据对应的随机数;若小于,则执行步骤205;若大于等于,则执行步骤208。其中,该随机数大于等于预设阈值。
在本实施例中,数据的处理设备中存储的历史数据对应的随机数均是随机生成,即任意两个历史数据对应的随机数可以相同,也可以不相同。随机数阈值的设置,可以根据统计分析用户对机密数据的备份习惯来设置,例如,对于机密信息,通常用户习惯于仅在保存一次,该用户的机密信息引用数据的数量通常就不会超过2,那么,这个随机数的阈值就可以设置为2,这样,随机数就会大于引用数据的数量,其他用户在云端保存数据时,就不会出现源端重复数据删除的情况。如果对用户的习惯进行统计分析后得知,通常用户习惯将机密数据再备份一份,那么,该用户的机密信息的引用数据的数量通常不会超过3,这个随机数的阈值就可以设置为3。
步骤205、发送备份消息给客户端,并接收该客户端发送的该备份数据以及生成该第二历史数据的引用数据。
步骤206、将第二历史数据的引用数据的数量加1。结束。
步骤207、生成第一历史数据的引用数据,将第一历史数据的引用数据的数量加1,再发送备份成功消息给客户端。结束。
步骤208、生成第二历史数据对应的引用数据,并发送备份成功消息给客户端,并执行步骤206。
步骤209、发送数据备份请求确认消息给该客户端,并接收以及保存该客户端发送的备份数据,再生成该备份数据对应的随机数。
在本实施例中,举例来说,当用户第一次备份一份备份数据时,客户端先以该备份数据为单位,计算该备份数据的HASH值,并将该备份数据的HASH值和用户标识携带在数据备份请求消息中发送给数据的处理设备,数据的处理设备接收到该数据备份请求消息后,根据该备份数据的HASH值,查询该用户标识对应的文件夹,判断是否存在与该备份数据对应的数据,由于该备份数据是用户第一次备份的一份备份数据,因此该文件夹中不存在与该备份数据相同的数据,则根据该备份数据的HASH值,查询其他用户标识对应的文件夹是否存在与该备份数据相同的数据,若不存在,发送备份请求消息给该客户端,并接收以及保存该客户端发送该备份数据,再生成该备份数据对应的随机数;其中,该随机数的取值范围可以为[2,N],其中,N为整数。该N可以为10。另外,当数据的处理设备保存该备份数据,则该备份数据对应的引用数据的数量为1。
若该其他用户标识对应的文件夹中存在与该备份数据相同的数据,其中,该备份数据相同的数据为第二历史数据,并需要判断该第二历史数据对应的引用数据的数量是否小于该第二历史数据对应的随机数,若判断该第二历史数据对应的引用数据的数量小于该第二历史数据对应的随机数,则发送备份消息给客户端,并接收该备份数据,再生成该第二历史数据的引用数据,将第二历史数据对应的引用数据的数量加1。
当用户第二次备份该备份数据时,客户端先以该备份数据为单位,计算该备份数据的HASH值,该备份数据的HASH值与用户第一次备份该备份数据的HASH值相同,并将该备份数据的HASH值和用户标识携带在数据备份请求消息中发送给数据的处理设备,由于该备份数据是用户第二次备份,数据的处理设备判断出该用户标识对应的文件夹中存在与该备份数据相同的数据,则设置该用户标识对应的文件夹中,与该备份数据相同的数据为第一历史数据,并生成该第一历史数据的引用数据,将该第一历史数据的应用数据的数量加1,再发送备份成功消息给客户端。
在本实施例中,通过接收客户端发送的携带有用户标识和备份数据的HASH值的数据备份请求消息,并根据该备份数据的HASH值,查询该用户标识对应的文件夹以及其他用户文件夹中的数据中,是否已经存储有相同的数据,若判断得到其他用户文件中的数据中存在相同的数据时,判断该相同数据对应的引用数据的数量是否小于该相同数据对应的随机数,其中在其他用户标识对应的文件中的相同数据为第二历史数据,会对第二历史数据的引用数据的数量和随机数大小进行比较,从而使得其他用户将带有猜测内容的备份数据备份到云端时,即使云端保存了相同内容的数据,由于在第二历史数据对应的引用数据的数量小于第二历史数据对应的随机数,且随机数大于等于预设阈值时,客户端依然要传输该备份数据到云端,因此使得其他用户无法检测数据库中是否已经备份了相同数据,进而有效地避免了用户的数据泄露。另外,当第二历史数据对应的应用数据的数量大于等于第二历史数据对应的随机数时,生成第二历史数据对应的引用数据,从而有效地提高了客户端备份性能。
图3为本发明数据的处理设备的一个实施例的结构示意图,如图3所示,本实施例的设备包括:收发模块11、判断模块12和引用数据生成模块13,其中,收发模块11用于接收客户端发送的数据备份请求消息,该数据备份请求消息包括:用户标识和备份数据的指纹信息;判断模块12用于根据该备份数据的指纹信息,查询该用户标识对应的文件,判断是否存在与该备份数据相同的数据;若判断出没有存在与该备份数据相同的数据,则根据该备份数据的指纹信息,查询其他用户标识对应的文件夹,判断是否存在与该备份数据相同的数据;若判断出在该其他用户标识对应的文件夹中存在与该备份数据相同的数据,其中,在该其他历史标识对应的文件夹中与该备份数据相同的数据为第二历史数据,判断该第二历史数据对应的引用数据的数量是否小于该第二历史数据对应的随机数;其中,该随机数大于等于预设阈值。收发模块11还用于若该判断模块12判断出该第二历史数据对应的引用数据的数量小于该第二历史数据对应的随机数,则发送备份消息给该客户端;并接收该备份数据;引用数据生成模块13用于生成该第二历史数据的引用数据。
本实施例的数据的处理设备可以执行图1所示方法实施例的技术方案,其原理相类似,此处不再赘述。
在本实施例中,通过接收客户端发送的携带有用户标识和备份数据的指纹信息的数据备份请求消息,并根据该备份数据的指纹信息,查询该用户标识对应的文件夹以及其他用户文件夹中的数据中,是否已经存储有相同的数据,若判断得到其他用户文件中的数据中存在相同的数据时,判断该相同数据对应的引用数据的数量是否小于该相同数据对应的随机数,其中在其他用户标识对应的文件中的相同数据为第二历史数据,会对第二历史数据的引用数据的数量和随机数大小进行比较,从而使得其他用户将带有猜测内容的备份数据备份到云端时,即使云端保存了相同内容的数据,由于在第二历史数据对应的引用数据的数量小于第二历史数据对应的随机数,且随机数大于等于预设阈值时,客户端依然要传输该备份数据到云端,因此使得其他用户无法检测是否产生了源端重复数据删除,进而有效地避免了用户的数据泄露。
图4为本发明数据的处理设备的另一个实施例的结构示意图,如图4所示,在上述图3所示实施例的基础上,判断模块12还用于若判断出该用户标识对应的文件夹中存在与该备份数据相同的数据,其中,在该用户标识对应的文件夹中,存在与该备份数据相同的数据为第一历史数据;引用数据生成模块13还用于生成该第一历史数据的引用数据。收发模块11还用于发送备份成功消息给该客户端。
进一步的,引用数据生成模块13还用于若判断模块12判断出该第二历史数据对应的引用数据的数量大于等于该第二历史数据对应的随机数,则生成该第二历史数据对应的引用数据;该收发模块11还用于发送备份成功消息给该客户端。
更进一步的,该设备还包括:引用数据数量记录模块14,用于将该第一历史数据对应的引用数据的数量加1;或者,还用于将该第二历史数据对应的引用数据的数量加1。
更进一步的,收发模块11还用于若该判断模块12判断出在该其他用户标识对应的文件夹中没有存在与该备份数据相同的数据,则发送备份消息给该客户端;并接收该客户端发送的备份数据;则该设备还包括:数据存储模块15和随机数生成模块16,其中,数据存储模块15用于保存所述备份数据;随机数生成模块16用于生成所述备份数据对应的随机数。
本实施例的数据的处理设备可以执行图2所示方法实施例的技术方案,其原理相类似,此处不再赘述。
在本实施例中,通过接收客户端发送的携带有用户标识和备份数据的指纹信息的数据备份请求消息,并根据该备份数据的指纹信息,查询该用户标识对应的文件夹以及其他用户文件夹中的数据中,是否已经存储有相同的数据,若判断得到其他用户文件中的数据中存在相同的数据时,判断该相同数据对应的引用数据的数量是否小于该相同数据对应的随机数,其中在其他用户标识对应的文件中的相同数据为第二历史数据,会对第二历史数据的引用数据的数量和随机数大小进行比较,从而使得其他用户将带有猜测内容的备份数据备份到云端时,即使云端保存了相同内容的数据,由于在第二历史数据对应的引用数据的数量小于第二历史数据对应的随机数,且随机数大于等于预设阈值时,客户端依然要传输该备份数据到云端,因此使得其他用户无法检测是否产生了源端重复数据删除,进而有效地避免了用户的数据泄露。另外,当第二历史数据对应的应用数据的数量大于等于第二历史数据对应的随机数时,生成第二历史数据对应的引用数据,从而有效地提高了客户端备份性能。
图5为本发明数据的处理***的一个实施例的结构示意图,如图5所示,该***包括客户端21和数据的处理设备22,其中,数据的处理设备22可以为图3或图4所示设备,并且可以执行图1或图2所示方法实施例的技术方案,其原理相类似,此处不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种数据的处理方法,其特征在于,包括:
接收客户端发送的数据备份请求消息,所述数据备份请求消息包括:用户标识和备份数据的指纹信息;
根据所述备份数据的指纹信息,查询所述用户标识对应的文件夹,判断是否存在与所述备份数据相同的数据;若判断出不存在与所述备份数据相同的数据,则根据所述备份数据的指纹信息,查询其他用户标识对应的文件夹,判断是否存在与所述备份数据相同的数据;
若判断出在所述其他用户标识对应的文件夹中存在与所述备份数据相同的数据,其中,在所述其他用户标识对应的文件夹中与所述备份数据相同的数据为第二历史数据,则判断所述第二历史数据对应的引用数据的数量是否小于所述第二历史数据对应的随机数;其中,所述随机数大于等于预设阈值;
若判断出所述第二历史数据对应的引用数据的数量小于所述第二历史数据对应的随机数,则发送备份消息给所述客户端,并接收所述客户端发送的所述备份数据以及生成所述第二历史数据的引用数据。
2.根据权利要求1所述的数据的处理方法,其特征在于,还包括:
若判断出所述用户标识对应的文件夹中存在与所述备份数据相同的数据,其中,在所述用户标识对应的文件夹中,存在与所述备份数据相同的数据为第一历史数据,则生成所述第一历史数据的引用数据以及发送备份成功消息给所述客户端。
3.根据权利要求1所述的数据的处理方法,其特征在于,还包括:
若判断出所述第二历史数据对应的引用数据的数量大于等于所述第二历史数据对应的随机数,则生成所述第二历史数据对应的引用数据,并发送备份成功消息给所述客户端。
4.根据权利要求1所述的数据的处理方法,其特征在于,还包括:
若判断出在所述其他用户标识对应的文件夹中没有存在与所述备份数据相同的数据,则发送备份消息给所述客户端,并接收以及保存所述客户端发送的所述备份数据;
生成所述备份数据对应的随机数。
5.一种数据的处理设备,其特征在于,包括:
收发模块,用于接收客户端发送的数据备份请求消息,所述数据备份请求消息包括:用户标识和备份数据的指纹信息;
判断模块,用于根据所述备份数据的指纹信息,查询所述用户标识对应的文件夹,判断是否存在与所述备份数据相同的数据;若判断出没有存在与所述备份数据相同的数据,则根据所述备份数据的指纹信息,查询其他用户标识对应的文件夹,判断是否存在与所述备份数据相同的数据;若判断出在所述其他用户标识对应的文件夹中存在与所述备份数据相同的数据,其中,在所述其他历史标识对应的文件夹中与所述备份数据相同的数据为第二历史数据,判断所述第二历史数据对应的引用数据的数量是否小于所述第二历史数据对应的随机数;其中,所述随机数大于等于预设阈值;
所述收发模块还用于若所述判断模块判断出所述第二历史数据对应的引用数据的数量小于所述第二历史数据对应的随机数,则发送备份消息给所述客户端;并接收所述备份数据;
引用数据生成模块,用于生成所述第二历史数据的引用数据。
6.根据权利要求5所述的数据的处理设备,其特征在于,所述判断模块还用于若判断出所述用户标识对应的文件夹中存在与所述备份数据相同的数据,其中,在所述用户标识对应的文件夹中,存在与所述备份数据相同的数据为第一历史数据;
所述引用数据生成模块还用于生成所述第一历史数据的引用数据;
所述收发模块还用于发送备份成功消息给所述客户端。
7.根据权利要求5所述的数据的处理设备,其特征在于,所述引用数据生成模块还用于若所述判断模块判断出所述第二历史数据对应的引用数据的数量大于等于所述第二历史数据对应的随机数,则生成所述第二历史数据对应的引用数据;
所述收发模块还用于发送备份成功消息给所述客户端。
8.根据权利要求5所述的数据的处理设备,其特征在于,所述收发模块还用于若所述判断模块判断出在所述其他用户标识对应的文件夹中没有存在与所述备份数据相同的数据,则发送备份消息给所述客户端;并接收所述客户端发送的备份数据;
数据存储模块,用于保存所述备份数据;
随机数生成模块,用于生成所述备份数据对应的随机数。
9.一种数据的处理***,其特征在于,包括:客户端和如权利要求5至8任一项所述的数据的处理设备。
CN201110426631.6A 2011-12-19 2011-12-19 数据的处理方法、设备和*** Active CN102523290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110426631.6A CN102523290B (zh) 2011-12-19 2011-12-19 数据的处理方法、设备和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110426631.6A CN102523290B (zh) 2011-12-19 2011-12-19 数据的处理方法、设备和***

Publications (2)

Publication Number Publication Date
CN102523290A true CN102523290A (zh) 2012-06-27
CN102523290B CN102523290B (zh) 2015-04-08

Family

ID=46294077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110426631.6A Active CN102523290B (zh) 2011-12-19 2011-12-19 数据的处理方法、设备和***

Country Status (1)

Country Link
CN (1) CN102523290B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999400A (zh) * 2012-11-22 2013-03-27 中国电信股份有限公司云计算分公司 一种云存储***数据备份方法及装置
CN103064757A (zh) * 2012-12-12 2013-04-24 鸿富锦精密工业(深圳)有限公司 数据备份方法及***
CN106250723A (zh) * 2016-08-10 2016-12-21 智者四海(北京)技术有限公司 一种基于页面文字的控制方法及装置
CN106572177A (zh) * 2016-11-07 2017-04-19 广东欧珀移动通信有限公司 一种数据传输方法及移动终端
CN106598765A (zh) * 2015-10-15 2017-04-26 北京国双科技有限公司 数据校验方法和装置
CN107276857A (zh) * 2017-08-16 2017-10-20 郑州云海信息技术有限公司 一种监测流量的方法及装置
CN107562555A (zh) * 2017-08-02 2018-01-09 网宿科技股份有限公司 重复数据的清洗方法及服务器
WO2020220536A1 (zh) * 2019-04-28 2020-11-05 平安科技(深圳)有限公司 一种数据备份的方法、装置及计算机可读存储介质
CN112988497A (zh) * 2019-12-13 2021-06-18 伊姆西Ip控股有限责任公司 管理备份***的方法、电子设备和计算机程序产品
CN114442904A (zh) * 2020-10-30 2022-05-06 伊姆西Ip控股有限责任公司 用于管理存储***的方法、设备和计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090182789A1 (en) * 2003-08-05 2009-07-16 Sepaton, Inc. Scalable de-duplication mechanism
CN101582076A (zh) * 2009-06-24 2009-11-18 浪潮电子信息产业股份有限公司 一种基于数据库的重复数据删除方法
CN101882141A (zh) * 2009-05-08 2010-11-10 北京众志和达信息技术有限公司 一种实现重复数据数据删除的方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090182789A1 (en) * 2003-08-05 2009-07-16 Sepaton, Inc. Scalable de-duplication mechanism
CN101882141A (zh) * 2009-05-08 2010-11-10 北京众志和达信息技术有限公司 一种实现重复数据数据删除的方法和***
CN101582076A (zh) * 2009-06-24 2009-11-18 浪潮电子信息产业股份有限公司 一种基于数据库的重复数据删除方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖海生等: "基于MD5算法的重复数据删除技术的研究与改进", 《计算机测量与控制》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999400A (zh) * 2012-11-22 2013-03-27 中国电信股份有限公司云计算分公司 一种云存储***数据备份方法及装置
CN103064757A (zh) * 2012-12-12 2013-04-24 鸿富锦精密工业(深圳)有限公司 数据备份方法及***
CN106598765A (zh) * 2015-10-15 2017-04-26 北京国双科技有限公司 数据校验方法和装置
CN106250723A (zh) * 2016-08-10 2016-12-21 智者四海(北京)技术有限公司 一种基于页面文字的控制方法及装置
CN106572177A (zh) * 2016-11-07 2017-04-19 广东欧珀移动通信有限公司 一种数据传输方法及移动终端
CN107562555A (zh) * 2017-08-02 2018-01-09 网宿科技股份有限公司 重复数据的清洗方法及服务器
CN107276857A (zh) * 2017-08-16 2017-10-20 郑州云海信息技术有限公司 一种监测流量的方法及装置
WO2020220536A1 (zh) * 2019-04-28 2020-11-05 平安科技(深圳)有限公司 一种数据备份的方法、装置及计算机可读存储介质
CN112988497A (zh) * 2019-12-13 2021-06-18 伊姆西Ip控股有限责任公司 管理备份***的方法、电子设备和计算机程序产品
CN112988497B (zh) * 2019-12-13 2024-05-31 伊姆西Ip控股有限责任公司 管理备份***的方法、电子设备和计算机程序产品
CN114442904A (zh) * 2020-10-30 2022-05-06 伊姆西Ip控股有限责任公司 用于管理存储***的方法、设备和计算机程序产品

Also Published As

Publication number Publication date
CN102523290B (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
CN102523290B (zh) 数据的处理方法、设备和***
US8762743B2 (en) Encrypting data objects to back-up
AU757667B2 (en) Access to content addressable data over a network
US7793112B2 (en) Access to content addressable data over a network
CN102301377B (zh) 用于内容感知的数据分区和数据去重复的方法和设备
US8788831B2 (en) More elegant exastore apparatus and method of operation
US20160057201A1 (en) File Uploading Method, Client, and Application Server in Cloud Storage, and Cloud Storage System
CN109857710A (zh) 文件存储方法及终端设备
CN103095843A (zh) 一种基于版本矢量的数据备份方法及客户端
CN107436725A (zh) 一种数据写、读方法、装置及分布式对象存储集群
CN103067525A (zh) 一种基于特征码的云存储数据备份方法
EP3610364B1 (en) Wan optimized micro-service based deduplication
CN102307206A (zh) 基于云存储的快速访问虚拟机镜像的缓存***及其方法
CN103227818A (zh) 终端、服务器、文件传输方法、文件存储管理***和方法
CN103324533A (zh) 分布式数据处理方法、装置及***
US20160205190A1 (en) Parallel transparent restructuring of immutable content in a distributed object storage system
CN103118104A (zh) 一种基于版本矢量的数据还原方法及服务器
CN103116615A (zh) 一种基于版本矢量的数据索引方法及服务器
CN109144406A (zh) 分布式存储***中元数据存储方法、***及存储介质
CN111033487A (zh) 基于微服务的去重
CN104935469A (zh) 一种日志信息分布式存储方法及***
CN103823807A (zh) 一种去除重复数据的方法、装置及***
CN109597903A (zh) 图像文件处理装置和方法、文件存储***及存储介质
CN102082791A (zh) 数据备份实现方法、客户端和服务器及***
US20130058333A1 (en) Method For Handling Requests In A Storage System And A Storage Node For A Storage System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Applicant after: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.

Address before: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Applicant before: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES CO., LTD. TO: HUAWEI DIGITAL TECHNOLOGY (CHENGDU) CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220905

Address after: No. 1899 Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan 610041

Patentee after: Chengdu Huawei Technologies Co.,Ltd.

Address before: 611731 Qingshui River District, Chengdu hi tech Zone, Sichuan, China

Patentee before: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.