CN110795408A - 基于对象存储的数据处理方法、装置、服务器和存储介质 - Google Patents

基于对象存储的数据处理方法、装置、服务器和存储介质 Download PDF

Info

Publication number
CN110795408A
CN110795408A CN201911030905.2A CN201911030905A CN110795408A CN 110795408 A CN110795408 A CN 110795408A CN 201911030905 A CN201911030905 A CN 201911030905A CN 110795408 A CN110795408 A CN 110795408A
Authority
CN
China
Prior art keywords
file
version
version attribute
same name
name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911030905.2A
Other languages
English (en)
Inventor
郭军
卢晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Data Technology (shenzhen) Ltd By Share Ltd
Original Assignee
Data Technology (shenzhen) Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Data Technology (shenzhen) Ltd By Share Ltd filed Critical Data Technology (shenzhen) Ltd By Share Ltd
Priority to CN201911030905.2A priority Critical patent/CN110795408A/zh
Publication of CN110795408A publication Critical patent/CN110795408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种基于对象存储的数据处理方法、装置、服务器和存储介质。该基于对象存储的数据处理方法包括：接收客户端上传的第一文件，所述第一文件包括第一文件名；根据所述第一文件名判断是否存在同名文件；如果不存在所述同名文件，则直接保存所述第一文件；如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。达到了降低集群的负载，优化集群的性能的效果。

Description

基于对象存储的数据处理方法、装置、服务器和存储介质
技术领域
本发明实施例涉及分布式存储技术领域，尤其涉及一种基于对象存储的数据处理方法、装置、服务器和存储介质。
背景技术
随着互联网的迅速发展，全球的数据量出现***式增长，如何便捷地处理大量的数据越来与重要。
目前，现有使用分布式存储***ceph对数据进行处理时，对于同名的文件，都是最新的同名文件替换旧的同名文件，即删除旧的同名文件，保留最新的同名文件。当需要旧的同名文件时，则将存储***恢复至一个时间点，该时间点以内包括有该旧的同名文件，而不包括新的同名文件，从而获取旧的同名文件。当再次需要用到新的同名文件时，则再次将存储***恢复至包括新的同名文件的另一个时间点，从而获取新的同名文件
然而，在如今的信息化时代，每天都有大量的数据在不断更新，通过这种恢复存储***的时间点，以获取不同版本的同名文件，不仅操作繁琐，并且还会增加集群的负载，降低了集群的性能。
发明内容
本发明实施例提供一种基于对象存储的数据处理方法、装置、服务器和存储介质，以实现降低集群的负载，优化集群的性能的效果。
第一方面，本发明实施例提供了一种基于对象存储的数据处理方法，包括：
接收客户端上传的第一文件，所述第一文件包括第一文件名；
根据所述第一文件名判断是否存在同名文件；
如果不存在所述同名文件，则直接保存所述第一文件；
如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。
可选的，所述基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存，包括：
基于所述同名文件的历史操作记录对所述第一文件增加版本属性；
根据所述版本属性建立与MD5的映射关系；
基于所述映射关系对所述第一文件进行保存。
可选的，在所述基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存之前，包括：
判断bucket是否开启多版本功能；
如果所述bucket开启多版本功能，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存；
如果所述bucket未开启多版本功能，则直接保存所述第一文件，并删除所述同名文件。
可选的，在所述基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存之后，包括：
接收客户端发送的第二文件的删除请求；
判断所述删除请求是否包括版本属性；
如果所述删除请求不包括所述版本属性，则直接删除所述第二文件；
如果所述删除请求包括所述版本属性，则删除与版本属性对应的第二文件。
可选的，所述删除与版本属性对应的第二文件，包括：
根据所述版本属性获取对应的MD5值；
将MD5对象的引用计数减1，不删除bucket中的文件对象。
可选的，在所述基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存之后，包括：
接收客户端发送的第三文件的下载请求；
判断所述下载请求是否包括所述版本属性；
如果所述下载请求包括所述版本属性，则根据版本属性获取对应的第三文件进行下载；
如果所述下载请求不包括所述版本属性，则直接下载所述第三文件的最新版本。
可选的，所述根据版本属性获取对应的第三文件进行下载，包括：
根据所述版本属性获取对应的MD5值；
根据对应的MD5值获取所述第三文件的Manifest信息；
读取所述Manifest信息记录的所有对象，拼接成所述第三文件发送到客户端。
第二方面，本发明实施例提供了一种基于对象存储的数据处理的装置，包括：
接收模块，用于接收客户端上传的第一文件，所述第一文件包括第一文件名；
判断模块，用于根据所述第一文件名判断是否存在同名文件；
保存模块，用于如果不存在所述同名文件，则直接保存所述第一文件；如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。
第三方面，本发明实施例提供了一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的基于对象存储的数据处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的基于对象存储的数据处理方法。
本发明实施例通过接收客户端上传的第一文件，所述第一文件包括第一文件名；根据所述第一文件名判断是否存在同名文件；如果不存在所述同名文件，则直接保存所述第一文件；如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存，解决了操作繁琐，并且还会增加集群的负载，降低了集群的性能的问题，实现了降低集群的负载，优化集群的性能的效果。
附图说明
图1是本发明实施例一提供的一种基于对象存储的数据处理方法的流程示意图；
图2是本发明实施例二提供的一种基于对象存储的数据处理方法的流程示意图；
图3是本发明实施例三提供的一种基于对象存储的数据处理方法的流程示意图；
图4是本发明实施例四提供的一种基于对象存储的数据处理装置的结构示意图；
图5是本发明实施例五提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一文件为第二文件，且类似地，可将第二文件称为第一文件。第一文件和第二文件两者都是文件，但其不是同一文件。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种基于对象存储的数据处理方法的流程示意图，可适用于对数据文件进行处理的场景，该方法可以由基于对象存储的数据处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器上。
如图1所示，本发明实施例一提供的基于对象存储的数据处理方法包括：
S110、接收客户端上传的第一文件，所述第一文件包括第一文件名。
其中，客户端是指用户进行操作的端口，在客户端可以进行多种操作，例如上传、下载、删除等。在本实施例中，通过客户端上传第一文件到分布式存储***中，以对第一文件进行存储。第一文件是指需要进行存储的文件。具体的，第一文件包括大量的数据。第一文件名是指该第一文件的文件名。
S120、根据所述第一文件名判断是否存在同名文件。
其中，同名文件是指与该第一文件名拥有相同文件名的文件。例如，第一文件名为A，而相同文件则为文件名也为A的文件。具体的，如果该第一文件是第一次上传，或者不是第一次上传但是已经被删除了的，该第一文件不存在同名文件。如果该第一文件不是第一次上传，是新版本的第一文件，例如更新了部分数据等原因，再次上传该第一文件，一般的，该第一文件存在同名文件。如果不存在同名文件，则执行步骤S130；如果存在同名文件，则执行步骤S140。
S130、直接保存所述第一文件。
具体的，第一文件包括第一文件属性。第一文件属性是指与文件相关的信息，例如文件名等。在后续需要对已保存的第一文件进行相应的操作时，可以通过该文件属性获取到该第一文件，以对第一文件进行操作。
S140、基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。
其中，历史操作记录是指在本次上传第一文件之前，对于同名文件的操作的记录。具体的，操作可以包括上传、删除、下载等，此处不作限制。版本属性是指能体现相同文件名的不同文件之间的信息。具体的，版本属性可以是版本号的形式体现，也可以是根据需求制定的一套规则，此处不作具体限制。优选的，版本属性以版本号的形式体现，例如“V1”、“V2”等，简单易懂。第一文件的版本属性根据历史操作记录确定。例如，若该第一文件是第二次上传，且同名文件还保留在存储***中，则将第一文件赋予“V2”的版本属性，而同名文件的版本属性为“V1”；若第一文件为第三次上传，且两个同名文件已有“V1”“V2”的版本属性，则第一文件的版本属性为“V3”。此处对于如何增加第一文件的版本属性不作限制。对增加了版本属性的第一文件进行保存，则可以通过客户端看到多个同名文件的不同版本。例如，同名文件的文件名为A，则可以在客户端中看到A.V1、A.V2等相同文件名，但是版本不同的文件，可以直接选择对应的版本进行后续的操作。
可选的，本步骤具体可以包括：基于所述同名文件的历史操作记录对所述第一文件增加版本属性；根据所述版本属性建立与MD5的映射关系；基于所述映射关系对所述第一文件进行保存。
其中，MD5是指信息摘要算法，一种被广泛使用的密码散列函数，可以产生出一个128位的散列值，用于确保信息传输完整一致。具体的，映射关系是指版本属性与MD5值的关系，版本属性与一个MD5值对应。例如，“V1”对应一个MD5值“A1”，“V2”对应另一个MD5值“A2”。基于所述映射关系对第一文件进行保存，即保存第一文件的同时也保存了映射关系。在本实施例中，通过家里版本属性与MD5的映射关系，保证了信息传输完整一致，还增强了文件的保密性。
可选的，在步骤S140之前，包括：判断bucket是否开启多版本功能；如果所述bucket开启多版本功能，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存；如果所述bucket未开启多版本功能，则直接保存所述第一文件，并删除所述同名文件。
其中，bucket是指“桶”的概念，即存放文件的存储空间。当bucket开启了多版本功能时，才对第一文件增加版本属性；未开启多版本功能时，则将第一文件替换同名文件，即保存第一文件，删除对应的同名文件。通过设置多版本功能是否开启的条件，可以根据需要进行设置，增强了存储文件的便利性。
本发明实施例的技术方案，通过接收客户端上传的第一文件，所述第一文件包括第一文件名；根据所述第一文件名判断是否存在同名文件；如果不存在所述同名文件，则直接保存所述第一文件；如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。存储***中以多版本的方式保存第一文件，在需要用到以前的旧数据时，可以直接通过文件的版本属性进行区分，以直接获取旧的文件，不需要进行多次的***恢复，达到降低集群的负载，优化集群的性能，从而提高文件的存储效率的技术效果。
实施例二
图2是本发明实施例二提供的一种基于对象存储的数据处理方法的流程示意图。本实施例是在上述技术方案的进一步细化，适用于对数据文件进行处理的场景。该方法可以由基于对象存储的数据处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器上。
如图2所示，本发明实施例二提供的基于对象存储的数据处理方法包括：
S210、接收客户端上传的第一文件，所述第一文件包括第一文件名。
其中，客户端是指用户进行操作的端口，在客户端可以进行多种操作，例如上传、下载、删除等。
S220、根据所述第一文件名判断是否存在同名文件。
其中，同名文件是指与该第一文件名拥有相同文件名的文件。如果不存在同名文件，则执行步骤S230；如果存在同名文件，则执行步骤S240。
S230、直接保存所述第一文件。
具体的，第一文件包括第一文件属性。第一文件属性是指与文件相关的信息，例如文件名等。在后续需要对已保存的第一文件进行相应的操作时，可以通过该文件属性获取到该第一文件，以对第一文件进行操作。
S240、基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。
其中，历史操作记录是指在本次上传第一文件之前，对于同名文件的操作的记录。具体的，操作可以包括上传、删除、下载等，此处不作限制。版本属性是指能体现相同文件名的不同文件之间的信息。具体的，版本属性可以是版本号的形式体现，也可以是根据需求制定的一套规则，此处不作具体限制。
S250、接收客户端发送的第二文件的删除请求。
其中，第二文件是指客户端需要进行删除的文件。可选的，第二文件可以和第一文件一致，也可以不一致。删除请求是指需要删除第二文件而生成的指令，用于对第二文件进行删除。
S260、判断所述删除请求是否包括版本属性。
具体的，判断删除请求是否包括版本属性，如果第二文件不包括版本属性，则直接执行步骤S270、直接删除所述第二文件；如果第二文件包括版本属性，则执行步骤S280、删除与版本属性对应的第二文件。
S270、直接删除所述第二文件。
具体的，删除请求不包括版本属性，则删除第二文件，不管已保存的第二文件是否包括版本属性。例如，第二文件的文件名为B，且已保存的文件包括B.V1和B.V2时，如果删除请求不包括版本属性，则直接删除B.V1和B.V2。
可选的，本步骤具体可以包括：获取第二文件对应的第二文件名；基于第二文件名获取所有的第二文件对应的MD5值；将所有的MD5值对象的引用计数减1，并删除bucket中的第二文件对象。
当有MD5值与文件形成映射关系时，引用计数加1,；当映射关系失效时，引用计数减1，当引用计数器的值为0时表示文件不可再使用。在本步骤中将所有第二文件的引用计数都减1，当引用计数器的值为0时表示文件不可再使用，即存储***的bucket中不再存在该第二文件，释放了存储***的存储空间。
S280、删除与版本属性对应的第二文件。
具体的，如果删除请求包括版本属性，则直接删除与版本对应的第二文件。例如，第二文件的文件名为B，且已保存的文件包括B.V1和B.V2时，删除请求中包括了V1此版本属性，则删除B.V1此文件。
可选的，本步骤具体可以包括：根据所述版本属性获取对应的MD5值；将MD5对象的引用计数减1，不删除bucket中的文件对象。
具体的，当有MD5值与文件形成映射关系时，引用计数加1,；当映射关系失效时，引用计数减1，当引用计数器的值为0时表示文件不可再使用。
本发明实施例的技术方案，通过接收客户端上传的第一文件，所述第一文件包括第一文件名；根据所述第一文件名判断是否存在同名文件；如果不存在所述同名文件，则直接保存所述第一文件；如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。存储***中以多版本的方式保存第一文件，在需要用到以前的旧数据时，可以直接通过文件的版本属性进行区分，以直接获取旧的文件，不需要进行多次的***恢复，达到降低集群的负载，优化集群的性能，从而提高文件的存储效率的技术效果。
实施例三
图3是本发明实施例三提供的一种基于对象存储的数据处理方法的流程示意图。本实施例是在上述技术方案的进一步细化，适用于对数据文件进行处理的场景。该方法可以由基于对象存储的数据处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器上。
如图3所示，本发明实施例二提供的基于对象存储的数据处理方法包括：
S310、接收客户端上传的第一文件，所述第一文件包括第一文件名。
其中，客户端是指用户进行操作的端口，在客户端可以进行多种操作，例如上传、下载、删除等。
S320、根据所述第一文件名判断是否存在同名文件。
其中，同名文件是指与该第一文件名拥有相同文件名的文件。如果不存在同名文件，则执行步骤S330；如果存在同名文件，则执行步骤S340。
S330、直接保存所述第一文件。
具体的，第一文件包括第一文件属性。第一文件属性是指与文件相关的信息，例如文件名等。在后续需要对已保存的第一文件进行相应的操作时，可以通过该文件属性获取到该第一文件，以对第一文件进行操作。
S340、基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。
其中，历史操作记录是指在本次上传第一文件之前，对于同名文件的操作的记录。具体的，操作可以包括上传、删除、下载等，此处不作限制。版本属性是指能体现相同文件名的不同文件之间的信息。具体的，版本属性可以是版本号的形式体现，也可以是根据需求制定的一套规则，此处不作具体限制。
S350、接收客户端发送的第三文件的下载请求。
其中，第三文件是指用户通过客户端需要进行下载的文件。可选的，第三文件可以和第一文件一致，也可以不一致。下载请求是指需要下载第三文件而生成的指令，用于对第三文件进行下载。
S360、判断所述下载请求是否包括所述版本属性。
具体的，如果下载请求不包括版本属性，则执行步骤S370、根据版本属性获取对应的第三文件进行下载；如果下载请求包括版本属性，则执行步骤S380、直接下载所述第三文件的最新版本。
S370、根据版本属性获取对应的第三文件进行下载。
具体的，下载请求包括版本属性时，则下载与版本属性对应的第三文件进行下载。
可选的，本步骤具体可以包括：根据所述版本属性获取对应的MD5值；根据对应的MD5值获取所述第三文件的Manifest信息；读取所述Manifest信息记录的所有对象，拼接成所述第三文件发送到客户端。
其中，Manifest信息是一种配置信息，用于组织和描述应用程序及并行组件。具体的，在分布式存储***中，为了提高存储的效率，会将文件拆分成一个个对象存储到集群中，并且同一文件的多个对象相同的Manifest信息，可以Manifest信息可以获取到第三文件对应的所有对象，从而拼接成第三文件发送到客户端给用户。
S380、直接下载所述第三文件的最新版本。
具体的，下载请求不包括版本属性时，则直接下载最新版本的第三文件。
可选的，在步骤S350之前，还可以包括：接收客户端发送的文件清单请求。
本发明实施例的技术方案，通过接收客户端上传的第一文件，所述第一文件包括第一文件名；根据所述第一文件名判断是否存在同名文件；如果不存在所述同名文件，则直接保存所述第一文件；如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。存储***中以多版本的方式保存第一文件，在需要用到以前的旧数据时，可以直接通过文件的版本属性进行区分，以直接获取旧的文件，不需要进行多次的***恢复，达到降低集群的负载，优化集群的性能，从而提高文件的存储效率的技术效果。
实施例四
图4是本发明实施例四提供的一种基于对象存储的数据处理装置的结构示意图，本实施例可适用于对数据文件进行处理的场景，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器上。
如图4所示，本实施例提供的基于对象存储的数据处理装置可以包括接收模块410、判断模块420和保存模块430，其中：
接收模块410，用于接收客户端上传的第一文件，所述第一文件包括第一文件名；
判断模块420，用于根据所述第一文件名判断是否存在同名文件；
保存模块430，用于如果不存在所述同名文件，则直接保存所述第一文件；如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。
可选的，保存模块430包括：
增加版本属性单元，用于基于所述同名文件的历史操作记录对所述第一文件增加版本属性；
映射单元，用于根据所述版本属性建立与MD5的映射关系；
保存单元，用于基于所述映射关系对所述第一文件进行保存。
可选的，该判断模块420还用于判断bucket是否开启多版本功能；如果所述bucket开启多版本功能，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存；如果所述bucket未开启多版本功能，则直接保存所述第一文件，并删除所述同名文件。
可选的，接收模块410还用于接收客户端发送的第二文件的删除请求；
判断模块420还用于判断所述删除请求是否包括版本属性；
该装置还包括删除模块，用于如果所述删除请求不包括所述版本属性，则直接删除所述第二文件；如果所述删除请求包括所述版本属性，则删除与版本属性对应的第二文件。
可选的，该删除模块包括：
第一获取单元，用于根据所述版本属性获取对应的MD5值；
删除单元，用于将MD5对象的引用计数减1，不删除bucket中的文件对象。
可选的，接收模块410还用于接收客户端发送的第三文件的下载请求；
判断模块420还用于判断所述下载请求是否包括所述版本属性；
该装置还包括下载模块，用于如果所述下载请求包括所述版本属性，则根据版本属性获取对应的第三文件进行下载；如果所述下载请求不包括所述版本属性，则直接下载所述第三文件的最新版本。
可选的，该下载模块包括：
第二获取单元，用于根据所述版本属性获取对应的MD5值；根据对应的MD5值获取所述第三文件的Manifest信息；
拼接单元，用于读取所述Manifest信息记录的所有对象，拼接成所述第三文件发送到客户端。
本发明实施例所提供的基于对象存储的数据处理装置可执行本发明任意实施例所提供的基于对象存储的数据处理方法，具备执行方法相应的功能模块和有益效果。本发明实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。
实施例五
图5是本发明实施例五提供的一种服务器的结构示意图。图5示出了适于用来实现本发明实施方式的示例***器612的框图。图5显示的服务器612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，服务器612以通用服务器的形式表现。服务器612的组件可以包括但不限于：一个或者多个处理器616，存储装置628，连接不同***组件(包括存储装置628和处理器616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及***组件互连(Peripheral Component Interconnect，PCI)总线。
服务器612典型地包括多种计算机***可读介质。这些介质可以是任何能够被服务器612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置628可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(Random Access Memory，RAM)630和/或高速缓存存储器632。终端612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***634可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储装置628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如存储装置628中，这样的程序模块642包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
服务器612也可以与一个或多个外部设备614(例如键盘、指向终端、显示器624等)通信，还可与一个或者多个使得用户能与该服务器612交互的终端通信，和/或与使得该服务器612能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，服务器612还可以通过网络适配器620与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide AreaNetwork，WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器620通过总线618与服务器612的其它模块通信。应当明白，尽管图中未示出，可以结合服务器612使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)***、磁带驱动器以及数据备份存储***等。
处理器616通过运行存储在存储装置628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种基于对象存储的数据处理方法，该方法可以包括：
接收客户端上传的第一文件，所述第一文件包括第一文件名；
根据所述第一文件名判断是否存在同名文件；
如果不存在所述同名文件，则直接保存所述第一文件；
如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。
本发明实施例的技术方案，通过接收客户端上传的第一文件，所述第一文件包括第一文件名；根据所述第一文件名判断是否存在同名文件；如果不存在所述同名文件，则直接保存所述第一文件；如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。存储***中以多版本的方式保存第一文件，在需要用到以前的旧数据时，可以直接通过文件的版本属性进行区分，以直接获取旧的文件，不需要进行多次的***恢复，达到降低集群的负载，优化集群的性能，从而提高文件的存储效率的技术效果。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的一种基于对象存储的数据处理方法，该方法可以包括：
接收客户端上传的第一文件，所述第一文件包括第一文件名；
根据所述第一文件名判断是否存在同名文件；
如果不存在所述同名文件，则直接保存所述第一文件；
如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例的技术方案，通过接收客户端上传的第一文件，所述第一文件包括第一文件名；根据所述第一文件名判断是否存在同名文件；如果不存在所述同名文件，则直接保存所述第一文件；如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。存储***中以多版本的方式保存第一文件，在需要用到以前的旧数据时，可以直接通过文件的版本属性进行区分，以直接获取旧的文件，不需要进行多次的***恢复，达到降低集群的负载，优化集群的性能，从而提高文件的存储效率的技术效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于对象存储的数据处理方法，其特征在于，包括：
接收客户端上传的第一文件，所述第一文件包括第一文件名；
根据所述第一文件名判断是否存在同名文件；
如果不存在所述同名文件，则直接保存所述第一文件；
如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。
2.如权利要求1所述的基于对象存储的数据处理方法，其特征在于，所述基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存，包括：
基于所述同名文件的历史操作记录对所述第一文件增加版本属性；
根据所述版本属性建立与MD5的映射关系；
基于所述映射关系对所述第一文件进行保存。
3.如权利要求1所述的基于对象存储的数据处理方法，其特征在于，在所述基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存之前，包括：
判断bucket是否开启多版本功能；
如果所述bucket开启多版本功能，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存；
如果所述bucket未开启多版本功能，则直接保存所述第一文件，并删除所述同名文件。
4.如权利要求1所述的基于对象存储的数据处理方法，其特征在于，在所述基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存之后，包括：
接收客户端发送的第二文件的删除请求；
判断所述删除请求是否包括版本属性；
如果所述删除请求不包括所述版本属性，则直接删除所述第二文件；
如果所述删除请求包括所述版本属性，则删除与版本属性对应的第二文件。
5.如权利要求4所述的基于对象存储的数据处理方法，其特征在于，所述删除与版本属性对应的第二文件，包括：
根据所述版本属性获取对应的MD5值；
将MD5对象的引用计数减1，不删除bucket中的文件对象。
6.如权利要求1所述的基于对象存储的数据处理方法，其特征在于，在所述基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存之后，包括：
接收客户端发送的第三文件的下载请求；
判断所述下载请求是否包括所述版本属性；
如果所述下载请求包括所述版本属性，则根据版本属性获取对应的第三文件进行下载；
如果所述下载请求不包括所述版本属性，则直接下载所述第三文件的最新版本。
7.如权利要求6所述的基于对象存储的数据处理方法，其特征在于，所述根据版本属性获取对应的第三文件进行下载，包括：
根据所述版本属性获取对应的MD5值；
根据对应的MD5值获取所述第三文件的Manifest信息；
读取所述Manifest信息记录的所有对象，拼接成所述第三文件发送到客户端。
8.一种基于对象存储的数据处理装置，其特征在于，包括：
接收模块，用于接收客户端上传的第一文件，所述第一文件包括第一文件名；
判断模块，用于根据所述第一文件名判断是否存在同名文件；
保存模块，用于如果不存在所述同名文件，则直接保存所述第一文件；如果存在所述同名文件，则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。
9.一种服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的基于对象存储的数据处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于对象存储的数据处理方法。
CN201911030905.2A 2019-10-28 2019-10-28 基于对象存储的数据处理方法、装置、服务器和存储介质 Pending CN110795408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911030905.2A CN110795408A (zh) 2019-10-28 2019-10-28 基于对象存储的数据处理方法、装置、服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911030905.2A CN110795408A (zh) 2019-10-28 2019-10-28 基于对象存储的数据处理方法、装置、服务器和存储介质

Publications (1)

Publication Number Publication Date
CN110795408A true CN110795408A (zh) 2020-02-14

Family

ID=69441658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911030905.2A Pending CN110795408A (zh) 2019-10-28 2019-10-28 基于对象存储的数据处理方法、装置、服务器和存储介质

Country Status (1)

Country Link
CN (1) CN110795408A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286880A (zh) * 2020-10-23 2021-01-29 北京金山云网络技术有限公司 数据存储方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714123A (zh) * 2013-12-06 2014-04-09 西安工程大学 企业云存储分块对象重复数据删除和重组版本控制方法
CN104539696A (zh) * 2014-12-26 2015-04-22 北京像素软件科技股份有限公司 一种客户端增量更新的方法及***
CN107391669A (zh) * 2017-07-20 2017-11-24 郑州云海信息技术有限公司 一种基于文件***的多版本文件管理方法及装置
US20170364513A1 (en) * 2012-02-27 2017-12-21 Fuji Xerox Co., Ltd. Document management server, document management device, document management system, non-transitory computer readable medium storing document management program, and document management method
CN107832470A (zh) * 2017-11-29 2018-03-23 郑州云海信息技术有限公司 一种基于存储***的对象存储方法及装置
CN109753381A (zh) * 2018-11-09 2019-05-14 深圳供电局有限公司 一种基于对象存储的持续数据保护方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170364513A1 (en) * 2012-02-27 2017-12-21 Fuji Xerox Co., Ltd. Document management server, document management device, document management system, non-transitory computer readable medium storing document management program, and document management method
CN103714123A (zh) * 2013-12-06 2014-04-09 西安工程大学 企业云存储分块对象重复数据删除和重组版本控制方法
CN104539696A (zh) * 2014-12-26 2015-04-22 北京像素软件科技股份有限公司 一种客户端增量更新的方法及***
CN107391669A (zh) * 2017-07-20 2017-11-24 郑州云海信息技术有限公司 一种基于文件***的多版本文件管理方法及装置
CN107832470A (zh) * 2017-11-29 2018-03-23 郑州云海信息技术有限公司 一种基于存储***的对象存储方法及装置
CN109753381A (zh) * 2018-11-09 2019-05-14 深圳供电局有限公司 一种基于对象存储的持续数据保护方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286880A (zh) * 2020-10-23 2021-01-29 北京金山云网络技术有限公司 数据存储方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
KR102240557B1 (ko) 데이터 저장 방법, 장치 및 시스템
US12019652B2 (en) Method and device for synchronizing node data
CN111949710B (zh) 数据存储方法、装置、服务器及存储介质
US11221992B2 (en) Storing data files in a file system
CN109496418B (zh) 文件下载方法、装置及设备/终端/服务器
CN109508326B (zh) 用于处理数据的方法、装置和***
CN109918381B (zh) 用于存储数据的方法和装置
CN111562929A (zh) 补丁文件的生成方法、装置、设备及存储介质
CN114138558A (zh) 一种对象存储方法、装置、电子设备和存储介质
CN111694703A (zh) 缓存区管理方法、装置和计算机设备
CN110795408A (zh) 基于对象存储的数据处理方法、装置、服务器和存储介质
US9471246B2 (en) Data sharing using difference-on-write
CN111596864A (zh) 一种数据延时删除的方法、装置、服务器及存储介质
CN111651188B (zh) 差分包的数据结果确定方法、装置、设备及存储介质
CN109740027B (zh) 数据交换方法、装置、服务器和存储介质
CN110896391B (zh) 一种报文处理方法和装置
CN113220237A (zh) 一种分布式存储方法、装置、设备及存储介质
CN114629895B (zh) 一种文件分片断点续传方法、装置、终端设备及介质
CN114281604B (zh) 数据恢复方法、装置、电子设备及存储介质
CN116701449A (zh) 数据处理的方法、装置、电子设备和存储介质
CN118277126A (zh) 读请求处理方法、广播单元和处理器***
CN114490583A (zh) 数据迁移方法、装置、电子设备和存储介质
CN117407077A (zh) 配置编辑方法、装置、存储介质及电子设备
CN111639055A (zh) 差分包计算方法、装置、设备及存储介质
CN116737122A (zh) 一种处理方法、装置、终端设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200214