CN112817912B - 文件管理方法、装置、计算机设备和存储介质 - Google Patents

文件管理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112817912B
CN112817912B CN202110193252.0A CN202110193252A CN112817912B CN 112817912 B CN112817912 B CN 112817912B CN 202110193252 A CN202110193252 A CN 202110193252A CN 112817912 B CN112817912 B CN 112817912B
Authority
CN
China
Prior art keywords
file
storage
storage space
information
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110193252.0A
Other languages
English (en)
Other versions
CN112817912A (zh
Inventor
罗国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110193252.0A priority Critical patent/CN112817912B/zh
Publication of CN112817912A publication Critical patent/CN112817912A/zh
Application granted granted Critical
Publication of CN112817912B publication Critical patent/CN112817912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/122File system administration, e.g. details of archiving or snapshots using management policies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2219Large Object storage; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2255Hash tables
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据处理领域,通过接收生命周期服务器根据生命周期配置信息与存储空间信息确定的文件操作请求,实现自动对目标文件进行删除或转存,提高了文件管理的效率与便捷性。尤其涉及一种文件管理方法、装置、计算机设备和存储介质,该方法包括:确定存储空间的存储空间信息与生命周期配置信息;将生命周期配置信息与存储空间信息发送至生命周期服务器,以使生命周期服务器基于键值对数据库,根据生命周期配置信息与存储空间信息确定目标文件并生成目标文件的文件操作请求;接收生命周期服务器发送的文件操作请求,根据文件操作请求对应的操作类型对目标文件进行删除或转存。此外,本申请还涉及区块链技术,键值对数据库可存储于区块链中。

Description

文件管理方法、装置、计算机设备和存储介质
技术领域
本申请涉及数据处理领域,尤其涉及一种文件管理方法、装置、计算机设备和存储介质。
背景技术
在很多业务中,用户的业务文件往往有一定的业务热度,比如开户或者投保、理赔的业务文件大多数都是在一周、一个月内频繁使用;当过了业务热度后,这些业务文件将会很少使用,但由于监管要求,又必须保存这些业务文件。
在保存业务文件时,用户一般将业务文件存储至标准存储集群;而过了一段时间后,需要由用户对业务文件进行删除或转存到归档存储集群。在删除或转存业务文件时,存在复杂的处理操作导致处理难度较大,因此降低了用户管理业务文件的效率与便捷性。
因此如何提高管理文件的效率与便捷性成为亟需解决的问题。
发明内容
本申请提供了一种文件管理方法、装置、计算机设备和存储介质,通过接收生命周期服务器根据生命周期配置信息与存储空间信息确定的文件操作请求,实现自动对目标文件进行删除或转存,无需人工操作,提高了文件管理的效率与便捷性。
第一方面,本申请提供了一种文件管理方法,所述方法包括:
确定存储空间对应的存储空间信息,所述存储空间为存储文件的容器;
根据检测到的对所述存储空间的生命周期配置操作,确定所述存储空间对应的生命周期配置信息;
将所述生命周期配置信息与所述存储空间信息发送至生命周期服务器,以使所述生命周期服务器基于包含至少一个文件属性信息的键值对数据库,根据所述生命周期配置信息与所述存储空间信息确定待处理的目标文件并生成所述目标文件对应的文件操作请求;
接收所述生命周期服务器发送的所述文件操作请求,根据所述文件操作请求对应的操作类型对所述目标文件进行删除或转存。
第二方面,本申请还提供了一种文件管理装置,所述装置包括:
存储空间信息确定模块,用于确定存储空间对应的存储空间信息,所述存储空间为存储文件的容器;
生命周期确定模块,用于根据检测到的对所述存储空间的生命周期配置操作,确定所述存储空间对应的生命周期配置信息;
信息发送模块,用于将所述生命周期配置信息与所述存储空间信息发送至生命周期服务器,以使所述生命周期服务器基于包含至少一个文件属性信息的键值对数据库,根据所述生命周期配置信息与所述存储空间信息确定待处理的目标文件并生成所述目标文件对应的文件操作请求;
文件处理模块,用于接收所述生命周期服务器发送的所述文件操作请求,根据所述文件操作请求对应的操作类型对所述目标文件进行删除或转存。
第三方面,本申请还提供了一种计算机设备,所述计算机设备包括存储器和处理器;
所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上述的文件管理方法。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的文件管理方法。
本申请公开了一种文件管理方法、装置、计算机设备和存储介质,通过确定存储空间对应的生命周期配置信息与存储空间信息,可以将生命周期配置信息与存储空间信息发送至生命周期服务器,由生命周期服务器基于包含至少一个文件属性信息的键值对数据库,根据生命周期配置信息与存储空间信息确定待处理的目标文件并生成目标文件对应的文件操作请求;通过接收生命周期服务器发送的文件操作请求,可以自动根据文件操作请求对应的操作类型对目标文件进行删除或转存,无需人工操作,提高了文件管理的效率与便捷性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种文件管理方法的示意性流程图;
图2是本申请实施例提供的一种上传文件的子步骤的示意性流程图;
图3是本申请实施例提供的空间组与存储集群之间的关系的示意图;
图4是本申请实施例提供的一种与键值对数据库进行交互的示意图;
图5是本申请实施例提供的一种将文件操作请求发送至存储应用服务器的示意图;
图6是本申请实施例提供的一种删除目标文件的子步骤的示意性流程图;
图7是本申请实施例提供的一种转存目标文件的子步骤的示意性流程图;
图8是本申请实施例提供的一种将标准存储集群中的目标文件上传至归档存储集群的示意图;
图9是本申请实施例提供的一种对键值对数据库中的文件属性信息进行更新的示意图;
图10是本申请实施例提供的一种判断转存后的目标文件是否发生改变的子步骤的示意性流程图;
图11是本申请实施例提供的一种文件管理装置的示意性框图;
图12是本申请实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
本申请的实施例提供了一种文件管理方法、装置、计算机设备和存储介质。其中,该文件管理方法可以应用于存储应用服务器中,通过接收生命周期服务器根据生命周期配置信息与存储空间信息确定的文件操作请求,实现自动对目标文件进行删除或转存,无需人工操作,提高了文件管理的效率与便捷性。
其中,存储应用服务器与生命周期服务器可以为独立的服务器,也可以为服务器集群。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。如图1所示,文件管理方法包括步骤S10至步骤S40。
步骤S10、确定存储空间对应的存储空间信息,所述存储空间为存储文件的容器。
在本申请实施例中,将基于对象存储(Object-Based Storage,OBS),说明如何根据文件的生命周期实现对文件进行删除或转存。需要说明的是,对象存储可用于图片、音视频、日志等海量文件的存储;各种终端设备、Web网站程序、移动应用可以直接向OBS写入或读取数据。
示例性的,在对象存储的架构中,可以包括但不限于存储应用服务器、生命周期服务器、键值对数据库以及存储集群等等。其中,键值对数据库是指TiKV数据库。需要说明的是,TiKV数据库是一种开源的分布式事务Key-Value数据库;TiKV为非关系型数据库数据库,可以解决关系型数据库和redis数据库无法缓存海量数据的问题,可以在存储千亿,万亿数据的基础上做到性能无差异。集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘,可以充分发挥存储设备的性能和磁盘利用率。
需要说明的是,存储空间是用户存储对象(Object)的容器,所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性,包括地域、访问权限以及存储类型等;用户可以根据实际需求,创建不同类型的存储空间来存储不同的数据。其中,存储空间中的对象可以是指本申请实施例所述的文件。
在一些实施例中,确定存储空间对应的存储空间信息,可以包括:接收存储空间请求,其中,存储空间请求包括存储空间对应的权限信息;当权限信息通过校验后,创建存储空间并确定存储空间对应的存储空间信息。
在本申请实施例中,用户可以通过对象存储提供的SDK工具包(SoftwareDevelopment Kit,软件开发工具包)或在存储应用服务器的管理页面发起存储空间请求。可以理解的是,用户在上传文件之前,需要请求一个用于存储文件的存储空间。
示例性的,存储空间请求包括存储空间对应的权限信息。需要说明的是,权限信息可以是发起存储空间请求时自动生成的,用于表示存储空间请求的合法性以及是否具备请求存储空间的权限。
示例性的,可以采用HMAC-SHA256算法对权限信息进行校验。需要说明的是,HMAC(Hash-based Message Authentication Code,散列消息认证码)是一种基于密钥的报文完整性的验证方法。HMAC算法利用哈希运算,以一个密钥和一个消息为输入,生成一个消息摘要作为输出。可以理解的是,使用SHA-256算法生成哈希值的HMAC算法,称为HMAC-SHA256算法。
示例性的,用户在通过SDK工具包或管理页面申请存储空间时,可以根据非对称加密算法,生成一个公开密钥与私有密钥;然后用户基于HMAC-SHA256算法,根据公开密钥对权限信息进行加密,得到加密信息;然后将权限信息与加密信息发送给存储应用服务器,存储应用服务器可以基于HMAC-SHA256算法,根据私有密钥对加密信息进行解密并验证。具体的解密与验证的过程,在此不作限定。通过对权限信息进行加密,可以避免权限信息被篡改或盗用。
示例性的,在权限信息校验通过后,可以创建一个用于存储文件的存储空间(bucket),并确定该存储空间的存储空间信息。例如,存储空间名称。其中,每个存储空间的名称是全局唯一的。
在一些实施例中,在权限信息通过校验后,还可以将存储空间对应的存储空间信息返回给用户。从而用户可以根据存储空间信息上传文件。
通过接收存储空间请求,可以对存储空间请求中的权限信息进行校验,创建存储空间以及获得存储空间信息。
步骤S20、根据检测到的对所述存储空间的生命周期配置操作,确定所述存储空间对应的生命周期配置信息。
需要说明的是,在存储应用服务器创建存储空间之后,用户可以对每一个存储空间配置生命周期配置信息。其中,生命周期配置信息只对对应的存储空间内的全部文件起作用。
可以理解的是,生命周期配置信息用于表示文件的生命周期。例如,当文件的生命周期满足预设条件时,对该文件进行删除或转存。
示例性的,当用户需要通过配置生命周期来删除存储空间中的文件时,生命周期配置信息可以包括:文件在预设保存周期前删除、预设前缀的文件在预设保存周期前删除等等。其中,预设保存周期可以包括但不限于1个月、3个月、6个月等等。预设前缀可以包括但不限于test前缀、stg前缀等等。
示例性的,当用户需要通过配置生命周期来转存存储空间中的文件时,生命周期配置信息可以包括:文件在预设保存时间前转存、预设前缀的文件在预设保存时间前转存等等。需要说明的是,转存是指将标准存储或者性能型存储的文件迁移到归档存储。
在一些实施例中,在确定存储空间对应的生命周期配置信息之后,还可以将生命周期配置信息持久化保存PG(PostgreSQL)数据库中。
需要说明的是,持久化是指把数据(如内存中的对象)保存到可永久保存的存储设备的机制。持久化可以应用于将内存中的对象存储在数据库、磁盘文件以及XML数据文件等场景。
通过根据检测到的生命周期配置操作,确定存储空间对应的生命周期配置信息,后续生命周期服务器可以根据生命周期配置信息对存储空间中的文件进行管理。
步骤S30、将所述生命周期配置信息与所述存储空间信息发送至生命周期服务器,以使所述生命周期服务器基于包含至少一个文件属性信息的键值对数据库,根据所述生命周期配置信息与所述存储空间信息确定待处理的目标文件并生成所述目标文件对应的文件操作请求。
需要说明的是,在将生命周期配置信息与存储空间信息发送至生命周期服务器之前,用户还可以将文件上传至存储空间中。例如,用户在存储应用服务器创建好存储空间之后,可以将需要上传的文件上传至存储空间对应的存储集群。可以理解的是,存储空间为逻辑概念,文件实际存储于存储集群中。
请参阅图2,图2是本申请实施例提供的一种上传文件的子步骤的示意性流程图,具体可以包括以下步骤S301至步骤S304。
步骤S301、接收文件上传请求,其中所述文件上传请求包括上传文件与存储空间信息。
示例性的,用户在获得存储空间对应的存储空间信息之后,可以根据存储空间信息生成文件上传请求。例如,用户通过SDK工具包或管理页面发起文件上传请求,以将上传文件上传至存储集群中。
步骤S302、当所述存储空间信息通过校验后,根据所述存储空间信息确定所述上传文件的目标存储集群。
在本申请实施例中,存储应用服务器在接收到文件上传请求之后,可以对文件上传请求中的存储空间信息进行校验。示例性的,可以采用HMAC-SHA256算法对存储空间信息进行校验。具体的校验过程,在此不作限定。通过对文件上传请求中的存储空间信息进行校验,可以确定该文件上传请求是否合法。
在一些实施例中,当存储空间信息通过校验后,根据存储空间信息确定上传文件的目标存储集群。其中,存储空间信息可以包括存储空间名称。
示例性的,根据存储空间信息确定上传文件的目标存储集群,可以基于存储空间名称与空间组之间预设的对应关系,根据存储空间信息中的存储空间名称确定上传文件对应的目标空间组;根据目标空间组中的各存储集群对应的权重信息,确定上传文件的目标存储集群。
需要说明的是,在存储应用服务器上有Zonegroup(空间组)的虚拟概念,其中,Zonegroup和bucket(存储空间)之间存在的映射关系,该映射关系保存在PG数据库中。同时,Zonegroup与存储集群之间也存在的映射关系,也保存在PG数据库中。存储应用服务器在启动的时候将这两个映射关系加载到缓存中,然后定时查询PG数据库中的映射关系,并更新存储应用服务器的缓存信息。
请参阅图3,图3是本申请实施例提供的空间组与存储集群之间的关系的示意图。如图3所示,一个存储空间对应有一个Zonegroup,Zonegroup和存储集群是多对多的关系,例如,一个Zonegroup可以有一个或者多个存储集群。
在本申请实施例中,当用户上传文件的时候,存储应用服务器只需要根据bucket-Zonegroup之间的映射关系,确定一个目标空间组;然后根据目标空间组中的各存储集群对应的权重信息,确定上传文件的目标存储集群。示例性的,目标空间组中的各存储集群对应的权重信息,如表1所示。
表1
Zoegroup名称 存储集群编号 写权重
zn1 $001 100
zn1 $002 80
zn1 $003 80
示例性的,可以根据各存储集群对应的权重概率,确定目标存储集群。其中,权重概率的定义如下:
Figure BDA0002945980490000081
在表1中,存储集群$001对应的权重概率为38.46%,存储集群$002对应的权重概率为30.77%,存储集群$003对应的权重概率为30.77%。示例性的,可以将权重概率最大的存储集群,确定为上传文件的目标存储集群。
通过根据存储空间信息,可以方便、快速地确定上传文件的目标存储集群,提高了上传文件的效率。
步骤S303、将所述上传文件存储至所述目标存储集群。
示例性的,在确定目标存储集群之后,可以将上传文件存储至目标存储集群中。
步骤S304、确定所述目标存储集群中的所述上传文件的文件属性信息,将所述文件属性信息以键值对的形式存储至所述键值对数据库。
示例性的,确定上传文件的文件属性信息。例如,上传文件的类型、大小、名称以及校验值等等。其中,上传文件的校验值可以通过HMAC-MD5算法生成,当然也可以是其它算法,此处不作唯一限定。可以理解的是,使用MD5算法生成消息摘要的HMAC算法,称为HMAC-MD5算法。
示例性的,在确定上传文件的文件属性信息后,将文件属性信息以键值对的形式存储至键值对数据库。
通过确定上传文件的文件属性信息,并将文件属性信息以键值对的形式存储至键值对数据库,后续在删除或转存文件时,可以根据键值对数据库中的文件属性信息对文件进行校验。
在一些实施例中,可以将生命周期配置信息与存储空间信息发送至生命周期服务器,以使生命周期服务器基于包含至少一个文件属性信息的键值对数据库,根据生命周期配置信息与存储空间信息确定待处理的目标文件并生成目标文件对应的文件操作请求。
示例性的,若生命周期服务器出现重启,则生命周期服务器可以主动向存储应用服务器请求生命周期配置信息与存储空间信息。
在本申请实施例中,生命周期服务器在接收到生命周期配置信息与存储空间信息之后,可以启动定时任务,根据存储空间信息与生命周期配置信息确定待处理的目标文件并生成文件操作。
在一些实施例中,生命周期服务器根据存储空间信息与生命周期配置信息确定待处理的目标文件并生成文件操作,可以包括:基于包含至少一个文件属性信息的键值对数据库,根据存储空间信息中的存储空间名称确定对应的文件属性信息,其中,文件属性信息至少包括存储空间名称;根据生命周期配置信息与当前时间,将文件属性信息对应的文件确定为待处理的目标文件。
请参阅图4,图4是本申请实施例提供的一种与键值对数据库进行交互的示意图。如图4所示,键值对数据库存储有多个文件属性信息。存储应用服务器在将文件上传至存储集群后,可以将文件的文件属性信息以键值对的形式存储至键值对数据库中。
在一些实施例中,为进一步保证上述键值对数据库的私密和安全性,上述键值对数据库还可以存储于一区块链的节点中。
示例性的,文件属性信息可以表示为:key:yyyymmddhhmiss/bucket/object;value:$XXX|fileinfo;其中,yyyymmddhhmiss表示年月日时分秒;bucket表示存储空间名称;object表示文件的标识号;$XXX表示存储集群的名称;fileinfo表示文件的类型、大小、名称以及校验值等等。例如,文件属性信息:key:20190106100811/btest/ofile1;value:$006|png_4121232_name1。其中,btest为存储空间名称;ofile1为文件的标识号,用于识别不同的文件。
示例性的,当存储空间名称为btest时,生命周期服务器可以查询键值对数据库中存储空间名称为btest对应的文件属性信息。例如,查询得到的文件属性信息为key:20190106100811/btest/ofile1;value:$006|png_4121232_name1。
通过基于键值对数据库,生命周期服务器根据存储空间信息中的存储空间名称确定对应的文件属性信息,提高了信息查询的性能,进而提高了文件管理的效率。
在一些实施例中,生命周期服务器可以根据生命周期配置信息与当前时间,将文件属性信息对应的文件确定为待处理的目标文件。
示例性的,若生命周期配置信息为“文件在1个月前删除”,则可以根据当前时间与文件属性信息中的时间,将1个月前的所有文件确定为目标文件。例如,若当前时间为2021年1月7日,则将2020年12月7日前的所有文件确定为目标文件。
示例性的,若生命周期配置信息为“前缀test的文件在1个月前删除”,则可以根据当前时间与文件属性信息中的时间,将1个月前且前缀test的所有文件确定为目标文件。
通过根据生命周期配置信息与当前时间,确定文件属性信息对应的目标文件,可以便捷地确定符合预设的生命周期的目标文件。
在一些实施例中,生命周期服务器在确定待处理的目标文件之后,可以生成目标文件对应的文件操作请求。
示例性的,生成目标文件对应的文件操作请求之前,还可以包括:确定生命周期配置信息中的操作类型信息,根据操作类型信息确定目标文件对应的操作类型。
示例性的,在确定生命周期配置信息中的操作类型信息时,可以基于预设的分词模型,对生命周期配置信息进行分词处理,得到生命周期配置信息对应的多个词组;然后基于预设的词组模板中的目标词组,对生命周期配置信息对应的多个词组进行匹配,将匹配成功的词组确定为操作类型信息。
其中,预设的分词模型可以包括但不限于BI_LSTM-CRF神经网络模型、隐式马尔科夫模型、支持向量机模型以及基于词典的分词模型等等。
示例性的,预设的词组模板中的目标词组可以包括“删除”和“转存”。操作类型信息可以是“删除”和“转存”。
示例性的,根据操作类型信息确定目标文件对应的操作类型。例如,若操作类型信息为“删除”,则可以确定目标文件对应的操作类型为删除操作;若操作类型信息为“转存”,则可以确定目标文件对应的操作类型为转存操作。
在一些实施例中,在生成目标文件对应的文件操作请求时,可以操作类型添加至文件操作请求中。
请参阅图5,图5是本申请实施例提供的一种将文件操作请求发送至存储应用服务器的示意图。如图5所示,生命周期服务器在生成目标文件对应的文件操作请求后,可以将文件操作请求发送至存储应用服务器。
生命周期服务器通过根据操作类型与目标文件对应的文件属性信息,生成目标文件对应的文件操作请求,可以将文件操作请求发送给存储应用服务器,使得存储应用服务器根据文件操作请求中的操作类型对目标文件进行删除或转存,提高了文件管理的效率与便捷性。
步骤S40、接收所述生命周期服务器发送的所述文件操作请求,根据所述文件操作请求对应的操作类型对所述目标文件进行删除或转存。
在一些实施例中,根据文件操作请求对应的操作类型对目标文件进行删除或转存之前,还可以包括:确定存储集群中的目标文件对应的第一文件属性信息;根据存储空间信息与第一文件属性信息,确定锁定信息;根据锁定信息,对文件请求进行锁定,文件请求包括新增的文件上传请求或其它文件操作请求。
可以理解的是,目标文件存储在存储集群中;第一文件属性信息是指目标文件在存储集群中对应的文件属性信息。
需要说明的是,在对目标文件进行删除或转存之前,若用户上传一个与目标文件的标识号相同的文件且该文件存储在目标文件对应的存储集群中,则在对目标文件进行删除或转存时,会同时对该上传的文件进行删除或转存。由于该上传的文件并没有达到删除或转存的要求,因此会导致误操作的情况出现。为避免误操作,在根据文件操作请求对目标文件进行删除或转存时,需要对新增的文件请求进行锁定,直至完成当前的文件操作请求。
通过根据目标文件的存储空间信息与第一文件属性信息确定锁定信息,并根据锁定信息对新增的文件上传请求或文件操作请求进行锁定,可以避免对没有达到删除或转存要求的文件进行误操作。
示例性的,第一文件属性信息包括目标文件的标识号。在一些实施例中,在根据目标文件的存储空间信息与第一文件属性信息,确定锁定信息时,可以根据HMAC-MD5算法,对存储空间名称与标识号进行加密,将得到的加密信息确定为锁定信息。当然,也可以根据其它算法对存储空间名称与标识号进行加密,在此不作限定。可以理解的是,不同存储空间对应的存储空间名称是唯一的,但不同的存储空间下可能出现相同的标识号,因此,通过结合存储空间名称与标识号,得到的锁定信息可以确定一个唯一的目标文件。
示例性的,可以根据锁定信息,对新增的文件上传请求或文件操作请求进行锁定,例如,对新增的文件上传请求或文件操作请求进行阻塞等待,等待当前的文件操作请求完成后再释放锁定。
在本申请实施例中,在接收到生命周期服务器发送的文件操作请求后,可以确定文件操作请求对应的操作类型。其中,操作类型可以是删除,也可以是转存。
通过根据文件操作请求对应的操作类型对目标文件进行删除或转存,实现自动对目标文件进行删除或转存,无须人工处理,提高了文件管理的效率与便捷性。
请参阅图6,图6是本申请实施例提供的一种删除目标文件的子步骤的示意性流程图,具体可以包括以下步骤S401至步骤S403。
步骤S401、当所述操作类型为删除时,根据第一文件属性信息确定所述目标文件对应的第一校验值。
示例性的,当操作类型为删除时,可以根据第一文件属性信息确定目标文件对应的第一校验值。其中,第一文件属性信息包括第一校验值。在本申请实施例中,第一校验值可以基于HMAC-MD5算法,对目标文件进行计算得到。
步骤S402、根据所述目标文件在所述键值对数据库中的第二文件属性信息,确定所述目标文件对应的第二校验值。
需要说明的是,目标文件在上传到存储集群之后,可以将目标文件的属性信息存储至键值对数据库。因此,可以将目标文件在键值对数据库中的文件属性信息确定为第二文件属性信息。由于第二文件属性信息包括目标文件对应的校验值,因此可以将第二文件属性信息中的校验值确定为第二校验值。
步骤S403、将所述第二校验值与所述第一校验值进行对比,若所述第二校验值与所述第一校验值相同,则对所述目标文件进行删除。
示例性的,将第二校验值与第一校验值进行对比,以确定存储集群中的目标文件是否发生变化。
通过确定目标文件对应的第一校验值以及确定目标文件在键值对数据库中的第二校验值,并将第二校验值与第一校验值进行对比,可以确定目标文件是否发生变化。
示例性的,若第二校验值与第一校验值相同,则说明目标文件在上传至存储集群后,并没有发生变化,因此可以对目标文件进行删除。在对目标文件进行删除之后,对新增的文件上传请求或文件操作请求释放锁定。
在一些实施例中,将第二校验值与第一校验值进行对比之后,还可以包括:若第二校验值与第一校验值不相同,则根据第一文件属性信息对键值对数据库中的第二文件属性信息进行更新。
需要说明的是,若第二校验值与第一校验值不相同,则说明目标文件在上传至存储集群后,有可能被更新过,因此不能删除目标文件。
在本申请实施例中,当目标文件被更新后,需要根据目标文件当前对应的第一文件属性信息对键值对数据库中对应的第二文件属性信息进行更新。
示例性的,第一文件属性信息可以表示为:key:20210106100811/btest/ofile1;value:$006|jpg_5468421_name2_etag1。目标文件在键值对数据库的第二文件属性信息可以表示为:key:20190106100811/btest/ofile1;value:$006|png_4121232_name1_etag2。其中,etag1表示第一校验值;etag2表示第二校验值。可以将键值对数据库中的第二文件属性信息“key:20190106100811/btest/ofile1;value:$006|png_4121232_name1_etag2”替换成“key:20210106100811/btest/ofile1;value:$006|jpg_5468421_name2_etag1”。
通过根据目标文件的第一文件属性信息对键值对数据库中对应的第二文件属性信息进行更新,可以使得键值对数据库中保存的第二文件属性信息与存储集群中的第一文件属性信息保持一致。
在本申请实施例中,在根据目标文件的第一文件属性信息对键值对数据库中的第二文件属性信息进行更新之后,可以对新增的文件上传请求或文件操作请求释放锁定。
请参阅图7,图7是本申请实施例提供的一种转存目标文件的子步骤的示意性流程图,具体可以包括以下步骤S404至步骤S406。
步骤S404、当所述操作类型为转存时,根据所述第一文件属性信息确定所述标准存储集群中的所述目标文件对应的第一存储时间。
在本申请实施例中,在存储文件时,可以按照标准存储的存储类型对文件进行存储。需要说明的是,在对象存储OBS中,存储类型可以包括标准存储、低频访问、归档存储以及归档存储。
可以理解的是,存储类型为标准存储的文件,对应存储至标准存储集群中。
示例性的,第一文件属性信息包括第一存储时间。需要说明的是,第一存储时间是指目标文件存储至标准存储集群时的时间,可以存储在标准存储集群。
步骤S405、根据所述目标文件在所述键值对数据库中的所述第二文件属性信息,确定所述目标文件对应的第二存储时间。
示例性的,可以获取目标文件在键值对数据库中的第二文件属性信息,然后根据第二文件属性信息确定第二存储时间。需要说明的是,第二存储时间是指目标文件存储至标准存储集群时的时间,目标文件存储至标准存储集群后,可以将第二存储时间保存至键值对数据库中。
步骤S406、将所述第二存储时间与所述第一存储时间进行对比,若所述第二存储时间与所述第一存储时间相同,则将所述标准存储集群中的所述目标文件上传至归档存储集群。
示例性的,若标准存储集群中的第一文件属性信息为key:20210106100811/btest/ofile1;value:G00A|jpg_5468421_name2_etag1,而键值对数据库中的第二文件属性信息为key:20210106100811/btest/ofile1;value:G00A|jpg_5468421_name2_etag1,则可以确定第二存储时间与第一存储时间相同。
请参阅图8,图8是本申请实施例提供的一种将标准存储集群中的目标文件上传至归档存储集群的示意图。如图8所示,若第二存储时间与第一存储时间相同,则将标准存储集群中的目标文件上传至归档存储集群。具体的上传过程,在此不作限定。
通过确定目标文件在标准存储集群对应的第一存储时间以及确定目标文件在键值对数据库中的第二存储时间,并将第二存储时间与第一存储时间进行对比,可以确定目标文件是否被更新过。
在一些实施例中,将第二存储时间与第一存储时间进行对比之后,还可以包括:若第二存储时间与第一存储时间不相同,则根据所述第一文件属性信息对所述键值对数据库中的所述第二文件属性信息进行更新。示例性的,如图9所示,图9是本申请实施例提供的一种根据文件属性信息对键值对数据库中的文件属性信息进行更新的示意图。
示例性的,若第二存储时间为20210106100811,而第一存储时间为20210106110812,则可以确定第二存储时间与第一存储时间不相同。此时,可以获取目标文件在标准存储集群对应的第一文件属性信息,例如key:20210106100811/btest/ofile1;value:G00A|jpg_5468421_name2_etag1;然后对键值对数据库中的第二文件属性信息key:20210106110812/btest/ofile1;value:G00A|jpg_5468421_name2_etag2进行更新。
在本申请实施例中,将标准存储集群中的目标文件上传至归档存储集群中之后,还需要判断转存前后的目标文件是否为同一个文件。从而可以防止在转存过程中,目标文件被篡改。
请参阅图10,图10是本申请实施例提供的一种判断转存后的目标文件是否发生改变的子步骤的示意性流程图,具体可以包括以下步骤S407至步骤S409。
步骤S407、确定所述目标文件在所述归档存储集群对应的第三校验值。
示例性的,根据HMAC-MD5算法,计算目标文件在归档存储集群对应的第三校验值。其中,第三校验值可以表示为etag3。
步骤S408、若所述第一校验值与所述第三校验值不同,则删除所述归档存储集群中的所述目标文件。
需要说明的是,当第一校验值etag1与第三校验值etag3不相同时,说明目标文件在归档过程中可能被篡改,因此需要删除归档存储集群中的目标文件。
步骤S409、若所述第一校验值与所述第三校验值相同,则确定所述归档存储集群中的所述目标文件对应的第三文件属性信息,根据所述第三文件属性信息对所述键值对数据库中的所述第二文件属性信息进行更新。
示例性的,当第一校验值etag1与第三校验值etag3相同时,说明在标准存储集群中的目标文件与归档存储集群中的目标文件保持一致。此时需要根据目标文件在归档存储集群对应的第三文件属性信息,对键值对数据库进行更新,如图10所示。
示例性的,确定目标文件在归档存储集群对应的第三文件属性信息,例如,key:20210106100811/btest/ofile1;value:G00A|jpg_5468421_name2_etag3;目标文件在键值对数据库中的文件属性信息为key:20210106100811/btest/ofile1;value:G00A|jpg_5468421_name2_etag2。示例性的,可以根据第三文件属性信息key:20210106100811/btest/ofile1;value:G00A|jpg_5468421_name2_etag3对键值对数据库中的第二文件属性信息key:20210106100811/btest/ofile1;value:G00A|jpg_5468421_name2_etag2进行替换。
在一些实施例中,当确定第一校验值与第三校验值相同时,删除标准存储集群中的目标文件。
在一些实施例中,在根据第三文件属性信息对键值对数据库中的第二文件属性信息进行更新之后,还可以对新增的文件上传请求或文件操作请求释放锁定。
通过根据目标文件在标准存储集群对应的第一校验值与目标文件在归档存储集群对应的第三校验值进行对比,可以确定转存后的目标文件是否发生改变。
上述实施例提供的文件管理方法,通过接收存储空间请求,可以对存储空间请求中的权限信息进行校验,创建存储空间以及获得存储空间信息;通过根据检测到的生命周期配置操作,确定存储空间对应的生命周期配置信息,后续生命周期服务器可以根据生命周期配置信息对存储空间中的文件进行管理;通过根据存储空间信息,可以方便、快速地确定上传文件的目标存储集群,提高了上传文件的效率;通过确定上传文件的文件属性信息,并将文件属性信息以键值对的形式存储至键值对数据库,后续在删除或转存文件时,可以根据键值对数据库中的文件属性信息对文件进行校验;通过根据目标文件的存储空间信息与第一文件属性信息确定锁定信息,并根据锁定信息对新增的文件上传请求或文件操作请求进行锁定,可以避免对没有达到删除或转存要求的文件进行误操作;通过根据文件操作请求对应的操作类型对目标文件进行删除或转存,实现自动对目标文件进行删除或转存,无须人工处理,提高了文件管理的效率与便捷性;通过确定目标文件对应的第一校验值以及确定目标文件在键值对数据库中的第二校验值,并将第二校验值与第一校验值进行对比,可以确定目标文件是否发生变化;通过根据目标文件的第一文件属性信息对键值对数据库中对应的第二文件属性信息进行更新,可以使得键值对数据库中保存的第二文件属性信息与存储集群中的第一文件属性信息保持一致;通过确定目标文件在标准存储集群对应的第一存储时间以及确定目标文件在键值对数据库中的第二存储时间,并将第二存储时间与第一存储时间进行对比,可以确定目标文件是否被更新过;通过根据目标文件在标准存储集群对应的第一校验值与目标文件在归档存储集群对应的第三校验值进行对比,可以确定转存后的目标文件是否发生改变。
请参阅图11,图11是本申请的实施例提供的一种文件管理装置1000的示意性框图,该文件管理装置用于执行存储应用服务器对应的文件管理方法。其中,该文件管理装置可以配置于存储应用服务器中。
如图11所示,该文件管理装置1000,包括:存储空间信息确定模块1001、生命周期确定模块1002、信息发送模块1003和文件处理模块1004。
存储空间信息确定模块1001,用于确定存储空间对应的存储空间信息,所述存储空间为存储文件的容器。
生命周期确定模块1002,用于根据检测到的对所述存储空间的生命周期配置操作,确定所述存储空间对应的生命周期配置信息。
信息发送模块1003,用于将所述生命周期配置信息与所述存储空间信息发送至生命周期服务器,以使所述生命周期服务器基于包含至少一个文件属性信息的键值对数据库,根据所述生命周期配置信息与所述存储空间信息确定待处理的目标文件并生成所述目标文件对应的文件操作请求。
文件处理模块1004,用于接收所述生命周期服务器发送的所述文件操作请求,根据所述文件操作请求对应的操作类型对所述目标文件进行删除或转存。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
上述的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图12所示的计算机设备上运行。
请参阅图12,图12是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。
请参阅图12,该计算机设备包括通过***总线连接的处理器和存储器,其中,存储器可以包括非易失性存储介质和内存储器。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种文件管理方法。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
确定存储空间对应的存储空间信息,所述存储空间为存储文件的容器;根据检测到的对所述存储空间的生命周期配置操作,确定所述存储空间对应的生命周期配置信息;将所述生命周期配置信息与所述存储空间信息发送至生命周期服务器,以使所述生命周期服务器基于包含至少一个文件属性信息的键值对数据库,根据所述生命周期配置信息与所述存储空间信息确定待处理的目标文件并生成所述目标文件对应的文件操作请求;接收所述生命周期服务器发送的所述文件操作请求,根据所述文件操作请求对应的操作类型对所述目标文件进行删除或转存。
在一个实施例中,所述处理器在实现确定存储空间对应的存储空间信息,用于实现:
接收存储空间请求,其中,所述存储空间请求包括所述存储空间对应的权限信息;当所述权限信息通过校验后,创建所述存储空间并确定所述存储空间对应的存储空间信息。
在一个实施例中,所述处理器在实现将所述生命周期配置信息与所述存储空间信息发送至生命周期服务器之前,还用于实现:
接收文件上传请求,其中所述文件上传请求包括上传文件与存储空间信息;当所述存储空间信息通过校验后,根据所述存储空间信息确定所述上传文件的目标存储集群;将所述上传文件存储至所述目标存储集群;确定所述目标存储集群中的所述上传文件的文件属性信息,将所述文件属性信息以键值对的形式存储至所述键值对数据库。
在一个实施例中,所述处理器在实现根据所述文件操作请求对应的操作类型对所述目标文件进行删除或转存之前,还用于实现:
确定存储集群中的所述目标文件对应的第一文件属性信息;根据所述存储空间信息与所述第一文件属性信息,确定锁定信息;根据所述锁定信息,对文件请求进行锁定,所述文件请求包括新增的文件上传请求或其它文件操作请求。
在一个实施例中,所述第一文件属性信息包括第一校验值与第一存储时间,所述存储集群包括标准存储集群;所述处理器在实现根据所述文件操作请求对应的操作类型对所述目标文件进行删除或转存,用于实现:
当所述操作类型为删除时,根据第一文件属性信息确定所述目标文件对应的第一校验值;根据所述目标文件在所述键值对数据库中的第二文件属性信息,确定所述目标文件对应的第二校验值;将所述第二校验值与所述第一校验值进行对比,若所述第二校验值与所述第一校验值相同,则对所述目标文件进行删除;当所述操作类型为转存时,根据所述第一文件属性信息确定所述标准存储集群中的所述目标文件对应的第一存储时间;根据所述目标文件在所述键值对数据库中的所述第二文件属性信息,确定所述目标文件对应的第二存储时间;将所述第二存储时间与所述第一存储时间进行对比,若所述第二存储时间与所述第一存储时间相同,则将所述标准存储集群中的所述目标文件上传至归档存储集群。
在一个实施例中,所述处理器在实现将所述第二校验值与所述第一校验值进行对比之后,还用于实现:
若所述第二校验值与所述第一校验值不相同,则根据所述第一文件属性信息对所述键值对数据库中的所述第二文件属性信息进行更新。
在一个实施例中,所述处理器在实现将所述第二存储时间与所述第一存储时间进行对比之后,还用于实现:
若所述第二存储时间与所述第一存储时间不相同,则根据所述第一文件属性信息对所述键值对数据库中的所述第二文件属性信息进行更新。
在一个实施例中,所述处理器在实现将所述标准存储集群中的所述目标文件上传至归档存储集群中之后,还用于实现:
确定所述目标文件在所述归档存储集群对应的第三校验值;若所述第一校验值与所述第三校验值不同,则删除所述归档存储集群中的所述目标文件;若所述第一校验值与所述第三校验值相同,则确定所述归档存储集群中的所述目标文件对应的第三文件属性信息,根据所述第三文件属性信息对所述键值对数据库中的所述第二文件属性信息进行更新。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请实施例提供的任一项文件管理方法。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字卡(Secure Digital Card,SD Card),闪存卡(Flash Card)等。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种文件管理方法,其特征在于,包括:
确定存储空间对应的存储空间信息,所述存储空间为存储文件的容器;
根据检测到的对所述存储空间的生命周期配置操作,确定所述存储空间对应的生命周期配置信息;
将所述生命周期配置信息与所述存储空间信息发送至生命周期服务器,以使所述生命周期服务器基于包含至少一个文件属性信息的键值对数据库,根据所述生命周期配置信息与所述存储空间信息确定待处理的目标文件并生成所述目标文件对应的文件操作请求;
确定存储集群中的所述目标文件对应的第一文件属性信息,所述第一文件属性信息包括第一校验值与第一存储时间,所述存储集群包括标准存储集群;
接收所述生命周期服务器发送的所述文件操作请求,根据所述文件操作请求对应的操作类型对所述目标文件进行删除或转存;
当所述操作类型为删除时,根据第一文件属性信息确定所述目标文件对应的第一校验值;根据所述目标文件在所述键值对数据库中的第二文件属性信息,确定所述目标文件对应的第二校验值;将所述第二校验值与所述第一校验值进行对比,若所述第二校验值与所述第一校验值相同,则对所述目标文件进行删除;或
当所述操作类型为转存时,根据所述第一文件属性信息确定所述标准存储集群中的所述目标文件对应的第一存储时间;根据所述目标文件在所述键值对数据库中的所述第二文件属性信息,确定所述目标文件对应的第二存储时间;将所述第二存储时间与所述第一存储时间进行对比,若所述第二存储时间与所述第一存储时间相同,则将所述标准存储集群中的所述目标文件上传至归档存储集群。
2.根据权利要求1所述的文件管理方法,其特征在于,所述确定存储空间对应的存储空间信息,包括:
接收存储空间请求,其中,所述存储空间请求包括所述存储空间对应的权限信息;
当所述权限信息通过校验后,创建所述存储空间并确定所述存储空间对应的存储空间信息。
3.根据权利要求1所述的文件管理方法,其特征在于,所述将所述生命周期配置信息与所述存储空间信息发送至生命周期服务器之前,还包括:
接收文件上传请求,其中所述文件上传请求包括上传文件与存储空间信息;
当所述存储空间信息通过校验后,根据所述存储空间信息确定所述上传文件的目标存储集群;
将所述上传文件存储至所述目标存储集群;
确定所述目标存储集群中的所述上传文件的文件属性信息,将所述文件属性信息以键值对的形式存储至所述键值对数据库。
4.根据权利要求1所述的文件管理方法,其特征在于,所述根据所述文件操作请求对应的操作类型对所述目标文件进行删除或转存之前,还包括:
根据所述存储空间信息与所述第一文件属性信息,确定锁定信息;
根据所述锁定信息,对文件请求进行锁定,所述文件请求包括新增的文件上传请求或其它文件操作请求。
5.根据权利要求1所述的文件管理方法,其特征在于,所述将所述第二校验值与所述第一校验值进行对比之后,还包括:
若所述第二校验值与所述第一校验值不相同,则根据所述第一文件属性信息对所述键值对数据库中的所述第二文件属性信息进行更新;
所述将所述第二存储时间与所述第一存储时间进行对比之后,还包括:
若所述第二存储时间与所述第一存储时间不相同,则根据所述第一文件属性信息对所述键值对数据库中的所述第二文件属性信息进行更新。
6.根据权利要求1所述的文件管理方法,其特征在于,所述将所述标准存储集群中的所述目标文件上传至归档存储集群中之后,还包括:
确定所述目标文件在所述归档存储集群对应的第三校验值;
若所述第一校验值与所述第三校验值不同,则删除所述归档存储集群中的所述目标文件;
若所述第一校验值与所述第三校验值相同,则确定所述归档存储集群中的所述目标文件对应的第三文件属性信息,根据所述第三文件属性信息对所述键值对数据库中的所述第二文件属性信息进行更新。
7.一种文件管理装置,其特征在于,包括:
存储空间信息确定模块,用于确定存储空间对应的存储空间信息,所述存储空间为存储文件的容器;
生命周期确定模块,用于根据检测到的对所述存储空间的生命周期配置操作,确定所述存储空间对应的生命周期配置信息;
信息发送模块,用于将所述生命周期配置信息与所述存储空间信息发送至生命周期服务器,以使所述生命周期服务器基于包含至少一个文件属性信息的键值对数据库,根据所述生命周期配置信息与所述存储空间信息确定待处理的目标文件并生成所述目标文件对应的文件操作请求;
文件处理模块,用于确定存储集群中的所述目标文件对应的第一文件属性信息,所述第一文件属性信息包括第一校验值与第一存储时间,所述存储集群包括标准存储集群;
所述文件处理模块,用于接收所述生命周期服务器发送的所述文件操作请求,根据所述文件操作请求对应的操作类型对所述目标文件进行删除或转存;
所述文件处理模块,还用于当所述操作类型为删除时,根据第一文件属性信息确定所述目标文件对应的第一校验值;根据所述目标文件在所述键值对数据库中的第二文件属性信息,确定所述目标文件对应的第二校验值;将所述第二校验值与所述第一校验值进行对比,若所述第二校验值与所述第一校验值相同,则对所述目标文件进行删除;或当所述操作类型为转存时,根据所述第一文件属性信息确定所述标准存储集群中的所述目标文件对应的第一存储时间;根据所述目标文件在所述键值对数据库中的所述第二文件属性信息,确定所述目标文件对应的第二存储时间;将所述第二存储时间与所述第一存储时间进行对比,若所述第二存储时间与所述第一存储时间相同,则将所述标准存储集群中的所述目标文件上传至归档存储集群。
8.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至6任一项所述的文件管理方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至6任一项所述的文件管理方法。
CN202110193252.0A 2021-02-20 2021-02-20 文件管理方法、装置、计算机设备和存储介质 Active CN112817912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110193252.0A CN112817912B (zh) 2021-02-20 2021-02-20 文件管理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110193252.0A CN112817912B (zh) 2021-02-20 2021-02-20 文件管理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112817912A CN112817912A (zh) 2021-05-18
CN112817912B true CN112817912B (zh) 2023-05-26

Family

ID=75864420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110193252.0A Active CN112817912B (zh) 2021-02-20 2021-02-20 文件管理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112817912B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968941A (zh) * 2022-05-31 2022-08-30 重庆长安汽车股份有限公司 车端文件删除方法、***、电子设备及可读存储介质
CN116150807B (zh) * 2023-04-14 2023-07-04 深圳高灯计算机科技有限公司 对象存储方法、***、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040215616A1 (en) * 2003-04-10 2004-10-28 Junji Ogawa File access method in storage-device system, and programs for the file access
CN103778148A (zh) * 2012-10-23 2014-05-07 阿里巴巴集团控股有限公司 Hadoop分布式文件***数据文件的生命周期管理方法和设备
CN107590283A (zh) * 2017-09-29 2018-01-16 浙江大华技术股份有限公司 一种文件回收方法、装置、服务器及计算机可读存储介质
CN109947727A (zh) * 2017-08-15 2019-06-28 腾讯科技(深圳)有限公司 数据处理方法、装置、计算机设备和存储介质
CN111339033A (zh) * 2020-02-29 2020-06-26 苏州浪潮智能科技有限公司 一种对象存储生命周期的实现方法,***及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040215616A1 (en) * 2003-04-10 2004-10-28 Junji Ogawa File access method in storage-device system, and programs for the file access
CN103778148A (zh) * 2012-10-23 2014-05-07 阿里巴巴集团控股有限公司 Hadoop分布式文件***数据文件的生命周期管理方法和设备
CN109947727A (zh) * 2017-08-15 2019-06-28 腾讯科技(深圳)有限公司 数据处理方法、装置、计算机设备和存储介质
CN107590283A (zh) * 2017-09-29 2018-01-16 浙江大华技术股份有限公司 一种文件回收方法、装置、服务器及计算机可读存储介质
CN111339033A (zh) * 2020-02-29 2020-06-26 苏州浪潮智能科技有限公司 一种对象存储生命周期的实现方法,***及终端

Also Published As

Publication number Publication date
CN112817912A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
US11500729B2 (en) System and method for preserving data using replication and blockchain notarization
US10706039B2 (en) Data coherency between trusted DBMS and untrusted DBMS
US11334562B2 (en) Blockchain based data management system and method thereof
US20220407725A1 (en) File storage method, terminal, and storage medium
US10552640B2 (en) In-situ data verification for the cloud
US10445517B1 (en) Protecting data in insecure cloud storage
US9424432B2 (en) Systems and methods for secure and persistent retention of sensitive information
US20210218729A1 (en) Cluster claim
US11010386B2 (en) Transparent analytical query accelerator over encrypted data
US8199911B1 (en) Secure encryption algorithm for data deduplication on untrusted storage
CN102394894B (zh) 一种基于云计算的网络虚拟磁盘文件安全管理方法
US20190207748A1 (en) Blockchain storage device
US20220094560A1 (en) Integrating Device Identity Into A Permissioning Framework Of A Blockchain
US11082409B2 (en) Verifying message authenticity with decentralized tamper-evident logs
CN112817912B (zh) 文件管理方法、装置、计算机设备和存储介质
US11388218B2 (en) Cloud file transfers using cloud file descriptors
US11816069B2 (en) Data deduplication in blockchain platforms
US10951708B2 (en) Systems and methods for data access authentication using searchable encryption
CN112445783A (zh) 一种用于数据库更新的方法、装置和服务器
US20220224678A1 (en) Synchronized database authorization automation
CN116472530A (zh) 分布式账本***
US20230344640A1 (en) Methods and system of preventing duplication of encrypted data
US11483132B2 (en) Generating and initiating pre-signed transaction requests for flexibly and efficiently implementing secure cryptographic key management
US11461189B1 (en) Method and system for archiving user data during backup generation
CN114443937A (zh) 订单查询方法、装置、***以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40045874

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant