CN113504878A - 文件写入方法及装置、存储介质及电子装置 - Google Patents

文件写入方法及装置、存储介质及电子装置 Download PDF

Info

Publication number
CN113504878A
CN113504878A CN202110845760.2A CN202110845760A CN113504878A CN 113504878 A CN113504878 A CN 113504878A CN 202110845760 A CN202110845760 A CN 202110845760A CN 113504878 A CN113504878 A CN 113504878A
Authority
CN
China
Prior art keywords
file
zone group
multiplexing
information
management server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110845760.2A
Other languages
English (en)
Inventor
江瑜
徐涛
王志豪
罗心
江文龙
周明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110845760.2A priority Critical patent/CN113504878A/zh
Publication of CN113504878A publication Critical patent/CN113504878A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种文件写入方法及装置、存储介质及电子装置，所述方法包括：接收文件客户端发送的申请请求，其中，申请请求携带有第一文件对应的第一属性信息；响应于申请请求，在元数据管理服务器中确定与第一属性信息匹配的第二属性信息所对应的第二文件，并获取第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；发送第二文件的文件信息至文件客户端，并指示文件客户端根据文件信息将第一文件写入到第二文件对应的磁盘。

Description

文件写入方法及装置、存储介质及电子装置
技术领域
本发明涉及分布式块存储领域，具体而言，涉及一种文件写入方法及装置、存储介质及电子装置。
背景技术
安防领域存储时存在着大量的告警录像、图片存储，这些文件大小不一，一个报警录像大小平均10MB，一张图片可能只占用4K的空间，针对这种小文件，业界的通用做法是合并存储。
相关技术中，通过小文件聚合成大文件后一次性写入OSD，以解决小文件频繁写入给***造成频繁压力的问题，其实现方式为首先判断对象数据写入请求中包含的小文件是否小于或等于预设值，若是，判断是否首次写入小文件，若是，将小文件中的数据写入到聚合文件中，并将聚合文件的标识、数据的长度及数据在聚合文件中的位置存储在小文件的元数据中；判断聚合文件的容量是否超过设定容量，若是，将数据写入到新的聚合文件中，若否，返回执行接收对象写入请求的步骤；将达到设定容量的聚合文件写入到OSD中，将元数据存放在数据库中。
但相关技术中在合并小文件的时候，并不能根据小文件的属性信息去选择合适的文件合并，使得合并以后占用的磁盘空间较大。
针对相关技术，传统方法在小文件合并存储的过程中，不能根据小文件的属性为小文件选择合适的文件进行合并存储，导致磁盘的空间利用率较低的问题，目前尚未提出有效的解决方案。
因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。
发明内容
本发明实施例提供了一种文件写入方法及装置、存储介质及电子装置，以至少解决传统方法在小文件合并存储的过程中，不能根据小文件的属性为小文件选择合适的文件进行合并存储，导致磁盘的空间利用率较低的问题。
根据本发明实施例的一方面，提供一种文件写入方法，包括：接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；将所述第二文件的文件信息发送至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。
进一步地，响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，包括：获取所述元数据管理服务器中保存的复用文件列表，其中，所述复用文件列表包括：多个用于与所述第一文件存储复用的文件；确定所述复用文件列表中是否存在满足第一预设条件的所述第二文件，其中，所述第一预设条件用于指示所述第一属性信息与所述第二属性信息匹配；
进一步地，在存在的情况下，将所述复用文件列表中满足第一预设条件的文件确定为所述第二文件；在不存在的情况下，在所述元数据管理服务器中创建所述第二文件。
进一步地，所述第一预设条件包括：所述第一属性信息中的纠删码和所述第二属性信息中的纠删码一致；在所述第一文件和所述第二文件位于同一文件对象桶的情况下，所述第一属性信息中的文件属性和所述第二属性信息中的文件属性一致。
进一步地，在所述元数据管理服务器中创建所述第二文件，包括：获取元数据管理服务器中保存的Zone组复用列表；确定所述Zone组复用列表存在满足第二预设条件的Zone组，并获取所述Zone组对应的数据节点组和所述Zone组的Zone组号；根据所述Zone组对应的数据节点组和所述Zone组的Zone组号创建所述第二文件。
进一步地，获取元数据管理服务器中保存的Zone组复用列表之后，所述方法还包括：确定所述Zone组复用列表不存在满足第二预设条件的Zone组；指示所述元数据管理服务器的负载均衡模块确定数据节点组及Zone组号，并根据所述负载均衡模块确定的数据节点组及Zone组号创建所述第二文件。
进一步地，所述第二预设条件包括：所述第二文件和所述Zone组复用列表中的Zone组具有相同的纠删码类型；所述第二文件和所述Zone组复用列表中的Zone组存储的文件位于同一个对象桶中；所述Zone组复用列表中的Zone组用于存储所述第一文件。
进一步地，指示所述文件客户端根据所述文件信息将所述第一文件通过到所述第二文件对应的磁盘，包括：指示所述文件客户端将所述第一文件划分为多个数据块，并将所述多个数据块与所述文件信息中的Zone组号发送至所述文件信息中的数据节点组对应的多个数据节点；控制所述多个数据节点中的每一个数据节点将对应的数据块写入到与所述Zone组号对应的磁盘。
进一步地，控制所述多个数据节点中的每一个数据节点将对应的数据块写入到与根据所述Zone组号对应的磁盘之后，所述方法还包括：控制所述数据节点将对应的数据块的元数据信息和Zone的元数据信息发送至所述元数据管理服务器，以使所述元数据管理服务器将所述数据块的元数据信息和所述Zone的元数据信息保存至文件对象缓存。
进一步地，指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘之后，所述方法还包括：在所述第二文件满足第三预设条件的情况下，将所述第二文件添加至所述元数据管理服务器的复用文件列表；在所述第二文件不满足第三预设条件的情况下，确定所述第二文件所在的Zone组是否满足第四预设条件；在所述Zone组满足第四预设条件的情况下，将所述Zone组添加至所述元数据管理服务器的Zone组复用列表。
进一步地，所述第三预设条件包括：所述第二文件处在复用周期内；所述第二文件的每个数据块长度相等；所述第二文件的状态为正常关闭状态；所述第二文件对应的磁盘Zone剩余空间大于第一预设阈值。
进一步地，所述第四预设条件包括：所述Zone组能够对齐写入；所述Zone组的数据节点处于激活状态；所述Zone组处在可复用周期内；所述Zone组的剩余空间大于第二预设阈值。
进一步地，所述方法还包括：在所述元数据管理服务器中的复用文件列表和Zone组复用列表发生变化的情况下，将所述复用文件列表和Zone组复用列表保存至日志数据，并将所述日志数据发送至目标元数据管理服务器。
根据本发明实施例的另一方面，还提供一种文件写入装置，包括：接收模块，用于接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；获取模块，用于响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；写入模块，用于发送所述第二文件的文件信息至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述文件写入方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述文件写入方法。
通过本发明，接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；将所述第二文件的文件信息发送至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。也就是说，元数据管理服务器可以根据文件客户端发送的第一文件对应的属性，为第一文件选择允许复用的第二文件，并将第二文件的文件信息发送文件客户端，进而文件客户端可以根据文件信息将第一文件写入到所述第二文件对应的磁盘。采用上述技术方案，解决了传统方法在小文件合并存储的过程中，不能根据小文件的属性为小文件选择合适的文件进行合并存储，导致磁盘的空间利用率较低的问题。进而为小文件选择合适的文件进行合并存储，提高了磁盘的空间利用率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示例性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的文件写入方法的计算机终端的硬件结构框图；
图2是根据本发明实施例的文件写入方法的流程图(一)；
图3是根据本发明实施例的文件写入方法的流程图(二)；
图4是根据本发明实施例的文件写入方法的流程图(三)；
图5是根据本发明实施例的文件写入方法的服务器模块图；
图6是根据本发明实施例的文件写入装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例中所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的文件写入方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器(Microprocessor Unit，简称是MPU)或可编程逻辑器件(Programmable logic device，简称是PLD))和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的文件写入方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种文件写入方法，图2是根据本发明实施例的文件写入方法的流程图(一)，该流程包括如下步骤：
步骤S202，接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；
需要说明的是，所述第一文件所占用的空间小于预设阈值，所述预设阈值可为100MB，本实施例不做具体限定。
步骤S204，响应所述于申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；
需要说明的是，所述文件信息包括：数据节点组，Zone组号。
步骤S206，发送所述第二文件的文件信息至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。
通过本发明，接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；将所述第二文件的文件信息发送至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。也就是说，元数据管理服务器可以根据文件客户端发送的第一文件对应的属性，为第一文件选择允许复用的第二文件，并将第二文件的文件信息发送文件客户端，进而文件客户端可以根据文件信息将第一文件写入到所述第二文件对应的磁盘。采用上述技术方案，解决了传统方法在小文件合并存储的过程中，不能根据小文件的属性为小文件选择合适的文件进行合并存储，导致磁盘的空间利用率较低的问题。进而为小文件选择合适的文件进行合并存储，提高了磁盘的空间利用率。
需要说明的是，上述步骤S204有多种执行方式，在一个可选的实施例中，通过以下方式实现：获取元数据管理服务器中保存的复用文件列表，其中，所述复用文件列表包括：多个用于与所述第一文件存储复用的文件；确定所述复用文件列表中是否存在满足第一预设条件的所述第二文件，其中，所述第一预设条件用于指示所述第一属性信息与所述第二属性信息匹配；在存在的情况下，将所述复用文件列表中满足第一预设条件的文件确定为所述第二文件；在不存在的情况下，在所述元数据管理服务器中创建所述第二文件。
也就是说，元数据管理服务器中保存有复用文件列表，元数据管理服务器在获取到第一文件的第一属性信息以后，会在复用文件列表中搜索，确定复用文件列表中是否有符合第一预设条件的可复用文件，如果有，将可复用文件确定为第二文件，如果没有符合第一预设条件的可复用文件，元数据管理服务器就会根据第一文件的第一属性信息创建第二文件。
需要说明的是，所述第一预设条件包括：所述第一属性信息中的纠删码和所述第二属性信息中的纠删码一致；在所述第一文件和所述第二文件位于同一文件对象桶的情况下，所述第一属性信息中的文件属性和所述第二属性信息中的文件属性一致。
也就是说，复用文件列表中可以与第一文件复用的第二文件的要求是：第一文件和第二文件的EC纠删码类型一致；第一文件和第二文件在同一个文件对象桶中，且具备相同的文件属性，其中，所述文件属性包括：生命周期、可读取权限。
为了更好的理解上述在元数据管理服务器创建第二文件，在一个可选的实施例中，通过以下技术方案实现：获取元数据管理服务器中保存的Zone组复用列表；确定所述Zone组复用列表存在满足第二预设条件的Zone组，并获取所述Zone组对应的数据节点组和所述Zone组的Zone组号；根据所述Zone组对应的数据节点组和所述Zone组的Zone组号创建所述第二文件。
进一步地，获取元数据管理服务器中保存的Zone组复用列表之后，确定所述Zone组复用列表不存在满足第二预设条件的Zone组；指示所述元数据管理服务器的负载均衡模块确定数据节点组及Zone组号，并根据所述负载均衡模块确定的数据节点组及Zone组号创建所述第二文件。
需要说明的是，在元数据管理服务器中，会先为创建的新的第二文件分配一个纠删码，分配的纠删码为第一文件的纠删码，进而在获取到Zone复用列表以后，确定Zone组复用列表是否存在满足第二预设条件的Zone组，如果存在，则根据Zone组对应的数据节点组和Zone组的Zone组号创建第二文件，如果不存在满足第二预设条件的Zone组，则指示元数据管理服务器的负载均衡模块确定新的数据节点组和新的Zone组号，并新的数据节点组和新的Zone组号创建第二文件。
需要说明的是，所述第二预设条件包括：所述第二文件和所述Zone组复用列表中的Zone组具有相同的纠删码类型；所述第二文件和所述Zone组复用列表中的Zone组存储的文件位于同一个对象桶中；所述Zone组复用列表中的Zone组用于存储所述第一文件。
也就是说，Zone组复用列表中可复用的Zone组要求是：新创建的第二文件的纠删码类型与可复用的Zone组纠删码类型相同，新创建的第二文件与可复用的Zone组存储的文件位于同一个对象桶中，可复用的Zone组用于存储所述第一文件。
为了更好的理解上述步骤S206，在一个可选的实施例中，通过以下方式实现：指示所述文件客户端将所述第一文件划分为多个数据块，并将所述多个数据块与所述文件信息中的Zone组号发送至所述文件信息中的数据节点组对应的多个数据节点；控制所述多个数据节点中的每一个数据节点将对应的数据块写入到与所述Zone组号对应的磁盘。
也就是说，文件信息包括：数据节点组，Zone组号，指示小文件客户端在获取到第二文件的文件信息以后，将第一文件划分成多个数据块，对齐写入文件信息中的对应的数据节点，写入时需要将文件信息中的Zone组号发送给数据节点。数据节点会根据Zone组号查询本地的缓存确认Zone组号是否已经存在，如果不存在，则根据数据节点的负载均衡算法会选择真实的磁盘并写入数据，数据写入成功后，将信息包括磁盘、Zone组号信息刷新到数据节点的元数据数据库中进行持久化，所述数据库通常为RocksDB。如果数据节点确认到Zone组号存在，则将数据追加写入到对应磁盘的Zone中。
进一步地，控制所述多个数据节点中的每一个数据节点将对应的数据块写入到与根据所述Zone组号对应的磁盘之后，需要控制所述数据节点将对应的数据块的元数据信息和Zone的元数据信息发送至所述元数据管理服务器，以使所述元数据管理服务器将所述数据块的元数据信息和所述Zone的元数据信息保存至文件对象缓存。
需要说明的是，在将第一文件写入磁盘以后，需要让文件客户端通知数据节点与元数据管理服务器文件关闭，在文件关闭以后，数据节点上报数据块的元数据信息、Zone的元数据信息给元数据管理服务器，其中Zone的元数据信息包含Zone组号、Zone总长度、Zone已使用长度和Zone创建时间。元数据管理服务器需要等待该Zone组号下的所有数据节点上的Zone信息上报完成后，才能认定该Zone组写入完成。同时第二文件也需要等到所有的数据块的元数据信息全部上报完成后，才能认为第二文件一次IO写入完成。
进一步地，指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘之后，所述方法还包括：在所述第二文件满足第三预设条件的情况下，将所述第二文件添加至所述元数据管理服务器的复用文件列表；在所述第二文件不满足第三预设条件的情况下，确定所述第二文件所在的Zone组是否满足第四预设条件；在所述Zone组满足第四预设条件的情况下，将所述Zone组添加至所述元数据管理服务器的Zone组复用列表。
需要说明的是，为了更好的节省磁盘空间，元数据管理服务器可以根据第三预设条件判断第二文件可再次复用，如果第二文件可以继续复用，则将第二文件加入复用文件列表中；当大文件不能继续复用时，再对第二文件所在的Zone组进行Zone组的可复用判断，如果Zone组满足第四预设条件，则将Zone组加入到Zone组复用列表。
需要说明的是，所述第三预设条件包括：所述第二文件处在复用周期内；所述第二文件的每个数据块长度相等；所述第二文件的状态为正常关闭状态；所述第二文件对应的磁盘Zone剩余空间大于第一预设阈值。所述第四预设条件包括：所述Zone组能够对齐写入；所述Zone组的数据节点处于激活状态；所述Zone组处在可复用周期内；所述Zone组的剩余空间大于第二预设阈值。
也就是说，第二文件可复用的第三预设条件为：第二文件在复用周期内，其中，第二文件的复用周期可以设置为1天，避免同一第二文件内的最早写入的第一文件和最晚写入的第一文件跨度时间过长，该时间周期默认可配置；第二文件的每个数据块长度相等，保证写入数据块全部对齐；第二文件从写入状态切换为正常关闭状态，避免大文件正在写的过程中被分配复用；大文件对应的SMR盘Zone剩余空间大于第一预设阈值，其中，所述第一预设阈值可以设置为100MB，保证至少一个第一文件能完整写入。
Zone组加入复用列表需要满足的第四预设条件如下：Zone组可以对齐写入；Zone组的数据节点全部在线且有效；Zone组在可复用周期内，其中，默认设置Zone组的可复用周期时间可以为7天；Zone还有剩余的可写入空间；Zone组加入可复用列表后，Zone的剩余空间能继续被其他第二文件复用。
需要说明的是，为了避免元数据管理服务器断电后，复用文件列表和Zone组复用列表的信息丢失，可以在所述元数据管理服务器中的复用文件列表和Zone组复用列表发生变化的情况下，将所述复用文件列表和Zone组复用列表保存至日志数据，并将所述日志数据发送至目标元数据管理服务器。
也就是说，复用文件列表和Zone组复用列表的添加和删除、更新均需要记录实时日志，并同步到其他备用元数据管理服务器中，一旦元数据管理服务器重启，可根据日志数据恢复复用列表中的数据。
显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。为了更好的理解上述文件写入方法，以下结合实施例对上述过程进行说明，但不用于限定本发明实施例的技术方案，具体地：
在一个可选的实施例中，在视频安防领域，小文件(相当于上述实施例中的第一文件)主要包括告警录像、告警图片、卡口图片和人脸抓拍图片。告警录像写入的是实时视频流，写入时不能确定文件大小，一般情况下其平均大小为10MB，最大100MB；图片可能就占4K大小的空间。叠瓦式磁记录(Shingled Magnetic Recording，简称为SMR)盘中的Zone固定大小256MB，SMR盘的特点是仅支持顺序写入，不支持随机写。在SMR环境下，我们规定小文件合并后的大文件不能跨Zone，即大文件的在数据节点上的数据块最大仅256MB。在本申请实施例中，数据节点负责多块SMR盘的管理，元数据服务器负责数据节点的分配和数据信息的聚集。大文件写入时根据文件客户端的EC类型，其数据分布在多台数据节点中，用于保证当数据节点或磁盘损坏后数据的可恢复性和完整性。
图3是根据本发明实施例的文件写入方法的流程图(二)，具体步骤如下：
步骤S302：小文件客户端申请(相当于上述实施例中的文件客户端)可复用文件(相当于上述实施例中的第二文件)；
步骤S304：元数据管理服务器判断可复用文件列表(相当于上述实施例中的复用文件列表)是否为空，若是，执行步骤S310，若否，执行步骤S306；
步骤S306：判断可复用文件列表中的可复用文件是否符合可复用条件，若是，执行步骤S308，若否，执行步骤S310；
步骤S308：返回可复用文件的数据节点组及Zone组号；
步骤S310：元数据管理服务器创建新的大文件(相当于上述实施例中的第二文件)；
步骤S312：判断可复用Zone组列表(相当于上述实施例中的Zone组复用列表)是否为空，若是，执行步骤S320，若否，执行步骤S314；
步骤S314：判断Zone组可复用列表中的Zone组是否符合可复用条件，若是，执行步骤S316，若否，执行步骤S320；
步骤S316：从可复用Zone组列表中取出Zone组；
步骤S318：返回Zone组的数据节点组及Zone组号；
步骤S320：生成新的文件号；
步骤S322：元数据管理服务器的负载均衡模块分配新的数据节点组；
步骤S324：元数据管理服务器的负载均衡模块分配新的Zone组号；
步骤S326：返回新文件的数据节点组及Zone组号。
为了更好的理解上述步骤，具体的：小文件客户端写入告警录像、告警图片等小文件时，首先向元数据管理服务器申请可复用的大文件，元数据管理服务器从可复用文件列表中获取可复用的大文件，获取时需要满足条件：1、小文件和可复用文件的EC纠删码类型一致；2、小文件和可复用文件在同一个文件对象桶中，具备相同的文件属性，如生命周期、可读取权限；若存在可复用的大文件，则元数据管理服务器直接返回该文件的数据节点组和Zone组号给小文件客户端。若没有可复用的大文件给该小文件写入，则元数据管理服务器生成一个新的大文件用于小文件合并使用，元数据管理服务器需要根据首次写入的小文件的EC纠删码为该大文件分配一组数据节点和Zone组号，其中，Zone组号由一串随机的具备唯一标识的数字构成。元数据管理服务器在为大文件分配新的数据节点组前，需要先从Zone组可复用列表中获取可复用的Zone组，获取时也必须满足：1、新申请的大文件和Zone组具有相同的EC纠删码类型；2、新申请的大文件和Zone组存储的文件对象均在同一个对象桶中；3、Zone组用于小文件存储。需要说明的是，如果没有可复用的Zone组则由元数据管理服务器负载均衡模块按照数据节点的负载均衡分配一组新的数据节点和新的Zone组。
进一步地，小文件客户端拿到数据节点组和Zone组号之后，将数据划分成数据块后对齐写入对应的数据节点，写入时需要将Zone组号发送给数据节点。数据节点根据Zone组号查询本地的缓存确认Zone组号是否已经存在，不存在则根据数据节点的负载均衡算法选择真实的磁盘并写入数据，数据写入成功后，将信息包括磁盘、Zone组号信息刷新到数据节点的元数据数据库中进行持久化，该数据库通常为RocksDB。若确认到Zone组号存在，则将数据追加写入到对应磁盘的Zone中。
图4是根据本发明实施例的文件写入方法的流程图(三)，具体步骤如下：
步骤S402：元数据信息上报；
步骤S404：上报数据块的信息和Zone的信息；
步骤S406：Zone更新到Zone组管理缓存；
步骤S408：数据块更新到文件对象缓存；
步骤S410：元数据管理服务器判断文件对象数据块是否全部上报完毕，若是，执行步骤S412；
步骤S412：判断文件能否继续复用，若是，执行步骤S414，若否，执行步骤S416；
步骤S414：将第二文件添加到可复用文件列表；
步骤S416：元数据管理服务器判断Zone组是否全部上报完毕，若是，执行步骤S418；
步骤S418：判断第二文件对应的Zone组能否继续复用，若是，执行步骤S420，若否，执行步骤S422；
步骤S420：将第二文件对应的Zone组添加到Zone组可复用列表；
步骤S422：结束；
为了更好的理解，具体的：小文件客户端写入告警录像时会确保小文件大小不超过100MB，当文件即将达到100MB时切换新的文件写入；一个小文件写入完成后，小文件客户端需要先后通知数据节点、元数据管理服务器文件关闭。文件关闭后，数据节点上报数据块的元数据信息、Zone的元数据信息给元数据管理服务器，其中，Zone的元数据信息包含Zone组号、Zone总长度、Zone已使用长度和Zone创建时间。元数据管理服务器需要等待该Zone组号下的所有数据节点上的Zone信息上报完成后，才能认定该Zone组写入完成。同时大文件也需要等到所有的数据块元数据信息全部上报完成后，才能认为该大文件一次IO写入完成。之后，元数据管理服务器先根据大文件复用规则判断大文件是否可再次复用，大文件可复用判断条件为：1、大文件在复用周期内，大文件的复用周期设置为1天，避免同一大文件内的最早写入小文件和最晚写入小文件跨度时间过长，该时间周期默认可配置；2、大文件的每个数据块长度相等，保证写入数据块全部对齐；3、大文件从写入状态切换为正常关闭状态，避免大文件正在写的过程中被分配复用；4、大文件对应的SMR盘Zone剩余空间大于100MB，保证至少一个小文件能完整写入。如果大文件能继续复用，则将大文件加入可复用文件列表中，当大文件不能继续复用时，再对大文件所在的Zone组进行Zone组的可复用判断。Zone组加入可复用列表需要满足如下条件1、Zone组对齐写入；2、Zone组的数据节点全部在线且有效；3、Zone组在可复用周期内，默认设置Zone组的可复用周期时间为7天；4、Zone还有剩余的可写入空间；Zone组加入可复用列表后，Zone的剩余空间能继续被其他大文件复用。为避免元数据管理服务器断电后，文件可复用列表和Zone组可复用列表信息丢失，文件可复用列表和Zone组可复用列表的添加和删除、更新均需要记录实时日志，并同步到其他备用元数据管理服务器中，一旦元数据服务器重启，可根据日志信息恢复复用列表中的数据。
图5是根据本发明实施例的文件写入方法的服务器模块图，具体的：根据功能划分，小文件存储涉及到的服务器有小文件客户端、元数据管理服务器和数据节点；其中小文件客户端主要负责前端视频流、图片的写入和读取；元数据管理服务器包含文件管理模块，Zone组管理模块、数据节点负载均衡模块和数据块接收处理模块；数据节点包含数据块管理模块、元数据库管理、Zone管理模块、磁盘写入和读取模块。
具体的，小文件写入云存储的完整流程：小文件写入时先申请可复用文件，不存在则分配新的大文件，并为大文件申请可复用Zone组，可复用Zone组也不存在则按照大文件新申请流程，生成数据节点和Zone组号；小文件写入数据节点需要携带Zone组号，数据节点根据Zone组号判断是否是复用Zone，不是则分配新的Zone写入，是则追加写入；小文件写入完成，文件关闭时，数据节点需要向元数据管理服务器上报Zone和数据块的信息，元数据管理服务器根据信息优先判断文件是否可复用、判断Zone组是否可复用。
此外，上述实施例(Conventional Magnetic Recording，简称为CMR)环境下解决了元数据数据块碎片化的问题，还解决了小文件读写云存储而导致的IO频繁问题。并且块存储设备，文件空间按照数据块划分，在SMR环境下，一旦数据块不能保证写满，Zone剩余空间就会被浪费，本申请实施例在小文件合并的基础上提出了对Zone组进行复用的优化，并提出了文件的复用策略和Zone组的复用策略，提升了SMR盘的Zone的空间利用率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种文件写入装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的文件写入装置的结构框图，该装置包括：
接收模块62，用于接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；
获取模块64，用于响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；
需要说明的是，文件信息包括：数据节点组，Zone组号。
写入模块66，用于发送所述第二文件的文件信息至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。
通过上述模块，接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；将所述第二文件的文件信息发送至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。也就是说，元数据管理服务器可以根据文件客户端发送的第一文件对应的属性，为第一文件选择允许复用的第二文件，并将第二文件的文件信息发送文件客户端，进而文件客户端可以根据文件信息将第一文件写入到所述第二文件对应的磁盘。采用上述技术方案，解决了传统方法在小文件合并存储的过程中，不能根据小文件的属性为小文件选择合适的文件进行合并存储，导致磁盘的空间利用率较低的问题。进而为小文件选择合适的文件进行合并存储，提高了磁盘的空间利用率。
可选的，获取模块64还用于获取所述元数据管理服务器中保存的复用文件列表，其中，所述复用文件列表包括：多个用于与所述第一文件存储复用的文件；确定所述复用文件列表中是否存在满足第一预设条件的所述第二文件，其中，所述第一预设条件用于指示所述第一属性信息与所述第二属性信息匹配；在存在的情况下，将所述复用文件列表中满足第一预设条件的文件确定为所述第二文件；在不存在的情况下，在所述元数据管理服务器中创建所述第二文件。
所述第一预设条件包括：所述第一属性信息中的纠错码和所述第二属性信息中的纠错码一致；在所述第一文件和所述第二文件位于同一文件对象桶的情况下，所述第一属性信息中的文件属性和所述第二属性信息中的文件属性一致。
可选的，获取模块64还用于获取元数据管理服务器中保存的Zone组复用列表；确定所述Zone组复用列表存在满足第二预设条件的Zone组，并获取所述Zone组对应的数据节点组和所述Zone组的Zone组号；根据所述Zone组对应的数据节点组和所述Zone组的Zone组号创建所述第二文件。
可选的，获取模块64还用于确定所述Zone组复用列表不存在满足第二预设条件的Zone组；指示所述元数据管理服务器的负载均衡模块确定数据节点组及Zone组号，并根据所述负载均衡模块确定的数据节点组及Zone组号创建所述第二文件。
所述第二预设条件包括：所述第二文件和所述Zone组复用列表中的Zone组具有相同的纠删码类型；所述第二文件和所述Zone组复用列表中的Zone组存储的文件位于同一个对象桶中；所述Zone组复用列表中的Zone组用于存储所述第一文件。
可选的，写入模块66还用于指示所述文件客户端将所述第一文件划分为多个数据块，并将所述多个数据块与所述文件信息中的Zone组号发送至所述文件信息中的数据节点组对应的多个数据节点；控制所述多个数据节点中的每一个数据节点将对应的数据块写入到与所述Zone组号对应的磁盘。
可选的，写入模块66还用于控制所述数据节点将对应的数据块的元数据信息和Zone的元数据信息发送至所述元数据管理服务器，以使所述元数据管理服务器将所述数据块的元数据信息和所述Zone的元数据信息保存至文件对象缓存。
可选的，写入模块66还用于在所述第二文件满足第三预设条件的情况下，将所述第二文件添加至所述元数据管理服务器的复用文件列表；在所述第二文件不满足第三预设条件的情况下，确定所述第二文件所在的Zone组是否满足第四预设条件；在所述Zone组满足第四预设条件的情况下，将所述Zone组添加至所述元数据管理服务器的Zone组复用列表。
所述第三预设条件包括：所述第二文件处在复用周期内；所述第二文件的每个数据块长度相等；所述第二文件的状态为正常关闭状态；所述第二文件对应的磁盘Zone剩余空间大于第一预设阈值。
所述第四预设条件包括：所述Zone组能够对齐写入；所述Zone组的数据节点处于激活状态；所述Zone组处在可复用周期内；所述Zone组的剩余空间大于第二预设阈值。
可选的，写入模块66还用于在所述元数据管理服务器中的复用文件列表和Zone组复用列表发生变化的情况下，将所述复用文件列表和Zone组复用列表保存至日志数据，并将所述日志数据发送至目标元数据管理服务器。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；
S2，响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；
S3，发送所述第二文件的文件信息至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；
S2，响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；
S3，发送所述第二文件的文件信息至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种文件写入方法，其特征在于，包括：
接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；
响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；
发送所述第二文件的文件信息至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。
2.根据权利要求1所述的文件写入方法，其特征在于，响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，包括：
获取所述元数据管理服务器中保存的复用文件列表，其中，所述复用文件列表包括：多个用于与所述第一文件存储复用的文件；
确定所述复用文件列表中是否存在满足第一预设条件的所述第二文件，其中，所述第一预设条件用于指示所述第一属性信息与所述第二属性信息匹配；
在存在的情况下，将所述复用文件列表中满足第一预设条件的文件确定为所述第二文件；
在不存在的情况下，在所述元数据管理服务器中创建所述第二文件。
3.根据权利要求2所述的方法，其特征在于，所述第一预设条件包括：所述第一属性信息中的纠删码和所述第二属性信息中的纠删码一致；在所述第一文件和所述第二文件位于同一文件对象桶的情况下，所述第一属性信息中的文件属性和所述第二属性信息中的文件属性一致。
4.根据权利要求2所述的方法，其特征在于，在所述元数据管理服务器中创建所述第二文件，包括：
获取元数据管理服务器中保存的Zone组复用列表；
确定所述Zone组复用列表存在满足第二预设条件的Zone组，并获取所述Zone组对应的数据节点组和所述Zone组的Zone组号；
根据所述Zone组对应的数据节点组和所述Zone组的Zone组号创建所述第二文件。
5.根据权利要求4所述的方法，其特征在于，获取元数据管理服务器中保存的Zone组复用列表之后，所述方法还包括：
确定所述Zone组复用列表不存在满足第二预设条件的Zone组；
指示所述元数据管理服务器的负载均衡模块确定数据节点组及Zone组号，并根据所述负载均衡模块确定的数据节点组及Zone组号创建所述第二文件。
6.根据权利要求4所述的方法，其特征在于，所述第二预设条件包括：所述第二文件和所述Zone组复用列表中的Zone组具有相同的纠删码类型；所述第二文件和所述Zone组复用列表中的Zone组存储的文件位于同一个对象桶中；所述Zone组复用列表中的Zone组用于存储所述第一文件。
7.根据权利要求1所述的方法，其特征在于，指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘，包括：
指示所述文件客户端将所述第一文件划分为多个数据块，并将所述多个数据块与所述文件信息中的Zone组号发送至所述文件信息中的数据节点组对应的多个数据节点；
控制所述多个数据节点中的每一个数据节点将对应的数据块写入到与所述Zone组号对应的磁盘。
8.根据权利要求7所述的方法，其特征在于，控制所述多个数据节点中的每一个数据节点将对应的数据块写入到与根据所述Zone组号对应的磁盘之后，所述方法还包括：
控制所述数据节点将对应的数据块的元数据信息和Zone的元数据信息发送至所述元数据管理服务器，以使所述元数据管理服务器将所述数据块的元数据信息和所述Zone的元数据信息保存至文件对象缓存。
9.根据权利要求1所述的方法，其特征在于，指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘之后，所述方法还包括：
在所述第二文件满足第三预设条件的情况下，将所述第二文件添加至所述元数据管理服务器的复用文件列表；
在所述第二文件不满足第三预设条件的情况下，确定所述第二文件所在的Zone组是否满足第四预设条件；
在所述Zone组满足第四预设条件的情况下，将所述Zone组添加至所述元数据管理服务器的Zone组复用列表。
10.根据权利要求9所述的方法，其特征在于，所述第三预设条件包括：所述第二文件处在复用周期内；所述第二文件的每个数据块长度相等；所述第二文件的状态为正常关闭状态；所述第二文件对应的磁盘Zone剩余空间大于第一预设阈值。
11.根据权利要求9所述的方法，其特征在于，所述第四预设条件包括：所述Zone组能够对齐写入；所述Zone组的数据节点处于激活状态；所述Zone组处在可复用周期内；所述Zone组的剩余空间大于第二预设阈值。
12.根据权利要求9所述的方法，其特征在于，所述方法还包括：
在所述元数据管理服务器中的复用文件列表和Zone组复用列表发生变化的情况下，将所述复用文件列表和Zone组复用列表保存至日志数据，并将所述日志数据发送至目标元数据管理服务器。
13.一种文件写入装置，其特征在于，包括：
接收模块，用于接收文件客户端发送的申请请求，其中，所述申请请求携带有第一文件对应的第一属性信息；
获取模块，用于响应于所述申请请求，在元数据管理服务器中确定与所述第一属性信息匹配的第二属性信息所对应的第二文件，并获取所述第二文件的文件信息，其中，所述第二文件用于与所述第一文件存储复用；
写入模块，用于发送所述第二文件的文件信息至所述文件客户端，并指示所述文件客户端根据所述文件信息将所述第一文件写入到所述第二文件对应的磁盘。
14.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至12任一项中所述的方法。
15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至12任一项中所述的方法。
CN202110845760.2A 2021-07-26 2021-07-26 文件写入方法及装置、存储介质及电子装置 Pending CN113504878A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110845760.2A CN113504878A (zh) 2021-07-26 2021-07-26 文件写入方法及装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110845760.2A CN113504878A (zh) 2021-07-26 2021-07-26 文件写入方法及装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN113504878A true CN113504878A (zh) 2021-10-15

Family

ID=78014577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110845760.2A Pending CN113504878A (zh) 2021-07-26 2021-07-26 文件写入方法及装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN113504878A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153392A (zh) * 2021-11-29 2022-03-08 浙江大华技术股份有限公司 一种对象存储数据存储管理方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452479A (zh) * 2007-12-04 2009-06-10 株式会社理光 文件管理装置、文件管理方法和计算机程序产品
CN102317920A (zh) * 2011-07-18 2012-01-11 华为技术有限公司 数据处理方法及设备
CN105808770A (zh) * 2016-03-22 2016-07-27 北京北方微电子基地设备工艺研究中心有限责任公司 文件管理的方法及装置
CN109101508A (zh) * 2017-06-20 2018-12-28 杭州海康威视数字技术股份有限公司 小文件归档、读取方法及装置、电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452479A (zh) * 2007-12-04 2009-06-10 株式会社理光 文件管理装置、文件管理方法和计算机程序产品
CN102317920A (zh) * 2011-07-18 2012-01-11 华为技术有限公司 数据处理方法及设备
CN105808770A (zh) * 2016-03-22 2016-07-27 北京北方微电子基地设备工艺研究中心有限责任公司 文件管理的方法及装置
CN109101508A (zh) * 2017-06-20 2018-12-28 杭州海康威视数字技术股份有限公司 小文件归档、读取方法及装置、电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153392A (zh) * 2021-11-29 2022-03-08 浙江大华技术股份有限公司 一种对象存储数据存储管理方法、装置及设备

Similar Documents

Publication Publication Date Title
US11474972B2 (en) Metadata query method and apparatus
CN109597567B (zh) 一种数据处理方法和装置
US20150363126A1 (en) Logical zone mapping
CN108287669A (zh) 数据存储方法、装置及存储介质
CN103152390B (zh) 分布式存储***的节点配置方法、装置、节点及***
CN111831232A (zh) 数据的存储方法及装置、存储介质和电子装置
CN110147203B (zh) 一种文件管理方法、装置、电子设备及存储介质
WO2017050064A1 (zh) 共享内存数据库的内存管理方法及装置
CN111045708B (zh) 软件升级方法、电子设备和计算机可读存储介质
EP3531264B1 (en) Data storage, reading, and cleansing method and device, and cloud storage system
CN110661824B (zh) 分布式集群中服务器的流量调控方法及存储介质
CN104077239A (zh) Ip硬盘与存储***，及其数据操作方法
CN113495889A (zh) 一种分布式对象存储方法、装置、电子设备及存储介质
CN109391487A (zh) 一种配置更新方法和***
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN104793981A (zh) 一种虚拟机集群的在线快照管理方法及装置
CN105162869A (zh) 一种用于数据备份管理的方法与设备
CN113504878A (zh) 文件写入方法及装置、存储介质及电子装置
CN110858122B (zh) 存储数据的方法和装置
CN107148612A (zh) 一种扩展用户分区的方法和装置
CN110298031B (zh) 一种词典服务***及模型版本一致性配送方法
CN105045542B (zh) 一种实现快照管理的方法及装置
CN105450679A (zh) 进行数据云存储的方法及***
CN107422991B (zh) 一种存储策略管理***
CN115878381A (zh) 基于srm盘的数据恢复方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination