CN107958079A - 聚合文件删除方法、***、装置及可读存储介质 - Google Patents
聚合文件删除方法、***、装置及可读存储介质 Download PDFInfo
- Publication number
- CN107958079A CN107958079A CN201711340624.8A CN201711340624A CN107958079A CN 107958079 A CN107958079 A CN 107958079A CN 201711340624 A CN201711340624 A CN 201711340624A CN 107958079 A CN107958079 A CN 107958079A
- Authority
- CN
- China
- Prior art keywords
- file
- file destination
- object head
- aggregate
- destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种分布式存储***聚合文件删除方法、***、装置及计算机可读存储介质，包括：利用文件删除请求，删除目标文件的元数据信息，且将目标文件标记为已删除；从OSD中查找到与目标文件对应的对象头，将对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将新对象头写入用户终端，以使用户终端利用新对象头删除目标文件。本申请不再直接删除用户终端中的目标文件，而是通过删除元数据服务器中与目标文件对应的元数据信息和修改与目标文件对应的对象头，从而使用户终端后台进行文件清理时，基于与目标文件对应的对象头删除目标文件，从而减少元数据服务器与用户终端的交互，缩短IO路径，提高用户体验，加快删除速度。
Description
技术领域
本发明涉及分布式存储***领域，特别涉及一种分布式存储***聚合文件删除方法、***、装置及计算机可读存储介质。
背景技术
在分布式存储***中，小文件场景是存储***的需要考虑的核心场景之一，社交购物网站、广电、网络视频等产生文本、图片、音乐等大量小文件场景，小文件性能问题是文件***需要考虑的关键问题之一。将多个小文件聚合到一个大文件中，对小文件的读写转变为对聚合文件数据的读写是小文件场景中重要的优化方法。聚合功能可以降低小文件磁盘占用，提高磁盘利用率，提高小文件读写速度。
使用聚合功能，多个小文件以聚合对象(object，OBJ)为单位进行聚合，聚合对象作为聚合文件的数据存入到磁盘中。聚合功能中删除小文件时，如果删除文件相应数据，需要先通过小文件元数据信息找到其所属的聚合文件，然后根据其在聚合文件中的偏移量，找出小文件对应的聚合对象，如果该聚合对象中没有存储其他小文件时，可以直接删除聚合对象；但是当聚合对象中同时存储了其他小文件数据时，则不能删除，需要等到该聚合对象中所有文件删除之后，再删除聚合对象上数据。这样，每次删除小文件时都需要判断该小文件是否是所属聚合对象中最后一个文件。此种方式流程繁琐，删除小文件IO路径冗长，逻辑复杂，删除效率低。
因此，研发一种IO路径短，用户体验高，删除效率高的分布式存储***聚合文件删除方法是当前需要解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种分布式存储***聚合文件删除方法、***、装置及计算机可读存储介质，使IO路径短，用户体验高，提高删除速度。其具体方案如下：
一种分布式存储***聚合文件删除方法，包括：
利用文件删除请求，删除目标文件的元数据信息，且将所述目标文件标记为已删除；
从OSD中查找到与所述目标文件对应的对象头，将所述对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将所述新对象头写入用户终端，以使所述用户终端利用所述新对象头删除目标文件。
可选的，所述删除目标文件的元数据信息之后，还包括：
发送删除成功信息至所述用户终端。
可选的，所述利用文件删除请求，删除目标文件的元数据信息，且将所述目标文件标记为已删除的过程，包括：
判断所述目标文件是否为聚合属性的文件；
如果是，则判断所述目标文件的索引号是否保存在聚合缓存中；
如果否，则利用所述文件删除请求，删除所述目标文件的元数据信息，且将所述目标文件标记为已删除。
可选的，所述从OSD中查找到与所述目标文件对应的对象头的过程，包括：
利用文件索引节点中记录的与所述目标文件对应的聚合文件的索引节点号和所述目标文件在所述聚合文件中的偏移量，查找到与所述目标文件对应的聚合对象，查找到所述聚合对象中所述对象头。
可选的，所述删除所述目标文件的元数据信息之后，还包括：
更新与所述目标文件对应的聚合文件中无效空间，当所述无效空间超过预设阈值，则将所述聚合文件中未删除的文件保存至新聚合文件中，删除所述聚合文件。
可选的，所述将所述对象头中目标文件的索引号和位图均标记为删除状态的过程，包括：
将所述对象头中的数据转换为存放索引号的数组和标记磁盘存储状态的位图集；
遍历所述数组，将所述目标文件的索引号标记为删除状态；
利用所述目标文件的offset和所述目标文件的size，查找出在所述位图集中与所述目标文件对应的位图，将与所述目标文件对应的位图标记为删除状态。
可选的，遍历所述数组之后，还包括：
如果未查找到所述目标文件的索引号，则生成包括所述目标文件的索引号、offset和size信息的错误日志。
本发明还公开了一种分布式存储***聚合文件删除***，包括：
元数据删除模块，用于利用文件删除请求，删除目标文件的元数据信息，且将所述目标文件标记为已删除；
对象头标记模块，用于从OSD中查找到与所述目标文件对应的对象头，将所述对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将所述新对象头写入用户终端，以使所述用户终端利用所述新对象头删除目标文件。
本发明还公开了一种分布式存储***聚合文件删除装置，包括：
存储器，用于存储指令；其中，所述指令包括利用文件删除请求，删除目标文件的元数据信息，且将所述目标文件标记为已删除；从OSD中查找到与所述目标文件对应的对象头，将所述对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将所述新对象头写入用户终端，以使所述用户终端利用所述新对象头删除目标文件；
处理器，用于执行所述存储器中的指令。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有分布式存储***聚合文件删除程序，所述分布式存储***聚合文件删除程序被处理器执行时实现如前述分布式存储***聚合文件删除方法的步骤。
本发明中，分布式存储***聚合文件删除方法，包括：利用文件删除请求，删除目标文件的元数据信息，且将目标文件标记为已删除；从OSD中查找到与目标文件对应的对象头，将对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将新对象头写入用户终端，以使用户终端利用新对象头删除目标文件。本发明删除目标文件的元数据信息，且将目标文件标记为已删除，再从OSD中查找到与目标文件对应的对象头，将对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将新对象头写入用户终端，不再直接删除用户终端中的目标文件，而是通过删除元数据服务器中与目标文件对应的元数据信息和修改与目标文件对应的对象头，从而使用户终端后台进行文件清理时，基于与目标文件对应的对象头删除目标文件，从而减少元数据服务器与用户终端的交互，缩短IO路径，提高用户体验，加快删除速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施公开的一种分布式存储***聚合文件删除方法流程示意图；
图2为本发明实施公开的一种分布式存储***聚合文件删除***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种分布式存储***聚合文件删除方法，参见图1所示，该方法包括：
S11：利用文件删除请求，删除目标文件的元数据信息，且将目标文件标记为已删除。
具体的，文件删除请求可以为用户通过用户终端发送至元数据服务器中的，在接收到文件删除请求后，根据文件删除请求中记载的待删除文件信息，将目标文件标的元数据信息进行删除，使用户无法浏览和访问目标文件，且将目标文件标记为已删除。
需要说明的是，将目标文件标记为已删除时，目标文件并未在用户终端的磁盘中删除。
S12：从OSD(Object-based Storage Device，对象存储设备)中查找到与目标文件对应的对象头，将对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将新对象头写入用户终端，以使用户终端利用新对象头删除目标文件。
具体的，OSD中保存有聚合文件中各个小文件的聚合对象，而聚合对象中保存有与记录小文件的索引号和位图的对象头，因此，利用文件索引节点中记录的与目标文件对应的聚合文件的索引节点号和目标文件在聚合文件中的偏移量，查找到与目标文件对应的聚合对象，查找到聚合对象中对象头，将对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将新对象头写入用户终端，以使用户终端后台文件清理程序利用新对象头删除目标文件。
例如，对象头中目标文件的索引号和位图默认为1，将目标文件的索引号和位图标记为删除状态，则将对象头中目标文件的索引号和位图记为0，得到新对象头。
其中，每个位图对应磁盘上的一个存储空间，如4K，一个文件对应一个或多个位图，每个位图与唯一的文件对应，即每个位图中仅记录一个文件的数据内容，如一个文件为5K，则需占用两个4K的存储空间，两个存储空间又对应两个位图，一个位图对应的存储空间存储有该文件的4K数据，另一个位图对应的存储空间存储有该文件的1K数据，剩余3K存储空间则为空，当一个位图对应的存储空间为空，则可以设置状态为0，当一个位图对应的存储空间内有数据，则可以设置状态为1。
本发明实施例中，目标文件为满足聚合条件的小文件，例如，文本、图片、音乐等大量碎片式文件。
可见，本发明实施例删除目标文件的元数据信息，且将目标文件标记为已删除，再从OSD中查找到与目标文件对应的对象头，将对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将新对象头写入用户终端，不再直接删除用户终端中的目标文件，而是通过删除元数据服务器中与目标文件对应的元数据信息和修改与目标文件对应的对象头，从而使用户终端后台进行文件清理时，基于与目标文件对应的对象头删除目标文件，从而减少元数据服务器与用户终端的交互，缩短IO路径，提高用户体验，加快删除速度。
本发明实施例公开了一种具体的分布式存储***聚合文件删除方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
本发明实施例中，为更好的进行磁盘清理，在上述删除目标文件的元数据信息之后，还可以更新与目标文件对应的聚合文件中无效空间，当无效空间超过预设阈值，则将聚合文件中未删除的文件保存至新聚合文件中，删除聚合文件。
具体的，无效空间为聚合文件中未保存有数据的存储空间，无效空间可以通过位图进行更新，未保存数据的位图的存储空间便为无效空间的一部分，当然无效空间也可以通过计算聚合文件中具体有多少空间未保存数据来更新，通过更新无效空间，可以反映出聚合对象中有多少存储空间未保存数据，通过减少存储空间利用率低的聚合文件，可以提高磁盘存储空间利用率，因此，当无效空间超过预设阈值，则将聚合文件中未删除的文件保存至新聚合文件中，删除聚合文件，预设阈值可以为无效空间为70％。
本发明实施例中，上述S12中将对象头中目标文件的索引号和位图均标记为删除状态的过程，可以具体包括S121至S123；其中，
S121：将对象头中的数据转换为存放索引号的数组和标记磁盘存储状态的位图集；
S122：遍历数组，将目标文件的索引号标记为删除状态；
S123：利用目标文件的offset和目标文件的size，查找出在位图集中与目标文件对应的位图，将与目标文件对应的位图标记为删除状态。
具体的，目标文件的offset保存在聚合文件中，目标文件的size保存在文件索引节点中。
需要说明的是，在遍历数组过程中，可能会出现错误导致数组中未保存有目标文件的索引号，此时，如果未查找到目标文件的索引号，则生成包括目标文件的索引号、offset和size信息的错误日志，以便用户或修复程序依据错误日志修复错误。
可以理解的是，分布式存储***中不仅包括具有聚合属性的文件，还包括其他文件，因此，在接收到文件删除请求后，需要判断目标文件是否为具有聚合属性的文件，具体的上述利用文件删除请求，将目标文件标记为已删除的过程，可以包括S111至S113；其中，
S111：判断目标文件是否为聚合属性的文件。
具体的，判断目标文件的属性，验证目标文件是否为具有聚合属性的文件即目标文件是否为聚合文件中的文件。
S112：如果是，则判断目标文件的索引号是否保存在聚合缓存中。
具体的，当判定目标文件为聚合文件中的文件后，目标文件可以已经保存至用户终端的磁盘中，也可能尚未保存至用户终端，仍保存在聚合缓存中，因此，需要判断目标文件的索引号是否保存在聚合缓存中，以此决定后续删除操作。
其中，如果目标文件不为聚合文件中的文件，则采用普通文件通用的删除方法对目标文件进行删除。
S113：如果否，则利用文件删除请求，将目标文件标记为已删除。
具体的，当判定目标文件的索引号并未保存在聚合缓存中，表明目标文件已保存至用户终端的磁盘中，因此，利用文件删除请求，将目标文件标记为已删除，如果目标文件的索引号保存在聚合缓存中，则表明目标文件并未保存至用户终端的磁盘中，仍保存在聚合缓存中，此时可以直接在聚合缓存中删除目标文件，采用删除普通文件的方式删除目标文件的元数据信息。
为提高用户体验，使用户能够及时得到删除状态反馈，在删除目标文件的元数据信息之后，发送删除成功信息至用户终端，以使用户得知删除完成。
相应的，本发明实施例还公开了一种分布式存储***聚合文件删除***，参见图2所示，该***包括：
元数据删除模块11，用于利用文件删除请求，删除目标文件的元数据信息，且将目标文件标记为已删除；
对象头标记模块12，用于从OSD中查找到与目标文件对应的对象头，将对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将新对象头写入用户终端，以使用户终端利用新对象头删除目标文件。
可见，本发明实施例删除目标文件的元数据信息，且将目标文件标记为已删除，再从OSD中查找到与目标文件对应的对象头，将对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将新对象头写入用户终端，不再直接删除用户终端中的目标文件，而是通过删除元数据服务器中与目标文件对应的元数据信息和修改与目标文件对应的对象头，从而使用户终端后台进行文件清理时，基于与目标文件对应的对象头删除目标文件，从而减少元数据服务器与用户终端的交互，缩短IO路径，提高用户体验。
本发明实施例中，还可以包括删除信息发送模块、无效空间更新模块和聚合文件重组模块；其中，
删除信息发送模块，用于发送删除成功信息至用户终端。
无效空间更新模块，用于更新与目标文件对应的聚合文件中无效空间。
聚合文件重组模块，用于当无效空间超过预设阈值，则将聚合文件中未删除的文件保存至新聚合文件中，删除聚合文件。
本发明实施例中，上述元数据删除模块11，可以具体包括文件属性判断单元、索引号判断单元和元数据删除单元；其中，
文件属性判断单元，用于判断目标文件是否为聚合属性的文件；
索引号判断单元，用于当文件属性判断单元判定目标文件为聚合属性的文件，则判断目标文件的索引号是否保存在聚合缓存中；
元数据删除单元，用于当索引号判断单元判定目标文件的索引号未保存在聚合缓存中，则利用文件删除请求，删除目标文件的元数据信息，且将目标文件标记为已删除。
上述对象头标记模块12，可以具体包括对象头查找单元、数据转换单元、索引号标记单元和位图标记单元；
对象头查找单元，用于利用文件索引节点中记录的与目标文件对应的聚合文件的索引节点号和目标文件在聚合文件中的偏移量，查找到与目标文件对应的聚合对象，查找到聚合对象中对象头。
数据转换单元，用于将对象头中的数据转换为存放索引号的数组和标记磁盘存储状态的位图集；
索引号标记单元，用于遍历数组，将目标文件的索引号标记为删除状态；
位图标记单元，用于利用目标文件的offset和目标文件的size，查找出在位图集中与目标文件对应的位图，将与目标文件对应的位图标记为删除状态。
进一步的，分布式存储***聚合文件***，还可以包括错误日志生成模块；其中，
错误日志生成模块，用于当索引号标记单元未查找到目标文件的索引号，则生成包括目标文件的索引号、offset和size信息的错误日志。
此外，本发明实施例还公开了一种分布式存储***聚合文件删除装置，该装置包括：
存储器，用于存储指令；其中，指令包括利用文件删除请求，删除目标文件的元数据信息，且将目标文件标记为已删除；从OSD中查找到与目标文件对应的对象头，将对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将新对象头写入用户终端，以使用户终端利用新对象头删除目标文件；
处理器，用于执行存储器中的指令。
关于存储器中更为具体的指令，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本发明实施例还公开了一种计算机可读存储介质，计算机可读存储介质上存储有分布式存储***聚合文件删除程序，分布式存储***聚合文件删除程序被处理器执行时实现如前述分布式存储***聚合文件删除方法的步骤。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的一种分布式存储***聚合文件删除方法、***、装置及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种分布式存储***聚合文件删除方法，其特征在于，包括：
利用文件删除请求，删除目标文件的元数据信息，且将所述目标文件标记为已删除；
从OSD中查找到与所述目标文件对应的对象头，将所述对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将所述新对象头写入用户终端，以使所述用户终端利用所述新对象头删除目标文件。
2.根据权利要求1所述的分布式存储***聚合文件删除方法，其特征在于，所述删除目标文件的元数据信息之后，还包括：
发送删除成功信息至所述用户终端。
3.根据权利要求1所述的分布式存储***聚合文件删除方法，其特征在于，所述利用文件删除请求，删除目标文件的元数据信息，且将所述目标文件标记为已删除的过程，包括：
判断所述目标文件是否为聚合属性的文件；
如果是，则判断所述目标文件的索引号是否保存在聚合缓存中；
如果否，则利用所述文件删除请求，删除所述目标文件的元数据信息，且将所述目标文件标记为已删除。
4.根据权利要求1所述的分布式存储***聚合文件删除方法，其特征在于，所述从OSD中查找到与所述目标文件对应的对象头的过程，包括：
利用文件索引节点中记录的与所述目标文件对应的聚合文件的索引节点号和所述目标文件在所述聚合文件中的偏移量，查找到与所述目标文件对应的聚合对象，查找到所述聚合对象中所述对象头。
5.根据权利要求1所述的分布式存储***聚合文件删除方法，其特征在于，所述删除所述目标文件的元数据信息之后，还包括：
更新与所述目标文件对应的聚合文件中无效空间，当所述无效空间超过预设阈值，则将所述聚合文件中未删除的文件保存至新聚合文件中，删除所述聚合文件。
6.根据权利要求1至5任一项所述的分布式存储***聚合文件删除方法，其特征在于，所述将所述对象头中目标文件的索引号和位图均标记为删除状态的过程，包括：
将所述对象头中的数据转换为存放索引号的数组和标记磁盘存储状态的位图集；
遍历所述数组，将所述目标文件的索引号标记为删除状态；
利用所述目标文件的offset和所述目标文件的size，查找出在所述位图集中与所述目标文件对应的位图，将与所述目标文件对应的位图标记为删除状态。
7.根据权利要求6所述的分布式存储***聚合文件删除方法，其特征在于，遍历所述数组之后，还包括：
如果未查找到所述目标文件的索引号，则生成包括所述目标文件的索引号、offset和size信息的错误日志。
8.一种分布式存储***聚合文件删除***，其特征在于，包括：
元数据删除模块，用于利用文件删除请求，删除目标文件的元数据信息，且将所述目标文件标记为已删除；
对象头标记模块，用于从OSD中查找到与所述目标文件对应的对象头，将所述对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将所述新对象头写入用户终端，以使所述用户终端利用所述新对象头删除目标文件。
9.一种分布式存储***聚合文件删除装置，其特征在于，包括：
存储器，用于存储指令；其中，所述指令包括利用文件删除请求，删除目标文件的元数据信息，且将所述目标文件标记为已删除；从OSD中查找到与所述目标文件对应的对象头，将所述对象头中目标文件的索引号和位图均标记为删除状态，得到新对象头，并将所述新对象头写入用户终端，以使所述用户终端利用所述新对象头删除目标文件；
处理器，用于执行所述存储器中的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有分布式存储***聚合文件删除程序，所述分布式存储***聚合文件删除程序被处理器执行时实现如权利要求1至7任一项所述分布式存储***聚合文件删除方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711340624.8A CN107958079A (zh) | 2017-12-14 | 2017-12-14 | 聚合文件删除方法、***、装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711340624.8A CN107958079A (zh) | 2017-12-14 | 2017-12-14 | 聚合文件删除方法、***、装置及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107958079A true CN107958079A (zh) | 2018-04-24 |
Family
ID=61958958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711340624.8A Pending CN107958079A (zh) | 2017-12-14 | 2017-12-14 | 聚合文件删除方法、***、装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107958079A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271363A (zh) * | 2018-09-17 | 2019-01-25 | 平安科技（深圳）有限公司 | 一种文件存储的方法及设备 |
| CN110874182A (zh) * | 2018-08-31 | 2020-03-10 | 杭州海康威视***技术有限公司 | 一种条带索引的处理方法、装置及设备 |
| CN110908996A (zh) * | 2018-09-18 | 2020-03-24 | 北京京东尚科信息技术有限公司 | 一种数据处理的方法和装置 |
| CN111291006A (zh) * | 2020-01-21 | 2020-06-16 | 苏州浪潮智能科技有限公司 | 一种数据回收处理方法、装置、设备及可读存储介质 |
| CN112527742A (zh) * | 2020-11-05 | 2021-03-19 | 武汉大千信息技术有限公司 | 一种快速精准批量删除***中海量图片数据文件的方法 |
| CN113031871A (zh) * | 2021-03-26 | 2021-06-25 | 山东英信计算机技术有限公司 | 数据追加聚合方法、装置、电子设备及可读存储介质 |
| CN113626382A (zh) * | 2021-06-30 | 2021-11-09 | 济南浪潮数据技术有限公司 | 分布式文件***中聚合对象的索引方法、***及相关装置 |
| CN113778329A (zh) * | 2021-06-30 | 2021-12-10 | 济南浪潮数据技术有限公司 | 一种数据聚合方法、装置、设备及计算机可读存储介质 |
| CN115309766A (zh) * | 2022-10-12 | 2022-11-08 | 北京奥星贝斯科技有限公司 | 一种数据库业务执行的方法及装置 |
| CN116737670A (zh) * | 2023-08-11 | 2023-09-12 | 英诺达(成都)电子科技有限公司 | Upf文件的删除方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706805A (zh) * | 2009-10-30 | 2010-05-12 | 中国科学院计算技术研究所 | 对象存储方法及其*** |
| CN103064639A (zh) * | 2012-12-28 | 2013-04-24 | 华为技术有限公司 | 数据存储方法及装置 |
| US20140253778A1 (en) * | 2004-12-28 | 2014-09-11 | Pantech Co., Ltd. | Method of providing osd in mobile communication terminal using q-camera |
| CN105095489A (zh) * | 2015-08-18 | 2015-11-25 | 浪潮(北京)电子信息产业有限公司 | 一种分布式文件删除方法、装置和*** |
| CN107168651A (zh) * | 2017-05-19 | 2017-09-15 | 郑州云海信息技术有限公司 | 一种小文件聚合存储处理方法 |
-
2017
- 2017-12-14 CN CN201711340624.8A patent/CN107958079A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140253778A1 (en) * | 2004-12-28 | 2014-09-11 | Pantech Co., Ltd. | Method of providing osd in mobile communication terminal using q-camera |
| CN101706805A (zh) * | 2009-10-30 | 2010-05-12 | 中国科学院计算技术研究所 | 对象存储方法及其*** |
| CN103064639A (zh) * | 2012-12-28 | 2013-04-24 | 华为技术有限公司 | 数据存储方法及装置 |
| CN105095489A (zh) * | 2015-08-18 | 2015-11-25 | 浪潮(北京)电子信息产业有限公司 | 一种分布式文件删除方法、装置和*** |
| CN107168651A (zh) * | 2017-05-19 | 2017-09-15 | 郑州云海信息技术有限公司 | 一种小文件聚合存储处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| ANA AVILES-GONZALEZ: "Scalable Huge Directories through OSD+ Devices", 《PARALLEL, DISTRIBUTED AND NETWORK-BASED PROCESSING》 * |
| 刘景宁: "对象存储设备端数据管理策略研究", 《计算机研究与发展》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110874182A (zh) * | 2018-08-31 | 2020-03-10 | 杭州海康威视***技术有限公司 | 一种条带索引的处理方法、装置及设备 |
| CN110874182B (zh) * | 2018-08-31 | 2023-12-26 | 杭州海康威视***技术有限公司 | 一种条带索引的处理方法、装置及设备 |
| CN109271363A (zh) * | 2018-09-17 | 2019-01-25 | 平安科技（深圳）有限公司 | 一种文件存储的方法及设备 |
| CN109271363B (zh) * | 2018-09-17 | 2023-05-26 | 平安科技（深圳）有限公司 | 一种文件存储的方法及设备 |
| CN110908996A (zh) * | 2018-09-18 | 2020-03-24 | 北京京东尚科信息技术有限公司 | 一种数据处理的方法和装置 |
| CN111291006B (zh) * | 2020-01-21 | 2023-01-10 | 苏州浪潮智能科技有限公司 | 一种数据回收处理方法、装置、设备及可读存储介质 |
| CN111291006A (zh) * | 2020-01-21 | 2020-06-16 | 苏州浪潮智能科技有限公司 | 一种数据回收处理方法、装置、设备及可读存储介质 |
| CN112527742A (zh) * | 2020-11-05 | 2021-03-19 | 武汉大千信息技术有限公司 | 一种快速精准批量删除***中海量图片数据文件的方法 |
| CN113031871A (zh) * | 2021-03-26 | 2021-06-25 | 山东英信计算机技术有限公司 | 数据追加聚合方法、装置、电子设备及可读存储介质 |
| CN113626382A (zh) * | 2021-06-30 | 2021-11-09 | 济南浪潮数据技术有限公司 | 分布式文件***中聚合对象的索引方法、***及相关装置 |
| CN113778329A (zh) * | 2021-06-30 | 2021-12-10 | 济南浪潮数据技术有限公司 | 一种数据聚合方法、装置、设备及计算机可读存储介质 |
| CN113778329B (zh) * | 2021-06-30 | 2023-12-22 | 济南浪潮数据技术有限公司 | 一种数据聚合方法、装置、设备及计算机可读存储介质 |
| CN113626382B (zh) * | 2021-06-30 | 2024-02-23 | 济南浪潮数据技术有限公司 | 分布式文件***中聚合对象的索引方法、***及相关装置 |
| CN115309766A (zh) * | 2022-10-12 | 2022-11-08 | 北京奥星贝斯科技有限公司 | 一种数据库业务执行的方法及装置 |
| CN116737670B (zh) * | 2023-08-11 | 2023-11-17 | 英诺达(成都)电子科技有限公司 | Upf文件的删除方法、装置、设备及存储介质 |
| CN116737670A (zh) * | 2023-08-11 | 2023-09-12 | 英诺达(成都)电子科技有限公司 | Upf文件的删除方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107958079A (zh) | 聚合文件删除方法、***、装置及可读存储介质 | |
| US11645183B1 (en) | User interface for correlation of virtual machine information and storage information | |
| KR102240557B1 (ko) | 데이터 저장 방법, 장치 및 시스템 | |
| CN103136243B (zh) | 基于云存储的文件***去重方法及装置 | |
| US10275177B2 (en) | Data layout schemas for seamless data migration | |
| CN107918612B (zh) | 键值存储***数据结构的实现方法和装置 | |
| US9043540B2 (en) | Systems and methods for tracking block ownership | |
| US9798728B2 (en) | System performing data deduplication using a dense tree data structure | |
| US10509701B2 (en) | Performing data backups using snapshots | |
| US10620860B2 (en) | System for storing data in tape volume containers | |
| US8719237B2 (en) | Method and apparatus for deleting duplicate data | |
| US9047330B2 (en) | Index compression in databases | |
| EP1176523A2 (en) | System for providing extended file attributes | |
| CN104408111A (zh) | 一种删除重复数据的方法及装置 | |
| US10956051B2 (en) | Data-packed storage containers for streamlined access and migration | |
| CN104778192B9 (zh) | 表示可内容寻址存储***的目录结构 | |
| CN109522283B (zh) | 一种重复数据删除方法及*** | |
| CN103678491A (zh) | 一种基于Hadoop中小文件优化和倒排索引的方法 | |
| CN107817946A (zh) | 用于混合存储设备读写数据的方法以及装置 | |
| CN108287869A (zh) | 一种基于快速存储设备的海量小文件解决方法 | |
| CN108897859A (zh) | 一种元数据检索方法、装置、设备及计算机可读存储介质 | |
| CN104598550A (zh) | 一种网络视频索引的更新方法和装置 | |
| CN110008197A (zh) | 一种数据处理方法、***及电子设备和存储介质 | |
| CN109947729A (zh) | 一种实时数据分析方法及装置 | |
| WO2024022330A1 (zh) | 一种基于文件***的元数据管理方法及其相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180424 |