CN110399348A - 文件重删方法、装置、***及计算机可读存储介质 - Google Patents
文件重删方法、装置、***及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110399348A CN110399348A CN201910656838.9A CN201910656838A CN110399348A CN 110399348 A CN110399348 A CN 110399348A CN 201910656838 A CN201910656838 A CN 201910656838A CN 110399348 A CN110399348 A CN 110399348A
- Authority
- CN
- China
- Prior art keywords
- file
- stored
- finger print
- print information
- search module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000001360 synchronised effect Effects 0.000 claims abstract description 12
- 238000004321 preservation Methods 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文件重删方法，先接收待存储文件的指纹信息并发送至搜索模块，利用搜索模块检索其中是否存在与其相同的指纹信息，如果接收到搜索模块返回的存在指令，则不接收待存储文件的数据体，并生成待存储文件的包括指纹信息的元数据且保存至对象存储***中，如果接收到的是不存在指令，则将待存储文件的数据体以及生成的待存储文件的包括指纹信息的元数据保存至对象存储***中，并将元数据同步至搜索模块中。可见，这种方法在待存储文件是重复文件的情况下，大大减少了网络带宽和存储空间的占用，提高了对象存储***的存储效率。本发明还公开了一种文件重删装置、***及计算机可读存储介质，具有与上述文件重删方法相同的有益效果。
Description
技术领域
本发明涉及文件重删领域，特别是涉及一种文件重删方法、装置、***及计算机可读存储介质。
背景技术
对象存储***中总是存在着大量的重复数据，为了提高其空间利用效率，常见的对象存储***都提供有数据重删的功能。数据重删的原理为：通过对比数据的指纹信息判断数据是否一致，如果一致，则将重复的存储数据删减，从而达到节省空间的目的。文件重删是以文件为单位进行指纹信息计算的，目前常见的文件重删方法需要先将文件存入对象存储***中，通过对象存储***搜索自身是否存在与存入文件的指纹信息一致的指纹信息，若存在，则删除存入的文件，否则保留存入的文件。由于这种重删方法在存入的是重复文件的情况下，先存入文件再进行重删，最后再删除文件，从而占用了大量的网络带宽和存储空间，导致对象存储***存储效率低下。
发明内容
本发明的目的是提供一种文件重删方法、装置、***及计算机可读存储介质，能够在待存储文件是重复文件的情况下，大大减少网络带宽和存储空间的占用，提高对象存储***的存储效率。
为解决上述技术问题，本发明提供了一种文件重删方法，包括：
接收客户端发送的包括待存储文件的指纹信息的请求；
发送所述指纹信息至搜索模块，以便所述搜索模块检索所述搜索模块中是否存在与所述指纹信息相同的指纹信息；
如果接收到所述搜索模块返回的存在指令，则不接收所述待存储文件的数据体，生成所述待存储文件的包括所述指纹信息的元数据并保存至对象存储***中；
如果接收到所述搜索模块返回的不存在指令，则将所述待存储文件的数据体以及生成的所述待存储文件的包括所述指纹信息的元数据保存至所述对象存储***中，并将所述元数据同步至所述搜索模块中。
优选地，在不接收所述待存储文件的数据体，生成所述待存储文件的包括所述指纹信息的元数据并保存至对象存储***中之后，还包括：
将与所述待存储文件的指纹信息一致的文件的数据体的引用计数加一。
优选地，所述的文件重删方法还包括：
接收所述客户端发送的文件删除指令，并判断所述文件删除指令对应的所述对象存储***的文件的引用计数是否大于一；
若是，则不删除所述文件删除指令对应的所述对象存储***的文件，将所述引用计数减一；
否则，将所述引用计数清零，并删除所述对象存储***中的文件。
优选地，所述元数据及所述文件删除指令均包括对象名称。
优选地，在不接收所述待存储文件的数据体，生成所述待存储文件的包括所述指纹信息的元数据并保存至对象存储***中之后，以及在将所述元数据同步至所述搜索模块中之后，均还包括：
发送成功上传信息至所述客户端。
优选地，所述搜索模块为ElasticSearch搜索引擎。
为解决上述技术问题，本发明还提供了一种文件重删装置，包括：
接收模块，用于接收客户端发送的包括待存储文件的指纹信息的请求；
发送模块，用于发送所述指纹信息至搜索模块，以便所述搜索模块检索所述搜索模块中是否存在与所述指纹信息相同的指纹信息；
处理模块，用于如果接收到所述搜索模块返回的存在指令，则不接收所述待存储文件的数据体，生成所述待存储文件的包括所述指纹信息的元数据并保存至对象存储***中；
如果接收到所述搜索模块返回的不存在指令，则将所述待存储文件的数据体以及生成的所述待存储文件的包括所述指纹信息的元数据保存至所述对象存储***中，并将所述元数据同步至所述搜索模块中。
为解决上述技术问题，本发明还提供了一种文件重删***，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述文件重删方法的步骤。
为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述文件重删方法的步骤。
本发明提供了一种文件重删方法，无需先存入待存储文件进对象存储***再进行重删操作，而是通过先接收待存储文件的指纹信息并发送至搜索模块，利用搜索模块检索其中是否存在与其一致的指纹信息，若存在则不接收待存储文件的数据体，否则接收并保存待存储文件的数据体进对象存储***。可见，这种方法在待存储文件是重复文件的情况下，大大减少了网络带宽和存储空间的占用，提高了对象存储***的存储效率。
本发明还提供了一种文件重删装置、***及计算机可读存储介质，具有与上述文件重删方法相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种文件重删方法的流程图；
图2为本发明提供的一种文件重删装置的结构示意图；
图3为本发明提供的一种文件重删***的结构示意图。
具体实施方式
本发明的核心是提供一种文件重删方法、装置、***及计算机可读存储介质，能够在待存储文件是重复文件的情况下，大大减少网络带宽和存储空间的占用，提高对象存储***的存储效率。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明实施例提供的一种文件重删方法的流程图，具体步骤包括：
S1：接收客户端发送的包括待存储文件的指纹信息的请求；
本申请中，每个待存储文件都有用来保证文件唯一性的指纹信息，用来指代特定的待存储文件，不同的待存储文件有不同的指纹信息，当待存储文件的内容改变时，指纹信息也会相应改变，从而保证了文件的唯一性。
具体地，接收客户端发送的put请求，put请求中包括了待存储文件的指纹信息，该指纹信息是由客户端用特定的算法对待存储文件进行计算而得到的。
S2：发送指纹信息至搜索模块，以便搜索模块检索搜索模块中是否存在与上述指纹信息相同的指纹信息；
具体地，发送待存储文件的指纹信息至搜索模块，搜索模块接收待存储文件的指纹信息，用该指纹信息与搜索模块自身事前存储好的指纹信息作对比检索，判断自身事前存储好的指纹信息中是否存在与待存储文件的指纹信息相同的指纹信息。其中，搜索模块自身事前存储好的指纹信息为对象存储***中已存储的文件的指纹信息。
S3：如果接收到搜索模块返回的存在指令，则不接收待存储文件的数据体，生成待存储文件的包括指纹信息的元数据并保存至对象存储***中；
如果搜索模块检索到自身存在与待存储文件的指纹信息相同的指纹信息，则表明该待存储文件为重复文件，不需要存储进对象存储***中，则搜索模块发送存在指令。在接收到搜索模块返回的存在指令后，不接收待存储文件的数据体，并生成待存储文件的元数据，元数据中包含了待存储文件的指纹信息，同时，将元数据保存至对象存储***中，并指向对象存储***中具有与上述指纹信息相同的文件的数据体。
S4：如果接收到搜索模块返回的不存在指令，则将待存储文件的数据体以及生成的待存储文件的包括指纹信息的元数据保存至对象存储***中，并将元数据同步至搜索模块中。
如果搜索模块没有检索到自身存在与待存储文件的指纹信息相同的指纹信息，则表明该待存储文件不是重复文件，可以存储进对象存储***中，则搜索模块发送不存在指令。在接收到搜索模块返回的不存在指令后，接收待存储文件的数据体并存入对象存储***中，并生成待存储文件的元数据，元数据中包含了待存储文件的指纹信息，同时，将元数据保存至对象存储***中并指向待存储文件的数据体，最后将元数据同步至搜索模块中，以便搜索模块在之后的重删过程中用其进行对比检索。
其中，待存储文件的指纹信息可以通过Hash算法计算得到，Hash算法是一种能从任意文件中计算生成指纹信息的方法，这种算法把原有的存储体积很大的待存储文件用若干个字符来记录，这若干个字符即为待存储文件的指纹信息，待存储文件中的每一个字节的改变都会使得该文件的指纹信息改变，从而保证了文件的唯一性。通过这种算法计算得出的指纹信息与待存储文件中的每一个字节都相关，从而极大程度上保证了待存储文件的唯一性。当然，除了Hash算法，本申请还可以使用任何能计算生成待存储文件的指纹信息的算法，根据实际情况来定，本申请在此不作特别的限定。
综上，本申请提供了一种文件重删方法，无需先存入待存储文件进对象存储***再进行重删操作，而是通过先接收待存储文件的指纹信息并发送至搜索模块，利用搜索模块检索其中是否存在与其一致的指纹信息，若存在则不接收待存储文件的数据体，否则接收并保存待存储文件的数据体进对象存储***。可见，这种方法在待存储文件是重复文件的情况下，大大减少了网络带宽和存储空间的占用，提高了对象存储***的存储效率。
在上述实施例的基础上：
作为一种优选的实施例，在不接收待存储文件的数据体，生成待存储文件的包括指纹信息的元数据并保存至对象存储***中之后，还包括：
将与待存储文件的指纹信息一致的文件的数据体的引用计数加一。
本实施例中，在生成待存储文件的包括指纹信息的元数据并保存至对象存储***中之后，将该元数据指向与待存储文件的指纹信息一致的文件的数据体，并将与待存储文件的指纹信息一致的文件的数据体的引用计数加一，以建立客户端对该数据体的引用关系，引用计数用以记录对象存储***里的文件的数据体被几个客户端引用，每当有一个客户端引用对象存储***里的文件，引用计数加一。这样，以便后续接收到客户端发送的文件删除指令时，根据引用计数来判断是否有多个客户端引用该文件，从而判断能否删除该文件。
作为一种优选的实施例，文件重删方法还包括：
接收客户端发送的文件删除指令，并判断文件删除指令对应的对象存储***的文件的引用计数是否大于一；
若是，则不删除文件删除指令对应的对象存储***的文件，将引用计数减一；
否则，将引用计数清零，并删除对象存储***中的文件。
具体地，接收客户端发送的文件删除指令，根据文件删除指令中的信息在对象存储***里找到文件删除指令指定的文件。然后获取该文件的引用计数，判断该引用计数是否大于一，如果大于一，则表明该文件正在被多个客户端引用，不能直接删除该文件，所以将其引用计数减一，取消发送文件删除指令的客户端对该文件的引用。如果该引用计数不大于一，则表明该文件只被一个客户端引用，则将该文件的引用计数清零，并直接删除该文件。
可见，通过判断对象存储***的文件的引用计数是否为一，来判断能否删除该文件，防止了对象存储***中的文件被多个客户端引用的时候被删除，导致文件不能被引用的问题。
作为一种优选的实施例，元数据及文件删除指令均包括对象名称。
本实施例中，接收客户端发送的文件删除指令，并获取文件删除指令中的对象名称，然后，通过寻找与文件删除指令包含相同对象名称的元数据，进而找到元数据指向的需要删除的对象存储***中的文件，并将其删除。可见，将对象名称记录在元数据和文件删除指令中，便于查找文件删除指令指定的文件。当然元数据及文件删除指令中包含的信息可以但不仅限于对象名称，还可以为其他可以指明特定文件的信息，本申请在此不作特别的限定。
作为一种优选的实施例，在不接收待存储文件的数据体，生成待存储文件的包括指纹信息的元数据并保存至对象存储***中之后，以及在将元数据同步至搜索模块中之后，均还包括：
发送成功上传信息至客户端。
本实施例中，向客户端发送成功上传信息，客户端接收到该发送成功信息后，提醒用户，以便用户知晓待存储文件已成功存入对象存储***里。具体地，客户端在接收到该发送成功信息后，可以以声音和/或文字的形式提醒用户待存储文件上传成功，本申请对于客户端具体选用哪种方式提醒用户不作特别的限定，根据实际情况来定。此外，在实际应用中，如果待存储文件和/或待存储文件的包括指纹信息的元数据没有存入对象存储***，则可以向客户端发送上传失败信息，以便用户检查上传失败的原因，重新上传文件。
作为一种优选的实施例，搜索模块为ElasticSearch搜索引擎。
本实施例中，将接收到的待存储文件的指纹信息发送至ElasticSearch搜索引擎，ElasticSearch搜索引擎利用待存储文件的指纹信息与事前存储于自身数据库的指纹信息做搜索比对，若发现自身数据库中存在与待存储文件的指纹信息相同的指纹信息，则发送存在指令，否则，发送不存在指令。且ElasticSearch搜索引擎接收到同步的元数据后，提取元数据中的指纹信息并存入自身的数据库中，以供下次搜索比对。当然，本申请还可以使用其他可以实现文件的指纹信息检索的搜索模块，对于具体选用哪种搜索模块进行指纹信息的检索，本申请在此不作特别的限定。
可见，采用ElasticSearch搜索引擎作为搜索模块，无需对象存储***本身去检索文件的指纹信息，减少了对象存储***的工作量，使得对象存储***更高效地去完成文件重删工作，且由于ElasticSearch搜索引擎是现有的数据搜索技术，工作人员可以直接将其集成进对象存储***中，减轻了工作人员开发对象存储***的工作量。
请参照图2，图2为本发明提供的一种文件重删装置的结构示意图，该文件重删装置包括：
接收模块21，用于接收客户端发送的包括待存储文件的指纹信息的请求；
发送模块22，用于发送指纹信息至搜索模块，以便搜索模块检索搜索模块中是否存在与指纹信息相同的指纹信息；
处理模块23，用于如果接收到搜索模块返回的存在指令，则不接收待存储文件的数据体，生成待存储文件的包括指纹信息的元数据并保存至对象存储***中；
如果接收到搜索模块返回的不存在指令，则将待存储文件的数据体以及生成的待存储文件的包括指纹信息的元数据保存至对象存储***中，并将元数据同步至搜索模块中。
本实施例为文件重删方法对应的文件重删装置实施例，对于本实施例提供的文件重删装置的介绍请参照上述实施例，本发明在此不再赘述。
请参照图3，图3为本发明提供的一种文件重删***的结构示意图，该文件重删***包括：
存储器31，用于存储计算机程序；
处理器32，用于执行计算机程序时实现如上述文件重删方法的步骤。
本实施例为文件重删方法对应的文件重删***实施例，对于本实施例提供的文件重删***的介绍请参照上述实施例，本发明在此不再赘述。
进一步的，本发明还提供了一种计算机可读存储介质，用于存储计算机程序，计算机程序被处理器32执行时实现如上述文件重删方法的步骤。
本实施例为文件重删方法对应的计算机可读存储介质实施例，对于本实施例提供的计算机可读存储介质的介绍请参照上述实施例，本发明在此不再赘述。
还需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方案、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方案、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方案、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种文件重删方法，其特征在于，包括：
接收客户端发送的包括待存储文件的指纹信息的请求；
发送所述指纹信息至搜索模块，以便所述搜索模块检索所述搜索模块中是否存在与所述指纹信息相同的指纹信息；
如果接收到所述搜索模块返回的存在指令，则不接收所述待存储文件的数据体，生成所述待存储文件的包括所述指纹信息的元数据并保存至对象存储***中；
如果接收到所述搜索模块返回的不存在指令，则将所述待存储文件的数据体以及生成的所述待存储文件的包括所述指纹信息的元数据保存至所述对象存储***中，并将所述元数据同步至所述搜索模块中。
2.如权利要求1所述的文件重删方法，其特征在于，在不接收所述待存储文件的数据体，生成所述待存储文件的包括所述指纹信息的元数据并保存至对象存储***中之后，还包括：
将与所述待存储文件的指纹信息一致的文件的数据体的引用计数加一。
3.如权利要求2所述的文件重删方法，其特征在于，还包括：
接收所述客户端发送的文件删除指令，并判断所述文件删除指令对应的所述对象存储***的文件的引用计数是否大于一；
若是，则不删除所述文件删除指令对应的所述对象存储***的文件，将所述引用计数减一；
否则，将所述引用计数清零，并删除所述对象存储***中的文件。
4.如权利要求3所述的文件重删方法，其特征在于，所述元数据及所述文件删除指令均包括对象名称。
5.如权利要求1所述的文件重删方法，其特征在于，在不接收所述待存储文件的数据体，生成所述待存储文件的包括所述指纹信息的元数据并保存至对象存储***中之后，以及在将所述元数据同步至所述搜索模块中之后，均还包括：
发送成功上传信息至所述客户端。
6.如权利要求1至5任一项所述的文件重删方法，其特征在于，所述搜索模块为ElasticSearch搜索引擎。
7.一种文件重删装置，其特征在于，包括：
接收模块，用于接收客户端发送的包括待存储文件的指纹信息的请求；
发送模块，用于发送所述指纹信息至搜索模块，以便所述搜索模块检索所述搜索模块中是否存在与所述指纹信息相同的指纹信息；
处理模块，用于如果接收到所述搜索模块返回的存在指令，则不接收所述待存储文件的数据体，生成所述待存储文件的包括所述指纹信息的元数据并保存至对象存储***中；
如果接收到所述搜索模块返回的不存在指令，则将所述待存储文件的数据体以及生成的所述待存储文件的包括所述指纹信息的元数据保存至所述对象存储***中，并将所述元数据同步至所述搜索模块中。
8.一种文件重删***，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的文件重删方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述文件重删方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910656838.9A CN110399348A (zh) | 2019-07-19 | 2019-07-19 | 文件重删方法、装置、***及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910656838.9A CN110399348A (zh) | 2019-07-19 | 2019-07-19 | 文件重删方法、装置、***及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110399348A true CN110399348A (zh) | 2019-11-01 |
Family
ID=68324747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910656838.9A Pending CN110399348A (zh) | 2019-07-19 | 2019-07-19 | 文件重删方法、装置、***及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110399348A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110908966A (zh) * | 2019-11-15 | 2020-03-24 | 浪潮电子信息产业股份有限公司 | 一种重删率计算方法、装置、设备及可读存储介质 |
| CN111090620A (zh) * | 2019-12-06 | 2020-05-01 | 浪潮电子信息产业股份有限公司 | 一种文件存储方法、装置、设备及可读存储介质 |
| CN111143288A (zh) * | 2019-12-22 | 2020-05-12 | 北京浪潮数据技术有限公司 | 一种数据存储方法、***及相关装置 |
| CN111177088A (zh) * | 2019-12-29 | 2020-05-19 | 北京浪潮数据技术有限公司 | 一种数据重删方法、装置及电子设备和存储介质 |
| CN111581166A (zh) * | 2020-04-03 | 2020-08-25 | 北京明略软件***有限公司 | 一种文件存储方法和装置 |
| CN111737206A (zh) * | 2020-06-06 | 2020-10-02 | 苏州浪潮智能科技有限公司 | 一种文件重删处理方法、***、终端及存储介质 |
| CN111970381A (zh) * | 2020-09-06 | 2020-11-20 | 苏州浪潮智能科技有限公司 | 一种文件重删追加上传方法、***、设备及存储介质 |
| CN114675783A (zh) * | 2022-03-25 | 2022-06-28 | 苏州浪潮智能科技有限公司 | 一种数据存储方法、***、设备以及介质 |
| CN114675783B (zh) * | 2022-03-25 | 2024-06-21 | 苏州浪潮智能科技有限公司 | 一种数据存储方法、***、设备以及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101917396A (zh) * | 2010-06-25 | 2010-12-15 | 清华大学 | 一种网络文件***中数据的实时去重和传输方法 |
| CN102915278A (zh) * | 2012-09-19 | 2013-02-06 | 浪潮(北京)电子信息产业有限公司 | 重复数据删除方法 |
| CN105511814A (zh) * | 2015-12-11 | 2016-04-20 | 上海爱数信息技术股份有限公司 | 一种静态数据文件的存储方法 |
| CN105955675A (zh) * | 2016-06-22 | 2016-09-21 | 南京邮电大学 | 一种用于去中心云环境的重复数据删除***及方法 |
| CN107391761A (zh) * | 2017-08-28 | 2017-11-24 | 郑州云海信息技术有限公司 | 一种基于重复数据删除技术的数据管理方法及装置 |
-
2019
- 2019-07-19 CN CN201910656838.9A patent/CN110399348A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101917396A (zh) * | 2010-06-25 | 2010-12-15 | 清华大学 | 一种网络文件***中数据的实时去重和传输方法 |
| CN102915278A (zh) * | 2012-09-19 | 2013-02-06 | 浪潮(北京)电子信息产业有限公司 | 重复数据删除方法 |
| CN105511814A (zh) * | 2015-12-11 | 2016-04-20 | 上海爱数信息技术股份有限公司 | 一种静态数据文件的存储方法 |
| CN105955675A (zh) * | 2016-06-22 | 2016-09-21 | 南京邮电大学 | 一种用于去中心云环境的重复数据删除***及方法 |
| CN107391761A (zh) * | 2017-08-28 | 2017-11-24 | 郑州云海信息技术有限公司 | 一种基于重复数据删除技术的数据管理方法及装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110908966A (zh) * | 2019-11-15 | 2020-03-24 | 浪潮电子信息产业股份有限公司 | 一种重删率计算方法、装置、设备及可读存储介质 |
| CN110908966B (zh) * | 2019-11-15 | 2022-06-10 | 浪潮电子信息产业股份有限公司 | 一种重删率计算方法、装置、设备及可读存储介质 |
| CN111090620A (zh) * | 2019-12-06 | 2020-05-01 | 浪潮电子信息产业股份有限公司 | 一种文件存储方法、装置、设备及可读存储介质 |
| CN111090620B (zh) * | 2019-12-06 | 2022-04-22 | 浪潮电子信息产业股份有限公司 | 一种文件存储方法、装置、设备及可读存储介质 |
| CN111143288A (zh) * | 2019-12-22 | 2020-05-12 | 北京浪潮数据技术有限公司 | 一种数据存储方法、***及相关装置 |
| CN111177088A (zh) * | 2019-12-29 | 2020-05-19 | 北京浪潮数据技术有限公司 | 一种数据重删方法、装置及电子设备和存储介质 |
| CN111581166A (zh) * | 2020-04-03 | 2020-08-25 | 北京明略软件***有限公司 | 一种文件存储方法和装置 |
| CN111737206B (zh) * | 2020-06-06 | 2023-01-10 | 苏州浪潮智能科技有限公司 | 一种文件重删处理方法、***、终端及存储介质 |
| CN111737206A (zh) * | 2020-06-06 | 2020-10-02 | 苏州浪潮智能科技有限公司 | 一种文件重删处理方法、***、终端及存储介质 |
| CN111970381A (zh) * | 2020-09-06 | 2020-11-20 | 苏州浪潮智能科技有限公司 | 一种文件重删追加上传方法、***、设备及存储介质 |
| CN111970381B (zh) * | 2020-09-06 | 2022-06-21 | 苏州浪潮智能科技有限公司 | 一种文件重删追加上传方法、***、设备及存储介质 |
| CN114675783A (zh) * | 2022-03-25 | 2022-06-28 | 苏州浪潮智能科技有限公司 | 一种数据存储方法、***、设备以及介质 |
| CN114675783B (zh) * | 2022-03-25 | 2024-06-21 | 苏州浪潮智能科技有限公司 | 一种数据存储方法、***、设备以及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110399348A (zh) | 文件重删方法、装置、***及计算机可读存储介质 | |
| US9792340B2 (en) | Identifying data items | |
| CN104331428B (zh) | 一种小文件和大文件的存储及访问方法 | |
| CN102117309B (zh) | 一种数据缓存***和数据查询方法 | |
| US6754799B2 (en) | System and method for indexing and retrieving cached objects | |
| CN103548003B (zh) | 用于提高去重复***备份性能的客户端侧指纹缓存的方法和*** | |
| CN102542052B (zh) | 优先散列索引 | |
| US10747951B2 (en) | Webpage template generating method and server | |
| CN109739815B (zh) | 文件处理方法、***、装置、设备及存储介质 | |
| CN104834713A (zh) | 对终端设备的图像数据进行存储及传输处理的方法及*** | |
| CN104778270A (zh) | 一种用于多文件的存储方法 | |
| CN109766318B (zh) | 文件读取方法及装置 | |
| CN101867607A (zh) | 一种分布式数据存取方法、装置及*** | |
| CN104679898A (zh) | 一种大数据访问方法 | |
| CN103279474A (zh) | 一种视频文件索引方法及*** | |
| CN108694188B (zh) | 一种索引数据更新的方法以及相关装置 | |
| CN106874348A (zh) | 文件存储和索引方法、装置及读取文件的方法 | |
| CN110321325A (zh) | 文件索引节点查找方法、终端、服务器、***及存储介质 | |
| CN106161193B (zh) | 一种邮件处理方法、装置和*** | |
| CN108540510B (zh) | 一种云主机创建方法、装置及云服务*** | |
| CN104899161B (zh) | 一种基于云存储环境的连续数据保护的缓存方法 | |
| CN110287201A (zh) | 数据访问方法、装置、设备及存储介质 | |
| US20080071992A1 (en) | Method and Apparatus for Space Efficient Identification of Candidate Objects for Eviction from a Large Cache | |
| CN107181773A (zh) | 分布式存储***的数据存储及数据管理方法、设备 | |
| CN111046106A (zh) | 缓存数据同步方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191101 |