CN111338853B - 一种基于Linux的数据实时存储***及方法 - Google Patents

一种基于Linux的数据实时存储***及方法 Download PDF

Info

Publication number
CN111338853B
CN111338853B CN202010182063.9A CN202010182063A CN111338853B CN 111338853 B CN111338853 B CN 111338853B CN 202010182063 A CN202010182063 A CN 202010182063A CN 111338853 B CN111338853 B CN 111338853B
Authority
CN
China
Prior art keywords
data
index table
memory
written
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010182063.9A
Other languages
English (en)
Other versions
CN111338853A (zh
Inventor
赵熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Ecloud Technology Co ltd
Original Assignee
Nanjing Ecloud Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Ecloud Technology Co ltd filed Critical Nanjing Ecloud Technology Co ltd
Priority to CN202010182063.9A priority Critical patent/CN111338853B/zh
Publication of CN111338853A publication Critical patent/CN111338853A/zh
Application granted granted Critical
Publication of CN111338853B publication Critical patent/CN111338853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G06F8/62—Uninstallation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于Linux的数据实时存储***，包括主机以及设置在主机中的处理模块、内存和至少一个存储设备；内存用于存储即将写入存储设备的数据、索引表一和索引表二；存储设备中设有保存实时数据的实际卷和备份文件；所述处理模块根据内存中写入或读取的数据结合索引表一和索引表二选择数据写入和读取的位置，并更新索引表一和索引表二。本发明公开一种基于上述基于Linux的数据实时存储***的存储方法，存储***中快照状态和增量状态交替工作。本发明大大降低了I/O操作，提高了***性能；同时在用户拷贝数据的过程中不影响***正常运作、不限制备份文件挂载点。

Description

一种基于Linux的数据实时存储***及方法
技术领域
本发明属于计算机领域，特别涉及一种基于Linux的数据实时存储***及方法。
背景技术
互联网急速发展的当下，数据是重中之重，实际过程中人为不当的操作、硬件故障、恶意的攻击等等原因都会造成数据的丢失或损坏，尤其是重要的数据，将会造成灾难性的损失，数据的备份变的极为重要。
传统的备份多种多样，目前写时备份的技术存在的缺陷很明显。生产***的在线备份无法实时操作影响业务使用、备份文件占用额外的物理盘空间、数据拷贝的方式原本一次的I/O写磁盘操作需要三次才能实现备份、传统备份时需要设备卷只读无法写入数据、增量备份过程较慢、增量备份失败后需要全量备份等问题。
发明内容
发明目的：本发明针对现有技术存在的问题，提出了一种能够有效提高数据备份效率的基于Linux的数据实时存储***。
技术方案：为实现上述目的，本发明提供了一种基于Linux的数据实时存储***，包括主机以及设置在主机中的处理模块、内存和至少一个存储设备；内存用于存储即将写入存储设备的数据、索引表一和索引表二；存储设备中设有用于保存实时数据的实际卷和备份文件；索引表一和索引表二均为key映射value的结构，其中，索引表一中key1为实际卷中数据块的块号，value1用于记录数据块是否被修改的修改状态值；索引表二中key2为根据存储的数据内容hash计算出的值，value2中记录每个数据内容引用的数据块的块号、引用次数和引用次数超过引用阈值的数据内容；所述处理模块根据内存中写入或读取的数据结合索引表一和索引表二选择数据写入和读取的位置，并更新索引表一和索引表二。
其中，所述存储设备有两个，一个用于保存实际卷；另一个用于保存备份文件。这样存储***在快照模式下，可以减少同设备的I/O操作；从而提高数据存储的速度。
为了存储***能够在修改其中存储数据的同时，又能够保证用户正常的数据读取和拷贝，存储***在所述处理模块中创建一个dev设备节点，所述dev设备节点用于执行读操作。
本发明还提供了一种基于上述Linux的数据实时存储***的存储方法，具体包括：在初始状态下，根据实际卷中的原始数据在内存中创建索引表一和索引表二；***在快照状态和增量状态交替进行工作；其中，在快照状态下，处理模块对写入内存的数据进行处理并在索引表一和索引表二中的查询，判断内存中的数据需要存储的位置，将需要修改的实际卷中对应的数据块中的数据写到备份文件中，并更新索引表一和索引表二；然后对备份文件中的数据和实际卷中的数据通过PageRank算法进行增量合成；在增量状态下，处理模块截断备份文件中备份的数据并对写入内存的数据进行处理且在索引表一和索引表二中的查询，根据结果更新索引表一和索引表二。
其中，在所述处理模块中创建一个dev设备节点，处理模块先判断接受到的操作指令是读操作还是写操作，如果是读操作，则将读操作发送到dev设备节点，通过dev设备节点读取所需数据。这样可以实现读操作和写操作并行进行。
进一步，所述处理模块对写入内存的数据进行处理的方法为：对写入内存的数据按照内存页大小进行拆分，通过多线程并行的方式，分别用hash算法对写入数据进行计算，生成索引表二中每个数据唯一的key2值。这样能够有效的提高数据的存储和读取速度。
工作原理：本发明主要在内存中创建了索引表一和索引表二，根据写入和读取的数据内容，不断的更新索引表一和表二的关系，依据这两个表设置了两种工作状态，快照状态下，存储设备上的备份文件都维护存储设备上的块缓存数据，该缓存初始化缺省占原始卷总大小的10％，用于在备份过程中实现写时复制。当转为增量模式，删除备份文件，这样可以释放空间供文件***的其余部分使用；处理模块只需要内存中跟踪写入，并根据需要定期将其同步到索引表中，大大提升性能。在此模式下，处理模块只是跟踪磁盘修改的块号，记录到索引表中。对于增量备份合成，通过辅助开发的并行合成工具更加快速合成，恢复数据状态。本发明中还可以采用两个存储设备来分别存储实际卷和备份文件，这样将I/O写转移到另一个存储设备上，减轻一次同一存储设备I/O写入负载，能够使整个存储***的性能得到大幅提升。
有益效果：与现有技术相比，本发明具有以下显而易见的优势：本发明能够在后期数据进行备份或拷贝的是过程中不影响***正常运作、不限制备份文件挂载点、能大大降低I/O操作提高性能、同时加速增量合成的实现方法，在备份容灾***等领域，具有广发的应用前景。
附图说明
图1为本发明提供的存储***在快照状态下进行写操作的工作流程图；
图2为本发明提供的存储***在增量状态下进行写操作的工作流程图；
图3为本发明提供的存储***在快照状态下同时进行写操作和读操作的工作流程图；
图4为本发明提供的存储***在增量状态下同时进行写操作和读操作的工作流程图。
具体实施方式
下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例公开的一种基于linux***的实时数据存储方法，该方法应用于存储***中，该存储***包括主机以及设置在主机中的处理模块、内存和至少一个存储设备；该方法主要在主机上执行；本实施例中的主机上安装的linux***及其他上层应用程序，处理模块根据写入和需要读取的具体数据选择数据写入和读取的位置。内存用于存储即将写入存储设备的数据、索引表一和索引表二；存储设备中设有保存实时数据的实际卷和备份文件。主机主要是服务器、笔记本、台式计算机等终端设备；存储设备可以是硬盘、磁盘等硬件存储设备。
其中，索引表一是key映射value的结构，索引表一中key1为实际卷中数据块的块号，value1用于记录数据块是否被修改的修改状态值。在初始状态下，每个数据块对应的修改状态值记为0，当数据块被修改后，其修改状态值记为1。索引表二也是key映射value的结构。索引表二中key2为根据存储的数据内容hash计算出的值，value2中记录每个数据内容引用的数据块的块号、引用次数和引用次数超过引用阈值的数据内容。本实施例中引用阈值设为10。
本实施例中公开的基于linux***的实时数据存储方法主要包括两种状态下的数据存储，一种是快照状态，另一种是增量状态；这两种状态交替进行。在初始状态下，根据实际卷中的原始数据在内存中创建索引表一和索引表二。处理模块定期将内存中的索引表一和索引表二发送到备份文件中。
其中，如图1所示，快照状态进行写操作包括以下步骤：
步骤11：对写入内存的数据按照内存页大小进行拆分，通过多线程并行的方式，分别用hash算法对写入数据进行计算，生成索引表二中每个数据唯一的key2值；根据写入的数据即将要写入的数据块的块号，在索引表一中找到对应数据块的修改状态值，如果此时对应数据块的修改状态值为0；则执行步骤12；否则执行步骤13；
步骤12：对应数据块的修改状态值为0，则克隆此时实际卷中对应数据块中的数据内容，写入备份文件中，并修改索引表一中对应数据块的修改状态值；执行步骤13；
步骤13：根据步骤11中获得写入数据的key2值查询索引表二，如果写入数据已经在索引表二中记载，则判断该写入数据即将需要写入的数据块是否已经有这个数据，如果有，则更新引用次数，如果没有这个数据，则将即将写入数据块的块号写入索引表二中并更新引用次数；如果写入数据没有在索引表二中记载，则在表二中创建新的索引关系；
步骤14：判断写入数据的引用次数，如果写入数据对应的引用次数超过引用阈值，则将该数据保存在内存中；如果写入数据对应的引用次数不超过引用阈值，则将该数据写入存储设备的实际卷中；
步骤15：对备份文件中的数据和实际卷中的数据通过PageRank算法进行增量合成。
如图2所示，当在增量状态下进行写操作主要包括以下步骤：
步骤21：处理模块截断备份文件中备份的数据，保留索引表一和索引表二；
步骤22：对写入内存的数据按照内存页大小进行拆分，通过多线程并行的方式，分别用hash算法对写入数据进行计算，生成索引表二中每个数据唯一的key2值；
步骤23：在索引表一中根据数据所要写入的数据块的块号查找数据块的修改状态值并修改；
步骤24：根据步骤22中获得写入数据的元数据查询索引表二，如果写入数据已经在索引表二中记载，则判断该写入数据即将需要写入的数据块是否已经有这个数据，如果有，则更新引用次数，如果没有这个数据，则将即将写入数据块的块号写入索引表二中并更新引用次数；如果写入数据没有在索引表二中记载，则在表二中创建新的索引关系；
处理模块还创建了一个dev设备节点，供用户进行读操作，这样在用户进行数据备份的同时，也可以对存储***中的数据进行修改。当读操作和写操作同时进行时，如图3所示，主机处于快照状态下时，用户备份数据主要包括以下步骤：
步骤31：处理模块判断接受到的指令是读操作还是写操作，如果是读操作则执行步骤32~33，如果是写操作则执行步骤34~38；
步骤32：对需要读取的数据按照内存页大小进行拆分，通过多线程并行的方式，分别用hash算法对写入数据进行计算，生成索引表二中每个数据唯一的key2值；
步骤33：将读操作发送到dev设备节点；判断需要读取的数据对应的数据块在索引表一中对应的修改状态值；如果对应的修改状态值为0，则直接从存储从实际卷中对应的数据块号中读取数据；如果对应的修改状态值为1，则根据读取数据的key2值查询索引表二，如果需要读取的数据的索引次数大于阈值，则直接从内存中将数据读出，如果需要读取的数据的索引次数不大于阈值，则在索引表二中找到对应的数据块号，从实际卷中对应的数据块号中将数据读出；
步骤34：对写入内存的数据按照内存页大小进行拆分，通过多线程并行的方式，分别用hash算法对写入数据进行计算，生成索引表二中每个数据唯一的key2值；根据写入的数据即将要写入的数据块的块号，在索引表一中找到对应数据块的修改状态值，如果此时对应数据块的修改状态值为0；则执行步骤35；否则执行步骤36；
步骤35：对应数据块的修改状态值为0，则克隆此时实际卷中对应数据块中的数据内容，写入备份文件中，并修改索引表一中对应数据块的修改状态值；执行步骤36；
步骤36：根据步骤34中获得写入数据的key2值查询索引表二，如果写入数据已经在索引表二中记载，则判断该写入数据即将需要写入的数据块是否已经有这个数据，如果有，则更新引用次数，如果没有这个数据，则将即将写入数据块的块号写入索引表二中并更新引用次数；如果写入数据没有在索引表二中记载，则在表二中创建新的索引关系；
步骤37：判断写入数据的引用次数，如果写入数据对应的引用次数超过引用阈值，则将该数据保存在内存中；如果写入数据对应的引用次数不超过引用阈值，则将该数据写入存储设备的实际卷中；
步骤38：对备份文件中的数据和实际卷中的数据进行增量合成。
当读操作和写操作同时进行时，如图4所示，主机处于增量状态下时，用户备份数据主要包括以下步骤：
步骤41：处理模块判断接受到的指令是读操作还是写操作，如果是读操作则执行步骤42~43，如果是写操作则执行步骤44~47；
步骤42：对需要读取的数据按照内存页大小进行拆分，通过多线程并行的方式，分别用hash算法对写入数据进行计算，生成索引表二中每个数据唯一的key2值；
步骤43：将读操作发送到dev设备节点；判断需要读取的数据对应的数据块在索引表一中对应的修改状态值；如果对应的修改状态值为0，则直接从存储从实际卷中对应的数据块号中读取数据；如果对应的修改状态值为1，则根据读取数据的元数据查询索引表二，如果需要读取的数据的索引次数大于阈值，则直接从内存中将数据读出，如果需要读取的数据的索引次数不大于阈值，则在索引表二中找到对应的数据块号，从实际卷中对应的数据块号中将数据读出；
步骤44：处理模块截断备份文件中的备份的数据，保留索引表一和索引表二；
步骤45：对写入内存的数据按照内存页大小进行拆分，通过多线程并行的方式，分别用hash算法对写入数据进行计算，生成索引表二中每个数据唯一的key2值；
步骤46：在索引表一中根据数据所要写入的数据块的块号查找数据块的修改状态值并修改；
步骤47：根据步骤45中获得写入数据的key2值查询索引表二，如果写入数据已经在索引表二中记载，则判断该写入数据即将需要写入的数据块是否已经有这个数据，如果有，则更新引用次数，如果没有这个数据，则将即将写入数据块的块号写入索引表二中并更新引用次数；如果写入数据没有在索引表二中记载，则在表二中创建新的索引关系；
在本实施例中还可以采用两个存储设备分别用来存储实际卷和备份文件，在快照状态下，如果***内部需要写入数据的时候，需要先将实际卷中的数据读出来，并写到备份文件中，再将新的数据写入实际卷中。这样写入实际卷数据I/O和写入另一个存储设备上的备份卷的数据数据I/O操作可以同时进行，减轻一次实际卷I/O写入负载，性能得到大幅提升。
快照模式下复制文件内容，增量模式不需要复制操作，减少I/O操作。通过这种方式，即使原始卷发生写操作，处理器也可以维护文件***的一致性并且是完整的快照。快照数据由处理模块使用索引表进行管理和访问。通过这种实现方式使我们的写时复制***能够在块级别可靠地维护原始卷的完整时间点数据状态，同时不影响原始卷的正常使用。
处理模块还可以在跟踪的存储设备的不同状态之间动态转换，得益于挂载操作的监控。正常使用过程中存储设备将大部分时间处于“活动”状态。此状态下，存储设备已完全初始化，并且所有内存中数据结构均处于活动状态。正确安装了存储设备驱动，存储设备将开始保持活动状态，当***触发卸载卷等行为的时候，才触发活跃状态进入休眠状态。
同时通过卸载块驱动程序后，无论用户主动的操作还是在计算机正常关闭的卸载，存储设备也都将转换为“休眠”状态。简而言之，“休眠”状态是可以通过操作***安全地卸载存储设备的状态。捕捉到处理器正在跟踪的存储设备的触发卸载***调用时，处理器首先将该存储设备的所有内存数据结构写入备份卷，以供后续使用，然后关闭当备份卷的文件描述符，并关闭该存储设备的所有工作的处理线程。当存储***中采用一个存储设备工作时，如果原始卷***作***卸载，存储***将保持休眠模式，直到再次重新安装存储设备为止，此时存储***将过渡到活动状态。当存储***中采用两个存储设备在工作时，性能将得到更大提升，不过处理逻辑更为复杂，这里需要监控两个存储设备的状态，两者任意的卸载都无法正常工作，***必须处于休眠状态，这里需要通过原子引用计数的方式，并且卸载如果失败需要原位复原，只有两个存储设备都正常才能转为“活跃”状态。初始化原子计数为0，当校验跟踪的两个存储设备均正常，且文件结构指向的存储设备和监控的保持一致，分别进行两次原子操作，原子值转为2，在这个模式下的任何校验都将需要该原子值为2。同时卸载过程需要进行二次卸载逻辑的修复判断，不可以重复关闭存储设备的处理线程，这样会引发异常。恢复存储设备过程中，只有全部恢复，才可以过渡块设备到活动状态，恢复处理线程。
基于设备可以多次同时打开，dev设备节点读操作无竞争关系，不影响数据一致性，同一块的写无冲突，任务之间的操作没有顺序性的情况，所以本发明提供的存储***在进行数据备份和拷贝的时候不影响其正常运作。

Claims (6)

1.一种基于Linux的数据在线实时存储***，其特征在于：包括主机以及设置在主机中的处理模块、内存和至少一个存储设备；内存用于存储即将写入存储设备的数据、索引表一和索引表二；存储设备中设有保存实时数据的实际卷和备份文件；索引表一和索引表二均为key映射value的结构，其中，索引表一中key1为实际卷中数据块的块号，value1用于记录数据块是否被修改的修改状态值；索引表二中key2为根据存储的数据内容hash计算出的值，value2中记录每个数据内容引用的数据块的块号、引用次数和引用次数超过引用阈值的数据内容；所述处理模块根据内存中写入或读取的数据结合索引表一和索引表二选择数据写入和读取的位置，并更新索引表一和索引表二；
其中，在初始状态下，根据实际卷中的原始数据在内存中创建索引表一和索引表二；***在快照状态和增量状态交替进行工作；其中，在快照状态下，处理模块对写入内存的数据进行处理并在索引表一和索引表二中的查询，判断内存中的数据需要存储的位置，将需要修改的实际卷中对应的数据块中的数据写到备份文件中，并更新索引表一和索引表二；然后对备份文件中的数据和实际卷中的数据通过PageRank算法进行增量合成；在增量状态下，处理模块截断备份文件中备份的数据并对写入内存的数据进行处理且在索引表一和索引表二中的查询，根据结果更新索引表一和索引表二。
2.根据权利要求1所述的基于Linux的数据在线实时存储***，其特征在于：所述存储设备有两个，一个用于保存实际卷；另一个用于保存备份文件。
3.根据权利要求1所述的基于Linux的数据在线实时存储***，其特征在于：在所述处理模块中创建一个dev设备节点，所述dev设备节点用于执行读操作。
4.根据权利要求1所述的Linux的数据在线实时存储方法，其特征在于：在所述处理模块中创建一个dev设备节点，处理模块先判断接受到的操作指令是读操作还是写操作，如果是读操作，则将读操作发送到dev设备节点，通过dev设备节点读取所需数据。
5.根据权利要求1所述的Linux的数据在线实时存储方法，其特征在于：所述存储设备有两个，一个用于保存实际卷；另一个用于保存备份文件。
6.根据权利要求1所述的Linux的数据在线实时存储方法，其特征在于：所述处理模块对写入内存的数据进行处理的方法为：对写入内存的数据按照内存页大小进行拆分，通过多线程并行的方式，分别用hash算法对写入数据进行计算，生成索引表二中每个数据唯一的key2值。
CN202010182063.9A 2020-03-16 2020-03-16 一种基于Linux的数据实时存储***及方法 Active CN111338853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010182063.9A CN111338853B (zh) 2020-03-16 2020-03-16 一种基于Linux的数据实时存储***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010182063.9A CN111338853B (zh) 2020-03-16 2020-03-16 一种基于Linux的数据实时存储***及方法

Publications (2)

Publication Number Publication Date
CN111338853A CN111338853A (zh) 2020-06-26
CN111338853B true CN111338853B (zh) 2023-06-16

Family

ID=71184447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010182063.9A Active CN111338853B (zh) 2020-03-16 2020-03-16 一种基于Linux的数据实时存储***及方法

Country Status (1)

Country Link
CN (1) CN111338853B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360495B (zh) * 2021-04-20 2023-02-24 山东英信计算机技术有限公司 一种数据库查询中断的恢复方法、装置、设备及可读介质
CN113535258B (zh) * 2021-06-25 2022-09-27 杭州加速科技有限公司 一种Pattern文件加载方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650692A (zh) * 2009-07-02 2010-02-17 北京飞天诚信科技有限公司 一种在存储设备中修改数据的方法和装置
CN108763582A (zh) * 2018-06-11 2018-11-06 腾讯科技（深圳）有限公司 文件搜索方法、装置、终端及存储介质
US10282099B1 (en) * 2017-10-27 2019-05-07 Netapp, Inc. Intelligent snapshot tiering
CN110062925A (zh) * 2016-10-28 2019-07-26 Netapp股份有限公司 用于云集成的快照元数据布置
CN110109778A (zh) * 2019-07-02 2019-08-09 南京云信达科技有限公司 一种大量小数据文件备份方法及恢复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650692A (zh) * 2009-07-02 2010-02-17 北京飞天诚信科技有限公司 一种在存储设备中修改数据的方法和装置
CN110062925A (zh) * 2016-10-28 2019-07-26 Netapp股份有限公司 用于云集成的快照元数据布置
US10282099B1 (en) * 2017-10-27 2019-05-07 Netapp, Inc. Intelligent snapshot tiering
CN108763582A (zh) * 2018-06-11 2018-11-06 腾讯科技（深圳）有限公司 文件搜索方法、装置、终端及存储介质
CN110109778A (zh) * 2019-07-02 2019-08-09 南京云信达科技有限公司 一种大量小数据文件备份方法及恢复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于数据通道的非结构化数据多存储***;蒋静远;《中国优秀硕士学位论文全文数据库信息科技辑》;20160215;全文 *

Also Published As

Publication number Publication date
CN111338853A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
EP3724764B1 (en) Write-ahead style logging in a persistent memory device
US10437662B2 (en) Crash recovery using non-volatile memory
US8874515B2 (en) Low level object version tracking using non-volatile memory write generations
US7814057B2 (en) Page recovery using volume snapshots and logs
CN108664359B (zh) 一种数据库恢复方法、装置、设备及存储介质
US7272666B2 (en) Storage management device
Nam et al. Assuring demanded read performance of data deduplication storage with backup datasets
US6678809B1 (en) Write-ahead log in directory management for concurrent I/O access for block storage
CN108460045B (zh) 一种快照的处理方法及分布式块存储***
CN109542682B (zh) 一种数据备份方法、装置、设备和存储介质
US20070055710A1 (en) BLOCK SNAPSHOTS OVER iSCSI
US9542279B2 (en) Shadow paging based log segment directory
JP2003067248A (ja) 記憶装置のキャッシング方法およびシステム
US20070214334A1 (en) Storage system
US11537582B2 (en) Data access method, a data access control device, and a data access system
CN102402471A (zh) 基于存储阵列快照功能的数据实时备份方法及***
KR102262409B1 (ko) 비휘발성 메모리 기반 파일 시스템 및 이를 이용한 데이터 갱신 방법
CN111338853B (zh) 一种基于Linux的数据实时存储***及方法
KR20170054767A (ko) 데이터베이스 관리 시스템 및 그의 데이터 변경 및 복구 방법
US20150268878A1 (en) Efficient serialization of journal data
US10671567B2 (en) System and method for optimized lock detection
US11860840B2 (en) Update of deduplication fingerprint index in a cache memory
KR101686340B1 (ko) 대용량 스토리지 장치를 위한 효율적인 비휘발성 캐시 부하 관리 방법
KR20140049327A (ko) 모바일 환경에 구축된 데이터베이스에 대한 트랜잭션 로깅 및 회복 장치 및 그 방법
CN116257531B (zh) 一种数据库空间回收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant