CN112698789A - 数据缓存方法、装置、设备及存储介质 - Google Patents

数据缓存方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112698789A
CN112698789A CN202011607295.0A CN202011607295A CN112698789A CN 112698789 A CN112698789 A CN 112698789A CN 202011607295 A CN202011607295 A CN 202011607295A CN 112698789 A CN112698789 A CN 112698789A
Authority
CN
China
Prior art keywords
data
incremental
queue
metadata
backup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011607295.0A
Other languages
English (en)
Other versions
CN112698789B (zh
Inventor
邱龙金
赵勇
王子骏
马立珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Dingjia Computer Technology Co ltd
Original Assignee
Guangzhou Dingjia Computer Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dingjia Computer Technology Co ltd filed Critical Guangzhou Dingjia Computer Technology Co ltd
Priority to CN202011607295.0A priority Critical patent/CN112698789B/zh
Publication of CN112698789A publication Critical patent/CN112698789A/zh
Application granted granted Critical
Publication of CN112698789B publication Critical patent/CN112698789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种数据缓存方法、装置、设备及存储介质，所述方法包括：将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；增量数据包表示备份数据的变化数据；若增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储备份数据的变化参数；变化参数用于描述备份数据中的变化数据；在增量发送队列存在空余空间的情况下，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中。本申请实施例提供的技术方案可以提高数据实时备份的成功率。

Description

数据缓存方法、装置、设备及存储介质
技术领域
本申请涉及网络技术领域，特别是涉及一种数据缓存方法、装置、设备及存储介质。
背景技术
在数据实时备份的过程中，生产端主机将变化数据发送到备份服务器中进行实时同步，而当生产端主机产生变化数据产生的速度超过了向备份服务器发送数据速度，生产端主机就需要将变化数据在本地进行缓存。
在进行本地缓存时，传统的变化数据缓存方式通常是将本地外存磁盘空间或者内存缓冲队列作为缓冲区，在缓冲区内进行变化数据的缓存。
然而，上述变化数据缓存方式在变化数据产生的速度一直超过发送数据的速度的情况下，就会导致缓冲区溢出，从而使得数据实时备份过程被中断，产生数据丢失的风险，降低了数据实时备份的成功率。
发明内容
基于此，本申请实施例提供了一种数据缓存方法、装置、设备及存储介质，可以提高数据实时备份的成功率。
第一方面，提供了一种数据缓存方法，该方法包括：
将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；增量数据包表示备份数据的变化数据；若增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储备份数据的变化参数；变化参数用于描述备份数据中的变化数据；在增量发送队列存在空余空间的情况下，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在其中一个实施例中，变化参数包括元数据和变化数据位图；获取并存储备份数据的变化参数，包括：
从磁盘的写输入输出包中获取元数据，并将元数据存储至增量元数据队列中；若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据备份数据的变化数据生成变化数据位图，并将变化数据位图存储至内存映射文件中。
在其中一个实施例中，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中，包括：
根据元数据从对应的备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中；元数据包括输入输出包写入的时间戳、磁盘名、在磁盘中的偏移以及变化数据的长度；若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据变化数据位图获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在其中一个实施例中，根据变化数据位图获取目标增量数据包，并将目标增量数据包添加至增量发送队列中，包括：
在增量元数据队列为空的情况下，调用CBT处理线程根据变化数据位图的有效数据位从备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在其中一个实施例中，上述方法还包括：
若增量元数据队列的数据量小于第二数据量阈值，则获取新的元数据，并将新的元数据存储至临时缓存队列中；新的元数据为CBT处理线程执行期间备份数据产生的元数据；若CBT处理线程执行完毕，则将临时缓存队列中的新的元数据添加至增量元数据队列。
在其中一个实施例中，上述方法还包括：
若CBT处理线程执行完毕，则释放内存映射文件对应的存储资源。
在其中一个实施例中，上述方法还包括：
若增量发送队列的数据量小于第一数据量阈值，且增量元数据队列为空，则将当前获取到的增量数据包添加至增量发送队列中。
在其中一个实施例中，上述方法还包括：
释放增量元数据队列对应的存储资源。
在其中一个实施例中，上述方法还包括：
若备份数据的所有变化数据均被同步至备份服务器中，则释放增量发送队列对应的存储资源。
第二方面，提供了一种数据缓存装置，该装置包括：
第一添加模块，用于将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；增量数据包表示备份数据的变化数据；
存储模块，用于若增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储备份数据的变化参数；变化参数用于描述备份数据中的变化数据；
第二添加模块，用于在增量发送队列存在空余空间的情况下，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中。
第三方面，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一实施例中的方法步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一实施例中的方法步骤。
上述数据缓存方法、装置、设备及存储介质，通过将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；若增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储备份数据的变化参数；在增量发送队列存在空余空间的情况下，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中。由于在数据实时同步的过程中实现多缓存模式自动切换，可以根据缓存数据量的多少自动调整缓存模式，使得内存缓冲区不会溢出，实时同步任务能持续运行而不被中断，从根本上完全排除因为内存缓冲区溢出导致的数据丢失风险，从而提高了数据实时备份的成功率。
附图说明
图1为本申请实施例涉及到的一种应用环境图；
图2为本申请实施例提供的一种数据缓存方法的流程图；
图3为本申请实施例提供的一种数据缓存方法的流程图；
图4为本申请实施例提供的一种磁盘有效区域的示意图；
图5为本申请实施例提供的一种数据缓存方法的流程图；
图6为本申请实施例提供的一种数据缓存方法的流程图；
图7为本申请实施例提供的一种数据缓存方法的流程图；
图8为本申请实施例提供的一种数据缓存装置的框图；
图9为本申请实施例提供的一种数据缓存装置的框图；
图10为本申请实施例提供的一种数据缓存装置的框图；
图11为本申请实施例提供的一种数据缓存装置的框图；
图12为本申请实施例提供的一种数据缓存装置的框图；
图13为本申请实施例提供的一种数据缓存装置的框图；
图14为本申请实施例提供的一种数据缓存装置的框图；
图15为本申请实施例提供的一种数据缓存装置的框图；
图16为本申请实施例涉及到的一种源端生产主机的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的数据缓存方法，可以应用于如图1所示的应用环境中。其中，源端生产主机102可以与备份服务器104进行通信。源端生产主机102指的是需要进行数据备份的设备，备份服务器104指的是对源端生产主机102上的数据进行备份的服务器。源端生产主机102和备份服务器104建立连接，进行节点注册、磁盘信息上报、内存信息上报、接收任务控制信息，并通知内核响应服务端控制命令，源端生产主机102中的内核磁盘过滤驱动监控***IO变化并和备份服务器建立连接，源端生产主机102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备；备份服务器104包括数据库、Web控制台以及服务端程序，其中，数据库用于存储重要配置数据，Web控制台负责提供人机交互界面，服务端程序控制实际的实时任务控制与数据同步流程，备份服务器104可以为一台服务器也可以为由多台服务器组成的服务器集群，本申请实施例对此不作具体限定。
下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本申请提供的一种数据缓存方法，图2-图7的执行主体为源端生产主机，其中，其执行主体还可以是数据缓存装置，其中该装置可以通过软件、硬件或者软硬件结合的方式实现成为源端生产主机的部分或者全部。
在一个实施例中，如图2所示，其示出了本申请实施例提供的一种数据缓存方法的流程图，该方法可以包括以下步骤：
步骤201、将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；增量数据包表示备份数据的变化数据。
其中，备份服务器指的是对源端生产主机上的数据进行备份的服务器，增量数据包表示备份数据的变化数据，将磁盘文件中的备份数据备份至备份服务器的过程中，源端生产主机产生的增量数据包添加至增量发送队列中。源端生产主机指的是需要进行数据备份的主机，源端生产主机将需要备份的数据同步到备份服务器中以实现数据备份。在进行数据备份之前，可以通过在需要备份的源端生产主机上安装实时同步代理，并设置备份服务器的IP地址以及端口等信息，实时同步代理可以自动连接到备份服务器，源端生产主机会向备份服务器上传磁盘列表和磁盘内存总大小。
源端生产主机中的磁盘过滤驱动可以截获要写入磁盘文件中的变化数据，可选的，磁盘过滤驱动可以对磁盘文件启动输入输出(Input/Output，IO)监控，当磁盘过滤驱动拦截到上层的写IO请求时，表明源端生产主机上的数据在进行写入操作且磁盘文件中的数据会发生变化，磁盘过滤驱动可以通过截获写IO包，从写IO包中提取出要写入磁盘文件中的变化数据，根据写入的变化数据得到增量数据包，再将增量数据包添加至增量发送队列中，以使将变化数据进行缓存，增量数据包可以包括输入输出包写入的时间戳timestamp、磁盘名data_dev、在磁盘中的偏移data_offset、变化数据的长度data_length以及变化数据data_buf，增量记录包的格式可以为<timestamp,data_dev,data_offset,data_length,data_buf>，增量发送队列为磁盘过滤驱动在内存创建的缓冲区中的增量发送队列，这一过程为完整缓存模式，可以将该完整缓存模式设置为源端生产主机向备份服务器实时同步中的默认缓存模式。
步骤202、若增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储备份数据的变化参数；变化参数用于描述备份数据中的变化数据。
其中，第一数据量阈值为预先设定的增量发送队列缓存数据量阈值，第一数据量阈值可以是根据增量发送队列的缓存空间大小确定的，在增量发送队列的数据量大于或等于预设的第一数据量阈值的情况下，则表示源端生产主机产生数据的速度超过向备份服务器发送数据的速度，为了避免缓冲区溢出，此时，当磁盘过滤驱动拦截到上层的写IO请求时，只从写IO包中提取出备份数据的变化参数，不提取对应的变化数据，变化参数是用来描述备份数据中的变化数据的参数，变化参数可以是元数据，元数据可以包括变化数据写入磁盘的偏移、长度、时间戳以及磁盘名等；变化参数也可以是根据磁盘文件数据的变化情况生成的变化数据位图，变化参数还可以是其他形式，本申请对此不作具体限定。在提取出备份数据的变化参数之后，需要对该变化参数进行存储，以使源端生产主机可以根据该变化参数从备份数据中获取对应的增量数据包。
步骤203、在增量发送队列存在空余空间的情况下，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中。
其中，在增量发送队列中缓存的增量数据同步到备份服务器后使得增量发送队列存在空余空间时，源端生产主机可以根据变化参数从磁盘文件的备份数据中获取对应的增量数据，并封装为目标增量数据包，再将目标增量数据包添加至增量发送队列中。
本实施例中，通过将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；若增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储备份数据的变化参数；在增量发送队列存在空余空间的情况下，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中。由于在数据实时同步的过程中实现多缓存模式自动切换，可以根据缓存数据量的多少自动调整缓存模式，使得内存缓冲区不会溢出，实时同步任务能持续运行而不被中断，从根本上完全排除因为内存缓冲区溢出导致的数据丢失风险，从而提高了数据实时备份的成功率。
在一个实施例中，变化参数包括元数据和变化数据位图，如图3所示，其示出了本申请实施例提供的一种数据缓存方法的流程图，本实施例涉及的是获取并存储备份数据的变化参数的过程，该方法可以包括以下步骤：
步骤301、从磁盘的写输入输出包中获取元数据，并将元数据存储至增量元数据队列中。
其中，在将源端生产主机磁盘文件中的备份数据发送至备份服务器的过程中，由于磁盘过滤驱动可以对磁盘文件启动IO监控，因而可以通过源端生产主机的磁盘过滤驱动实时截获上层发送的写输入输出包，即写IO包，再从写IO包中提取出元数据，元数据为描述备份数据中的变化数据的参数，获取到元数据后将其存储至增量元数据队列中，该增量元数据队列为磁盘过滤驱动在内存创建的缓冲区中的增量元数据队列，这一过程为精简缓存模式。
需要说明的是，磁盘过滤驱动实时截获的是磁盘有效区域的变化数据，磁盘的有效区域如图4所示，在图4中初始化同步阶段的磁盘偏移为初始化同步完成区域的边界，初始化同步磁盘偏移为分界，分区1和分区2为已初始化同步区域，分区3为未初始化同步区域，已初始化同步区域为磁盘有效区，磁盘过滤驱动需要监控写IO包，在初始化同步的同时进行变化数据同步；未初始化同步区域为无效区，变化数据会随着初始化同步一起同步到备份服务器，所以不需要监控写IO包；未分配空间的区域没有数据，也不会有些IO包命中该区域，所以不需要初始化同步，也不需要监控IO变化。
步骤302、若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据备份数据的变化数据生成变化数据位图，并将变化数据位图存储至内存映射文件中。
其中，第二数据量阈值为预先设定的增量元数据队列缓存数据量阈值，第二数据量阈值可以是根据增量元数据的缓存空间大小确定的，在增量元数据队列的数据量大于或等于预设的第二数据量阈值的情况下，则表示源端生产主机产生数据的速度远超过向备份服务器发送数据的速度，为了避免缓冲区溢出，此时，源端生产主机可以创建数据块修改跟踪(Changed Block Tracking，CBT)处理线程并分配变化数据位图，再根据备份数据的变化数据生成变化数据位图，变化数据位图也是用来描述备份数据中的变化数据的参数。在生成变化数据位图的时，可以通过分配的变化数据位图跟踪变化数据，将变化数据位图上对应的变化数据的位置设置为1，未产生变化数据的位置为0，并将该变化数据位图存储至内存映射文件中，这一过程为CBT缓存模式。
本实施例中，通过从磁盘的写输入输出包中获取元数据，并将元数据存储至增量元数据队列中，若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据备份数据的变化数据生成变化数据位图，并将变化数据位图存储至内存映射文件中。由于只将获取到的描述变化数据的元数据与变化数据位图进行存储，不需要缓存变化数据，使得大幅度减少了缓存的数据量，避免缓冲区溢出，从而提高了数据实时备份的成功率。
在一个实施例中，如图5所示，其示出了本申请实施例提供的一种数据缓存方法的流程图，本实施例涉及的是将目标增量数据包添加至增量发送队列中的一种可能的过程，该方法可以包括以下步骤：
步骤501、根据元数据从对应的备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中；元数据包括输入输出包写入的时间戳、磁盘名、在磁盘中的偏移以及变化数据的长度。
其中，目标增量数据包为源端生产主机根据获取到的元数据从对应的备份数据中获取到的增量数据进行封装后得到的增量数据包，元数据可以包括输入输出包写入的时间戳timestamp、磁盘名data_dev、在磁盘中的偏移data_offset以及变化数据的长度data_length等，根据元数据从对应的备份数据中获取目标增量数据包后，在增量发送队列中缓存的增量数据同步到备份服务器后使得增量发送队列存在空余空间时，源端生产主机可以通过创建的增量打包线程，将目标增量数据包添加至增量发送队列中。
步骤502、若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据变化数据位图获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。
其中，在增量元数据队列的数据量大于或等于预设的第二数据量阈值的情况下，根据变化数据位图获取目标增量数据包。变化数据位图是根据变化数据生成的用于描述变化数据的位图，由于每个变化数据位图的位是定长的，因此，通过变化数据位图中的每个有效位可以从磁盘文件的备份数据中唯一确定出对应的增量数据，有效位指的是变化数据位图中对应位置为1的位。
本实施例中，通过根据元数据从对应的备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中，若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据变化数据位图获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。通过在精简缓存模式下根据元数据从对应的备份数据中获取目标增量数据包，虽然多了一次从备份数据中读取增量数据的过程，但是缓存的数据量少，降低了缓冲区溢出的风险；进一步的，当精简缓存模式下依然会存在溢出时，可以根据缓存数据量切换到CBT缓存模式下，由于变化数据位图定长，不会随着写入数据的增多变长，保证缓冲区不会溢出，从而进一步提高了数据实时备份的成功率。
在上述实施例的基础上，获取目标增量数据包时，可选的，在增量元数据队列为空的情况下，调用CBT处理线程根据变化数据位图的有效数据位从备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。
其中，在获取目标增量数据包时，在增量元数据队列为空的情况下，源端生产主机调用CBT处理线程根据变化数据位图的有效数据位从备份数据中获取目标增量数据包，将该目标增量数据包添加至增量元数据队列，在增量元数据队列中的目标增量数据包在增量发送队列有空余空间的时候，再由增量打包线程将目标增量数据包添加至增量发送队列中。
本实施例中，通过在增量元数据队列为空的情况下，调用CBT处理线程根据变化数据位图的有效数据位从备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中，由于变化数据位图描述变化数据的形式简单，并且变化数据位图中的每个位是唯一描述对应的变化数据的，因此根据变化数据位图的有效位从备份数据中获取目标增量数据包时的效率高，从而也提高了数据实时备份的效率。
在CBT处理线程执行期间，由于数据还会不断地产生并进行写入操作，为了避免数据丢失，就需要对新产生的数据进行存储并备份，如图6所示，其示出了本申请实施例提供的一种数据缓存方法的流程图，本实施例涉及的是新的元数据添加至增量元数据队列的过程，该方法可以包括以下步骤：
步骤601、若增量元数据队列的数据量小于第二数据量阈值，则获取新的元数据，并将新的元数据存储至临时缓存队列中；新的元数据为CBT处理线程执行期间备份数据产生的元数据。
其中，在增量元数据队列的数据量小于第二数据量阈值的情况下，则启动CBT处理线程，CBT处理线程用于处理变化数据位图中的变化数据，在CBT处理线程执行期间备份数据产生的元数据作为新的元数据，将该新的元数据存储至临时缓存队列中，不***增量元数据队列中。
步骤602、若CBT处理线程执行完毕，则将临时缓存队列中的新的元数据添加至增量元数据队列。
其中，在CBT处理线程执行完毕的情况下，即变化数据位图中的变化数据处理完成之后，再从临时缓存队列中获取到新的元数据，再将该新的元数据添加至增量元数据队列中，这一过程为CBT缓存过渡模式。
本实施例中，若增量元数据队列的数据量小于第二数据量阈值，则获取新的元数据，并将新的元数据存储至临时缓存队列中，若CBT处理线程执行完毕，则将临时缓存队列中的新的元数据添加至增量元数据队列。由于在CBT处理线程执行期间，新产生的元数据用临时缓存队列进行存储，避免了数据的丢失，并且，在CBT处理线程执行完毕后，再将新的元数据添加至增量元数据队列，保证了写入数据的顺序。
可选的，若增量发送队列的数据量小于第一数据量阈值，且增量元数据队列为空，则将当前获取到的增量数据包添加至增量发送队列中。
其中，在增量发送队列的数据量小于第一数据量阈值的情况下，表示源端生产主机产生数据的速度低于向备份服务器发送数据的速度，并且当增量元数据队列为空，则将当前获取到的增量数据包添加至增量发送队列中，即可以重新切换到完整缓存模式。
本实施例中，若增量发送队列的数据量小于第一数据量阈值，且增量元数据队列为空，则将当前获取到的增量数据包添加至增量发送队列中，由于在源端生产主机产生数据的速度低于向备份服务器发送数据的速度的情况下，再次切换到完整缓存模式下，提高了数据实时备份的效率。
在上述实施例的基础上，在实时同步代理接收到停止数据实时备份任务控制命令的情况下，实时同步代理将该停止命令发送至磁盘过滤驱动中，磁盘过滤驱动停止对磁盘的IO监控，若检测到当前缓存模式为CBT缓存模式，则等待CBT处理线程继续处理，并从CBT缓存模式切换到精简缓存模式后，可以释放对应的存储资源，可选的，若CBT处理线程执行完毕，则释放内存映射文件对应的存储资源；若检测到当前缓存模式为精简缓存模式，则等待增量打包线程继续处理，并从精简缓存模式切换到完整缓存模式后，停止增量打包线程，并可以释放对应的存储资源，可选的，释放增量元数据队列对应的存储资源；若检测到当前缓存模式为完整缓存模式，则等待发送线程继续处理，当增量发送队列为空，并且所有收到任务停止控制命令前产生的变化数据全部同步到备份服务器，停止发送线程并可以释放对应的存储资源，可选的，若备份数据的所有变化数据均被同步至备份服务器中，则释放增量发送队列对应的存储资源。
本实施例中，若CBT处理线程执行完毕，则释放内存映射文件对应的存储资源；并释放增量元数据队列对应的存储资源，若备份数据的所有变化数据均被同步至备份服务器中，则释放增量发送队列对应的存储资源，通过释放对应的存储资源，使得存储资源可以存储其他数据，提高了存储资源的利用率。
在一个实施例中，如图7所示，其示出了本申请实施例提供的一种数据缓存方法的流程图，该方法可以包括以下步骤：
步骤701、在初始化同步阶段和变化数据备份阶段，实时监控磁盘写IO包。
步骤702、初始默认设置缓存模式为完整模式，直接将变化数据封装为增量数据包，存入增量发送队列，由发送线程发送到备份服务器。
步骤703、当增量发送队列缓存数据量超过第一数据量阈值，则自动切换到精简模式，并启动打包线程，当有变化数据时，不缓存实际数据，而是提取变化数据元数据封装为增量数据包，存入增量元数据队列。
步骤704、打包线程循环读取增量元数据队列中的增量数据包，根据增量数据包中的磁盘设备名、磁盘偏移、变化数据长度等元数据直接到对应磁盘的备份数据中获取变化数据，封装为增量数据包，当增量发送队列有空余空间时存入增量发送队列，再由发送线程发送到备份服务器。
步骤705、在精简模式处理过程中，实时监测增量发送队列缓存数据量是否低于第一数据量阈值，如果低于第一数据量阈值则切换回完整模式，增量元数据队列中剩余的增量数据包录继续由打包线程处理。
步骤706、当增量元数据队列缓存数据量也超过第二数据量阈值，则自动切换缓存模式到CBT模式，创建CBT变化数据位图，当有变化数据时，只简单在位图对应位置1即可。
步骤707、在CBT模式处理过程中，实时监测增量元数据队列缓存数据量是否低于第二数据量阈值，如果是，则切换缓存模式为过渡模式。
步骤708、在过渡模式下，启动CBT处理线程，处理变化数据位图中的变化数据，全部转换为增量数据包，在CBT处理线程工作期间，新产生的增量数据包用临时队列存储，不***增量元数据队列，CBT处理线程工作结束切再从临时队列***增量元数据队列。
步骤709、变化数据位图处理完毕，则释放变化数据位图，停止CBT处理线程，将临时队列增量数据包***增量元数据队列。
步骤710、当增量发送队列缓存数据量低于第一数据量阈值并且增量元数据队列为空，则切换到完整模式。
步骤711、一直持续以上流程，直到停止数据实时备份任务。
本实施例提供的数据缓存方法中各步骤，其实现原理和技术效果与前面各数据缓存方法实施例中类似，在此不再赘述。图7实施例中各步骤的实现方式只是一种举例，对各实现方式不作限定，各步骤的顺序在实际应用中可进行调整，只要可以实现各步骤的目的即可。
在本申请实施例提供的技术方案中，由于在数据实时同步的过程中实现多缓存模式自动切换，可以根据缓存数据量的多少自动调整缓存模式，使得内存缓冲区不会溢出，实时同步任务能持续运行而不被中断，从根本上完全排除因为内存缓冲区溢出导致的数据丢失风险，从而提高了数据实时备份的成功率。
应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
请参考图8，其示出了本申请实施例提供的一种数据缓存装置80的框图，该数据缓存装置80可以配置于源端生产主机中。如图8所示，该数据缓存装置80可以包括第一添加模块81、存储模块82和第二添加模块83，其中：
第一添加模块81，用于将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；增量数据包表示备份数据的变化数据。
存储模块82，用于若增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储备份数据的变化参数；变化参数用于描述备份数据中的变化数据。
第二添加模块83，用于在增量发送队列存在空余空间的情况下，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在其中一个实施例中，请参考图9，其示出了本申请实施例提供的一种数据缓存装置90的框图，该数据缓存装置90可以配置于源端生产主机中。变化参数包括元数据和变化数据位图，上述存储模块82包括第一获取单元821和生成单元822，其中：
第一获取单元821，用于从磁盘的写输入输出包中获取元数据，并将元数据存储至增量元数据队列中。
生成单元822，用于若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据备份数据的变化数据生成变化数据位图，并将变化数据位图存储至内存映射文件中。
在其中一个实施例中，请参考图10，其示出了本申请实施例提供的一种数据缓存装置100的框图，该数据缓存装置100可以配置于源端生产主机中。如图10所示，上述第二添加模块83包括第一获取单元831和第二获取单元832，其中：
第二获取单元831，用于根据元数据从对应的备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中；元数据包括输入输出包写入的时间戳、磁盘名、在磁盘中的偏移以及变化数据的长度。
第三获取单元832，用于若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据变化数据位图获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在其中一个实施例中，第三获取单元832具体用于在增量元数据队列为空的情况下，调用CBT处理线程根据变化数据位图的有效数据位从备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在其中一个实施例中，请参考图11，其示出了本申请实施例提供的一种数据缓存装置110的框图，该数据缓存装置110可以配置于源端生产主机中。如图11所示，该数据缓存装置110可以包括获取模块111和第三添加模块112，其中：
获取模块111，用于若增量元数据队列的数据量小于第二数据量阈值，则获取新的元数据，并将新的元数据存储至临时缓存队列中；新的元数据为CBT处理线程执行期间备份数据产生的元数据。
第三添加模块112，用于若CBT处理线程执行完毕，则将临时缓存队列中的新的元数据添加至增量元数据队列。
在其中一个实施例中，请参考图12，其示出了本申请实施例提供的一种数据缓存装置120的框图，该数据缓存装置120可以配置于源端生产主机中。如图12所示，该数据缓存装置120可以包括第一释放模块121，其中：
第一释放模块121，用于若CBT处理线程执行完毕，则释放内存映射文件对应的存储资源。
在其中一个实施例中，请参考图13，其示出了本申请实施例提供的一种数据缓存装置130的框图，该数据缓存装置130可以配置于源端生产主机中。如图13所示，该数据缓存装置130可以包括第四添加模块131，其中：
第四添加模块131，用于若增量发送队列的数据量小于第一数据量阈值，且增量元数据队列为空，则将当前获取到的增量数据包添加至增量发送队列中。
在其中一个实施例中，请参考图14，其示出了本申请实施例提供的一种数据缓存装置140的框图，该数据缓存装置140可以配置于源端生产主机中。如图14所示，该数据缓存装置140可以包括第二释放模块141，其中：
第二释放模块141，用于释放增量元数据队列对应的存储资源。
在其中一个实施例中，请参考图15，其示出了本申请实施例提供的一种数据缓存装置150的框图，该数据缓存装置150可以配置于源端生产主机中。如图15所示，该数据缓存装置150可以包括第三释放模块151，其中：
第三释放模块151，用于若备份数据的所有变化数据均被同步至备份服务器中，则释放增量发送队列对应的存储资源。
关于数据缓存装置的具体限定可以参见上文中对于数据缓存方法的限定，在此不再赘述。上述数据缓存装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是源端生产主机，其内部结构图可以如图16所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据缓存方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本申请的一个实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；增量数据包表示备份数据的变化数据；若增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储备份数据的变化参数；变化参数用于描述备份数据中的变化数据；在增量发送队列存在空余空间的情况下，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在其中一个实施例中，变化参数包括元数据和变化数据位图；
处理器执行计算机程序时还实现以下步骤：
从磁盘的写输入输出包中获取元数据，并将元数据存储至增量元数据队列中；若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据备份数据的变化数据生成变化数据位图，并将变化数据位图存储至内存映射文件中。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据元数据从对应的备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中；元数据包括输入输出包写入的时间戳、磁盘名、在磁盘中的偏移以及变化数据的长度；若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据变化数据位图获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：
在增量元数据队列为空的情况下，调用CBT处理线程根据变化数据位图的有效数据位从备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：
若增量元数据队列的数据量小于第二数据量阈值，则获取新的元数据，并将新的元数据存储至临时缓存队列中；新的元数据为CBT处理线程执行期间备份数据产生的元数据；若CBT处理线程执行完毕，则将临时缓存队列中的新的元数据添加至增量元数据队列。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：
若CBT处理线程执行完毕，则释放内存映射文件对应的存储资源。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：
若增量发送队列的数据量小于第一数据量阈值，且增量元数据队列为空，则将当前获取到的增量数据包添加至增量发送队列中。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：
释放增量元数据队列对应的存储资源。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：
若备份数据的所有变化数据均被同步至备份服务器中，则释放增量发送队列对应的存储资源。
本申请实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；增量数据包表示备份数据的变化数据；若增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储备份数据的变化参数；变化参数用于描述备份数据中的变化数据；在增量发送队列存在空余空间的情况下，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在其中一个实施例中，变化参数包括元数据和变化数据位图；
计算机程序被处理器执行时还实现以下步骤：
从磁盘的写输入输出包中获取元数据，并将元数据存储至增量元数据队列中；若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据备份数据的变化数据生成变化数据位图，并将变化数据位图存储至内存映射文件中。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据元数据从对应的备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中；元数据包括输入输出包写入的时间戳、磁盘名、在磁盘中的偏移以及变化数据的长度；若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据变化数据位图获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在增量元数据队列为空的情况下，调用CBT处理线程根据变化数据位图的有效数据位从备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若增量元数据队列的数据量小于第二数据量阈值，则获取新的元数据，并将新的元数据存储至临时缓存队列中；新的元数据为CBT处理线程执行期间备份数据产生的元数据；若CBT处理线程执行完毕，则将临时缓存队列中的新的元数据添加至增量元数据队列。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若CBT处理线程执行完毕，则释放内存映射文件对应的存储资源。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若增量发送队列的数据量小于第一数据量阈值，且增量元数据队列为空，则将当前获取到的增量数据包添加至增量发送队列中。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：
释放增量元数据队列对应的存储资源。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若备份数据的所有变化数据均被同步至备份服务器中，则释放增量发送队列对应的存储资源。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据缓存方法，其特征在于，所述方法包括：
将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；所述增量数据包表示所述备份数据的变化数据；
若所述增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储所述备份数据的变化参数；所述变化参数用于描述所述备份数据中的变化数据；
在所述增量发送队列存在空余空间的情况下，根据所述变化参数获取对应的目标增量数据包，并将所述目标增量数据包添加至所述增量发送队列中。
2.根据权利要求1所述的方法，其特征在于，所述变化参数包括元数据和变化数据位图；所述获取并存储所述备份数据的变化参数，包括：
从磁盘的写输入输出包中获取所述元数据，并将所述元数据存储至增量元数据队列中；
若所述增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据所述备份数据的变化数据生成所述变化数据位图，并将所述变化数据位图存储至内存映射文件中。
3.根据权利要求2所述的方法，其特征在于，所述根据所述变化参数获取对应的目标增量数据包，并将所述目标增量数据包添加至所述增量发送队列中，包括：
根据所述元数据从对应的备份数据中获取所述目标增量数据包，并将所述目标增量数据包添加至所述增量发送队列中；所述元数据包括输入输出包写入的时间戳、磁盘名、在磁盘中的偏移以及变化数据的长度；
若所述增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据所述变化数据位图获取所述目标增量数据包，并将所述目标增量数据包添加至所述增量发送队列中。
4.根据权利要求3所述的方法，其特征在于，所述根据所述变化数据位图获取所述目标增量数据包，并将所述目标增量数据包添加至所述增量发送队列中，包括：
在所述增量元数据队列为空的情况下，调用CBT处理线程根据所述变化数据位图的有效数据位从所述备份数据中获取所述目标增量数据包，并将所述目标增量数据包添加至所述增量发送队列中。
5.根据权利要求2-3任一项所述的方法，其特征在于，所述方法还包括：
若所述增量元数据队列的数据量小于所述第二数据量阈值，则获取新的元数据，并将所述新的元数据存储至临时缓存队列中；所述新的元数据为所述CBT处理线程执行期间备份数据产生的元数据；
若所述CBT处理线程执行完毕，则将所述临时缓存队列中的新的元数据添加至所述增量元数据队列。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若所述CBT处理线程执行完毕，则释放所述内存映射文件对应的存储资源。
7.根据权利要求2-3任一项所述的方法，其特征在于，所述方法还包括：
若所述增量发送队列的数据量小于所述第一数据量阈值，且所述增量元数据队列为空，则将当前获取到的增量数据包添加至所述增量发送队列中。
8.一种数据缓存装置，其特征在于，所述装置包括：
第一添加模块，用于将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；所述增量数据包表示所述备份数据的变化数据；
存储模块，用于若所述增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储所述备份数据的变化参数；所述变化参数用于描述所述备份数据中的变化数据；
第二添加模块，用于在所述增量发送队列存在空余空间的情况下，根据所述变化参数获取对应的目标增量数据包，并将所述目标增量数据包添加至所述增量发送队列中。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法的步骤。
CN202011607295.0A 2020-12-29 2020-12-29 数据缓存方法、装置、设备及存储介质 Active CN112698789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011607295.0A CN112698789B (zh) 2020-12-29 2020-12-29 数据缓存方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011607295.0A CN112698789B (zh) 2020-12-29 2020-12-29 数据缓存方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112698789A true CN112698789A (zh) 2021-04-23
CN112698789B CN112698789B (zh) 2022-03-15

Family

ID=75512422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011607295.0A Active CN112698789B (zh) 2020-12-29 2020-12-29 数据缓存方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112698789B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342898A (zh) * 2021-06-29 2021-09-03 杭州数梦工场科技有限公司 数据同步方法及装置
CN114625502A (zh) * 2022-03-03 2022-06-14 盐城金堤科技有限公司 一种投词任务处理方法、装置、存储介质和电子设备
CN116431396A (zh) * 2023-06-07 2023-07-14 成都云祺科技有限公司 一种卷实时备份缓存数据处理方法、***及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549992B1 (en) * 1999-12-02 2003-04-15 Emc Corporation Computer data storage backup with tape overflow control of disk caching of backup data stream
CN103365745A (zh) * 2013-06-07 2013-10-23 上海爱数软件有限公司 一种基于内容地址存储的块级备份方法及***
JP2014229131A (ja) * 2013-05-23 2014-12-08 株式会社日立エルジーデータストレージ データ記録再生システム及びデータ記録制御方法
US20150142745A1 (en) * 2013-11-18 2015-05-21 Actifio, Inc. Computerized methods and apparatus for incremental database backup using change tracking
CN108399186A (zh) * 2018-01-12 2018-08-14 联动优势科技有限公司 一种数据采集方法及装置
CN109189577A (zh) * 2018-08-31 2019-01-11 武汉达梦数据库有限公司 一种数据同步时防止内存溢出的方法和装置
CN109213817A (zh) * 2018-08-10 2019-01-15 杭州数梦工场科技有限公司 增量数据抽取方法、装置及服务器
CN109669818A (zh) * 2018-12-20 2019-04-23 广州鼎甲计算机科技有限公司 无本地缓存的连续数据保护方法和***
CN109800260A (zh) * 2018-12-14 2019-05-24 深圳壹账通智能科技有限公司 高并发数据存储方法、装置、计算机设备和存储介质
CN110058959A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 数据备份方法、设备和计算机程序产品
CN110413689A (zh) * 2019-06-29 2019-11-05 苏州浪潮智能科技有限公司 一种内存数据库的多节点数据同步方法与装置
GB2572136B (en) * 2018-03-12 2020-04-15 Micro Consulting Ltd Backup systems and methods

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549992B1 (en) * 1999-12-02 2003-04-15 Emc Corporation Computer data storage backup with tape overflow control of disk caching of backup data stream
JP2014229131A (ja) * 2013-05-23 2014-12-08 株式会社日立エルジーデータストレージ データ記録再生システム及びデータ記録制御方法
CN103365745A (zh) * 2013-06-07 2013-10-23 上海爱数软件有限公司 一种基于内容地址存储的块级备份方法及***
US20150142745A1 (en) * 2013-11-18 2015-05-21 Actifio, Inc. Computerized methods and apparatus for incremental database backup using change tracking
CN108399186A (zh) * 2018-01-12 2018-08-14 联动优势科技有限公司 一种数据采集方法及装置
CN110058959A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 数据备份方法、设备和计算机程序产品
GB2572136B (en) * 2018-03-12 2020-04-15 Micro Consulting Ltd Backup systems and methods
CN109213817A (zh) * 2018-08-10 2019-01-15 杭州数梦工场科技有限公司 增量数据抽取方法、装置及服务器
CN109189577A (zh) * 2018-08-31 2019-01-11 武汉达梦数据库有限公司 一种数据同步时防止内存溢出的方法和装置
CN109800260A (zh) * 2018-12-14 2019-05-24 深圳壹账通智能科技有限公司 高并发数据存储方法、装置、计算机设备和存储介质
CN109669818A (zh) * 2018-12-20 2019-04-23 广州鼎甲计算机科技有限公司 无本地缓存的连续数据保护方法和***
CN110413689A (zh) * 2019-06-29 2019-11-05 苏州浪潮智能科技有限公司 一种内存数据库的多节点数据同步方法与装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342898A (zh) * 2021-06-29 2021-09-03 杭州数梦工场科技有限公司 数据同步方法及装置
CN113342898B (zh) * 2021-06-29 2022-10-04 杭州数梦工场科技有限公司 数据同步方法及装置
CN114625502A (zh) * 2022-03-03 2022-06-14 盐城金堤科技有限公司 一种投词任务处理方法、装置、存储介质和电子设备
CN116431396A (zh) * 2023-06-07 2023-07-14 成都云祺科技有限公司 一种卷实时备份缓存数据处理方法、***及存储介质
CN116431396B (zh) * 2023-06-07 2023-08-25 成都云祺科技有限公司 一种卷实时备份缓存数据处理方法、***及存储介质

Also Published As

Publication number Publication date
CN112698789B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN112698789B (zh) 数据缓存方法、装置、设备及存储介质
US9798655B2 (en) Managing a cache on storage devices supporting compression
US11435931B2 (en) Memory data migration method and apparatus where cold data is migrated to shared storage prior to storing in destination storage
US11593186B2 (en) Multi-level caching to deploy local volatile memory, local persistent memory, and remote persistent memory
US8719639B2 (en) Virtual machine control program, virtual machine control system, and dump capturing method
US9081692B2 (en) Information processing apparatus and method thereof
CN112000287B (zh) 一种io请求处理装置、方法、设备及可读存储介质
CN110865989A (zh) 一种大规模计算集群的业务处理方法
WO2022142312A1 (zh) 页面处理方法、装置、计算机设备及存储介质
US20140059314A1 (en) Preventing data loss during reboot and logical storage resource management device
US20220253252A1 (en) Data processing method and apparatus
CN108196937B (zh) 字符串对象的处理方法、装置、计算机设备和存储介质
CN110557398B (zh) 服务请求控制方法、装置、***、计算机设备和存储介质
CN112698987A (zh) 无快照操作***在线备份方法、装置、设备及存储介质
CN112162818B (zh) 一种虚拟内存分配方法、装置、电子设备及存储介质
CN113704027B (zh) 文件聚合兼容方法、装置、计算机设备和存储介质
CN115202892B (zh) 一种机密计算协处理器的内存扩展***和内存扩展方法
US20210048958A1 (en) Concept for Controlling a Memory Performance in a Computer System
CN113157738B (zh) 堆内数据缓存同步方法、装置、计算机设备及存储介质
US11740828B2 (en) Data expiration for stream storages
CN115470155A (zh) 支持固态硬盘多场景复用的l2p表缓存方法和装置
WO2022262623A1 (zh) 一种数据交换方法及装置
KR20190069134A (ko) 응용 프로그램간 파일 공유 장치 및 방법
CN111352730B (zh) 应用程序升级的缓存方法、装置、计算机设备和存储介质
US11733917B2 (en) High bandwidth controller memory buffer (CMB) for peer to peer data transfer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Data caching method, device, device and storage medium

Effective date of registration: 20221021

Granted publication date: 20220315

Pledgee: Industrial Bank Co.,Ltd. Guangzhou Development Zone sub branch

Pledgor: Guangzhou Dingjia Computer Technology Co.,Ltd.

Registration number: Y2022980018838

PE01 Entry into force of the registration of the contract for pledge of patent right