CN113672167A - 一种分布式存储***的数据一致性校验方法、装置及设备 - Google Patents

一种分布式存储***的数据一致性校验方法、装置及设备 Download PDF

Info

Publication number
CN113672167A
CN113672167A CN202110779585.1A CN202110779585A CN113672167A CN 113672167 A CN113672167 A CN 113672167A CN 202110779585 A CN202110779585 A CN 202110779585A CN 113672167 A CN113672167 A CN 113672167A
Authority
CN
China
Prior art keywords
consistency check
consistency
progress information
time
reached
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110779585.1A
Other languages
English (en)
Other versions
CN113672167B (zh
Inventor
孙润宇
李彦博
孟祥瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Jinan data Technology Co ltd
Original Assignee
Inspur Jinan data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Jinan data Technology Co ltd filed Critical Inspur Jinan data Technology Co ltd
Priority to CN202110779585.1A priority Critical patent/CN113672167B/zh
Publication of CN113672167A publication Critical patent/CN113672167A/zh
Application granted granted Critical
Publication of CN113672167B publication Critical patent/CN113672167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式存储***的数据一致性校验方法，该方法通过设置一致性校验的配置信息，能够确定每次一致性校验的开始时间和结束时间，实现一致性校验过程的全自动化，而且，在达到本次一致性校验的结束时间时，即便没有校验完存储池的全部对象也可以停止本次一致性校验，并记录一致性校验的进度信息，下一次一致性校验时可以根据进度信息从本次校验位置继续进行一致性校验，显著提升了一致性校验过程的灵活性。此外，本申请还提供了一种分布式存储***的数据一致性校验装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。

Description

一种分布式存储***的数据一致性校验方法、装置及设备
技术领域
本申请涉及计算机技术领域，特别涉及一种分布式存储***的数据一致性校验方法、装置、设备及可读存储介质。
背景技术
在分布式存储***中，存储的数据按照固定大小切割，这一块固定大小的数据称为一个对象，PG(Placement Group，放置组)是多个对象的集合，是一个逻辑上的概念，PG和对象之间通过一致性哈希算法对应起来，一个PG对应多个对象。而每个PG与OSD(Object-based Storage Device，对象存储设备)的对应是通过数据分布算法对应起来的，一个PG对应多个OSD，OSD可以简单理解为物理上的磁盘，一个OSD上可以有多个PG。
在存储集群中，由于硬件故障或软件缺陷可能会造成存储集群内的数据出现不一致的问题，为了检测识别这种不一致，一个普遍的做法是对存储集群内的对象进行数据一致性校验。就目前来看，数据一致性校验会耗费一定的***资源且一旦开始就必须全部校验完成才能结束，无法暂停和继续，这使得数据一致性校验功能受到了很大的制约。
综上，目前的数据一致性校验方案无法暂停，灵活性较差，如何克服上述缺陷是亟待本领域技术人员解决的问题。
发明内容
本申请的目的是提供一种分布式存储***的数据一致性校验方法、装置、设备及可读存储介质，用以解决目前的数据一致性校验方案无法暂停，灵活性较差的问题。其具体方案如下：
第一方面，本申请提供了一种分布式存储***的数据一致性校验方法，包括：
读取一致性校验的配置信息，根据所述配置信息确定下一次一致性校验的开始时间和结束时间；
在达到所述开始时间时，读取一致性校验的进度信息，根据所述进度信息对目标存储池的对象进行一致性校验；
在达到所述结束时间时，停止一致性校验，并更新所述进度信息。
可选的，在所述读取一致性校验的进度信息，根据所述进度信息对目标存储池的对象进行一致性校验之前，还包括：
根据所述配置信息中的存储池标识信息，确定待进行一致性校验的目标存储池。
可选的，所述在达到所述开始时间时，读取一致性校验的进度信息，根据所述进度信息对目标存储池的对象进行一致性校验，包括：
在达到所述开始时间时，读取一致性校验的进度信息，唤醒所述目标存储池的一致性校验线程，调用所述一致性校验线程根据所述进度信息对所述目标存储池的对象进行一致性校验；
相应的，所述在达到所述结束时间时，停止一致性校验，并更新所述进度信息，包括：
在达到所述结束时间时，停止一致性校验，休眠所述一致性校验线程，并更新所述进度信息。
可选的，所述在达到所述结束时间时，停止一致性校验，并更新所述进度信息，包括：
在达到所述结束时间时，等待当前正在进行一致性校验的目标对象完成一致性校验，停止一致性校验，并更新所述进度信息。
可选的，所述更新所述进度信息，包括：
根据所述目标对象更新所述进度信息，其中所述进度信息包括最后一个完成一致性校验的对象的标识信息。
可选的，在所述根据所述配置信息确定下一次一致性校验的开始时间和结束时间之后，还包括：
根据所述开始时间设置并启动开始定时器，通过所述开始定时器监测是否达到所述开始时间；
相应的，在达到所述开始时间时，还包括：
根据所述结束时间设置并启动结束定时器，通过所述结束定时器监测是否达到所述结束时间。
可选的，在根据所述进度信息对目标存储池的对象进行一致性校验的过程中，还包括：
若所述目标存储池的全部对象均完成一致性校验，则重置所述进度信息，并根据重置后的进度信息重新对所述目标存储池的对象进行一致性校验。
第二方面，本申请提供了一种分布式存储***的数据一致性校验装置，包括：
时间确定模块，用于读取一致性校验的配置信息，根据所述配置信息确定下一次一致性校验的开始时间和结束时间；
校验模块，用于在达到所述开始时间时，读取一致性校验的进度信息，根据所述进度信息对目标存储池的对象进行一致性校验；
进度更新模块，用于在达到所述结束时间时，停止一致性校验，并更新所述进度信息。
第三方面，本申请提供了一种分布式存储***的数据一致性校验设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的分布式存储***的数据一致性校验方法。
第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的分布式存储***的数据一致性校验方法。
本申请所提供的一种分布式存储***的数据一致性校验方法，包括：读取一致性校验的配置信息，根据配置信息确定下一次一致性校验的开始时间和结束时间；在达到开始时间时，读取一致性校验的进度信息，根据进度信息对目标存储池的对象进行一致性校验；在达到结束时间时，停止一致性校验，并更新进度信息。可见，该方法通过设置一致性校验的配置信息，能够确定每次一致性校验的开始时间和结束时间，实现一致性校验过程的全自动化，而且，在达到本次一致性校验的结束时间时，即便没有校验完存储池的全部对象也可以停止本次一致性校验，并记录一致性校验的进度信息，因此下一次一致性校验时根据进度信息可以从本次校验位置继续进行一致性校验，显著提升了一致性校验过程的灵活性。可在深夜***资源较充足时或例行维护时进行一致性校验，减少数据一致性校验对存储***性能的影响，保证***可靠性，提高产品竞争力。
此外，本申请还提供了一种分布式存储***的数据一致性校验装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的分布式存储***的数据一致性校验方法实施例一的流程图；
图2为本申请所提供的分布式存储***的数据一致性校验方法实施例二的流程图；
图3为本申请所提供的分布式存储***的数据一致性校验装置实施例的功能框图；
图4为本申请所提供的分布式存储***的数据一致性校验设备实施例的结构示意图。
具体实施方式
本申请的核心是提供一种分布式存储***的数据一致性校验方法、装置、设备及可读存储介质，实现了一致性校验过程的全自动化，且允许中间暂停并记录一致性校验的进度信息，下一次一致性校验时根据进度信息可以从本次校验位置继续进行一致性校验，显著提升了一致性校验过程的灵活性。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面对本申请提供的分布式存储***的数据一致性校验方法实施例一进行介绍，参见图1，实施例一包括：
S11、读取一致性校验的配置信息，根据配置信息确定下一次一致性校验的开始时间和结束时间；
S12、在达到开始时间时，读取一致性校验的进度信息，根据进度信息对目标存储池的对象进行一致性校验；
S13、在达到结束时间时，停止一致性校验，并更新进度信息。
具体的，预先对存储池的一致性校验过程进行配置，配置内容包括但不限于一致性校验的时间段，包括上述开始时间和结束时间。例如，可自定义设置每天、每周或每月的某个时间段进行数据一致性校验，并在该时间段结束后自动暂停，在下一个时间段从上次结束位置继续进行一致性校验，提高数据一致性校验的灵活性。实际应用中，可以分别配置多个存储池的一致性校验时间段，为方便描述，下文以单个存储池的一致性校验过程为例进行说明。
为方便后续一致性校验过程能够从之前一致性校验过程的结束位置继续进行一致性校验，本实施例在每次一致性校验结束后，都会记录/更新整个存储池的一致性校验过程的进度信息。具体的，实际在执行一致性校验操作的时候，校验的目标是存储池中的对象，会根据某种顺序依次对存储池中的各个对象进行一致性校验，如在对象ID为顺序编号的情况下，可以按照对象ID从小到大的顺序对存储池中的各个对象依次进行一致性校验，此时，在每次一致性校验结束后可以记录已完成一致性校验的对象的ID，或者最后一个完成一致性校验的对象的ID，以作为进度信息。
具体的一致性校验流程如下：通过一致性哈希算法，确定目标对象所属的PG；该PG的主OSD向所有备OSD发出请求，请求锁定目标对象相同版本的校验信息，如果OSD间版本不相同，则会先同步至相同；主OSD收到版本相同的确认信息后，会要求所有OSD计算目标对象的校验信息，校验信息包括对象的元信息，如大小、扩展属性的所有键、历史版本信息等；主OSD接收这些校验信息，通过比较这些校验信息判断目标对象是否数据一致，如果不一致，则上报给集群监控者Monitor，由它进行告警的上报来通知用户。
值得一提的是，在达到结束时间时，可能正在对某个对象进行一致性校验，这种情况下，可以稍作等待，等待该对象完成一致性校验再停止本次的一致性校验流程。
本实施例所提供一种分布式存储***的数据一致性校验方法，通过设置一致性校验的配置信息，能够确定每次一致性校验的开始时间和结束时间，实现一致性校验过程的全自动化，而且，在达到本次一致性校验的结束时间时，即便没有校验完存储池的全部对象也可以停止本次一致性校验，并记录一致性校验的进度信息，因此下一次一致性校验时根据进度信息可以从本次校验位置继续进行一致性校验，显著提升了一致性校验过程的灵活性。可在深夜***资源较充足时或例行维护时进行一致性校验，减少数据一致性校验对存储***性能的影响，保证***可靠性，提高产品竞争力。
下面开始详细介绍本申请提供的分布式存储***的数据一致性校验方法实施例二，参见图2，实施例二具体包括：
S21、读取一致性校验的配置信息，根据配置信息中的存储池标识信息，确定待进行一致性校验的目标存储池，并确定目标存储池下一次一致性校验的开始时间和结束时间；
S22、根据开始时间设置并启动开始定时器，通过开始定时器监测是否达到开始时间；
S23、在达到开始时间时，读取一致性校验的进度信息，唤醒目标存储池的一致性校验线程，调用一致性校验线程根据进度信息对目标存储池的对象进行一致性校验；
S24、在达到开始时间时，根据结束时间设置并启动结束定时器，通过结束定时器监测是否达到结束时间；
S25、在一致性校验过程中，若目标存储池的全部对象均完成一致性校验，则重置进度信息，并根据重置后的进度信息重新对目标存储池的对象进行一致性校验；
S26、在达到结束时间时，等待当前正在进行一致性校验的目标对象完成一致性校验，停止一致性校验，休眠一致性校验线程；
S27、根据目标对象更新进度信息，回到S21，其中进度信息包括最后一个完成一致性校验的对象的标识信息。
基于上述实施例二，下面以实际应用为例，对本申请的一致性校验流程进行介绍，流程如下：
(1)自定义存储池的一致性校验时间段，如选择每天，或每周的哪几天，或每月的哪几天，24小时制的开始时间和结束时间，存储池标识。
如果数据库中已有该存储池的时间段信息则清除，如果该存储池在本次自定义时间段之前进行过数据一致性校验，则提示用户是否需要重新开始，是则清除已保存的一致性校验相关信息。
(2)读取一致性校验时间段和存储池标识并进行保存，计算存储池本次一致性校验的开始时间和结束时间，并开启开始定时器，创建该存储池的数据一致性校验线程。
若当前时间已在一致性校验时间段内，则立即对存储池进行数据一致性校验，否则到开始时间时再进行数据一致性校验。
(3)开始定时器检测到当前时间达到本次一致性校验的开始时间时，则唤醒存储池的数据一致性校验线程，并开启结束定时器，开始进行数据一致性校验，如果检测出数据不一致则上报提示，且继续进行校验。
(4)结束定时器检测到当前时间到达本次一致性校验的结束时间时，首先等待当前正在进行一致性校验的对象完成校验，记录下该对象的标识信息，以便下次从该对象开始继续校验。
(5)读取当前设置的一致性校验时间段，计算出存储池下一次一致性校验的开始时间和结束时间，再次开启开始定时器，并休眠该存储池的数据一致性校验线程。
之后重复之前的过程，开始定时器检测到当前时间达到下一次一致性校验的开始时间时，首先获取上次结束时的对象标识信息，以该对象为起点继续进行校验。当该存储池内所有对象均校验完成后，则根据一致性校验时间段重新开始校验。
值得一提的是，在上次一致性校验结束且下次一致性校验开始的时间间隔内，如果发生删除存储池操作，则提示并清除存储池的一致性校验时间段设置、数据一致性校验结束时保存的进度信息、相关定时器以及数据一致性校验线程。
下面对本申请实施例提供的分布式存储***的数据一致性校验装置进行介绍，下文描述的分布式存储***的数据一致性校验装置与上文描述的分布式存储***的数据一致性校验方法可相互对应参照。
如图3所示，本实施例的分布式存储***的数据一致性校验装置，包括：
时间确定模块31，用于读取一致性校验的配置信息，根据所述配置信息确定下一次一致性校验的开始时间和结束时间；
校验模块32，用于在达到所述开始时间时，读取一致性校验的进度信息，根据所述进度信息对目标存储池的对象进行一致性校验；
进度更新模块33，用于在达到所述结束时间时，停止一致性校验，并更新所述进度信息。
本实施例的分布式存储***的数据一致性校验装置用于实现前述的分布式存储***的数据一致性校验方法，因此该装置的具体实施方式可见前文中的分布式存储***的数据一致性校验方法的实施例部分，例如，时间确定模块31，校验模块32，进度更新模块33，分别用于实现上述分布式存储***的数据一致性校验方法中步骤S11，S12，S13。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的分布式存储***的数据一致性校验装置用于实现前述的分布式存储***的数据一致性校验方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本申请还提供了一种分布式存储***的数据一致性校验设备，如图4所示，包括：
存储器100：用于存储计算机程序；
处理器200：用于执行所述计算机程序，以实现如上文所述的分布式存储***的数据一致性校验方法。
最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的分布式存储***的数据一致性校验方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种分布式存储***的数据一致性校验方法，其特征在于，包括：
读取一致性校验的配置信息，根据所述配置信息确定下一次一致性校验的开始时间和结束时间；
在达到所述开始时间时，读取一致性校验的进度信息，根据所述进度信息对目标存储池的对象进行一致性校验；
在达到所述结束时间时，停止一致性校验，并更新所述进度信息。
2.如权利要求1所述的方法，其特征在于，在所述读取一致性校验的进度信息，根据所述进度信息对目标存储池的对象进行一致性校验之前，还包括：
根据所述配置信息中的存储池标识信息，确定待进行一致性校验的目标存储池。
3.如权利要求2所述的方法，其特征在于，所述在达到所述开始时间时，读取一致性校验的进度信息，根据所述进度信息对目标存储池的对象进行一致性校验，包括：
在达到所述开始时间时，读取一致性校验的进度信息，唤醒所述目标存储池的一致性校验线程，调用所述一致性校验线程根据所述进度信息对所述目标存储池的对象进行一致性校验；
相应的，所述在达到所述结束时间时，停止一致性校验，并更新所述进度信息，包括：
在达到所述结束时间时，停止一致性校验，休眠所述一致性校验线程，并更新所述进度信息。
4.如权利要求1所述的方法，其特征在于，所述在达到所述结束时间时，停止一致性校验，并更新所述进度信息，包括：
在达到所述结束时间时，等待当前正在进行一致性校验的目标对象完成一致性校验，停止一致性校验，并更新所述进度信息。
5.如权利要求4所述的方法，其特征在于，所述更新所述进度信息，包括：
根据所述目标对象更新所述进度信息，其中所述进度信息包括最后一个完成一致性校验的对象的标识信息。
6.如权利要求1所述的方法，其特征在于，在所述根据所述配置信息确定下一次一致性校验的开始时间和结束时间之后，还包括：
根据所述开始时间设置并启动开始定时器，通过所述开始定时器监测是否达到所述开始时间；
相应的，在达到所述开始时间时，还包括：
根据所述结束时间设置并启动结束定时器，通过所述结束定时器监测是否达到所述结束时间。
7.如权利要求1至6任意一项所述的方法，其特征在于，在根据所述进度信息对目标存储池的对象进行一致性校验的过程中，还包括：
若所述目标存储池的全部对象均完成一致性校验，则重置所述进度信息，并根据重置后的进度信息重新对所述目标存储池的对象进行一致性校验。
8.一种分布式存储***的数据一致性校验装置，其特征在于，包括：
时间确定模块，用于读取一致性校验的配置信息，根据所述配置信息确定下一次一致性校验的开始时间和结束时间；
校验模块，用于在达到所述开始时间时，读取一致性校验的进度信息，根据所述进度信息对目标存储池的对象进行一致性校验；
进度更新模块，用于在达到所述结束时间时，停止一致性校验，并更新所述进度信息。
9.一种分布式存储***的数据一致性校验设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1至7任意一项所述的分布式存储***的数据一致性校验方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1至7任意一项所述的分布式存储***的数据一致性校验方法。
CN202110779585.1A 2021-07-09 2021-07-09 一种分布式存储***的数据一致性校验方法、装置及设备 Active CN113672167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110779585.1A CN113672167B (zh) 2021-07-09 2021-07-09 一种分布式存储***的数据一致性校验方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110779585.1A CN113672167B (zh) 2021-07-09 2021-07-09 一种分布式存储***的数据一致性校验方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113672167A true CN113672167A (zh) 2021-11-19
CN113672167B CN113672167B (zh) 2023-12-22

Family

ID=78538785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110779585.1A Active CN113672167B (zh) 2021-07-09 2021-07-09 一种分布式存储***的数据一致性校验方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113672167B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905114A (zh) * 2023-03-09 2023-04-04 浪潮电子信息产业股份有限公司 元数据的批量更新方法、***、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993343A (ja) * 1995-09-27 1997-04-04 Hitachi Ltd 交換機機能の自動検証方法
US20100287017A1 (en) * 2008-01-23 2010-11-11 Itid Consulting, Ltd. Information processing system, program, and information processing method
US20140229434A1 (en) * 2013-02-12 2014-08-14 International Business Machines Corporation Asynchronous pausing of the formation of consistency groups
CN108762686A (zh) * 2018-06-04 2018-11-06 平安科技（深圳）有限公司 数据一致性校验流控方法、装置、电子设备及存储介质
US20200272551A1 (en) * 2019-02-26 2020-08-27 Fujitsu Limited Abnormality detection method and abnormality detection device
CN112231403A (zh) * 2020-10-15 2021-01-15 北京人大金仓信息技术股份有限公司 数据同步的一致性校验方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993343A (ja) * 1995-09-27 1997-04-04 Hitachi Ltd 交換機機能の自動検証方法
US20100287017A1 (en) * 2008-01-23 2010-11-11 Itid Consulting, Ltd. Information processing system, program, and information processing method
US20140229434A1 (en) * 2013-02-12 2014-08-14 International Business Machines Corporation Asynchronous pausing of the formation of consistency groups
CN108762686A (zh) * 2018-06-04 2018-11-06 平安科技（深圳）有限公司 数据一致性校验流控方法、装置、电子设备及存储介质
US20200272551A1 (en) * 2019-02-26 2020-08-27 Fujitsu Limited Abnormality detection method and abnormality detection device
CN112231403A (zh) * 2020-10-15 2021-01-15 北京人大金仓信息技术股份有限公司 数据同步的一致性校验方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴曦;: "石化集成化设计环境下的二三维一致性校验", 中国石油和化工标准与质量, no. 15 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905114A (zh) * 2023-03-09 2023-04-04 浪潮电子信息产业股份有限公司 元数据的批量更新方法、***、电子设备及可读存储介质
CN115905114B (zh) * 2023-03-09 2023-05-30 浪潮电子信息产业股份有限公司 元数据的批量更新方法、***、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN113672167B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN107515874B (zh) 一种分布式非关系型数据库中同步增量数据的方法与设备
CN110309161B (zh) 一种数据同步方法、装置及服务器
US11400382B2 (en) Method and device of displaying a progress bar, computing device, and readable storage medium
CN105824846B (zh) 数据迁移方法及装置
CN110457157B (zh) 分布式事务异常处理方法、装置、计算机设备及存储介质
US20090043845A1 (en) Method, system and computer program for providing atomicity for a unit of work
CN111797172A (zh) 数据迁移方法、装置、设备、分布式***及存储介质
CN110413433A (zh) 一种Maria DB集群故障后的恢复方法、设备以及存储介质
CN110659138B (zh) 基于定时任务的数据同步方法、装置、终端及存储介质
CN113672167B (zh) 一种分布式存储***的数据一致性校验方法、装置及设备
CN106294470B (zh) 基于切分日志的实时增量日志信息读取的方法
CN109284193A (zh) 一种基于多线程的分布式数据处理方法及服务器
CN114780019A (zh) 电子设备的管理方法、装置、电子设备及存储介质
CN112328602B (zh) 一种数据写入Kafka的方法、装置及设备
JP7243207B2 (ja) 情報処理システム、情報処理装置及びプログラム
CN116069765A (zh) 数据迁移方法、装置、电子设备及存储介质
CN112732370B (zh) 业务流程调整方法及装置
CN111400113B (zh) 一种计算机***的整机自检方法、装置及***
CN110113395B (zh) 共享文件***维护方法及装置
CN111309742A (zh) 数据同步方法、装置、计算机设备及存储介质
CN112463348A (zh) 一种定时任务处理方法及装置
CN110674214A (zh) 大数据同步方法、装置、计算机设备及存储介质
CN110647455A (zh) 一种存储设备重启记录方法和***
CN107239474B (zh) 一种数据记录方法及装置
CN106375354B (zh) 数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant