CN110399097A - 一种分布式存储***数据一致性的检查方法以及装置 - Google Patents

一种分布式存储***数据一致性的检查方法以及装置 Download PDF

Info

Publication number
CN110399097A
CN110399097A CN201910555916.6A CN201910555916A CN110399097A CN 110399097 A CN110399097 A CN 110399097A CN 201910555916 A CN201910555916 A CN 201910555916A CN 110399097 A CN110399097 A CN 110399097A
Authority
CN
China
Prior art keywords
data
copy
negotiation
status information
multiple redundancy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910555916.6A
Other languages
English (en)
Inventor
方兰春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wave Intelligent Technology Co Ltd
Original Assignee
Suzhou Wave Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wave Intelligent Technology Co Ltd filed Critical Suzhou Wave Intelligent Technology Co Ltd
Priority to CN201910555916.6A priority Critical patent/CN110399097A/zh
Publication of CN110399097A publication Critical patent/CN110399097A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式存储***数据一致性的检查方法、装置、设备及计算机可读存储介质，包括：接收客户端发送检查请求，在数据读写的过程中，判断目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同；若所述多个冗余对象中存在不一致的状态信息，则判断所述多个冗余对象中状态信息一致的对象数量是否大于等于预设数量阈值；若大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致。本发明所提供的方法、装置、设备及计算机可读存储介质，提高了数据一致性检查的效率，降低了对集群性能的影响。

Description

一种分布式存储***数据一致性的检查方法以及装置
技术领域
本发明涉及分布式存储技术领域，特别是涉及一种分布式存储***数据一致性的检查方法、装置、设备以及计算机可读存储介质。
背景技术
在计算机技术高速发展的今天，数据呈现***式增长；不仅对分布式存储***的IO性能要求越来越高，同时数据存储的安全性和正确性越来越倍受关注。数据的安全性通过数据冗余规则可以保证。但是数据的正确性考虑到分布式存储***是由多个节点组成，各个节点的硬件如：内存、CPU、网卡、磁盘等都存在损坏的可能；可能会导致多个冗余数据不一致，最终影响数据的正确性。
现有技术中，分布式存储***的数据一致性检查方法有两种方法：端到端的数据校验和后台扫描检查。端到端的数据校验为应用层在写入数据时，在经过每个数据模块时，都计算并增加一个校验和信息，并将这些校验和信息和数据块一起发送至磁盘。磁盘在接收到数据包之后，会重新校验信息，并和接收到的校验信息作对比。如果不一致，就认为在IO路径上发生了错误。由于端到端的数据校验对分布式存储***的IO性能影响比较大，目前多采用后台扫描检查的方法。
后台扫描分为对象元数据扫描和对象数据扫描，元数据扫描比较对象各副本的元数据来检查数据的一致性，读取数据量和计算量都比较小，速度比较快，是一种轻度的数据检查。数据扫描不仅要检查对象各副本的元数据，还检查对象的数据内容是否一致；几乎要扫描磁盘上所有的数据并计算其CRC32校验值，不仅耗时，而且还会影响到集群的IO性能。后台扫描期间会阻塞扫描到的对象的操作。
综上所述可以看出，如何提高分布式存储***数据一致性的检查效率，并减少对集群性能的影响是目前有待解决的问题。
发明内容
本发明的目的是提供一种分布式存储***数据一致性的检查方法、装置、设备以及计算机可读存储介质，以解决现有技术中数据一致性检查的效率低、耗时长且对集群性能会造成影响的问题。
为解决上述技术问题，本发明提供一种分布式存储***数据一致性的检查方法，包括：接收客户端发送检查请求，在数据读写的过程中，判断目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同；若所述多个冗余对象的状态信息中存在不一致的状态信息时，判断所述多个冗余对象中状态信息一致的对象数量是否大于等于预设数量阈值；若所述多个冗余对象中状态信息一致的对象数量大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致。
优选地，所述判断目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同包括：
判断所述目标对象在分布式存储***不同节点下的多个纠删码的状态信息是否相同。
优选地，所述判断所述目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同包括：
判断所述目标对象在分布式存储***不同节点下的多个副本的版本号是否相同。
优选地，所述若所述多个冗余对象中状态信息一致的对象数量大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致包括：
若所述多个副本中版本号一致的副本数量大于等于所述预设数量阈值，则判定所述多个副本的数据一致，并将判定结果与版本号一致的副本返回至所述客户端；
利用所述协商机制对所述分布式存储***进行协商，以使所述多个副本的数据一致。
优选地，所述利用所述协商机制对所述分布式存储***进行协商，以使所述多个副本的数据一致包括：
利用版本号不一致的副本与所述协商机制，激活对于所述分布式存储***的协商；
在所述多个副本中选取一个目标副本，将所述目标副本设置为协商发起者，并将所述多个副本中除所述目标副本以外的其他副本设置为协商参与者；
利用所述协商发起者向所述协商参与者发起协商操作，以便所述协商参与者将对应副本的版本号返回至所述协商发起者，所述协商发起者对返回的版本号进行对比，确定目标协商结果；
对所述目标协商结果进行数据同步处理，以便所述目标对象在所述多个副本上保持数据一致。
优选地，所述在所述多个副本中选取一个目标副本，将所述目标副本设置为协商发起者包括：
选取所述多个副本中副本编号小于预设编号阈值的一个副本作为目标副本，并将所述目标副本设置为协商发起者。
本发明还提供了一种分布式存储***数据一致性的检查装置，包括：
第一判断模块，用于接收客户端发送检查请求，在数据读写的过程中，判断目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同；
第二判断模块，用于若所述多个冗余对象的状态信息中存在不一致的状态信息时，判断所述多个冗余对象中状态信息一致的对象数量是否大于等于预设数量阈值；
协商模块，用于若所述多个冗余对象中状态信息一致的对象数量大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致。
优选地，所述第一判断模块具体用于：
接收客户端发送检查请求，在数据读写的过程中，判断所述目标对象在分布式存储***不同节点下的多个副本的版本号是否相同。
本发明还提供了一种分布式存储***数据一致性的检查设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种分布式存储***数据一致性的检查方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种分布式存储***数据一致性的检查方法的步骤。
本发明所提供的分布式存储***数据一致性的检查方法，采样分布式存储***弱一致性，在数据读写的过程中，检查目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否一致。若所述多个冗余对象的状态信息存在不一致的情况时，判断所述多个冗余对象中状态信息一致的冗余对象的数量是否大于等于预设数量阈值。若状态信息一致的冗余对象的数量大于等于所述预设数量阈值，则判断所述多个冗余对象的数据一致。并利用预先建立的协商机制对所述多个冗余对象中状态信息不一致的冗余对象进行处理，以便于所述多个冗余对象的数据达到最终一致性。本发明所提供的方法，提高了分布式存储***数据一致性检查的效率，减少了后台扫描带来的性能波动，避免阻塞前端的请求操作，提升了集群读写性能的稳定性，从而提升了产品的竞争力。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的分布式存储***数据一致性的检查方法的第一种具体实施例的流程图；
图2为本发明所提供的分布式存储***数据一致性的检查方法的第二种具体实施例的流程图；
图3为本发明所提供的分布式存储***数据一致性的检查方法的第三种具体实施例的流程图；
图4为本发明实施例提供的一种分布式存储***数据一致性的检查装置的结构框图。
具体实施方式
本发明的核心是提供一种分布式存储***数据一致性的检查方法、装置、设备以及计算机可读存储介质，减少分布式存储***数据一致性检查的耗时，提高了数据一致性检查的效率，减少了对集群性能的影响。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的分布式存储***数据一致性的检查方法的第一种具体实施例的流程图。本实施所提供的检查方法的具体操作步骤如下：
步骤S101：接收客户端发送检查请求，在数据读写的过程中，判断目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同；
采用分布式弱一致性，在数据使用时判断目标对象的在分布式存储***不同节点下多个副本或纠删码的状态信息是否一致。
步骤S102：若所述多个冗余对象的状态信息中存在不一致的状态信息时，判断所述多个冗余对象中状态信息一致的对象数量是否大于等于预设数量阈值；
步骤S103：若所述多个冗余对象中状态信息一致的对象数量大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致。
在多个冗余对象间通过查询对象的状态信息，如果存在有至少K个状态信息一致则认为多个冗余对象数据一致；其他不一致的冗余对象通过数据的推送或者拉取最终达到一致。
本实施例提出了一种分布式存储***基于协商机制的数据一致性检查方法，在读写的过程中通过检查目标对象各个冗余对象的状态信息是否一致，来发起协商检查数据的一致性。这样不仅可以减少后台扫描带来的性能波动，而且避免阻塞前端的请求操作；还可以提升集群读写性能的稳定性，从而提升了产品的竞争力。
基于上述实施例，在本实施例中，客户端发送检分布式存储***数据一致性的操作请求，分布式存储***根据操作的类型进行处理操作请求，处理完毕后，将操作结果返回给客户端。当所述目标对象的多个冗余对象中存在状态信息不一致的情况时，利用预先建立的协商机制，对所述分布式存储***进行协商。
请参考图2，图2为本发明所提供的分布式存储***数据一致性的检查方法的第二种具体实施例的流程图。本实施例所提供的检查方法的具体操作步骤如下：
步骤S201：接收客户端发送检查请求，在数据读写的过程中，判断目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同；
步骤S202：若所述多个冗余对象的状态信息中存在不一致的状态信息时，判断所述多个冗余对象中状态信息一致的对象数量是否大于等于预设数量阈值；
步骤S203：若所述多个冗余对象中状态信息一致的对象数量大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并将判定结果与状态信息一致的冗余对象返回至所述客户端；
步骤S204：利用状态信息不一致的冗余对象与预先建立的协商机制，激活对于所述分布式存储***的协商；
步骤S205：在所述多个冗余对象中选取一个目标冗余对象，将所述目标冗余对象设置为协商发起者，并将所述多个冗余对象中除所述目标冗余对象以外的其他副本设置为协商参与者；
步骤S206：利用所述协商发起者向所述协商参与者发起协商操作，以便所述协商参与者将对应冗余对象的状态信息返回至所述协商发起者，所述协商发起者对返回的状态信息进行对比，确定目标协商结果；
步骤S207：对所述目标协商结果进行数据同步处理，以便所述目标对象在所述多个冗余对象上保持数据一致。
根据客户端操作返回的结果中冗余对象的状态信息进行对比判断，是否存在状态信息不一致的冗余对象。如果存在，则利用状态信息不一致的冗余对象信息激活集群的协商操作。激活协商操作后，在所述多个冗余对象中找到一个合适的协商发起者，让协商发起者发起协商操作。协商参与者收到协商消息后，会读取协商对象的状态信息,并返回给协商发起者。协商发起者接收到所有参与者的反馈，根据返回的对象状态信息，做出正确的决策。根据决策的结果，进行数据同步处理，最终使得各冗余对象的数据一致。
基于上述实施例，在本实施例中，通过判断目标对象在分布式存储***不同节点上的多个副本的版本号是否一致，实现对所述多个副本的数据检查。
请参考图3，图3为本发明所提供的分布式存储***数据一致性的检查方法的第三种具体实施例的流程图。本实施例所提供的检查方法的具体操作步骤如下：
步骤S301：接收客户端发送检查请求，在数据读写的过程中，判断所述目标对象在分布式存储***不同节点下的多个副本的版本号是否相同；
步骤S302：若所述多个副本的版本号中存在不一致的版本号时，则判断所述多个副本中版本号一致的副本是否大于等于预设数量阈值；
步骤S303：若所述多个副本中版本号一致的副本数量大于等于所述预设数量阈值，则判定所述多个副本的数据一致，并将判定结果与版本号一致的副本返回至所述客户端；
步骤S304：利用版本号不一致的副本与所述协商机制，激活对于所述分布式存储***的协商；
步骤S305：在所述多个副本中选取一个目标副本，将所述目标副本设置为协商发起者，并将所述多个副本中除所述目标副本以外的其他副本设置为协商参与者；
在本实施例中，选取所述多个副本中副本编号小于预设编号阈值的一个副本作为目标副本，并将所述目标副本设置为协商发起者。
步骤S306：利用所述协商发起者向所述协商参与者发起协商操作，以便所述协商参与者将对应副本的版本号返回至所述协商发起者，所述协商发起者对返回的版本号进行对比，确定目标协商结果；
步骤S307：对所述目标协商结果进行数据同步处理，以便所述目标对象在所述多个副本上保持数据一致。
在本实施例中，在数据使用时判断所述目标对象的多个副本的版本号是否一致，如果存在数据不一致的情况时，数据大于等于所述预设数量阈值是一致的，数据就是一致的正确的；不一致的数据需要通过协商机制到达最终一致性。本实施例通过协商的办法使得所有副本上的数据最终保持一致，减少数据扫描带来的磁盘的压力及操作的阻塞，从而减少了集群性能波动，提升了产品的竞争力。
请参考图4，图4为本发明实施例提供的一种分布式存储***数据一致性的检查装置的结构框图；具体装置可以包括：
第一判断模块100，用于接收客户端发送检查请求，在数据读写的过程中，判断目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同；
第二判断模块200，用于若所述多个冗余对象的状态信息中存在不一致的状态信息时，判断所述多个冗余对象中状态信息一致的对象数量是否大于等于预设数量阈值；
协商模块300，用于若所述多个冗余对象中状态信息一致的对象数量大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致。
本实施例的分布式存储***数据一致性的检查装置用于实现前述的分布式存储***数据一致性的检查方法，因此分布式存储***数据一致性的检查装置中的具体实施方式可见前文中的分布式存储***数据一致性的检查方法的实施例部分，例如，第一判断模块100，第二判断模块200，协商模块300，分别用于实现上述分布式存储***数据一致性的检查方法中步骤S101，S102和S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种分布式存储***数据一致性的检查设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种分布式存储***数据一致性的检查方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种分布式存储***数据一致性的检查方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的分布式存储***数据一致性的检查方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式存储***数据一致性的检查方法，其特征在于，包括：
接收客户端发送检查请求，在数据读写的过程中，判断目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同；
若所述多个冗余对象的状态信息中存在不一致的状态信息时，判断所述多个冗余对象中状态信息一致的对象数量是否大于等于预设数量阈值；
若所述多个冗余对象中状态信息一致的对象数量大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致。
2.如权利要求1所述的检查方法，其特征在于，所述判断目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同包括：
判断所述目标对象在分布式存储***不同节点下的多个纠删码的状态信息是否相同。
3.如权利要求1所述的检查方法，其特征在于，所述判断所述目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同包括：
判断所述目标对象在分布式存储***不同节点下的多个副本的版本号是否相同。
4.如权利要求3所述的检查方法，其特征在于，所述若所述多个冗余对象中状态信息一致的对象数量大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致包括：
若所述多个副本中版本号一致的副本数量大于等于所述预设数量阈值，则判定所述多个副本的数据一致，并将判定结果与版本号一致的副本返回至所述客户端；
利用所述协商机制对所述分布式存储***进行协商，以使所述多个副本的数据一致。
5.如权利要求4所述的检查方法，其特征在于，所述利用所述协商机制对所述分布式存储***进行协商，以使所述多个副本的数据一致包括：
利用版本号不一致的副本与所述协商机制，激活对于所述分布式存储***的协商；
在所述多个副本中选取一个目标副本，将所述目标副本设置为协商发起者，并将所述多个副本中除所述目标副本以外的其他副本设置为协商参与者；
利用所述协商发起者向所述协商参与者发起协商操作，以便所述协商参与者将对应副本的版本号返回至所述协商发起者，所述协商发起者对返回的版本号进行对比，确定目标协商结果；
对所述目标协商结果进行数据同步处理，以便所述目标对象在所述多个副本上保持数据一致。
6.如权利要求5所述的检查方法，其特征在于，所述在所述多个副本中选取一个目标副本，将所述目标副本设置为协商发起者包括：
选取所述多个副本中副本编号小于预设编号阈值的一个副本作为目标副本，并将所述目标副本设置为协商发起者。
7.一种分布式存储***数据一致性的检查装置，其特征在于，包括：
第一判断模块，用于接收客户端发送检查请求，在数据读写的过程中，判断目标对象在分布式存储***不同节点下的多个冗余对象的状态信息是否相同；
第二判断模块，用于若所述多个冗余对象的状态信息中存在不一致的状态信息时，判断所述多个冗余对象中状态信息一致的对象数量是否大于等于预设数量阈值；
协商模块，用于若所述多个冗余对象中状态信息一致的对象数量大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致。
8.如权利要求7所述的检查装置，其特征在于，所述第一判断模块具体用于：
接收客户端发送检查请求，在数据读写的过程中，判断所述目标对象在分布式存储***不同节点下的多个副本的版本号是否相同。
9.一种分布式存储***数据一致性的检查设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述一种分布式存储***数据一致性的检查方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述一种分布式存储***数据一致性的检查方法的步骤。
CN201910555916.6A 2019-06-25 2019-06-25 一种分布式存储***数据一致性的检查方法以及装置 Withdrawn CN110399097A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910555916.6A CN110399097A (zh) 2019-06-25 2019-06-25 一种分布式存储***数据一致性的检查方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910555916.6A CN110399097A (zh) 2019-06-25 2019-06-25 一种分布式存储***数据一致性的检查方法以及装置

Publications (1)

Publication Number Publication Date
CN110399097A true CN110399097A (zh) 2019-11-01

Family

ID=68322630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910555916.6A Withdrawn CN110399097A (zh) 2019-06-25 2019-06-25 一种分布式存储***数据一致性的检查方法以及装置

Country Status (1)

Country Link
CN (1) CN110399097A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124301A (zh) * 2019-12-18 2020-05-08 深圳供电局有限公司 一种对象存储设备的数据一致性存储方法及***
CN111291062A (zh) * 2020-01-21 2020-06-16 腾讯科技（深圳）有限公司 数据同步写入方法、装置、计算机设备及存储介质
CN111966699A (zh) * 2020-07-09 2020-11-20 微民保险代理有限公司 校验数据的方法、装置、计算机设备和存储介质
CN112866406A (zh) * 2021-02-04 2021-05-28 建信金融科技有限责任公司 一种数据存储方法、***、装置、设备及存储介质
CN113608692A (zh) * 2021-07-25 2021-11-05 济南浪潮数据技术有限公司 一种存储***数据一致性验证方法、***、设备以及介质
CN113791922A (zh) * 2021-07-30 2021-12-14 济南浪潮数据技术有限公司 一种分布式存储***的异常处理方法、***及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124301A (zh) * 2019-12-18 2020-05-08 深圳供电局有限公司 一种对象存储设备的数据一致性存储方法及***
CN111124301B (zh) * 2019-12-18 2024-02-23 深圳供电局有限公司 一种对象存储设备的数据一致性存储方法及***
CN111291062A (zh) * 2020-01-21 2020-06-16 腾讯科技（深圳）有限公司 数据同步写入方法、装置、计算机设备及存储介质
CN111966699A (zh) * 2020-07-09 2020-11-20 微民保险代理有限公司 校验数据的方法、装置、计算机设备和存储介质
CN112866406A (zh) * 2021-02-04 2021-05-28 建信金融科技有限责任公司 一种数据存储方法、***、装置、设备及存储介质
CN113608692A (zh) * 2021-07-25 2021-11-05 济南浪潮数据技术有限公司 一种存储***数据一致性验证方法、***、设备以及介质
CN113608692B (zh) * 2021-07-25 2023-12-29 济南浪潮数据技术有限公司 一种存储***数据一致性验证方法、***、设备以及介质
CN113791922A (zh) * 2021-07-30 2021-12-14 济南浪潮数据技术有限公司 一种分布式存储***的异常处理方法、***及装置
CN113791922B (zh) * 2021-07-30 2024-02-20 济南浪潮数据技术有限公司 一种分布式存储***的异常处理方法、***及装置

Similar Documents

Publication Publication Date Title
CN110399097A (zh) 一种分布式存储***数据一致性的检查方法以及装置
CN106201338B (zh) 数据存储方法及装置
US10592873B2 (en) Edit transactions for blockchains
US11115804B2 (en) Subscription to dependencies in smart contracts
WO2022143242A1 (zh) 基于区块链的交易分发执行方法、装置服务器及存储介质
Dryja Utreexo: A dynamic hash-based accumulator optimized for the Bitcoin UTXO set
EP3779760B1 (en) Blockchain-based data processing method and apparatus, and electronic device
KR102266056B1 (ko) 블록체인을 기반으로 문서 정보의 관리를 가능하게 하는 문서 정보 관리 장치 및 그 동작 방법
US20070162523A1 (en) System and method for storing a data file backup
CN108875061A (zh) 一种分布式文件***的一致性测试方法及相关装置
CN112988073B (zh) 一种可降低区块链存储开销的阶梯式数据存储方法及***
US11385823B2 (en) Method, electronic device and computer program product for rebuilding disk array
US11620087B2 (en) Implicit leader election in a distributed storage network
US20200341874A1 (en) Handling of offline storage disk
EP3980955A1 (en) Subscription to edits of blockchain transaction
CN113064759A (zh) 一种区块链数据回滚处理方法及其处理***
CN113435170A (zh) 数据校验方法、装置、电子设备及存储介质
CN104504308B (zh) 一种禁止虚拟机使用软件的许可证验证方法
CN110413593B (zh) 数据迁移方法、装置、计算机设备及存储介质
US20180225044A1 (en) Dispersed storage write process with lock/persist
CN109597577A (zh) 一种处理nvme协议读写命令的方法、***及相关装置
CN108958964A (zh) 一种数据修改方法、装置、设备及可读存储介质
CN109242701B (zh) 一种送单申请提交方法、装置及计算机设备
KR102193969B1 (ko) 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템
CN113424262B (zh) 一种存储校验方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191101