CN107329708A - 一种分布式存储***实现缓存数据的方法及*** - Google Patents

一种分布式存储***实现缓存数据的方法及*** Download PDF

Info

Publication number
CN107329708A
CN107329708A CN201710537725.8A CN201710537725A CN107329708A CN 107329708 A CN107329708 A CN 107329708A CN 201710537725 A CN201710537725 A CN 201710537725A CN 107329708 A CN107329708 A CN 107329708A
Authority
CN
China
Prior art keywords
data
node
cache equipment
host node
slave node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710537725.8A
Other languages
English (en)
Inventor
王利朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710537725.8A priority Critical patent/CN107329708A/zh
Publication of CN107329708A publication Critical patent/CN107329708A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5683—Storage of data provided by user terminals, i.e. reverse caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明公开了一种分布式存储***中实现缓存数据备份的方法，主节点通过网络在备节点上镜像本地缓存设备建立的镜像缓存设备，在向本地缓存设备写入数据时，同时也向镜像缓存设备写入相同的数据，可以在本地缓存设备发生故障导致数据丢失时，从镜像缓存设备读取相关的数据，保证了数据的安全性，避免了由于数据丢失而导致的数据服务业务流程中断，提高了存储***的高可用性，本发明还提供一种分布式存储***中实现缓存数据备份的***，具有上述有益效果。

Description

一种分布式存储***实现缓存数据的方法及***
技术领域
本发明涉及计算机数据存储领域，特别是涉及一种分布式存储***实现缓存数据的方法及***。
背景技术
服务器IO的处理流程就是计算机为了实现在存储器上读取和写入数据的目的，而进行的数据单元从IO发起端到接受端数据处理流程。在分布式存储***中，这个数据处理流程需要经过多个节点，中间需要通过CPU、网络、存储设备，数据最终需要存储在存储设备，并从存储设备中读取数据，而将数据从缓存设备写入物理磁盘的存储设备需要耗费十分漫长的时间，而读取数据时，需要在存储设备的数据写入完成后才能进行，而整个数据的写入到读取的速度的快慢直接影响着整个存储***的性能。
为了提升存储***的性能，提高运行速度，目前常采用的方法是在读取数据时使用缓存设备，也就是读数据是先从缓存设备中查找是否存在数据，如果存在，则从缓存设备中读取数据后返回，如果不存在，则从存储设备中读取数据后返回。
目前一种将数据写入缓存设备的write back方法，是将数据写入缓存设备中即返回写成功消息，缓存设备中的数据要等到被新的数据替换或者***做缓存刷新时才会被更新到存储设备中。这种缓存设备写入数据的方式，存储的数据存在容易丢失的隐患，容易出现缓存不可用的问题。
发明内容
本发明的目的是提供一种分布式存储***中实现缓存数据备份的方法，以便解决缓存的数据容易丢失的问题，提高了缓存数据的安全性，本发明还提供一种分布式存储***中实现缓存数据备份的***。
为解决上述技术问题，本发明提供一种分布式存储***中实现缓存数据备份的方法，包括：
主节点接收客户端待写入的数据；所述主节点将所述数据写入本地缓存设备，并将所述数据通过网络发送至备节点；所述备节点将所述数据写入镜像缓存设备，其中，所述镜像缓存设备为主节点通过网络在远程的备节点上镜像建立所述本地缓存设备的镜像缓存设备；所述备节点向所述主节点返回写入成功消息，然后主节点向客户端返回写成功消息，标记客户端写操作执行成功。
其中，所述本地缓存设备为SSD盘。
其中，在所述备节点向所述主节点返回写入成功消息之后还包括：所述主节点将存储在所述本地缓存设备中的所述数据通过异步方式刷新到存储设备。
其中，所述镜像缓存设备是主节点通过网络在多个远程的备节点上镜像建立本地缓存设备的多个镜像缓存设备。
其中，还包括：实时检测主节点是否存在故障，如果是，则选取所述备节点代替主节点进行数据的读写。
其中，还包括：实时检测各个所述备节点是否存在故障，如果是，则停止向存在故障的备节点发送所述数据，当检测所述备节点恢复正常，继续向所述备节点发送所述数据。
本发明还提供了一种分布式存储***中实现缓存数据备份的***，包括：主节点和备节点；所述主节点，用于接收待写入的数据，将所述数据写入本地缓存设备，并将所述数据通过网络发送至备节点；所述备节点通过网络和主节点连接，用于将所述数据写入镜像缓存设备，并向所述主节点返回写入成功消息；其中，所述镜像缓存设备为主节点通过网络在远程的备节点上镜像建立本地缓存设备的镜像缓存设备。
其中，所述主节点还包括存储器；所述存储器用于在所述备节点向所述主节点返回写入成功消息之后，将存储在所述本地缓存设备中的所述数据通过异步方式刷新到存储设备。
其中，还包括检测器，用于实时检测所述主节点是否存在故障，如果是，则选取所述备节点代替所述主节点进行数据的读写。
其中，所述检测器还用于实时检测各个所述备节点是否存在故障，如果是，则所述主节点停止向存在故障的备节点发送所述数据，当检测所述备节点恢复正常，所述主节点继续向所述备节点发送所述数据。
本发明所提供的分布式存储***中实现缓存数据备份的方法，主节点和备节点通过远程网络镜像本地缓存设备建立的镜像缓存设备，在本地缓存设备写入数据时，同时也在镜像缓存设备中备份有相同的数据，如果本地缓存设备由于故障或其他原因，导致数据丢失，还可以通过镜像缓存设备读取备份的数据，从而提高了数据的安全性，避免了由于数据丢失而导致的数据服务业务流程中断，提高了缓存的高可用性，从而达到了利用缓存读取数据来提高整个***的性能。
本发明还提供一种具有上述有益效果的分布式存储***中实现缓存数据备份的***。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的实现缓存数据备份的一种具体实施方式的流程图；
图2为本发明实施例提供的分布式存储***中实现缓存数据备份的***的结构框图；
图3为本发明提供的实现缓存设备数据备份***的另一种具体实施例的结构框图。
具体实施方式
在分布式存储***中，数据通过write back方法写入缓存设备，因为缓存设备对数据的存储不具有持久性，如果突然发生断电或其他故障数据就会丢失，而此时数据若还未存储在存储设备中，就会造成数据永久性丢失，这对存储***的数据的安全性以及整个***的性能都会产生很大的影响，为了防止缓存设备的数据丢失，本发明提供了一种通过镜像缓存设备实现数据备份的方案。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的方案是基于DRBD来实现缓存数据备份的，是通过网络在远程机器上镜像建立本地设备的实时镜像，是本地设备和远程机器形成一种主备模式，在作为主节点的本地设备的本地缓存设备写入数据时，作为备节点的远程机器的镜像缓存也对相同的数据进行存储，从而实现数据的备份，具体实施例如下所述。
本发明提供的实现缓存数据备份的一种具体实施方式的流程图，如图1所示，该方法可以包括：
步骤S101：主节点接收待写入的数据。
在分布式存储***中，数据处理流程需要经过多个节点，主节点接收上层设备发送的数据，具体的可以是存储前端口接收通过光纤网络传输的数据，主节点从存储前端口接收的数据即为待写入的数据。
步骤S102：所述主节点将所述数据写入本地缓存设备，并将所述数据通过网络发送至备节点。
数据最终是要存储在主节点后端存储设备中，所以数据一般由主节点接收，再由主节点向备节点传送相同的数据，以便备节点存储数据。
步骤S103：所述备节点将所述数据写入镜像缓存设备。
需要说明的是，如果仅仅考虑到数据的备份，则并不要求镜像缓存设备一定是在远程机器上建立的，也可以是在本地设备上建立，但是考虑到如果本地设备发生故障，本地设备上所有的数据都将不可用，从而无法解决本地缓存设备数据丢失的问题；还可以是在其他设备上对数据进行拷贝复制，但是这种简单的复制与向存储设备存储数据相类似，可能会耗费相当长的时间，与直接将数据存入存储设备没有太大的区别，为此就需要采取一种保证备份数据安全性的基础上，能够快速的备份数据。
因此，本发明中采取的是利用镜像缓存设备进行数据的备份，所述镜像缓存设备可以是主节点通过网络在远程的备节点上镜像所述本地缓存设备建立的镜像缓存设备，当然，这并不是本发明的唯一实施方案，其他能够安全且快速的对数据进行备份的方式也属于本发明的保护范围，在此不一一赘述。
步骤S4：10所述备节点向所述主节点返回写入成功消息。
具体的，在读取数据时，数据可能存储在存储设备中，也可能存储在本地缓存设备还未存入存储设备，如果需要读取的数据在本地缓存设备中，需要将数据存储在存储设备之后再读取数据，必然要花费很长时间，所以可以在数据存储在存储设备之前直接在本地缓存设备读取数据，而在备节点备份数据之后，在保证数据安全性的基础上，延后存储设备的存储数据的时间，既保证了数据的可用性，又提高了整个数据处理流程的速度，提高了***的性能。
基于上述实施例，可以对本地缓存设备进一步限定。考虑到本地缓存设备的数据易丢失，本发明提供的本地缓存设备可以具体为一种SSD盘，例如PCIE SSD或者SATA SSD作为本地缓存设备，这些设备具有丢点不丢失数据、读写性能高等优点。在主节点突然断电或者发生其他类似的故障时，重新启动主节点后，数据不会丢失。另外考虑到镜像缓存设备写入数据的速度也会影响整个数据处理流程的效率，所以镜像缓存设备也同样采用SSD盘。
基于上述实施例，为了将本地缓存设备中的数据作更持久性的保存，本发明中在所述备节点向所述主节点返回写入成功消息之后还包括：
所述主节点将存储在所述本地缓存设备中的所述数据通过异步方式刷新到存储设备。
通过异步方式将数据刷新到存储设备，而不是将数据写入本地缓存设备后立即刷新到存储设备，不影响在本地缓存设备和镜像缓存设备中写入数据后，从本地缓存设备读取相关的数据，从而不影响整个***的性能。
基于上述实施例，备节点的数量可以是单个也可以是多个，考虑到分布式存储***中，需要存储的数据往往数量较大，种类较多，为了保证数据的安全性，所以较为优选的方案是每个主节点，对应有多个备节点。本发明提供的实现缓存数据备份的另一具体实施例可以包括：
所述镜像缓存设备是主节点通过网络在多个远程的备节点上镜像建立本地缓存设备的多个镜像缓存设备。
因为本地缓存设备存储的数据较多，如果将所有数据都只备份到一个镜像缓存设备中，如果该镜像缓存设备发生故障，数据丢失或镜像缓存设备不可用，那么就会导致缓存数据备份失败，因此可以在多个备节点上镜像建立多个本地缓存设备的多个镜像缓存设备，以保证数据的安全性。但是对于镜像缓存设备的数量也不是越多越好，因为数量越多，通过网络向各个镜像缓存设备发送数据的速度就越慢，必然影响整个***数据写入缓存设备的速度，所以，镜像缓存设备的数量应该根据具体应用中，需要写入数据的多少以及网络能承受的负载的大小来具体设定。
基于上述实施例，考虑到分布式存储***中需要存储的数据较多，那么本地缓存设备需要频繁的被访问，这也导致主节点发生故障的概率增大，一旦主节点发生故障，如果没有及时采取应对措施，会使整个***的性能受到影响，为此本发明的上述具体实施例中还可以包括：
实时检测主节点是否存在故障，如果是，则选取所述备节点代替主节点进行数据的读写。
因为镜像缓存设备为主节点通过网络在远程的备节点上镜像建立本地缓存设备的镜像缓存设备，所以镜像缓存设备和本地缓存设备在功能上是完全相同的，所以当主节点发生故障时，可以用备节点代替主节点进行数据的读写服务，以保证整个数据处理的流程不被中断。具体的读取数据时可以是主节点通过网络向备节点的镜像缓存设备查询相关数据，如果找到对应数据，备节点通过网络将数据发送给主节点，从而完成数据的读取，这种方式虽然相比直接在主节点上读取数据要多两个数据业务流程，但是与向存储设备储存数据的时间相比较，这两个数据业务流程耗费的时间要短的多，所以仍能提高整个***的性能。当然这并不是备节点代替主节点存储数据的唯一方式，能够在保证整个数据处理数据的基础上代替主节点完成数据处理业务的实施方式，都能实现本发明的技术方案。
基于上述实施例，相对于主节点来说，备节点被访问的几率相对较小，但并不排除备节点会出现故障，导致数据备份失败的情况，为此本发明中上述实施例还可以进一步包括：
实时检测各个所述备节点是否存在故障，如果是，则停止向存在故障的备节点发送所述数据，当检测所述备节点恢复正常，继续向所述备节点发送所述数据。
因为每个主节点对应有多个备节点，如果其中某些备节点发生故障，对应的镜像缓存设备就不能备份数据，或者备份的数据不可用，如果还继续向该备节点发送数据，就会占用网络资源，且不能起到备份数据的作用。因此如果检测到备节点发生故障，比较优选的实施方式是停止向该备节点发送数据，直到检测到该备节点恢复正常，再进行数据的备份，但这并不是实现本发明的必要技术特征。
下面对本发明实施例提供的分布式存储***中实现缓存数据备份的***进行介绍，下文描述的分布式存储***中实现缓存数据备份的***与上文描述的分布式存储***中实现缓存数据备份的方法可相互对应参照。
图2为本发明实施例提供的分布式存储***中实现缓存数据备份的***的结构框图，参照图2分布式存储***中实现缓存数据备份的***可以包括：
主节点100，用于接收待写入的数据，将所述数据写入本地缓存设备110，并将所述数据通过网络发送至备节点；
备节点200，备节点200通过网络和主节点100连接，用于将所述数据写入镜像缓存设备210，并向所述主节点100返回写入成功消息；
其中，所述镜像缓存设备为主节点100通过网络在远程的备节点200上镜像建立本地缓存设备110的镜像缓存设备210。
基于上述实施例，主节点100还包括存储器120；存储器120用于在所述备节点200向所述主节点100返回写入成功消息之后，将存储在所述本地缓存设备110中的所述数据通过异步方式刷新到存储设备。
基于上述实施例，请参考图3，本发明提供的实现缓存设备数据备份***的另一种具体实施例的结构框图，该***还可以包括：
检测器300，用于实时检测所述主节点100是否存在故障，如果是，则选取所述备节点200代替所述主节点100进行数据的读写。
基于上述实施例，检测器300还用于实时检测各个所述备节点200是否存在故障，如果是，则所述主节点100停止向存在故障的备节点200发送所述数据，当检测所述备节点200恢复正常，所述主节点100继续向所述备节点发送所述数据。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的分布式存储***中实现缓存数据备份的方法以及***进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式存储***中实现缓存数据备份的方法，其特征在于，包括：
主节点接收待写入的数据；
所述主节点将所述数据写入本地缓存设备，并将所述数据通过网络发送至备节点；
所述备节点将所述数据写入镜像缓存设备，其中，所述镜像缓存设备为主节点通过网络在远程的备节点上镜像所述本地缓存设备建立的镜像缓存设备；
所述备节点向所述主节点返回写入成功消息。
2.根据权利要求1所述的方法，其特征在于，所述本地缓存设备为SSD盘。
3.根据权利要求1所述的方法，其特征在于，在所述备节点向所述主节点返回写入成功消息之后还包括：
所述主节点将存储在所述本地缓存设备中的所述数据通过异步方式刷新到存储设备。
4.根据权利要求1所述的方法，其特征在于，所述镜像缓存设备是主节点通过网络在多个远程的备节点上镜像建立本地缓存设备的多个缓存设备。
5.根据权利要求4所述的方法，其特征在于，还包括：
实时检测主节点是否存在故障，如果是，则选取所述备节点代替主节点进行数据的读写。
6.根据权利要求5所述的方法，其特征在于，还包括：
实时检测各个所述备节点是否存在故障，如果是，则停止向存在故障的备节点发送所述数据，当检测所述备节点恢复正常，继续向所述备节点发送所述数据。
7.一种分布式存储***中实现缓存数据备份的***，其特征在于，包括主节点和备节点；
所述主节点，用于接收待写入的数据，将所述数据写入本地缓存设备，并将所述数据通过网络发送至备节点；
所述备节点通过网络和主节点连接，用于将所述数据写入镜像缓存设备，并向所述主节点返回写入成功消息；
其中，所述镜像缓存设备为主节点通过网络在远程的备节点上镜像建立本地缓存设备的镜像缓存设备。
8.根据权利要求7所述的***，其特征在于，所述主节点还包括存储器；
所述存储器用于在所述备节点向所述主节点返回写入成功消息之后，将存储在所述本地缓存设备中的所述数据通过异步方式刷新到存储设备。
9.根据权利要求7所述的***，其特征在于，还包括：检测器，用于实时检测所述主节点是否存在故障，如果是，则选取所述备节点代替所述主节点进行数据的读写。
10.根据权利要求9所述的***，其特征在于，所述检测器还用于实时检测各个所述备节点是否存在故障，如果是，则所述主节点停止向存在故障的备节点发送所述数据，当检测所述备节点恢复正常，所述主节点继续向所述备节点发送所述数据。
CN201710537725.8A 2017-07-04 2017-07-04 一种分布式存储***实现缓存数据的方法及*** Pending CN107329708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710537725.8A CN107329708A (zh) 2017-07-04 2017-07-04 一种分布式存储***实现缓存数据的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710537725.8A CN107329708A (zh) 2017-07-04 2017-07-04 一种分布式存储***实现缓存数据的方法及***

Publications (1)

Publication Number Publication Date
CN107329708A true CN107329708A (zh) 2017-11-07

Family

ID=60197920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710537725.8A Pending CN107329708A (zh) 2017-07-04 2017-07-04 一种分布式存储***实现缓存数据的方法及***

Country Status (1)

Country Link
CN (1) CN107329708A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992434A (zh) * 2017-11-24 2018-05-04 郑州云海信息技术有限公司 用于分布式分层存储***的下刷方法、装置及存储介质
CN108153491A (zh) * 2017-12-22 2018-06-12 深圳市瑞驰信息技术有限公司 一种可关闭部分服务器的存储方法及架构
CN108427537A (zh) * 2018-01-12 2018-08-21 上海凯翔信息科技有限公司 分布式存储***及其文件写入优化方法、客户端处理方法
CN108874918A (zh) * 2018-05-30 2018-11-23 郑州云海信息技术有限公司 一种数据处理装置、数据库一体机及其数据处理方法
CN108897643A (zh) * 2018-06-22 2018-11-27 郑州云海信息技术有限公司 一种存储设备的控制方法和存储***
WO2019101095A1 (zh) * 2017-11-21 2019-05-31 北京金山云网络技术有限公司 节点宕机恢复方法、装置、电子设备及存储介质
CN111352573A (zh) * 2018-12-21 2020-06-30 南京基石数据技术有限责任公司 一种数据传输速度快的分布式存储方法
CN111966650A (zh) * 2020-10-26 2020-11-20 北京海联捷讯科技股份有限公司 一种运维大数据共享数据表的处理方法、装置及存储介质
CN112988680A (zh) * 2021-03-30 2021-06-18 联想凌拓科技有限公司 数据加速方法、缓存单元、电子设备及存储介质
CN117255101A (zh) * 2023-11-16 2023-12-19 苏州元脑智能科技有限公司 分布式存储***的数据处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098344A (zh) * 2011-02-21 2011-06-15 中国科学院计算技术研究所 一种缓存管理中同步版本方法和装置及其缓存管理***
US8332844B1 (en) * 2004-12-30 2012-12-11 Emendable Assets Limited Liability Company Root image caching and indexing for block-level distributed application management
CN103546914A (zh) * 2013-10-21 2014-01-29 大唐移动通信设备有限公司 一种hss主备管理的方法及装置
CN104518995A (zh) * 2013-09-26 2015-04-15 中国电信股份有限公司 基于分布式架构的交换机虚拟化***
CN106648959A (zh) * 2016-09-07 2017-05-10 华为技术有限公司 数据存储的方法和存储***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8332844B1 (en) * 2004-12-30 2012-12-11 Emendable Assets Limited Liability Company Root image caching and indexing for block-level distributed application management
CN102098344A (zh) * 2011-02-21 2011-06-15 中国科学院计算技术研究所 一种缓存管理中同步版本方法和装置及其缓存管理***
CN104518995A (zh) * 2013-09-26 2015-04-15 中国电信股份有限公司 基于分布式架构的交换机虚拟化***
CN103546914A (zh) * 2013-10-21 2014-01-29 大唐移动通信设备有限公司 一种hss主备管理的方法及装置
CN106648959A (zh) * 2016-09-07 2017-05-10 华为技术有限公司 数据存储的方法和存储***

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2751551C1 (ru) * 2017-11-21 2021-07-14 Бейджин Кингсофт Клауд Нетворк Текнолоджи Ко., Лтд. Способ и устройство для восстановления нарушенной работоспособности узла, электронное устройство и носитель данных
WO2019101095A1 (zh) * 2017-11-21 2019-05-31 北京金山云网络技术有限公司 节点宕机恢复方法、装置、电子设备及存储介质
US11249860B2 (en) 2017-11-21 2022-02-15 Beijing Kingsoft Cloud Network Technology, Co., Ltd. Node down recovery method and apparatus, electronic device, and storage medium
CN107992434A (zh) * 2017-11-24 2018-05-04 郑州云海信息技术有限公司 用于分布式分层存储***的下刷方法、装置及存储介质
CN108153491A (zh) * 2017-12-22 2018-06-12 深圳市瑞驰信息技术有限公司 一种可关闭部分服务器的存储方法及架构
CN108427537A (zh) * 2018-01-12 2018-08-21 上海凯翔信息科技有限公司 分布式存储***及其文件写入优化方法、客户端处理方法
CN108874918A (zh) * 2018-05-30 2018-11-23 郑州云海信息技术有限公司 一种数据处理装置、数据库一体机及其数据处理方法
CN108874918B (zh) * 2018-05-30 2021-11-26 郑州云海信息技术有限公司 一种数据处理装置、数据库一体机及其数据处理方法
CN108897643A (zh) * 2018-06-22 2018-11-27 郑州云海信息技术有限公司 一种存储设备的控制方法和存储***
CN111352573A (zh) * 2018-12-21 2020-06-30 南京基石数据技术有限责任公司 一种数据传输速度快的分布式存储方法
CN111352573B (zh) * 2018-12-21 2022-09-13 南京基石数据技术有限责任公司 一种分布式存储方法
CN111966650B (zh) * 2020-10-26 2021-01-12 北京海联捷讯科技股份有限公司 一种运维大数据共享数据表的处理方法、装置及存储介质
CN111966650A (zh) * 2020-10-26 2020-11-20 北京海联捷讯科技股份有限公司 一种运维大数据共享数据表的处理方法、装置及存储介质
CN112988680A (zh) * 2021-03-30 2021-06-18 联想凌拓科技有限公司 数据加速方法、缓存单元、电子设备及存储介质
CN117255101A (zh) * 2023-11-16 2023-12-19 苏州元脑智能科技有限公司 分布式存储***的数据处理方法、装置、设备及介质
CN117255101B (zh) * 2023-11-16 2024-02-20 苏州元脑智能科技有限公司 分布式存储***的数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN107329708A (zh) 一种分布式存储***实现缓存数据的方法及***
US11086740B2 (en) Maintaining storage array online
CN103885895B (zh) 容错集群存储***中的写入性能
CN103678045B (zh) 虚拟机的数据备份方法
US7908448B1 (en) Maintaining data consistency in mirrored cluster storage systems with write-back cache
US8046548B1 (en) Maintaining data consistency in mirrored cluster storage systems using bitmap write-intent logging
US9910777B2 (en) Enhanced integrity through atomic writes in cache
US20070118698A1 (en) Priority scheme for transmitting blocks of data
CN102467408B (zh) 一种虚拟机数据的访问方法和设备
US10810123B1 (en) Flush strategy for using DRAM as cache media system and method
CN107704196A (zh) 区块链数据存储***和方法
US20150370713A1 (en) Storage system and storage control method
US20080250199A1 (en) Atomic cache transactions in a distributed storage system
CN103929500A (zh) 一种分布式存储***的数据分片方法
CN109656895B (zh) 分布式存储***、数据写入方法、装置和存储介质
CN103516549B (zh) 一种基于共享对象存储的文件***元数据日志机制
EP2135165A2 (en) Shared disk clones
CN101291347A (zh) 一种网络存储***
CN106133676A (zh) 存储***
CN105897859B (zh) 一种存储***
CN106657356A (zh) 一种云存储***的数据写入方法、装置及云存储***
CN110737394B (zh) 管理缓存的方法、装置和计算机程序产品
CN106603279A (zh) 一种容灾方法和容灾***
US11226898B2 (en) Data caching method and apparatus
CN111399760B (zh) Nas集群元数据处理方法、装置、nas网关及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107

RJ01 Rejection of invention patent application after publication