CN109981741A - 一种分布式存储***的维护方法 - Google Patents

一种分布式存储***的维护方法 Download PDF

Info

Publication number
CN109981741A
CN109981741A CN201910140854.2A CN201910140854A CN109981741A CN 109981741 A CN109981741 A CN 109981741A CN 201910140854 A CN201910140854 A CN 201910140854A CN 109981741 A CN109981741 A CN 109981741A
Authority
CN
China
Prior art keywords
node
service mode
offline
write
memory system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910140854.2A
Other languages
English (en)
Inventor
金辉
严刚
侯玉斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enlightenment Cloud Computing Co Ltd
Original Assignee
Enlightenment Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enlightenment Cloud Computing Co Ltd filed Critical Enlightenment Cloud Computing Co Ltd
Priority to CN201910140854.2A priority Critical patent/CN109981741A/zh
Publication of CN109981741A publication Critical patent/CN109981741A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/59—Providing operational support to end devices by off-loading in the network or by emulation, e.g. when they are unavailable

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式存储***的维护方法，包括以下步骤：步骤1、维护模式下，节点离线不会触发recovery流程；步骤2、对于离线节点造成副本损失的数据对象进行写操作时，采用有效副本+打标记的方式处理，即降级写方式处理；步骤3、离线节点重新上线时，只有这个重新上线的节点会触发recovery流程，并且仅仅同步其离线期间被打上写入标记的数据对象。本发明通过引入维护模式，提升存储集群的可维护性，实现在线状态下的磁盘替换和程序升级等操作，保证期间读写操作可以正常。

Description

一种分布式存储***的维护方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种分布式存储***的维护方法。
背景技术
分布式存储***在拓扑变更时，会启动recovery流程，进行自动数据再平衡。通常情况下，recovery流程是完全自动化且不可中断的。
Recovery期间，为了保证数据的一致性，部分操作无法执行，影响用户的正常使用。当***容量逐渐增大，意味着需要recovery的数据量增大，花费的时间也随之增加，***的可用性降低。最佳工程实践表明，如何尽量减少recovery发生的频率，是分布式存储***运维的重要内容。
然而，在实际运维过程中，如果要进行磁盘替换或者版本升级，只能先让相应的数据节点下线，更换磁盘或者升级程序后再上线一个新节点，这就意味着必须进行2次recovery，费时费力。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种分布式存储***的维护方法，以解决现有技术的不足。
为实现上述目的，本发明提供了一种分布式存储***的维护方法，包括以下步骤：
步骤1、维护模式下，节点离线不会触发recovery流程；
步骤2、对于离线节点造成副本损失的数据对象进行写操作时，采用有效副本+打标记的方式处理，即降级写方式处理；
步骤3、离线节点重新上线时，只有这个重新上线的节点会触发recovery流程，并且仅仅同步其离线期间被打上写入标记的数据对象。
上述的一种分布式存储***的维护方法，所述步骤2的降级写方式处理具体步骤为:
1、gateway收到客户写请求；
2、Gateway根据当前拓扑，确定需要转发的数据节点；
3、数据节点收到转发的写请求；
4、判断是否处于维护模式，是的进入降级写流程，获取维护模式拓扑，否则正常写流程；
5、通过维护模式拓扑定位副本位置；
6、比较当前拓扑与维护模式拓扑；
7、判断当前拓扑下是否有节点离线，如果是写入标记，否则写副本；写入标记后判断当前节点是否在维护模式拓扑下，是的话写副本，否则结束。
上述的一种分布式存储***的维护方法，维护模式下，只能下线开启维护模式时集群中已经存在的节点。
上述的一种分布式存储***的维护方法，维护模式下，只能将下线的节点重新上线，不能上线新节点。
上述的一种分布式存储***的维护方法，维护模式下，对已下线的节点，不能清除或者改动其工作目录。
上述的一种分布式存储***的维护方法，维护模式下，节点重新上线时，启动参数必须与其下线之前完全一致。
本发明的有益效果是：
本发明通过引入维护模式，提升存储集群的可维护性，实现在线状态下的磁盘替换和程序升级等操作，保证期间读写操作可以正常。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的维护模式下的降级写入流程图。
具体实施方式
一种分布式存储***的维护方法，包括以下步骤：
步骤1、维护模式下，节点离线不会触发recovery流程；
步骤2、对于离线节点造成副本损失的数据对象进行写操作时，采用有效副本+打标记的方式处理，即降级写方式处理；
步骤3、离线节点重新上线时，只有这个重新上线的节点会触发recovery流程，并且仅仅同步其离线期间被打上写入标记的数据对象。
首先，需要记录维护模式拓扑与当前拓扑，用于计算数据对象的副本位置与写入标志位置。降级写的前提是不发生recovery，否则如果该数据对象正在执行recovery，写操作会进入等待。维护模式下的降级写入流程如图1所示，降级写方式处理具体步骤为:
1、gateway收到客户写请求；
2、Gateway根据当前拓扑，确定需要转发的数据节点；
3、数据节点收到转发的写请求；
4、判断是否处于维护模式，是的进入降级写流程，获取维护模式拓扑，否则正常写流程；
5、通过维护模式拓扑定位副本位置；
6、比较当前拓扑与维护模式拓扑；
7、判断当前拓扑下是否有节点离线，如果是写入标记，否则写副本；写入标记后判断当前节点是否在维护模式拓扑下，是的话写副本，否则结束。
另外，维护模式下，只能下线开启维护模式时集群中已经存在的节点。维护模式下，只能将下线的节点重新上线，不能上线新节点。维护模式下，对已下线的节点，不能清除或者改动其工作目录。维护模式下，节点重新上线时，启动参数必须与其下线之前完全一致。
一.发明原理：
分布式存储***对副本的写入采用强一致性策略，因而在副本缺失且尚未recovery完毕时，无法执行写操作。但是，如果在节点离线期间不进行recovery，对缺失副本的对象进行写操作时，并不写入缺失的副本(当然也写不了，因为节点离线了)，而是针对缺失副本打上写入标记，保证有效副本+写入标记的和达到最大副本数，则写操作的强一致性并没有被破坏。当离线节点重新上线时，再将分布于离线节点上的数据副本中，打上写入标记的那部分同步过来，即可保证数据的强一致性。
以下给出具体实施方案说明本发明操作方法原理：
·利用维护模式，可以实现在线磁盘替换和在线灰度升级等功能，实现方式大同小异，这里以在线磁盘替换为例，说明维护模式的使用方法：
·首先，在集群状态正常的情况下(没有节点上下线，没有未完成的recovery)，使用“dog cluster mmode on”命令启动维护模式；
·将待替换磁盘对应的数据对象服务进程杀死，并等待拓扑更新完成(即，通过“dog cluster info”命令，可以看到该节点下线造成的拓扑更新)；
·将待替换磁盘整盘复制到新的磁盘；
·重新启动原来的磁盘所对应的数据节点(要求启动参数与之前一致)，等待recovery(即同步有写入标记的数据对象)完成；
·关闭维护模式。
·实现灰度升级的方法与上述过程类似，把替换磁盘的步骤换成升级安装包，就是升级一个节点的过程；然后，按照这个流程一个节点一个节点的重复，直到所有节点都升级成最新版本的程序即可。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种分布式存储***的维护方法，其特征在于，包括以下步骤：
步骤1、维护模式下，节点离线不会触发recovery流程；
步骤2、对于离线节点造成副本损失的数据对象进行写操作时，采用有效副本+打标记的方式处理，即降级写方式处理；
步骤3、离线节点重新上线时，只有这个重新上线的节点会触发recovery流程，并且仅仅同步其离线期间被打上写入标记的数据对象。
2.如权利要求1所述的一种分布式存储***的维护方法，其特征在于：所述步骤2的降级写方式处理具体步骤为:
1、gateway收到客户写请求；
2、Gateway根据当前拓扑，确定需要转发的数据节点；
3、数据节点收到转发的写请求；
4、判断是否处于维护模式，是的进入降级写流程，获取维护模式拓扑，否则正常写流程；
5、通过维护模式拓扑定位副本位置；
6、比较当前拓扑与维护模式拓扑；
7、判断当前拓扑下是否有节点离线，如果是写入标记，否则写副本；写入标记后判断当前节点是否在维护模式拓扑下，是的话写副本，否则结束。
3.如权利要求1所述的一种分布式存储***的维护方法，其特征在于：维护模式下，只能下线开启维护模式时集群中已经存在的节点。
4.如权利要求1所述的一种分布式存储***的维护方法，其特征在于：维护模式下，只能将下线的节点重新上线，不能上线新节点。
5.如权利要求1所述的一种分布式存储***的维护方法，其特征在于：维护模式下，对已下线的节点，不能清除或者改动其工作目录。
6.如权利要求1所述的一种分布式存储***的维护方法，其特征在于：维护模式下，节点重新上线时，启动参数必须与其下线之前完全一致。
CN201910140854.2A 2019-02-26 2019-02-26 一种分布式存储***的维护方法 Pending CN109981741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910140854.2A CN109981741A (zh) 2019-02-26 2019-02-26 一种分布式存储***的维护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910140854.2A CN109981741A (zh) 2019-02-26 2019-02-26 一种分布式存储***的维护方法

Publications (1)

Publication Number Publication Date
CN109981741A true CN109981741A (zh) 2019-07-05

Family

ID=67077337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910140854.2A Pending CN109981741A (zh) 2019-02-26 2019-02-26 一种分布式存储***的维护方法

Country Status (1)

Country Link
CN (1) CN109981741A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990339A (zh) * 2019-10-15 2020-04-10 平安科技（深圳）有限公司 分布式存储的文件读写方法、装置、平台及可读存储介质

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599032A (zh) * 2009-05-31 2009-12-09 成都市华为赛门铁克科技有限公司 存储节点管理方法、控制子***和存储***
WO2011023134A1 (en) * 2009-08-28 2011-03-03 Beijing Innovation Works Technology Company Limited Method and system for managing distributed storage system through virtual file system
CN102202044A (zh) * 2011-02-25 2011-09-28 北京兴宇中科科技开发股份有限公司 便携式云存储方法和设备
US20120166390A1 (en) * 2010-12-23 2012-06-28 Dwight Merriman Method and apparatus for maintaining replica sets
CN103546579A (zh) * 2013-11-07 2014-01-29 陈靓 一种用数据日志提高分布式存储***可用性的方法
US20140089912A1 (en) * 2012-09-21 2014-03-27 Silver Spring Networks, Inc. System and method for efficiently updating firmware for nodes in a mesh network
EP2755161A1 (en) * 2013-01-14 2014-07-16 Accenture Global Services Limited Secure online distributed data storage services
CN104216719A (zh) * 2013-05-30 2014-12-17 深圳创维无线技术有限公司 一种android***的升级方法和装置
CN104615606A (zh) * 2013-11-05 2015-05-13 阿里巴巴集团控股有限公司 一种Hadoop分布式文件***及其管理方法
CN104618487A (zh) * 2015-02-06 2015-05-13 杭州华三通信技术有限公司 一种因特网协议存储在线升级方法和装置
CN105094913A (zh) * 2015-07-31 2015-11-25 广东欧珀移动通信有限公司 ***、基带固件和***应用升级方法及装置
CN105659213A (zh) * 2013-10-18 2016-06-08 日立数据***工程英国有限公司 无共享分布式存储***中的目标驱动独立数据完整性和冗余恢复
CN106406758A (zh) * 2016-09-05 2017-02-15 华为技术有限公司 一种基于分布式存储***的数据处理方法及存储设备
US20170116302A1 (en) * 2015-10-22 2017-04-27 Maxta, Inc. Replica Checkpointing Without Quiescing
CN106776142A (zh) * 2016-12-23 2017-05-31 深圳市深信服电子科技有限公司 一种数据存储方法以及数据存储装置
CN107526536A (zh) * 2016-06-22 2017-12-29 伊姆西公司 用于管理存储***的方法和***
CN107943510A (zh) * 2017-11-23 2018-04-20 郑州云海信息技术有限公司 分布式存储***升级方法、***、装置及可读存储介质
US9983823B1 (en) * 2016-12-09 2018-05-29 Amazon Technologies, Inc. Pre-forking replicas for efficient scaling of a distribued data storage system
CN108319618A (zh) * 2017-01-17 2018-07-24 阿里巴巴集团控股有限公司 一种分布式存储***的数据分布控制方法、***及装置
CN108427537A (zh) * 2018-01-12 2018-08-21 上海凯翔信息科技有限公司 分布式存储***及其文件写入优化方法、客户端处理方法
US10069914B1 (en) * 2014-04-21 2018-09-04 David Lane Smith Distributed storage system for long term data storage
CN108780460A (zh) * 2016-03-25 2018-11-09 英特尔公司 用于在分布式存储***中分配索引并重新定位对象片段的方法和装置
US20180349071A1 (en) * 2017-05-30 2018-12-06 Kyocera Document Solutions Inc. Image forming apparatus management system including plural image forming apparatuses and management server for remotely managing plural image forming apparatuses via network, and image forming apparatus management method

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599032A (zh) * 2009-05-31 2009-12-09 成都市华为赛门铁克科技有限公司 存储节点管理方法、控制子***和存储***
WO2011023134A1 (en) * 2009-08-28 2011-03-03 Beijing Innovation Works Technology Company Limited Method and system for managing distributed storage system through virtual file system
US20120166390A1 (en) * 2010-12-23 2012-06-28 Dwight Merriman Method and apparatus for maintaining replica sets
CN102202044A (zh) * 2011-02-25 2011-09-28 北京兴宇中科科技开发股份有限公司 便携式云存储方法和设备
US20140089912A1 (en) * 2012-09-21 2014-03-27 Silver Spring Networks, Inc. System and method for efficiently updating firmware for nodes in a mesh network
EP2755161A1 (en) * 2013-01-14 2014-07-16 Accenture Global Services Limited Secure online distributed data storage services
CN104216719A (zh) * 2013-05-30 2014-12-17 深圳创维无线技术有限公司 一种android***的升级方法和装置
CN105659213A (zh) * 2013-10-18 2016-06-08 日立数据***工程英国有限公司 无共享分布式存储***中的目标驱动独立数据完整性和冗余恢复
CN104615606A (zh) * 2013-11-05 2015-05-13 阿里巴巴集团控股有限公司 一种Hadoop分布式文件***及其管理方法
CN103546579A (zh) * 2013-11-07 2014-01-29 陈靓 一种用数据日志提高分布式存储***可用性的方法
US10069914B1 (en) * 2014-04-21 2018-09-04 David Lane Smith Distributed storage system for long term data storage
CN104618487A (zh) * 2015-02-06 2015-05-13 杭州华三通信技术有限公司 一种因特网协议存储在线升级方法和装置
CN105094913A (zh) * 2015-07-31 2015-11-25 广东欧珀移动通信有限公司 ***、基带固件和***应用升级方法及装置
US20170116302A1 (en) * 2015-10-22 2017-04-27 Maxta, Inc. Replica Checkpointing Without Quiescing
CN108780460A (zh) * 2016-03-25 2018-11-09 英特尔公司 用于在分布式存储***中分配索引并重新定位对象片段的方法和装置
CN107526536A (zh) * 2016-06-22 2017-12-29 伊姆西公司 用于管理存储***的方法和***
CN106406758A (zh) * 2016-09-05 2017-02-15 华为技术有限公司 一种基于分布式存储***的数据处理方法及存储设备
US9983823B1 (en) * 2016-12-09 2018-05-29 Amazon Technologies, Inc. Pre-forking replicas for efficient scaling of a distribued data storage system
CN106776142A (zh) * 2016-12-23 2017-05-31 深圳市深信服电子科技有限公司 一种数据存储方法以及数据存储装置
CN108319618A (zh) * 2017-01-17 2018-07-24 阿里巴巴集团控股有限公司 一种分布式存储***的数据分布控制方法、***及装置
US20180349071A1 (en) * 2017-05-30 2018-12-06 Kyocera Document Solutions Inc. Image forming apparatus management system including plural image forming apparatuses and management server for remotely managing plural image forming apparatuses via network, and image forming apparatus management method
CN107943510A (zh) * 2017-11-23 2018-04-20 郑州云海信息技术有限公司 分布式存储***升级方法、***、装置及可读存储介质
CN108427537A (zh) * 2018-01-12 2018-08-21 上海凯翔信息科技有限公司 分布式存储***及其文件写入优化方法、客户端处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
施超: "基于Android平台OTA增量升级***研究与设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990339A (zh) * 2019-10-15 2020-04-10 平安科技（深圳）有限公司 分布式存储的文件读写方法、装置、平台及可读存储介质
CN110990339B (zh) * 2019-10-15 2023-09-19 平安科技（深圳）有限公司 分布式存储的文件读写方法、装置、平台及可读存储介质

Similar Documents

Publication Publication Date Title
EP2721498B1 (en) Managing replicated virtual storage at recovery sites
CN109241185A (zh) 一种数据同步的方法以及数据同步装置
CN106021016A (zh) 在快照之间的虚拟时间点访问
CN105868343B (zh) 数据库迁移方法及***
CN102981931A (zh) 虚拟机备份方法及装置
CN103294675A (zh) 一种分布式存储***中的数据更新方法及装置
CN109918229B (zh) 非日志模式的数据库集群副本构建方法及装置
CN102098342A (zh) 一种基于事务级的数据同步方法、装置及***
CN102937909B (zh) 一种部署和更新Linux***的方法
US20140156598A1 (en) Replication control using eventually consistent meta-data
CN107483241B (zh) 一种在网元升级过程中下载升级镜像版本的方法和装置
CN102279857B (zh) 一种实现数据复制的方法及***
CN102193841B (zh) 一种Subversion配置库的备份方法及装置
CN114942965B (zh) 一种数据库主备同步操作的加速方法和***
CN102495739A (zh) 一种数据的兼容方法、板间消息的兼容方法及相应***
CN110007941A (zh) 一种智能垃圾分类回收***的mcu固件及升级方法
JP2011164800A (ja) ストレージシステム及びストレージ制御方法
CN112905613A (zh) 一种异构数据库的数据双向同步方法及装置
CN102833273A (zh) 临时故障时的数据修复方法及分布式缓存***
CN109981741A (zh) 一种分布式存储***的维护方法
CN109728886A (zh) 一种适于跨版本升级的数据同步方法、装置、设备及存储介质
CN113296804B (zh) 升级数据库的方法以及装置
CN104407932B (zh) 一种数据备份方法及装置
CN106682141B (zh) 一种基于业务操作日志的数据同步方法
CN103425550B (zh) 一种***克隆方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220830

AD01 Patent right deemed abandoned