CN113254277B - 存储集群osd故障修复方法、存储介质、监视器及存储集群 - Google Patents

存储集群osd故障修复方法、存储介质、监视器及存储集群 Download PDF

Info

Publication number
CN113254277B
CN113254277B CN202110658010.4A CN202110658010A CN113254277B CN 113254277 B CN113254277 B CN 113254277B CN 202110658010 A CN202110658010 A CN 202110658010A CN 113254277 B CN113254277 B CN 113254277B
Authority
CN
China
Prior art keywords
osd
storage cluster
fault
disk
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110658010.4A
Other languages
English (en)
Other versions
CN113254277A (zh
Inventor
吴国勇
邹理贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Winhong Information Technology Co ltd
Original Assignee
Winhong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Winhong Information Technology Co ltd filed Critical Winhong Information Technology Co ltd
Priority to CN202110658010.4A priority Critical patent/CN113254277B/zh
Publication of CN113254277A publication Critical patent/CN113254277A/zh
Application granted granted Critical
Publication of CN113254277B publication Critical patent/CN113254277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2089—Redundant storage control functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/2033—Failover techniques switching over of hardware resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种存储集群OSD故障修复方法、存储介质、监视器及存储集群。该方法为：若监测到存储集群内有OSD发生故障，则将故障OSD销毁，释放其缓存盘和日志盘，然后取备用磁盘作为数据盘，连同所释放的缓存盘和日志盘组成新的OSD，用新的OSD替换故障OSD，让存储集群在新的OSD上进行数据修复。该存储集群OSD故障修复方法不需要预先配置好备用OSD，只需配置好备用磁盘即可，在OSD发生故障时，将故障OSD销毁，释放其缓存盘和日志盘，然后取备用磁盘连同所释放的缓存盘和日志盘组成新的OSD，用此OSD替换故障OSD，如此既实现了故障OSD的等效替换，又能保持为OSD配置日志盘和缓存盘的灵活性。

Description

存储集群OSD故障修复方法、存储介质、监视器及存储集群
技术领域
本发明涉及存储集群技术领域，尤其涉及一种存储集群OSD故障修复方法、存储介质、监视器及存储集群。
背景技术
Ceph 是一个开源的分布式存储***，包括对象存储、块设备、文件***。它可靠性高、管理方便、伸缩性强。Ceph存储集群由很多独立的OSD（Object-basedStorage Device，对象存储设备）构成，可以提供对象存储服务。Ceph通过多副本特性和自修复功能来保障数据的可靠性和防丢失，当某个OSD出现故障时，该OSD会退出服务，属于该OSD的数据会产生重构，重新分布到其他OSD上，待该OSD修复后，将其他OSD上的部分数据迁移到该OSD上以实现数据恢复。这种故障处理方法虽然可以保障存储数据的完整性，但数据重构过程会造成多个OSD之间发生大量的数据迁移，导致集群资源被占用。
为了在OSD故障处理过程中减少OSD之间的数据迁移量，专利文献CN109656896A提供了一种故障修复方法，当检测到主用OSD发生故障时，确定故障的主用OSD所属的存储子集群（存储子集群的各个主用OSD互为副本），从备用OSD组中选择一个备用OSD置换故障的主用OSD，作为新的主用OSD，将新的主用OSD添加到故障主用OSD所在的存储子集群中，并利用该存储子集群中其他未发生故障的主用OSD在新的OSD上进行数据恢复。
众所周知，OSD至少包括一块独立的数据盘，OSD故障就是指该数据盘故障。在OSD的实际使用中，OSD除了固有的数据盘以外，还可配置有日志盘和缓存盘。各个OSD的日志盘和缓存盘的大小可以根据实际需求灵活配置，不尽相同。但是，上述专利文献的故障修复方法是预先配置好备用OSD，以备用OSD直接置换故障的主用OSD，若要保证等效恢复OSD，则需要把所有主用OSD的和所有备用OSD的日志盘和缓存盘都配置成一样的，这样一来就无法灵活配置各个OSD的日志盘和缓存盘了。
发明内容
本发明所要解决的技术问题是提供一种存储集群OSD故障修复方法，用于存储实现该方法的计算机程序的存储介质，用于执行上述方法的监视器以及包括该监视器的存储集群，该方法能够用新的OSD替换掉故障的OSD而且能保持OSD的日志盘和缓存盘的配置灵活性。
为了解决上述技术问题，本发明的存储集群OSD故障修复方法，若监测到存储集群内有OSD发生故障，则将故障OSD销毁，释放其缓存盘和日志盘，然后取备用磁盘作为数据盘，连同所释放的缓存盘和日志盘组成新的OSD，用新的OSD替换故障OSD，让存储集群在新的OSD上进行数据修复。
可选地，若监测到存储集群内有OSD发生故障，则发出告警信息。
可选地，若监测到存储集群内有OSD发生故障，则点亮该OSD所在主机的定位灯以便运维人员确定故障OSD所在位置。
可选地，在用新的OSD替换故障OSD之前，先锁住存储集群的数据均衡功能，在用新的OSD替换故障OSD之后，解锁存储集群的数据均衡功能从而让存储集群在新的OSD上进行数据修复。
可选地，该存储集群是Ceph存储集群。
一种计算机可读存储介质，其上存储有可执行的计算机程序，所述计算机程序被执行时可实现如上所述的存储集群OSD故障修复方法。
一种存储集群的监视器，包括处理器和计算机可读存储介质，该计算机可读存储介质上存储有可执行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的存储集群OSD故障修复方法。
一种存储集群，其特征是：包括多个OSD和备用磁盘，还包括如上所述的监视器，该监视器若监测到该存储集群内有OSD发生故障，则将故障OSD销毁，释放其缓存盘和日志盘，然后取备用磁盘作为数据盘，连同所释放的缓存盘和日志盘组成新的OSD，用新的OSD替换故障OSD。
可选地，备用磁盘有多个，从中选择其中一个备用磁盘作为数据盘。
该存储集群OSD故障修复方法不需要预先配置好备用OSD，只需配置好可作为数据盘使用的备用磁盘即可，在OSD发生故障时，将故障OSD销毁，释放其缓存盘和日志盘，然后取备用磁盘作为数据盘，连同所释放的缓存盘和日志盘组成新的OSD，用此OSD替换故障OSD，如此既可以实现故障OSD的等效替换，又能保持为OSD配置日志盘和缓存盘的灵活性。
附图说明
图1是一种Ceph存储集群的***框图。
具体实施方式
以下结合具体实施方式对本发明创造作进一步详细说明。
如图1所示，Ceph存储集群包括多个OSD以及通信连接各个OSD的监视器MON。监视器MON包括处理器和计算机可读存储介质，该计算机可读存储介质上存储有可执行的计算机程序，所述计算机程序被所述处理器执行时实现存储集群OSD故障修复方法。该存储集群OSD故障修复方法的具体流程如下：
Ceph存储集群中的每个OSD会定期向其他OSD发送心跳包，声明自己处于在线状态。每个OSD也定期向监视器MON发送心跳包，同时还把其自身接收到的来自其他OSD的心跳包情况发送给监视器MON。监视器MON若在预设时间段900s内没有接收到某个OSD发送的心跳包，并且根据其他OSD接收的心跳包情况判断出其他OSD亦没有接收到该OSD发送的心跳包，则通过硬盘检测命令和硬盘分区检测命令对该OSD的数据盘进行检测，从而诊断该OSD的数据盘是否存在故障，若是则判定该OSD发生故障。
在判定OSD发生故障之后，监视器MON先锁住Ceph存储集群的数据均衡功能，再把故障OSD从存储集群中移出。Ceph存储集群自身具有数据均衡功能，若有OSD从存储集群中移出或者有新的OSD添加到存储集群中，则会自动触发数据均衡，进行副本数据修复。由于把故障OSD从存储集群中移出之后，存储集群的存储空间会缩小，若在移出故障OSD时触发数据均衡进行数据修复，可能会因不够存储空间进行数据修复而导致存储集群进入只读状态，无法进行数据写入操作。本发明先锁住Ceph存储集群的数据均衡功能再把故障OSD移出存储集群，可以防止在移出故障OSD时触发数据均衡进行数据修复，从而避免因不够存储空间进行数据修复而导致存储集群进入只读状态。
在本实施例中，OSD配置有数据盘、日志盘和缓存盘。Ceph存储集群包括多个备用磁盘，把故障OSD从存储集群中移出之后，监视器MON将故障OSD销毁（destory），释放其缓存盘和日志盘，然后从多个备用磁盘中选择其中一个作为数据盘，连同所释放的缓存盘和日志盘组成新的OSD，将新的OSD添加到存储集群中从而实现替换故障OSD。在把新的OSD添加到存储集群中之后，监视器MON解锁存储集群的数据均衡功能，如此一来，存储集群在识别到新的OSD之后，自动触发数据均衡，从而在新的OSD上进行数据修复。本发明在用新的OSD替换了故障OSD之后才解锁存储集群的数据均衡功能，从而保证有足够的存储空间进行数据修复，确保数据的可靠性，防止数据丢失。
在判定OSD发生故障时，监视器MON会发出告警信息通知运维人员并点亮该OSD所在主机的定位灯。由于存储集群已经自动用新的OSD替换故障OSD了，运维人员无需第一时间紧急到达现场对故障OSD进行维修处理，在接收到告警信息之后，可以合理安排时间去现场，利用亮起的定位灯快速确定故障OSD所在主机的位置，然后对故障OSD进行维修处理。
如上所述仅为本发明创造的实施方式，不以此限定专利保护范围。本领域技术人员在本发明创造的基础上作出非实质性的变化或替换，仍落入专利保护范围。

Claims (8)

1.存储集群OSD故障修复方法，其特征是：若监测到存储集群内有OSD发生故障，则将故障OSD销毁，释放其缓存盘和日志盘，然后取备用磁盘作为数据盘，连同所释放的缓存盘和日志盘组成新的OSD，用新的OSD替换故障OSD，让存储集群在新的OSD上进行数据修复；在用新的OSD替换故障OSD之前，先锁住存储集群的数据均衡功能从而禁止存储集群因故障OSD移出而触发数据均衡，在用新的OSD替换故障OSD之后，解锁存储集群的数据均衡功能从而让存储集群在新的OSD上进行数据修复。
2.如权利要求1所述的存储集群OSD故障修复方法，其特征是：若监测到存储集群内有OSD发生故障，则发出告警信息。
3.如权利要求2所述的存储集群OSD故障修复方法，其特征是：若监测到存储集群内有OSD发生故障，则点亮该OSD所在主机的定位灯以便运维人员确定故障OSD所在位置。
4.如权利要求1～3任一项所述的存储集群OSD故障修复方法，其特征是：该存储集群是Ceph存储集群。
5.一种计算机可读存储介质，其上存储有可执行的计算机程序，其特征是：所述计算机程序被执行时可实现如权利要求1至4任一项所述的存储集群OSD故障修复方法。
6.一种存储集群的监视器，包括处理器和计算机可读存储介质，该计算机可读存储介质上存储有可执行的计算机程序，其特征是：所述计算机程序被所述处理器执行时实现如权利要求1至4任一项所述的存储集群OSD故障修复方法。
7.一种存储集群，其特征是：包括多个OSD和备用磁盘，还包括如权利要求6所述的监视器，该监视器若监测到该存储集群内有OSD发生故障，则将故障OSD销毁，释放其缓存盘和日志盘，然后取备用磁盘作为数据盘，连同所释放的缓存盘和日志盘组成新的OSD，用新的OSD替换故障OSD。
8.如权利要求7所述的存储集群，其特征是：备用磁盘有多个，从中选择其中一个备用磁盘作为数据盘。
CN202110658010.4A 2021-06-15 2021-06-15 存储集群osd故障修复方法、存储介质、监视器及存储集群 Active CN113254277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110658010.4A CN113254277B (zh) 2021-06-15 2021-06-15 存储集群osd故障修复方法、存储介质、监视器及存储集群

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110658010.4A CN113254277B (zh) 2021-06-15 2021-06-15 存储集群osd故障修复方法、存储介质、监视器及存储集群

Publications (2)

Publication Number Publication Date
CN113254277A CN113254277A (zh) 2021-08-13
CN113254277B true CN113254277B (zh) 2021-11-02

Family

ID=77188035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110658010.4A Active CN113254277B (zh) 2021-06-15 2021-06-15 存储集群osd故障修复方法、存储介质、监视器及存储集群

Country Status (1)

Country Link
CN (1) CN113254277B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930558A (zh) * 2019-05-13 2020-11-13 华为技术有限公司 数据库***的故障修复方法、数据库***和计算设备
CN112711497A (zh) * 2021-01-05 2021-04-27 浪潮云信息技术股份公司 一种容器化部署Ceph集群对象unfound故障的恢复方法及***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9021296B1 (en) * 2013-10-18 2015-04-28 Hitachi Data Systems Engineering UK Limited Independent data integrity and redundancy recovery in a storage system
CN106062717B (zh) * 2014-11-06 2019-05-03 华为技术有限公司 一种分布式存储复制***和方法
CN110825543B (zh) * 2018-08-09 2023-10-31 联想企业解决方案(新加坡)有限公司 在故障存储设备上快速恢复数据的方法
CN109656896B (zh) * 2018-11-28 2023-08-22 平安科技（深圳）有限公司 故障修复方法、装置及分布式存储***和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930558A (zh) * 2019-05-13 2020-11-13 华为技术有限公司 数据库***的故障修复方法、数据库***和计算设备
CN112711497A (zh) * 2021-01-05 2021-04-27 浪潮云信息技术股份公司 一种容器化部署Ceph集群对象unfound故障的恢复方法及***

Also Published As

Publication number Publication date
CN113254277A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110798375B (zh) 一种增强容器集群高可用性的监控方法、***及终端设备
US6526521B1 (en) Methods and apparatus for providing data storage access
CN109726046B (zh) 机房切换方法及切换装置
CN102880522B (zh) 面向硬件故障的***关键文件故障纠正方法及装置
CN104036043B (zh) 一种mysql高可用的方法及管理节点
CN105187249A (zh) 一种故障恢复方法及装置
US9507664B2 (en) Storage system including a plurality of storage units, a management device, and an information processing apparatus, and method for controlling the storage system
JPH0731582B2 (ja) パリティ保護データを回復するための方法および装置
CN105607973B (zh) 一种虚拟机***中设备故障处理的方法、装置及***
US7373542B2 (en) Automatic startup of a cluster system after occurrence of a recoverable error
CN109194515A (zh) 服务器集群***及实现服务器集群***高可用的方法
US7401256B2 (en) System and method for highly available data processing in cluster system
CN108600284B (zh) 一种基于Ceph的虚拟机高可用实现方法及***
CN102999399A (zh) 一种jbod阵列自动恢复存储的方法和装置
US20070234107A1 (en) Dynamic storage data protection
CN108319522A (zh) 一种加强分布式存储***可靠性的方法
CN104636082B (zh) 磁盘阵列raid的控制方法及装置
CN113254277B (zh) 存储集群osd故障修复方法、存储介质、监视器及存储集群
CN105959145A (zh) 一种适用高可用性集群的并行管理服务器的方法及***
CN110502496B (zh) 一种分布式文件***修复方法、***、终端及存储介质
CN109508261A (zh) 一种基于大数据的电网数据节点备份方法及备份***
CN115878361A (zh) 数据库集群的节点管理方法、装置及电子设备
CN115599607A (zh) 一种raid阵列的数据恢复方法及相关装置
JP2008276281A (ja) データ同期システム、方法、及び、プログラム
CN108897645B (zh) 一种基于备用心跳磁盘的数据库集群容灾方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210813

Assignee: GUANGZHOU AEROSPACE YUNHONG TECHNOLOGY CO.,LTD.

Assignor: WINHONG INFORMATION TECHNOLOGY CO.,LTD.

Contract record no.: X2023980035964

Denomination of invention: Storage cluster OSD fault repair method, storage medium, monitor, and storage cluster

Granted publication date: 20211102

License type: Common License

Record date: 20230525

EE01 Entry into force of recordation of patent licensing contract