CN112231326A - 一种检测Ceph对象的方法和服务器 - Google Patents

一种检测Ceph对象的方法和服务器 Download PDF

Info

Publication number
CN112231326A
CN112231326A CN202011060922.3A CN202011060922A CN112231326A CN 112231326 A CN112231326 A CN 112231326A CN 202011060922 A CN202011060922 A CN 202011060922A CN 112231326 A CN112231326 A CN 112231326A
Authority
CN
China
Prior art keywords
data
ceph
preset period
ceph object
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011060922.3A
Other languages
English (en)
Other versions
CN112231326B (zh
Inventor
李晓颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202011060922.3A priority Critical patent/CN112231326B/zh
Publication of CN112231326A publication Critical patent/CN112231326A/zh
Application granted granted Critical
Publication of CN112231326B publication Critical patent/CN112231326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本说明书提供一种检测Ceph对象的方法和服务器，该方法包括：监控预设周期内Ceph对象是否有数据变化，若无变化，则不数据一致性检测，若有变化，则对所述Ceph对象进行数据一致性检测。通过该方法，可以当监控到对象数据变化时，对该对象进行数据检测，从而避免现有技术中对Ceph所有对象进行数据检测造成大量占用***资源的情况。

Description

一种检测Ceph对象的方法和服务器
技术领域
本公开涉及通信技术领域，尤其涉及一种检测Ceph对象的方法和服务器。
背景技术
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件***，如下所示，Ceph生态***架构可以划分为四部分：
1.Clients：客户端(数据用户)
2.cmds：Metadata server cluster，元数据服务器(缓存和同步分布式元数据)
3.cosd：Object storage cluster，对象存储集群(将数据和元数据作为对象存储，执行其他关键职能)
4.cmon：Cluster monitors，集群监视器(执行监视功能)
Ceph实现了Scrub机制，采用一种通过后台扫描的方案来解决ceph数据一致性的问题。
Scrub按照扫描的内容可以分为两种：
1.Scrub——仅仅对比对象各副本的元数据，来检查数据的一直。由于只检查元数据，读取数据量和计算量都比较小，速度比较快，是一种轻度的数据检查。
2.deep-Scrub——不但检查对象各副本的元数据，还检查对象的数据内容是否一致，实现深度扫描，几乎要扫描磁盘上所有的数据并计算其CRC32校验值，耗时耗资源。
发明内容
本说明书提供了一种检测Ceph对象的方法和服务器，通过该方法，可以当监控到对象数据变化时，对该对象进行数据检测，从而避免现有技术中对Ceph所有对象进行数据检测造成大量占用***资源的情况。
本说明书提供了一种检测Ceph对象的方法，该方法包括：
监控预设周期内Ceph对象是否有数据变化；
若无变化，则不数据一致性检测；
若有变化，则对所述Ceph对象进行数据一致性检测。
通过上述实施例可以看出，通过监控Ceph对象是否有数据变化，有针对性的对有数据变化的Ceph进行数据一致性检测，从而避免全盘检测，降低了检测资源的使用率。
可选的，所述监控预设周期内Ceph对象是否有数据变化，具体包括：
判断预设周期内针对Ceph对象是否有新增PGlog日志；
若有，则确定预设周期内针对Ceph对象有数据变化；
否则，确定预设周期内针对Ceph对象没有数据变化。
可选的，若有变化，则对所述Ceph对象进行数据一致性检测，具体包括：
获取该预设周期对应的时间段；
根据该时间段内所述Ceph对象新增PGlog日志的顺序，对所述Ceph对象进行数据一致性检测；
若发现数据不一致，则上报管控平台。
可选的，所述一致性检测包括Ceph的scrub检测和/或Deep-scrub检测。
通过上述实施例可以看出，设备会监控存储的数据是否有变化，如果有变化时，针对变化的数据进行数据一致性检测，从而无需进行全数据检测，节省了设备资源。
本说明书实施例还提供了一种存储服务器，所述服务器包括：
监控单元，所述监控单元用于监控预设周期内Ceph对象是否有数据变化；
处理单元，所述处理单元用于若监控到预设周期内Ceph对象发生数据变化，则对所述Ceph对象进行数据一致性检测。
可选的，所述监控单元，具体用于判断预设周期内针对Ceph对象是否有新增PGlog日志；
若有，则确定预设周期内针对Ceph对象有数据变化；
否则，确定预设周期内针对Ceph对象没有数据变化。
可选的，所述处理单元，具体用于获取该预设周期对应的时间段；
根据该时间段内所述Ceph对象新增PGlog日志的顺序，对所述Ceph对象进行数据一致性检测；
若发现数据不一致，则上报管控平台。
可选的，所述一致性检测包括Ceph的scrub检测和/或Deep-scrub检测。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
图1为本公开实施例提供的一种检测Ceph对象的方法的流程示意图；
图2为本公开实施例提供的一种检测Ceph对象实施例的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在Ceph存储数据中，会根据被储存数据的标签(如文件名)来区分不同对象，例如文件名分别为A、B、C的三个文件，即为3个不同对象，同时，Ceph提供分布式的备份存储，例如A’、B’、C’分别为A、B、C三个文件的备份数据，则在Ceph中，A和A’构成一个对象，B和B’构成一个对象，C和C’构成一个对象。
由于被存储的数据可能存在变动，为了保证被存储的数据以及该数据的备份数据内容统一，管理员会定时进行数据一致性检测，其中，Ceph中数据不一致检测实现了scrub和Deep-scrub两种方式，一种是scurb扫描元数据，不能检测数据的一致性，另一种是Deep-scrub可以扫描磁盘上的所有数据，但非常耗时。因检测数据一致性需要进行Deep-scrub扫描，所以经常导致在扫描期间因占用了大量的***资源，导致用户无法正常的使用设备。
为解决上述技术问题，如图1所示，本说明书实施例提供了一种检测Ceph对象的方法，该方法包括：
S101监控预设周期内Ceph对象是否有数据变化；
S102若无变化，则不数据一致性检测；
S103若有变化，则对所述Ceph对象进行数据一致性检测。
本说明书实施例提供的方法可以应用于支持Ceph存储的服务器中，或者用于支持Ceph存储的其它网络设备中。
在步骤S101中，设备可监控各对象的PGlog日志，由于被存储的对象数据在每次更新时，均会在该对象数据对应的PGlog日志中进行记录，因此，通过监控各对象的PGlog日志，便可获知对象在预设周期内是否有数据变化。其中，该周期可以根据管理员设置该预设周期，具体的，该预设周期可以为一个时间段，例如t1～time_interval，具体的，设备在预设周期内遍历各PGlog日志，来判断在该预设周期内是否有PGlog产生新的记录，若有，则产生新记录的PGlog对应的对象数据有数据变化。
在步骤S103中，设备在进行数据一致性检测时，可采用scrub或Deep-scrub检测，具体的，设备获取对象数据有变化的预设周期，例如获取t1～time_interval时间段，根据该时间段内该对象PGlog中顺序增量进行一致性检测，并获取检测结果，该检测结果包括一致或不一致。
当设备检测到数据不一致时，则说明存储的对象数据出现问题，此时，需上报管理平台以提示管理员进行处理。
通过上述实施例可以看出，本说明书实施例通过监控各对象的PGlog日志，来判断对象在预设周期内是否存在数据变化，若存在数据变化则进行一致性检测，否则，不进行一致性检测，解决了因检测全部数据，造成***资源被严重占用的情况。
本说明书还提供了一种检测Ceph对象的实施例，该实施例应用于服务器中，在该实施例中，Ceph存储了三个对象A和A’，B和B’，C和C’，其中，A’、B’、C’分别为A、B、C三个数据的备份数据。该实施例的流程如图2所示。
a服务器通过监控程序监控对象A和A’，B和B’，C和C’在T1时刻数据均一致。
b在time_interval后，检测三个对象的PGlog是否有变化，若没有变化则进入下一个周期T2，若有变化则执行步骤c。
c确定有变化的PGlog对应的对象，例如检测到A和/或A’的PGlog日志有变化，则确定A数据有变动，此时对数据A和A’进行一致性检测，若检测结果为一致，则进入T2时刻，否则执行步骤d。
d讲数据不一致的结果上报给管控平台。
通过上述实施例可以看出，当在预设周期内检测到数据A数据有变化，则进队数据A进行一致性检测，因减除了对数据B和数据C进行检测，从而节省了***资源。
基于上述实施例相同的思想构思，本说明书实施例还提供了一种存储服务器，该服务器包括：
监控单元，所述监控单元用于监控预设周期内Ceph对象是否有数据变化；
处理单元，所述处理单元用于若监控到预设周期内Ceph对象发生数据变化，则对所述Ceph对象进行数据一致性检测。
可选的，所述监控单元，具体用于判断预设周期内针对Ceph对象是否有新增PGlog日志；
若有，则确定预设周期内针对Ceph对象有数据变化；
否则，确定预设周期内针对Ceph对象没有数据变化。
可选的，所述处理单元，具体用于获取该预设周期对应的时间段；
根据该时间段内所述Ceph对象新增PGlog日志的顺序，对所述Ceph对象进行数据一致性检测；
若发现数据不一致，则上报管控平台。
可选的，所述一致性检测包括Ceph的scrub检测和/或Deep-scrub检测。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (8)

1.一种检测Ceph对象的方法，其特征在于，所述方法包括：
监控预设周期内Ceph对象是否有数据变化；
若无变化，则不数据一致性检测；
若有变化，则对所述Ceph对象进行数据一致性检测。
2.根据权利要求1所述的方法，其特征在于，所述监控预设周期内Ceph对象是否有数据变化，具体包括：
判断预设周期内针对Ceph对象是否有新增PGlog日志；
若有，则确定预设周期内针对Ceph对象有数据变化；
否则，确定预设周期内针对Ceph对象没有数据变化。
3.根据权利要求1所述的方法，其特征在于，若有变化，则对所述Ceph对象进行数据一致性检测，具体包括：
获取该预设周期对应的时间段；
根据该时间段内所述Ceph对象新增PGlog日志的顺序，对所述Ceph对象进行数据一致性检测；
若发现数据不一致，则上报管控平台。
4.根据权利要求1-4任一所述的方法，其特征在于，所述一致性检测包括Ceph的scrub检测和/或Deep-scrub检测。
5.一种存储服务器，其特征在于，所述服务器包括：
监控单元，所述监控单元用于监控预设周期内Ceph对象是否有数据变化；
处理单元，所述处理单元用于若监控到预设周期内Ceph对象发生数据变化，则对所述Ceph对象进行数据一致性检测。
6.根据权利要求5所述的服务器，其特征在于，
所述监控单元，具体用于判断预设周期内针对Ceph对象是否有新增PGlog日志；
若有，则确定预设周期内针对Ceph对象有数据变化；
否则，确定预设周期内针对Ceph对象没有数据变化。
7.根据权利要求5所述的服务器，其特征在于，
所述处理单元，具体用于获取该预设周期对应的时间段；
根据该时间段内所述Ceph对象新增PGlog日志的顺序，对所述Ceph对象进行数据一致性检测；
若发现数据不一致，则上报管控平台。
8.根据权利要求5所述的服务器，其特征在于，所述一致性检测包括Ceph的scrub检测和/或Deep-scrub检测。
CN202011060922.3A 2020-09-30 2020-09-30 一种检测Ceph对象的方法和服务器 Active CN112231326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011060922.3A CN112231326B (zh) 2020-09-30 2020-09-30 一种检测Ceph对象的方法和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011060922.3A CN112231326B (zh) 2020-09-30 2020-09-30 一种检测Ceph对象的方法和服务器

Publications (2)

Publication Number Publication Date
CN112231326A true CN112231326A (zh) 2021-01-15
CN112231326B CN112231326B (zh) 2022-08-30

Family

ID=74120149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011060922.3A Active CN112231326B (zh) 2020-09-30 2020-09-30 一种检测Ceph对象的方法和服务器

Country Status (1)

Country Link
CN (1) CN112231326B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120095974A1 (en) * 2010-10-18 2012-04-19 Verisign, Inc. Database synchronization and validation
US8843533B1 (en) * 2008-11-12 2014-09-23 Netapp, Inc. File system consistency check system
CN105608143A (zh) * 2015-12-17 2016-05-25 北京奇虎科技有限公司 多副本数据一致性的检测方法及装置
CN106446081A (zh) * 2016-09-09 2017-02-22 西安交通大学 基于变化一致性挖掘时序数据关联关系的方法
CN107015991A (zh) * 2016-01-28 2017-08-04 阿里巴巴集团控股有限公司 数据一致性的自检方法、装置、***和业务装置
CN108762686A (zh) * 2018-06-04 2018-11-06 平安科技（深圳）有限公司 数据一致性校验流控方法、装置、电子设备及存储介质
CN111177165A (zh) * 2019-12-23 2020-05-19 拉扎斯网络科技（上海）有限公司 数据一致性检测的方法、装置及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8843533B1 (en) * 2008-11-12 2014-09-23 Netapp, Inc. File system consistency check system
US20120095974A1 (en) * 2010-10-18 2012-04-19 Verisign, Inc. Database synchronization and validation
CN105608143A (zh) * 2015-12-17 2016-05-25 北京奇虎科技有限公司 多副本数据一致性的检测方法及装置
CN107015991A (zh) * 2016-01-28 2017-08-04 阿里巴巴集团控股有限公司 数据一致性的自检方法、装置、***和业务装置
CN106446081A (zh) * 2016-09-09 2017-02-22 西安交通大学 基于变化一致性挖掘时序数据关联关系的方法
CN108762686A (zh) * 2018-06-04 2018-11-06 平安科技（深圳）有限公司 数据一致性校验流控方法、装置、电子设备及存储介质
CN111177165A (zh) * 2019-12-23 2020-05-19 拉扎斯网络科技（上海）有限公司 数据一致性检测的方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FEI CHEN等: "Verifiable Cloud Data Access: Design, Analysis, and Implementation", 《IEEE SYSTEMS JOURNAL》 *
易固武等: "一种网络备份***的数据一致性检测方法", 《计算机应用研究》 *
邵冰清等: "蓝鲸机群文件***的元数据一致性协议", 《小型微型计算机***》 *

Also Published As

Publication number Publication date
CN112231326B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
US10152382B2 (en) Method and system for monitoring virtual machine cluster
US9405662B2 (en) Process for displaying test coverage data during code reviews
US7818418B2 (en) Automatic root cause analysis of performance problems using auto-baselining on aggregated performance metrics
Zheng et al. Co-analysis of RAS log and job log on Blue Gene/P
CN112346829B (zh) 一种用于任务调度的方法及设备
US8601121B2 (en) Tracking changes to data within various data repositories
US20140089477A1 (en) System and method for monitoring storage machines
CN108038039B (zh) 记录日志的方法及微服务***
CN107294803A (zh) 响应信息一致性测试方法及装置
CN114201408A (zh) 回归测试方法、装置、计算机设备及存储介质
US10248544B2 (en) System and method for automatic root cause detection
US20160085664A1 (en) Generating a fingerprint representing a response of an application to a simulation of a fault of an external service
CN114911706A (zh) 用例推荐方法、装置、设备及存储介质
CN108429636B (zh) 定位异常***的方法及装置和电子设备
CN112231326B (zh) 一种检测Ceph对象的方法和服务器
CN110333984B (zh) 接口异常检测方法、装置、服务器及***
US8972352B1 (en) Probe based backup
EP3099012A1 (en) A method for determining a topology of a computer cloud at an event date
US8589354B1 (en) Probe based group selection
US20230066698A1 (en) Compute instance warmup operations
CN112416731B (zh) 应用于区块链***的稳定性监测方法及装置
CN114896128A (zh) 基于区块链的应用程序性能测试方法及装置
CN108234196B (zh) 故障检测方法及装置
CN110362464B (zh) 软件分析方法及设备
CN107665258B (zh) 文件***可用性确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant