CN111338902A - 数据处理方法、装置及*** - Google Patents
数据处理方法、装置及*** Download PDFInfo
- Publication number
- CN111338902A CN111338902A CN202010128678.3A CN202010128678A CN111338902A CN 111338902 A CN111338902 A CN 111338902A CN 202010128678 A CN202010128678 A CN 202010128678A CN 111338902 A CN111338902 A CN 111338902A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- node
- data
- main node
- distributed storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 140
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000002688 persistence Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Hardware Redundancy (AREA)
Abstract
公开了一种数据处理方法、装置及***，所述方法应用于监控***的控制设备，所述监控***还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述方法包括：将主节点的监控数据映射至分布式存储设备；对所述主节点进行状态监测，得到所述主节点的状态监测结果；响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。
Description
技术领域
本公开涉及分布式存储技术领域，具体涉及一种数据处理方法、装置及***。
背景技术
监控***是日常集群运维的必不可少的工具，它的作用包括实时监控、告警、辅助决策等，可以帮助运维人员快速高效的处理集群问题。目前对于使用了多个监控服务器、需要部署多个监控数据库进行监控数据存储的监控方案，并不能保证数据的强一致性。
发明内容
本公开提供一种数据处理方案。
根据本公开的一方面，提供一种数据处理方法。所述方法应用于监控***的控制设备，所述监控***还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述方法包括：将主节点的监控数据映射至分布式存储设备；对所述主节点进行状态监测，得到所述主节点的状态监测结果；响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。
结合本公开提供的任一实施方式，所述分布式存储设备包括Ceph块设备，其中，所述服务器节点上配置有Ceph客户端；所述将主节点的数据映射至分布式存储设备包括：通过所述主节点上的Ceph客户端，将所述Ceph块设备添加至所述主节点，作为所述主节点的数据存储目录。
结合本公开提供的任一实施方式，所述多个服务器节点具有相同的配置文件，且利用相同的监控采集器进行数据采集。
结合本公开提供的任一实施方式，所述方法还包括：所述方法还包括：响应于所述监测结果指示所述主节点停止工作，将所述主节点上所添加的分布式存储设备卸载。
根据本公开的一方面，提供一种数据处理装置。所述装置应用于监控***，所述监控***还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述装置包括：映射单元，用于将主节点的监控数据映射至分布式存储设备；监测单元，用于对所述主节点进行状态监测，得到所述主节点的状态监测结果；切换单元，用于响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。
结合本公开提供的任一实施方式，所述分布式存储设备为Ceph块设备，其中，所述服务器节点上配置有Ceph客户端；所述映射单元具体用于：通过所述主节点上的Ceph客户端，将Ceph块设备添加至所述主节点，作为所述主节点的数据存储目录。
结合本公开提供的任一实施方式，所述多个服务器节点具有相同的配置文件，且利用相同的监控采集器进行数据采集。
结合本公开提供的任一实施方式，所述装置还包括卸载单元，用于响应于所述监测结果包括所述主节点停止工作，将所述主节点上所添加的分布式存储设备卸载。
根据本公开的一方面，提供一种数据处理装置，包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施方式所述的数据处理方法。
根据本公开的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施方式所述的数据处理方法。
根据本公开的一方面，提供一种监控***，所述***包括多个服务器节点、分布式存储设备、控制设备；所述分布式存储设备用于存储所述多个服务器节点的监控数据；所述控制设备为如本公开任一实施方式所述的数据处理装置。
结合本公开提供的任一实施方式，所述***还包括监控采集器，用于采集所述多个服务器的监控数据。
本公开任一实施方式所提出的数据处理方法、装置及存储介质，通过对监控***中主节点进行状态监测，在所述监测结果指示所述主节点停止工作的情况下，使目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间中，保证了监控***分布式存储的监控数据的强一致性。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开至少一个实施例提供的一种数据处理方法的流程图；
图2为本公开至少一个实施例提供的一种监控***的示意图；
图3为本公开至少一个实施例提供的一种数据处理装置的结构示意图；
图4为本公开至少一个实施例提供的一种数据处理装置的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
本公开至少一个实施例提供了一种数据处理方法，如图1所示，图1示出了该数据处理方法的流程，所述方法应用于监控***的控制设备，所述监控***还包括多个服务器节点，其中所述多个服务器节点包括一个处于活跃状态的主节点和多个处于待机状态的备节点，所述方法可以包括：
在步骤101中，将主节点的监控数据映射至分布式存储设备。
所述多个服务器节点，是服务器集群中的多个节点，其可以应用于WEB(WorldWide Web，全球广域网)、FTP(File Transfer Protocol，文件传输协议)、VPN(VirtualPrivate Network，虚拟专用网)服务等等。
在本公开实施例中，所述服务器节点通常为单点存储的节点，并且在所述多个服务器节点中，在同一时间最多有一个服务器节点是处于活跃状态的主节点，其他是处于待机状态的备节点。
分布式存储设备通常包括多个存储节点，并且所述多个存储节点通过网络进行互联，各个存储节点都参与数据的存储，
在步骤102中，对所述主节点进行状态监测，获取所述主节点的状态监测结果。
对所述主节点进行状态监测，例如可以使被监测的主节点定期(以固定的频率)发送状态信息，如果在设定时间内没有收到状态信息，即认为被监测的主节点失效。该状态信息还可以包括被监测的主节点的其他附加信息。根据对所述主节点进行状态监测的监测结果，即可以确定所述主节点是处于工作状态的(有效的)，或者所述主节点已经停止工作(失效的)。
在步骤103中，响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。
根据在步骤102中获取的对所述主节点进行状态监测的监测结果，在确定所述主节点停止工作，也即所述主节点失效的情况下，使所述目标备节点处于活跃状态，其中所述目标备节点为所述备节点的一个；并将该目标备节点的监控数据映射至在步骤101中所使用的相同的分布式存储设备中。通过以上方式，使得主节点的监控数据和目标备节点的监控数据存储于相同的存储空间中，可以确保能够从所述监控***的分布式存储设备中读取最新存储的监控数据，从而保证了监控***的监控数据的强一致性。
在一些实施例中，所述分布式存储设备可以是Ceph的RBD(Rados Block Device，块设备)，Ceph是一种布式文件***，该***可以提供文件存储、块存储和对象存储，能够支持上千个存储节点的规模，支持TB到PB级的数据。
所述分布式存储设备还可以是influxdb***、glusterfs***等等。Ceph***相较于上述***可扩展性强，性能更稳定，有利用提高监控***的数据存储的稳定性。
在所述监控***的各个服务器节点上，包括主节点和备节点上均配置有Ceph客户端。通过服务器节点上的Ceph客户端，可以将Ceph块设备通过映射的方式添加至所述服务器节点上，作为所述服务器节点的数据存储目录。
下文将以所述分布式存储设备为Ceph块设备为例，对该数据处理方法进行描述。
图2示出了采用Ceph块设备作为存储设备的监控***结构图。如图2所示，所述***包括控制设备201、服务器节点2021、2022，以及Ceph块设备204。
其中，服务器节点2021、2022具有相同的配置文件，从而可以确定服务器节点可以监控到相同的监控节点、抓取到相同的指标，并且具有相同的存储路径等等。并且，服务器节点2021、2022利用监控采集器(exporter)2031、2032、2033、2034采集目标。所述服务器节点可以是Prometheus监控***的服务器节点，也可以是其他监控***的服务器节点，本公开对此不进行限制。
在图2所示的监控***中，同一时间最多有一个服务器节点为主节点，也即处于活跃状态的服务器节点。例如，可以将服务器节点2021设置为主节点，将服务器节点2022设置为备节点，也即处于待机状态的服务器节点。
在一些实施例中，可以通过以下方式将服务器节点2021的数据映射至Ceph块设备：在所述服务器节点上映射所述Ceph块设备，作为所述服务器节点的数据存储目录，也即通过这种方式将Ceph文件***挂载到服务器节点2021上。在向服务器节点2021的挂载点写入监控数据后，所映射的Ceph块设备也随之更新。
在一些实施例中，可以通过在控制设备201的Nginx平台上安装Keepalived软件，来对服务器节点2021、2022进行状态监测，也即心跳监测，并且可以通过Keepalived软件实现主节点、备节点之间的切换。
根据对服务器节点2021进行状态监测的监测结果，在服务器节点2021死机，或者工作出现故障的时候，控制设备201可以将服务器节点2021从监控***的服务器群中剔除，例如，可以通过将服务器节点2021上所映射的块设备卸载来将其从服务器群中剔除。并且，使服务器节点2022从待机状态进入活跃状态，也即使服务器节点2022成为主节点，并实现服务器节点2022的分布式存储。
与服务器节点2021的存储方式相似，也可以通过将服务器节点2022上映射所述Ceph块设备，并挂载数据存储目录。在服务器节点2021停止工作后，即可以将服务器节点2022的监控数据存储于所述Ceph块设备。由于向服务器节点2022所映射的Ceph块设备与服务器节点2021相同，通过将服务器节点2022的监控数据写入挂载点，即可以实现所述Ceph块设备的更新，从而可以将服务器节点2022的监控数据与服务器节点2021的监控数据存储于相同的存储空间中。通过以上方式，从所有服务器节点都能够获取最新存储于所述Ceph块设备的监控数据，由此保证了监控***的监控数据的强一致性。
同时，由于Ceph的多副本存储机制，当一个副本数据损坏或者丢失的情况下，其他副本保证了监控数据依然正常可用，由此实现了监控***的监控数据持久化。
在服务器节点2021工作正常后，控制设备201可以将服务器节点2021重新加入到服务器群中，也可以不再使用服务器节点2021。
在未将服务器节点的数据映射至Ceph块设备的情况下，通过对服务器节点进行状态监测以实现监控***的高可用。高可用是指，***中不存在不能提供服务的时间，***的可用性为100％。可以利用状态监测软件来对服务器节点进行状态监测，例如通过Keepalived与Nginx的配合以实现监控***的高可用。
然而上述方法是不能解决多个服务器节点之间的数据一致性问题以及持久化问题，在数据丢失后并无法恢复，也无法进行动态的扩展。本公开实施例提出了服务器节点、状态监测软件、Ceph块设备配合的数据处理方法，保证了存储数据的冗余性，以此可以实现监控数据持久化；同时Ceph块设备可以通过网络远程映射到主节点上，成为主节点的一个块存储设备。通过将相同的RBD块设备挂载在主节点上，在主节点宕机的情况下，通过状态监测软件将RBD切换到备节点启动，也即主节点和备节点使用相同的存储空间，可保证监控***数据的强一致性高可用。
图3示出本公开至少一个实施例提出的数据处理装置。所述装置应用于监控***，所述监控***还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述装置包括：映射单元301，用于将主节点的监控数据映射至分布式存储设备；监测单元302，用于对所述主节点进行状态监测，得到所述主节点的状态监测结果；切换单元303，用于响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。
在一些实施例中，所述分布式存储设备为Ceph块设备，其中，所述服务器节点上配置有Ceph客户端；所述映射单元具体用于：通过所述主节点上的Ceph客户端，将Ceph块设备添加至所述主节点，作为所述主节点的数据存储目录。
在一些实施例中，所述多个服务器节点具有相同的配置文件，且利用相同的监控采集器进行数据采集。
在一些实施例中，所述装置还包括卸载单元，用于响应于所述监测结果包括所述主节点停止工作，将所述主节点上所添加的分布式存储设备卸载。
图4为本公开至少一个实施例提供的数据处理装置，包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本说明书任一实施例所述的数据处理方法。
本说明书至少一个实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本说明书任一实施例所述的数据处理方法。
本公开至少一个实施例还提出了一种监控***，所述***包括多个服务器节点、分布式存储设备、控制设备；所述分布式存储设备用于存储所述多个服务器节点的监控数据；所述控制设备为如本公开任一实施例所述的数据处理装置。
在一些实施例中，所述***还包括监控采集器，用于采集所述多个服务器的监控数据。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、***或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例还提供一种计算机可读存储介质，该存储介质上可以存储有计算机程序，所述程序被处理器执行时实现本说明书任一实施例描述的驾驶员注视区域的检测方法的步骤，和/或，实现本说明书任一实施例描述的驾驶员注视区域的神经网络的训练方法的步骤。其中，所述的“和/或”表示至少具有两者中的其中一个，例如，“A和/或B”包括三种方案：A、B、以及“A和B”。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位***(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种***模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和***通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。
Claims (12)
1.一种数据处理方法，其特征在于，应用于监控***的控制设备，所述监控***还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述方法包括：
将主节点的监控数据映射至分布式存储设备；
对所述主节点进行状态监测，得到所述主节点的状态监测结果；
响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。
2.根据权利要求1所述的方法，其特征在于，所述分布式存储设备包括Ceph块设备，其中，所述服务器节点上配置有Ceph客户端；
所述将主节点的数据映射至分布式存储设备包括：
通过所述主节点上的Ceph客户端，将所述Ceph块设备添加至所述主节点，作为所述主节点的数据存储目录。
3.根据权利要求1或2所述的方法，其特征在于，所述多个服务器节点具有相同的配置文件，且利用相同的监控采集器进行数据采集。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：响应于所述监测结果指示所述主节点停止工作，将所述主节点上所添加的分布式存储设备卸载。
5.一种数据处理装置，其特征在于，应用于监控***，所述监控***还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述装置包括：
映射单元，用于将主节点的监控数据映射至分布式存储设备；
监测单元，用于对所述主节点进行状态监测，得到所述主节点的状态监测结果；
切换单元，用于响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。
6.根据权利要求5所述的装置，其特征在于，所述分布式存储设备为Ceph块设备，其中，所述服务器节点上配置有Ceph客户端；所述映射单元具体用于：通过所述主节点上的Ceph客户端，将Ceph块设备添加至所述主节点，作为所述主节点的数据存储目录。
7.根据权利要求5或6所述的装置，其特征在于，所述多个服务器节点具有相同的配置文件，且利用相同的监控采集器进行数据采集。
8.根据权利要求5至7中任一项所述的装置，其特征在于，所述装置还包括卸载单元，用于响应于所述监测结果包括所述主节点停止工作，将所述主节点上所添加的分布式存储设备卸载。
9.一种数据处理装置，其特征在于，包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至4中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至4中任一项所述的方法。
11.一种监控***，其特征在于，所述***包括多个服务器节点、分布式存储设备、控制设备；
所述分布式存储设备用于存储所述多个服务器节点的监控数据；
所述控制设备为如权利要求5至9中任一项所述的数据处理装置。
12.根据权利要求11所述的***，其特征在于，所述***还包括监控采集器，用于采集所述多个服务器的监控数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010128678.3A CN111338902B (zh) | 2020-02-28 | 2020-02-28 | 数据处理方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010128678.3A CN111338902B (zh) | 2020-02-28 | 2020-02-28 | 数据处理方法、装置及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111338902A true CN111338902A (zh) | 2020-06-26 |
| CN111338902B CN111338902B (zh) | 2024-04-12 |
Family
ID=71185715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010128678.3A Active CN111338902B (zh) | 2020-02-28 | 2020-02-28 | 数据处理方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111338902B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813346A (zh) * | 2020-07-23 | 2020-10-23 | 山东超越数控电子股份有限公司 | 基于云平台搭建Ceph分布式存储的方法、***、设备及介质 |
| CN112000285A (zh) * | 2020-08-12 | 2020-11-27 | 广州市百果园信息技术有限公司 | 强一致存储***、数据强一致存储方法、服务器及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160003934A (ko) * | 2014-07-01 | 2016-01-12 | 디포커스 (주) | 빅데이터 스토리지 어플라이언스 시스템 |
| CN106034164A (zh) * | 2016-05-16 | 2016-10-19 | 深圳元核云技术有限公司 | 云存储网关文件共享服务方法及*** |
| CN106210151A (zh) * | 2016-09-27 | 2016-12-07 | 深圳市彬讯科技有限公司 | 一种zedis分布式缓存及服务器集群监控方法 |
| CN106789246A (zh) * | 2016-12-22 | 2017-05-31 | 广西防城港核电有限公司 | 一种主备服务器的切换方法及装置 |
| CN107070972A (zh) * | 2016-12-30 | 2017-08-18 | ***股份有限公司 | 一种分布式文件处理方法及装置 |
| KR101810180B1 (ko) * | 2017-05-17 | 2017-12-19 | 네이버시스템(주) | 사용자 장치 기반의 빅데이터 분산 처리 방법 및 장치 |
| CN108804038A (zh) * | 2018-05-29 | 2018-11-13 | 新华三技术有限公司 | 日志数据迁移的方法、装置、服务器和计算机可读介质 |
| CN109165117A (zh) * | 2018-06-29 | 2019-01-08 | 华为技术有限公司 | 数据处理的方法和*** |
| CN109302445A (zh) * | 2018-08-14 | 2019-02-01 | 新华三云计算技术有限公司 | 主机节点状态确定方法、装置、主机节点及存储介质 |
| CN109783280A (zh) * | 2019-01-15 | 2019-05-21 | 上海海得控制***股份有限公司 | 共享存储***和共享存储方法 |
-
2020
- 2020-02-28 CN CN202010128678.3A patent/CN111338902B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160003934A (ko) * | 2014-07-01 | 2016-01-12 | 디포커스 (주) | 빅데이터 스토리지 어플라이언스 시스템 |
| CN106034164A (zh) * | 2016-05-16 | 2016-10-19 | 深圳元核云技术有限公司 | 云存储网关文件共享服务方法及*** |
| CN106210151A (zh) * | 2016-09-27 | 2016-12-07 | 深圳市彬讯科技有限公司 | 一种zedis分布式缓存及服务器集群监控方法 |
| CN106789246A (zh) * | 2016-12-22 | 2017-05-31 | 广西防城港核电有限公司 | 一种主备服务器的切换方法及装置 |
| CN107070972A (zh) * | 2016-12-30 | 2017-08-18 | ***股份有限公司 | 一种分布式文件处理方法及装置 |
| KR101810180B1 (ko) * | 2017-05-17 | 2017-12-19 | 네이버시스템(주) | 사용자 장치 기반의 빅데이터 분산 처리 방법 및 장치 |
| CN108804038A (zh) * | 2018-05-29 | 2018-11-13 | 新华三技术有限公司 | 日志数据迁移的方法、装置、服务器和计算机可读介质 |
| CN109165117A (zh) * | 2018-06-29 | 2019-01-08 | 华为技术有限公司 | 数据处理的方法和*** |
| CN109302445A (zh) * | 2018-08-14 | 2019-02-01 | 新华三云计算技术有限公司 | 主机节点状态确定方法、装置、主机节点及存储介质 |
| CN109783280A (zh) * | 2019-01-15 | 2019-05-21 | 上海海得控制***股份有限公司 | 共享存储***和共享存储方法 |
Non-Patent Citations (3)
| Title |
|---|
| WAN, J (WAN, JIAN) ; YUAN, GW (YUAN, GUOWEI) ; QIN, FW (QIN, FEIWEI) ; REN, ZJ (REN, ZUJIE): ""High-Availability NameNode in Hadoop Using a Hot-Standby Method"", 《 4TH INTERNATIONAL CONFERENCE ON MECHANICAL AUTOMATION AND MATERIALS ENGINEERING (ICMAME 2015)》, 31 October 2015 (2015-10-31), pages 143 - 148 * |
| 本书编写组: "《税务灾难恢复***建设（思考篇）》", 31 August 2010, 中国税务出版社, pages: 82 - 84 * |
| 赵园生: ""基于云计算的存储服务器技术与趋势"", pages 169 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813346A (zh) * | 2020-07-23 | 2020-10-23 | 山东超越数控电子股份有限公司 | 基于云平台搭建Ceph分布式存储的方法、***、设备及介质 |
| CN112000285A (zh) * | 2020-08-12 | 2020-11-27 | 广州市百果园信息技术有限公司 | 强一致存储***、数据强一致存储方法、服务器及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111338902B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5851503B2 (ja) | 高可用性仮想機械環境におけるアプリケーションの高可用性の提供 | |
| CN106528327B (zh) | 一种数据处理方法以及备份服务器 | |
| US9734025B2 (en) | Automatic client side seamless failover | |
| EP3210367B1 (en) | System and method for disaster recovery of cloud applications | |
| US20180329779A1 (en) | Checkpoint triggering in a computer system | |
| US11394777B2 (en) | Reliable data storage for decentralized computer systems | |
| JP2017531250A (ja) | 粒状同期／半同期アーキテクチャ | |
| CN107817950B (zh) | 一种数据处理方法及装置 | |
| CN111338902B (zh) | 数据处理方法、装置及*** | |
| US9208124B2 (en) | Reset of processing core in multi-core processing system | |
| KR101983208B1 (ko) | 데이터 관리 방법, 노드, 그리고 데이터베이스 클러스터를 위한 시스템 | |
| CN112583931A (zh) | 消息处理方法、消息中间件、电子设备和存储介质 | |
| CN107682169B (zh) | 一种利用Kafka集群发送消息的方法和装置 | |
| US8977595B1 (en) | Message-recovery file log locating and monitoring | |
| CN109951508B (zh) | 基于Zookeeper的请求协调方法及装置、计算机设备及存储介质 | |
| US8661089B2 (en) | VIOS cluster alert framework | |
| WO2015088505A1 (en) | Cache and non-cache usage in a distributed storage system | |
| US10692168B1 (en) | Availability modes for virtualized graphics processing | |
| CN106951443B (zh) | 基于分布式***的副本同步的方法、设备和*** | |
| US10169440B2 (en) | Synchronous data replication in a content management system | |
| US10073746B2 (en) | Method and apparatus for providing distributed checkpointing | |
| CN110737543B (zh) | 一种分布式文件***数据恢复的方法、装置及存储介质 | |
| US9930140B2 (en) | Tie-breaking for high availability clusters | |
| CN110474787B (zh) | 一种节点故障检测方法和装置 | |
| EP3167372B1 (en) | Methods for facilitating high availability storage services and corresponding devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |