CN107454140A - 一种基于大数据平台的Ceph集群自动化部署方法及*** - Google Patents

一种基于大数据平台的Ceph集群自动化部署方法及*** Download PDF

Info

Publication number
CN107454140A
CN107454140A CN201710503028.0A CN201710503028A CN107454140A CN 107454140 A CN107454140 A CN 107454140A CN 201710503028 A CN201710503028 A CN 201710503028A CN 107454140 A CN107454140 A CN 107454140A
Authority
CN
China
Prior art keywords
module
management
node
ceph
ceph clusters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710503028.0A
Other languages
English (en)
Inventor
李亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Poly Intelligent Technology Co Ltd
Beijing Si Rui Rui Intelligent Technology Research Institute Co Ltd
Original Assignee
Beijing Poly Intelligent Technology Co Ltd
Beijing Si Rui Rui Intelligent Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Poly Intelligent Technology Co Ltd, Beijing Si Rui Rui Intelligent Technology Research Institute Co Ltd filed Critical Beijing Poly Intelligent Technology Co Ltd
Priority to CN201710503028.0A priority Critical patent/CN107454140A/zh
Publication of CN107454140A publication Critical patent/CN107454140A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例涉及云存储领域，具体涉及一种基于大数据平台的Ceph集群自动化部署***及方法，包括：管理节点模块和计算节点模块；其中，管理节点模块包括：部署管理模块、参数配置模块、监控管理模块、告警管理模块；计算节点模块包括：自动安装模块、参数同步模块、状态监控模块；本发明能够快速实现自动化部署，效率提高2倍以上。

Description

一种基于大数据平台的Ceph集群自动化部署方法及***
技术领域
本发明涉及云存储领域，具体涉及一种基于大数据平台的Ceph集群自动化部署方法及***。
背景技术
数据存储是大数据和云计算领域的基础,典型的存储方式有块存储、对象存储和文件存储三种：块存储因读写速度快而被广泛应用于早期的存储***中；当前大数据领域通常采用分布式文件***以满足数据动态增长的需要；而对象存储因兼具扁平化的存储方式和易于共享的优势，特别适合于云和大数据环境中大规模非结构化数据的存储和检索。对象存储没有目录结构只有存储空间，数据以Key-Value的格式存储，且扩展容易，因而在互联网和云计算领域得到了广泛的应用。
典型的对象存储***有Ceph与Swift。总体来说，Ceph在性能上占优，而Swift更适合于跨数据中心的场景。但是二者的部署和配置通常都比较复杂，在实际使用中需要专人进行部署和维护，效率很低且成本较高。
因此，解决Ceph集群的自动化部署问题是推动Ceph广泛使用的重要环节，具有较高的实用价值。
现有的Ceph部署方案基本都是手动的，需要经过10余个步骤的准备、配置和安装，操作复杂。个别的自动化部署方法，如基于Ansible的Ceph部署方案，也需要较多的前期准备和手动配置等操作，且通常只适用于特定的操作***。
Ceph官方推荐的部署方案为手动部署，操作复杂，配置繁多，需要专业技术人员操作，难以使用和推广。而且开源的Ceph自动化部署方案无法与大数据平台融合，无法直接在大数据平台中使用，且操作依然比较复杂。
总之，现有的部署方案操作比较复杂，且无法与大数据平台融合，不适用于大数据平台下的资源统一管理和监控。
因此，构建一种基于大数据平台的Ceph集群自动化部署方法及***，以解决现有技术中的以上问题很有必要。
发明内容
本发明实施例提供了一种基于大数据平台的Ceph集群自动化部署方法及***，能够快速自动化部署。
本发明实施例提供的一种基于大数据平台的Ceph集群自动化部署***，包括：
管理节点模块和计算节点模块；
其中，管理节点模块包括：
部署管理模块，用于Ceph集群的自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点；
参数配置模块，用于将Ceph集群的个性化配置以图形方式展示给用户，并根据用户的实际配置记录、修改参数值；
监控管理模块，用于收集Ceph集群的运行参数，并交由大数据管理平台统一处理和展示；
告警管理模块，用于对Ceph集群运行时产生的异常信息做过滤、判断和处理，并根据用户的预设值决定是否产生告警；若产生告警，则将告警信息发送给大数据平台的告警管理接口，然后由大数据平台通知管理员执行相应的动作；
其中，计算节点模块包括：
自动安装模块，用于在安装Ceph集群对应版本前，自动规划各个节点上的安装过程，接收所述监控管理模块的操作指令，并在各相应节点自动启动安装；
参数同步模块，用于将所述部署管理模块生成的配置文件和集群个性化配置参数自动同步到Ceph集群中对应的各个节点；
状态监控模块，用于监控各Ceph集群运行节点的运行状态并上报给所述监控管理模块。
进一步的，所述部署管理模块，用于Ceph集群的自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点，包括：通过组件管理模块、启停管理模块、服务检查模块、服务维护模块，实现自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点。
进一步的，所述参数同步模块，用于将所述部署管理模块点生成的配置文件和集群个性化配置参数自动同步到Ceph集群中对应的各个节点，包括：
所述部署管理模块点生成的配置文件和集群个性化配置参数与Ceph集群中对应的各主节点同步；若同步成功，同步结束，否则，继续同步。
本发明实施例提供一种基于大数据平台的Ceph集群自动化部署方法，包括：
管理节点发送控制命令道计算节点，包括：
部署管理，实现Ceph集群的自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点；
配置参数，将Ceph集群的个性化配置以图形方式展示给用户，并根据用户的实际配置记录、修改参数值；
监控管理，收集Ceph集群的运行参数，并交由大数据管理平台统一处理和展示；
告警管理，用于对Ceph集群运行时产生的异常信息做过滤、判断和处理，并根据用户的预设值决定是否产生告警；若产生告警，则将告警信息发送给大数据平台的告警管理接口，然后由大数据平台通知管理员执行相应的动作；
计算节点发送心跳上报管理节点，包括：
自动安装，在安装Ceph集群对应版本前，自动规划各个节点上的安装过程，接收监控管理模块的操作指令，并在各相应节点自动启动安装；
参数同步，将部署管理模块生成的配置文件和集群个性化配置参数自动同步到Ceph集群中对应的各个节点；
状态监控，监控各Ceph集群运行节点的运行状态并上报给所述管理节点。
进一步的，所述部署管理，实现Ceph集群的自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点，包括：通过组件管理模块、启停管理模块、服务检查模块、服务维护模块，实现自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点。
进一步的，所述参数同步，用于将所述部署管理模块点生成的配置文件和集群个性化配置参数自动同步到Ceph集群中对应的各个节点，包括：生成的配置文件和集群个性化配置参数与Ceph集群中对应的各主节点同步；若同步成功，同步结束，否则，继续同步。
本发明具有以下技术效果：
能够快速自动化部署，效率提高2倍以上；操作简单，只需六步选择操作即可，易用性非常好；快速修改全局配置，并自动同步，显著提升运维效率；可视化管理，图形化一体化的服务检查、告警、状态监控；方案稳定性满足生产环境需要。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例所述的大数据平台的***逻辑架构图
图2是本发明一个实施例所述的管理节点逻辑架构图
图3为本发明一个实施例所述的技术架构图
图4为本发明一个实施例所述的微观逻辑图
图5为本发明一个实施例所述的部署管理模块框图
图6为本发明一个实施例所述的参数同步模块流程图
图7为本发明一个实施例所述的实施流程图
图8为本发明一个实施例所述的方法的电子设备的硬件结构连接示意图
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合附图详细说明本发明的优选实施例。
实施例1
本发明提出了一种基于大数据平台的Ceph集群自动化部署方法，利用大数据平台的Master/Slave架构和自定义组件框架，结合Ceph手动部署方法，实现了Ceph集群的自动化部署、配置、检查、告警和状态监控等，极大地简化和加速了Ceph集群的部署。
具体如下：
宏观业务逻辑介绍：
1)***逻辑架构
本方法所涉及的大数据平台的***逻辑架构如图1所示，核心的逻辑功能要点描述如下：
a)***为Master/Slave架构；
b)其中Master负责整个平台的集中管理、任务分配，同时通过Agent接口管理所有的slave节点；
c)其中Slave负责具体动作的执行、资源监控，同时通过心跳将本节点的信息上报给Master；
d)Master与Slave间通过心跳机制维系状态关系、任务调度和资源汇聚；
e)***通过对外的统一接口，将相关资源和信息暴露给最终用户。
本发明基于大数据平台设计，依托于大数据管理平台的Master/Slave架构和自定义组件框架，将Ceph以服务组件的形式纳入大数据管理平台中，从而实现像部署普通大数据服务那样自动化的部署Ceph集群。
本发明的***逻辑架构如图2所示，在大数据平台的管理节点Master上启动Ceph集群的安装操作，在大数据平台的各Slave节点上执行具体的Ceph集群安装、配置、服务检查等操作；在Ceph集群安装完毕后，会在各个节点上启动Ceph集群的状态监控、告警、运行信息统计等操作，并由Master端统一的图形化展示整个集群的动态运行信息和关键技术指标。
整个Ceph集群的部署只需要简单的六步选择即可完成，不仅操作方便，而且效率很高且易于扩展，尤其适用于大规模部署的场景。
2)***技术架构
本发明基于大数据平台而设计，依托于大数据管理平台的开放框架和自定义接口，将Ceph以服务组件的形式纳入大数据管理平台中成为大数据平台的一个组件。方案在完成Ceph集群自动化部署的同时，也具有服务检查、状态监控、运行状态展示、告警通知等功能；在满足自动化部署的同时，也涵盖了大数据资源服务一体化和自动运维的思想，将Ceph集群与大数据平台完整的融合在一起，最终为数据的存储和使用提供极大的便利。
本发明主要由以下六个模块构成，如图3所示，分别是：部署管理模块、参数配置模块、自动安装模块、参数同步模块、监控管理模块和告警管理模块。
其中，Master节点运行部署管理、参数配置、监控管理和告警管理模块；而在Slave节点运行参数同步、自动安装和监控管理模块。
由Master节点负责Ceph集群的安装启动和初始化工作；在集群安装完成后自动启动Ceph集群；在集群运行后，收集并汇聚各个实例节点的运行信息、状态信息、统计信息等，并通过统一的UI展示；
由Slave节点负责Ceph安装包的自动安装、参数同步和各个实例的创建工作；通过执行Master节点下发的命令，对本节点的Ceph实例进行相应的操作；并在集群运行后，将本节点的运行参数等信息上报给Master节点。
微观逻辑介绍
1)本方法的逻辑流程
本方法主要由六个模块构成：部署管理模块、参数配置模块、自动安装模块、参数同步模块、监控管理模块和告警管理模块。其执行逻辑和流程如图4所示。
2)本方法各模块细节
部署管理模块负责启动Ceph集群的自动化配置，并根据资源使用情况，恰当规划Ceph集群的各功能节点，其功能框逻辑如图5所示。经过此模块的处理后，Ceph集群的框架已经初步建立。此外，该模块还负责Ceph集群的统一管理、启停、服务检查等操作。这个过程对应于手动部署Ceph集群的集群规划过程和服务手动启停过程。
参数配置模块负责将Ceph集群的个性化配置以图形方式展示给用户，并根据用户的实际配置记录参数值，主要的配置项如下表所示。此外，该模块也提供集群部署成功后的参数修改和查询操作。经过此模块的处理后，Ceph集群的个性化配置参数基本确定，其他的参数采用***默认值。这个过程对应于手动部署Ceph集群的参数手动配置过程。
参数名(界面显示) 参数说明 默认值
public_network Ceph集群内部使用的网络环境 192.168.111.0/24
cluster_network 为用户提供访问的公共网络环境 192.168.111.0/24
osd_pool_default_size 集群中Pool的副本数 1
osd_pool_default_min_size 集群中Pool的最小楅本数 1
osd_crush_chooseleaf_type CRUSH规则chooseleaf时的bucket类型 0
osd_max_object_name_len 对象名称的长度 256
osd_journal_size 日志的大小 128M
osd_pool_default_pg_num 集群的placement groups个数 128
osd_storage_paths 集群数据存储的路径 无。格式为：hostname：path。
表1 主要配置项及释义
自动安装模块负责在安装Ceph对应版本前，自动规划各个节点上的安装过程，接收安装管理模块的操作指令，并在各相应节点自动启动安装。安装包由大数据管理平台统一组装提供，无需用户参与、配置和调整。经过此模块的处理后，Ceph已经在各规划节点上完成安装。这个过程对应于手动部署Ceph集群的安装源配置、安装包安装的过程。
参数同步模块负责将部署管理节点生成的配置文件和集群个性化配置参数自动同步到Ceph集群中对应的各个节点，同步过程如图6所示。此模块处理完后才能后，各个节点上的配置参数已经更新并且同步，并为Ceph集群的启动做好了准备。这个过程对应于手动部署Ceph集群的配置参数手动同步的过程。
监控管理模块负责将Ceph集群的状态、运行参数等信息收集并交由大数据管理平台统一处理和展示。此模块运行于Ceph集群生命周期的整个过程，能迅速及时发现Ceph集群的异常信息，如时钟倾斜、服务宕机、运行实例数、空间不足等问题，并及时通知告警管理模块和大数据平台，为Ceph集群的安全稳定运行提供支撑。手动部署Ceph集群中不包含此模块及相应操作。
告警管理模块负责将Ceph集群运行时产生的异常等信息做过滤、判断和处理，并根据用户的预设值决定是否产生告警。若产生告警，则将告警信息发动给大数据平台的告警管理接口，然后由大数据平台通知管理员执行相应的动作。手动部署Ceph集群中不包含此模块及相应操作。
3)本方法的实施过程
本方法的实施过程如图7所示：
a)通过大数据管理平台的Master/Slave架构，在Master节点触发Ceph预安装节点的自动选取和基本配置，具体动作由本方法的核心功能实现；
b)通过大数据管理平台的框架，在Master节点触发Ceph集群的自动配置动作，并在后续自动同步到预安装Ceph的各个节点，具体动作由本方法的核心功能实现；
c)通过大数据管理平台的调度框架，在Agent节点上触发安装动作；
d)通过大数据管理平台的调度框架，在Agent节点上触发配置同步动作，具体动作由本方法的核心功能实现；
e)通过大数据管理平台的调度框架，在Agent节点上触发自动配置动作，具体动作由本方法的核心功能实现；
f)通过大数据管理平台的调度框架，在Agent节点上触发环境检查动作，具体动作由本方法的核心功能实现；
g)通过大数据管理平台的调度框架，在Agent节点上触发服务启动动作，具体动作由本方法的核心功能实现；
h)通过大数据管理平台的调度框架，在Agent节点上触发服务检查动作，具体动作由本方法的核心功能实现；
i)通过大数据管理平台的调度框架，自动触发监控和告警动作，具体动作由本方法的核心功能实现；
j)通过大数据管理平台的调度框架，自动触发状态监控动作并做数据汇聚，具体动作由本方法的核心功能实现；
k)通过大数据管理平台的调度框架，自动触发集群状态和运行信息的图形化展示，具体动作由本方法的核心功能实现。
与现有技术方案相比，本发明技术方案具有下述明显优点：
快速自动化部署，效率提高2倍以上；操作简单，只需六步选择操作即可，易用性非常好；快速修改全局配置，并自动同步，显著提升运维效率；可视化管理，图形化一体化的服务检查、告警、状态监控；方案稳定性满足生产环境需要。
实施例2
一种电子设备,包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以下方法步骤：
管理节点发送控制命令道计算节点，包括：
部署管理，实现Ceph集群的自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点；
配置参数，将Ceph集群的个性化配置以图形方式展示给用户，并根据用户的实际配置记录、修改参数值；
监控管理，收集Ceph集群的运行参数，并交由大数据管理平台统一处理和展示；
告警管理，用于对Ceph集群运行时产生的异常信息做过滤、判断和处理，并根据用户的预设值决定是否产生告警；若产生告警，则将告警信息发送给大数据平台的告警管理接口，然后由大数据平台通知管理员执行相应的动作；
计算节点发送心跳上报管理节点，包括：
自动安装，在安装Ceph集群对应版本前，自动规划各个节点上的安装过程，接收监控管理模块的操作指令，并在各相应节点自动启动安装；
参数同步，将部署管理模块生成的配置文件和集群个性化配置参数自动同步到Ceph集群中对应的各个节点；
状态监控，监控各Ceph集群运行节点的运行状态并上报给所述管理节点。
进一步的，所述部署管理，实现Ceph集群的自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点，包括：通过组件管理模块、启停管理模块、服务检查模块、服务维护模块，实现自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点。
进一步的，所述参数同步，用于将所述部署管理模块点生成的配置文件和集群个性化配置参数自动同步到Ceph集群中对应的各个节点，包括：生成的配置文件和集群个性化配置参数与Ceph集群中对应的各主节点同步；若同步成功，同步结束，否则，继续同步。
实施例3
本申请实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的方法。
实施例4
图8是本实施例提供的所述方法的电子设备的硬件结构示意图，如图8所示，该设备包括：
一个或多个处理器810以及存储器820，图8中以一个处理器810为例。
智能方法的设备还可以包括：输入装置830和输出装置840。
处理器810、存储器820、输入装置830和输出装置840可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器820作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块。处理器810通过运行存储在存储器820中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例方法。
存储器820可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据方法中使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
输入装置830可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器820中，当被所述一个或者多个处理器810执行时，执行上述任意方法实施例中的方法。
缩略语的中英文全称
Ceph—一种对象存储***
OSD—Object Storage Device，Ceph***的物理或逻辑存储单元
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本发明实施例的终端以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、***总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置，例如电视机、车载大屏等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于大数据平台的Ceph集群自动化部署***，其特征在于，包括：
管理节点模块和计算节点模块；
其中，管理节点模块包括：
部署管理模块，用于Ceph集群的自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点；
参数配置模块，用于将Ceph集群的个性化配置以图形方式展示给用户，并根据用户的实际配置记录、修改参数值；
监控管理模块，用于收集Ceph集群的运行参数，并交由大数据管理平台统一处理和展示；
告警管理模块，用于对Ceph集群运行时产生的异常信息做过滤、判断和处理，并根据用户的预设值决定是否产生告警；若产生告警，则将告警信息发送给大数据平台的告警管理接口，然后由大数据平台通知管理员执行相应的动作；
其中，计算节点模块包括：
自动安装模块，用于在安装Ceph集群对应版本前，自动规划各个节点上的安装过程，接收所述监控管理模块的操作指令，并在各相应节点自动启动安装；
参数同步模块，用于将所述部署管理模块生成的配置文件和集群个性化配置参数自动同步到Ceph集群中对应的各个节点；
状态监控模块，用于监控各Ceph集群运行节点的运行状态并上报给所述监控管理模块。
2.如权利要求1所述的***，其特征在于：所述部署管理模块，用于Ceph集群的自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点，包括：通过组件管理模块、启停管理模块、服务检查模块、服务维护模块，实现自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点。
3.如权利要求1所述的***，其特征在于：所述参数同步模块，用于将所述部署管理模块点生成的配置文件和集群个性化配置参数自动同步到Ceph集群中对应的各个节点，包括：
所述部署管理模块点生成的配置文件和集群个性化配置参数与Ceph集群中对应的各主节点同步；若同步成功，同步结束，否则，继续同步。
4.一种基于大数据平台的Ceph集群自动化部署方法，其特征在于，包括：
管理节点发送控制命令道计算节点，包括：
部署管理，实现Ceph集群的自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点；
配置参数，将Ceph集群的个性化配置以图形方式展示给用户，并根据用户的实际配置记录、修改参数值；
监控管理，收集Ceph集群的运行参数，并交由大数据管理平台统一处理和展示；
告警管理，用于对Ceph集群运行时产生的异常信息做过滤、判断和处理，并根据用户的预设值决定是否产生告警；若产生告警，则将告警信息发送给大数据平台的告警管理接口，然后由大数据平台通知管理员执行相应的动作；
计算节点发送心跳上报管理节点，包括：
自动安装，在安装Ceph集群对应版本前，自动规划各个节点上的安装过程，接收监控管理模块的操作指令，并在各相应节点自动启动安装；
参数同步，将部署管理模块生成的配置文件和集群个性化配置参数自动同步到Ceph集群中对应的各个节点；
状态监控，监控各Ceph集群运行节点的运行状态并上报给所述管理节点。
5.如权利要求4所述的方法，其特征在于：所述部署管理，实现Ceph集群的自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点，包括：通过组件管理模块、启停管理模块、服务检查模块、服务维护模块，实现自动化配置、统一管理、启停、服务检查，并根据资源使用情况，规划Ceph集群的各功能节点。
6.如权利要求4所述的方法，其特征在于：所述参数同步，用于将所述部署管理模块点生成的配置文件和集群个性化配置参数自动同步到Ceph集群中对应的各个节点，包括：
生成的配置文件和集群个性化配置参数与Ceph集群中对应的各主节点同步；若同步成功，同步结束，否则，继续同步。
CN201710503028.0A 2017-06-27 2017-06-27 一种基于大数据平台的Ceph集群自动化部署方法及*** Withdrawn CN107454140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710503028.0A CN107454140A (zh) 2017-06-27 2017-06-27 一种基于大数据平台的Ceph集群自动化部署方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710503028.0A CN107454140A (zh) 2017-06-27 2017-06-27 一种基于大数据平台的Ceph集群自动化部署方法及***

Publications (1)

Publication Number Publication Date
CN107454140A true CN107454140A (zh) 2017-12-08

Family

ID=60487118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710503028.0A Withdrawn CN107454140A (zh) 2017-06-27 2017-06-27 一种基于大数据平台的Ceph集群自动化部署方法及***

Country Status (1)

Country Link
CN (1) CN107454140A (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170524A (zh) * 2017-12-29 2018-06-15 北京奇虎科技有限公司 一种计算集群的任务处理方法和装置
CN108388605A (zh) * 2018-02-06 2018-08-10 广东暨通信息发展有限公司 基于物联网的大数据分析平台
CN108958744A (zh) * 2018-06-21 2018-12-07 北京京东金融科技控股有限公司 大数据分布式集群的部署方法、装置、介质及电子设备
CN109039743A (zh) * 2018-08-03 2018-12-18 西安东美信息科技有限公司 分布式存储ceph群集网络的集中管理方法
CN109218109A (zh) * 2018-10-17 2019-01-15 北京京航计算通讯研究所 面向大数据平台的Ceph分布式存储监控与调优管理***
CN109298945A (zh) * 2018-10-17 2019-02-01 北京京航计算通讯研究所 面向大数据平台的Ceph分布式存储监控与调优管理方法
WO2019169765A1 (zh) * 2018-03-06 2019-09-12 平安科技（深圳）有限公司 电子装置、集群环境下状态信息的获取方法、***及存储介质
CN110737444A (zh) * 2019-10-18 2020-01-31 中电科技（北京）有限公司 基于固件的操作***远程自适应动态部署方法及***
CN110781158A (zh) * 2019-10-25 2020-02-11 山东乾云启创信息科技股份有限公司 一种基于ceph的分布式存储方法及***
CN111078302A (zh) * 2019-11-19 2020-04-28 许昌许继软件技术有限公司 一种配网监控平台***的自动化部署方法及终端
CN111193622A (zh) * 2019-12-30 2020-05-22 浪潮电子信息产业股份有限公司 一种非对称配置的管理方法、装置、设备及可读存储介质
CN111225064A (zh) * 2020-02-24 2020-06-02 中科星图股份有限公司 Ceph集群部署方法、***、设备和计算机可读存储介质
CN111277632A (zh) * 2020-01-13 2020-06-12 中国建设银行股份有限公司 ***集群中应用管理的方法和装置
CN111274191A (zh) * 2020-01-08 2020-06-12 山东汇贸电子口岸有限公司 管理ceph集群的方法及云本地存储协调器
CN111290909A (zh) * 2020-01-19 2020-06-16 山东汇贸电子口岸有限公司 一种对ceph集群进行监控和告警的***及方法
CN111381835A (zh) * 2018-12-28 2020-07-07 ***通信集团江西有限公司 技术服务组件的注册与发现的方法、装置、设备及介质
CN111813346A (zh) * 2020-07-23 2020-10-23 山东超越数控电子股份有限公司 基于云平台搭建Ceph分布式存储的方法、***、设备及介质
CN111857735A (zh) * 2020-07-23 2020-10-30 浪潮云信息技术股份公司 一种基于Rook部署Ceph的Crush创建方法及***
CN112241269A (zh) * 2019-07-16 2021-01-19 深圳兆日科技股份有限公司 Zookeeper集群控制***、设备及存储介质
CN112468349A (zh) * 2021-01-26 2021-03-09 柏科数据技术（深圳）股份有限公司 适用于FT2000+平台部署Ceph的主节点
WO2021082581A1 (zh) * 2019-10-29 2021-05-06 牛文运 一种文件***
CN112764674A (zh) * 2020-12-29 2021-05-07 中国人寿保险股份有限公司上海数据中心 一种基于开源对象存储资源的自助申请使用***和方法
CN113656147A (zh) * 2021-08-20 2021-11-16 北京百度网讯科技有限公司 一种集群部署方法、装置、设备及存储介质
CN114327490A (zh) * 2022-03-04 2022-04-12 麒麟软件有限公司 国产操作***适配Ceph的方法
CN114461233A (zh) * 2020-11-04 2022-05-10 上海宝信软件股份有限公司 基于云环境实现数据中心软件自动化部署的***及方法
CN115080532A (zh) * 2022-07-22 2022-09-20 平安银行股份有限公司 Ceph***的管理方法及终端
CN115174369A (zh) * 2021-04-02 2022-10-11 深圳市锐速云计算有限公司 基于nginx的网络节点集群调度与自动化部署方法及***
WO2024012082A1 (zh) * 2022-07-15 2024-01-18 京东方科技集团股份有限公司 大数据集群部署方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169448A (zh) * 2011-03-18 2011-08-31 浪潮电子信息产业股份有限公司 一种集群并行运算环境的部署方法
CN103617062A (zh) * 2013-12-05 2014-03-05 山东大学 一种柔性的渲染集群动态部署***与方法
CN104104721A (zh) * 2014-07-17 2014-10-15 浪潮电子信息产业股份有限公司 一种基于windows域控实现windows渲染集群管理并提高部署效率的方法
CN104219099A (zh) * 2014-09-25 2014-12-17 浪潮(北京)电子信息产业有限公司 一种服务器集群自动部署的方法和装置
CN104572269A (zh) * 2015-01-19 2015-04-29 浪潮电子信息产业股份有限公司 一种基于Linux操作***的集群快速部署方法
CN105487891A (zh) * 2015-11-26 2016-04-13 航天恒星科技有限公司 一种分布式集群的部署方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169448A (zh) * 2011-03-18 2011-08-31 浪潮电子信息产业股份有限公司 一种集群并行运算环境的部署方法
CN103617062A (zh) * 2013-12-05 2014-03-05 山东大学 一种柔性的渲染集群动态部署***与方法
CN104104721A (zh) * 2014-07-17 2014-10-15 浪潮电子信息产业股份有限公司 一种基于windows域控实现windows渲染集群管理并提高部署效率的方法
CN104219099A (zh) * 2014-09-25 2014-12-17 浪潮(北京)电子信息产业有限公司 一种服务器集群自动部署的方法和装置
CN104572269A (zh) * 2015-01-19 2015-04-29 浪潮电子信息产业股份有限公司 一种基于Linux操作***的集群快速部署方法
CN105487891A (zh) * 2015-11-26 2016-04-13 航天恒星科技有限公司 一种分布式集群的部署方法及***

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170524A (zh) * 2017-12-29 2018-06-15 北京奇虎科技有限公司 一种计算集群的任务处理方法和装置
CN108388605A (zh) * 2018-02-06 2018-08-10 广东暨通信息发展有限公司 基于物联网的大数据分析平台
WO2019169765A1 (zh) * 2018-03-06 2019-09-12 平安科技（深圳）有限公司 电子装置、集群环境下状态信息的获取方法、***及存储介质
CN108958744A (zh) * 2018-06-21 2018-12-07 北京京东金融科技控股有限公司 大数据分布式集群的部署方法、装置、介质及电子设备
CN108958744B (zh) * 2018-06-21 2022-08-09 京东科技控股股份有限公司 大数据分布式集群的部署方法、装置、介质及电子设备
CN109039743A (zh) * 2018-08-03 2018-12-18 西安东美信息科技有限公司 分布式存储ceph群集网络的集中管理方法
CN109218109A (zh) * 2018-10-17 2019-01-15 北京京航计算通讯研究所 面向大数据平台的Ceph分布式存储监控与调优管理***
CN109298945A (zh) * 2018-10-17 2019-02-01 北京京航计算通讯研究所 面向大数据平台的Ceph分布式存储监控与调优管理方法
CN111381835A (zh) * 2018-12-28 2020-07-07 ***通信集团江西有限公司 技术服务组件的注册与发现的方法、装置、设备及介质
CN112241269B (zh) * 2019-07-16 2024-05-10 深圳兆日科技股份有限公司 Zookeeper集群控制***、设备及存储介质
CN112241269A (zh) * 2019-07-16 2021-01-19 深圳兆日科技股份有限公司 Zookeeper集群控制***、设备及存储介质
CN110737444A (zh) * 2019-10-18 2020-01-31 中电科技（北京）有限公司 基于固件的操作***远程自适应动态部署方法及***
CN110781158A (zh) * 2019-10-25 2020-02-11 山东乾云启创信息科技股份有限公司 一种基于ceph的分布式存储方法及***
CN110781158B (zh) * 2019-10-25 2022-08-16 山东乾云启创信息科技股份有限公司 一种基于ceph的分布式存储方法及***
WO2021082581A1 (zh) * 2019-10-29 2021-05-06 牛文运 一种文件***
CN111078302A (zh) * 2019-11-19 2020-04-28 许昌许继软件技术有限公司 一种配网监控平台***的自动化部署方法及终端
CN111078302B (zh) * 2019-11-19 2023-08-11 许昌许继软件技术有限公司 一种配网监控平台***的自动化部署方法及终端
CN111193622A (zh) * 2019-12-30 2020-05-22 浪潮电子信息产业股份有限公司 一种非对称配置的管理方法、装置、设备及可读存储介质
CN111193622B (zh) * 2019-12-30 2021-11-09 浪潮电子信息产业股份有限公司 一种非对称配置的管理方法、装置、设备及可读存储介质
WO2021135279A1 (zh) * 2019-12-30 2021-07-08 浪潮电子信息产业股份有限公司 一种非对称配置的管理方法、装置、设备及可读存储介质
CN111274191A (zh) * 2020-01-08 2020-06-12 山东汇贸电子口岸有限公司 管理ceph集群的方法及云本地存储协调器
CN111277632B (zh) * 2020-01-13 2022-05-06 中国建设银行股份有限公司 ***集群中应用管理的方法和装置
CN111277632A (zh) * 2020-01-13 2020-06-12 中国建设银行股份有限公司 ***集群中应用管理的方法和装置
CN111290909A (zh) * 2020-01-19 2020-06-16 山东汇贸电子口岸有限公司 一种对ceph集群进行监控和告警的***及方法
CN111225064A (zh) * 2020-02-24 2020-06-02 中科星图股份有限公司 Ceph集群部署方法、***、设备和计算机可读存储介质
CN111813346A (zh) * 2020-07-23 2020-10-23 山东超越数控电子股份有限公司 基于云平台搭建Ceph分布式存储的方法、***、设备及介质
CN111857735A (zh) * 2020-07-23 2020-10-30 浪潮云信息技术股份公司 一种基于Rook部署Ceph的Crush创建方法及***
CN114461233A (zh) * 2020-11-04 2022-05-10 上海宝信软件股份有限公司 基于云环境实现数据中心软件自动化部署的***及方法
CN112764674A (zh) * 2020-12-29 2021-05-07 中国人寿保险股份有限公司上海数据中心 一种基于开源对象存储资源的自助申请使用***和方法
CN112468349A (zh) * 2021-01-26 2021-03-09 柏科数据技术（深圳）股份有限公司 适用于FT2000+平台部署Ceph的主节点
CN112468349B (zh) * 2021-01-26 2021-07-20 柏科数据技术（深圳）股份有限公司 适用于FT2000+平台部署Ceph的主节点
CN115174369A (zh) * 2021-04-02 2022-10-11 深圳市锐速云计算有限公司 基于nginx的网络节点集群调度与自动化部署方法及***
CN113656147A (zh) * 2021-08-20 2021-11-16 北京百度网讯科技有限公司 一种集群部署方法、装置、设备及存储介质
CN114327490A (zh) * 2022-03-04 2022-04-12 麒麟软件有限公司 国产操作***适配Ceph的方法
WO2024012082A1 (zh) * 2022-07-15 2024-01-18 京东方科技集团股份有限公司 大数据集群部署方法、装置、设备及介质
CN115080532A (zh) * 2022-07-22 2022-09-20 平安银行股份有限公司 Ceph***的管理方法及终端

Similar Documents

Publication Publication Date Title
CN107454140A (zh) 一种基于大数据平台的Ceph集群自动化部署方法及***
US20210405629A1 (en) System and method for interoperable communication of an automation system component with multiple information sources
WO2021017301A1 (zh) 基于Kubernetes集群的管理方法、装置及计算机可读存储介质
CN110942387B (zh) 基于微服务的电票业务功能构建方法和***
US10061371B2 (en) System and method for monitoring and managing data center resources in real time incorporating manageability subsystem
CN105653425B (zh) 基于复杂事件处理引擎的监控***
EP2625614B1 (en) System and method for monitoring and managing data center resources in real time incorporating manageability subsystem
CN108595316B (zh) 分布式应用的生命周期管理方法、管理器、设备和介质
CN103399781B (zh) 云服务器及其虚拟机管理方法
CN106210124B (zh) 一种统一的云数据中心监控***
CN103268226A (zh) 一种测试脚本文件生成方法及装置
CN113377626B (zh) 基于服务树的可视化统一报警方法、装置、设备和介质
CN111625535B (zh) 一种实现业务数据关联的方法、装置和存储介质
US20090254652A1 (en) Resource correlation prediction
CN106776136B (zh) 数据库处理方法和装置
CN110532058A (zh) 容器集群服务的管理方法、装置、设备及可读存储介质
CN114756301B (zh) 日志处理方法、装置和***
CN109240916A (zh) 信息输出控制方法、装置及计算机可读存储介质
CN113076229A (zh) 一种通用的企业级信息技术监控***
CN110019131A (zh) 一种复盘业务的方法和装置
CN113010385B (zh) 一种任务状态更新方法、装置、设备及介质
EP4024761A1 (en) Communication method and apparatus for multiple management domains
CN113050983A (zh) 中间件的设计方法、***、电子设备及可读存储介质
Wollenberg et al. A brief history: The common information model [in my view]
CN115150466B (zh) 一种数据分发的实现方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20171208

WW01 Invention patent application withdrawn after publication