CN114969139A - 大数据运维管理方法、***、装置及存储介质 - Google Patents

Abstract

本发明公开了一种大数据运维管理方法、***、装置及存储介质，其中方法包括：首先响应于前端页面的可视化操作，生成操作请求；将操作请求存入消息中间件中；从消息中间件中获取操作请求，并根据操作请求生成操作命令；根据操作命令，启动大数据处理集群中的若干进程，并确定操作结果；将操作结果在前端页面进行显示。本申请根据用户的可视化操作，生成对应的操作命令，并由操作命令来启动大数据处理集群中的不同进程，并且可以将操作结果反馈到前端页面上供用户查阅，令用户能够通过简单、直观的可视化操作，得到大数据的可视化结果。

Description

大数据运维管理方法、***、装置及存储介质

技术领域

本申请涉及大数据技术领域，尤其涉及一种大数据运维管理方法、***、装置及存储介质。

背景技术

随着大数据技术的发展，人们开始依赖大数据对各行各业进行分析，以实现总结过往一段时间的总体情况，并预测未来一定时间的发展的目的。但是，由于大数据具有数据量大、数据来源复杂等特点，如何对海量的数据进行有效、直观的分析操作，是大数据时代亟待解决的问题。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请提出一种大数据运维管理方法、***、装置及存储介质。

第一方面，本申请实施例提供了一种大数据运维管理方法，所述方法包括：响应于前端页面的可视化操作，生成操作请求；将所述操作请求存入消息中间件中；从所述消息中间件中获取所述操作请求，并根据所述操作请求生成操作命令；根据所述操作命令，启动大数据处理集群中的若干进程，并确定操作结果；将所述操作结果在所述前端页面进行显示。

可选地，所述从所述消息中间件中获取所述操作请求，并根据所述操作请求生成操作命令，包括：根据预设的定时任务，定时从所述消息中间件中获取所述操作请求，并根据所述操作请求生成操作命令。

可选地，所述方法还包括：根据所述定时任务确定任务文本；对所述任务文本进行模糊搜索；当所述模糊搜索过程中出现错误信息，根据所述错误信息，截取所述任务文本中的关联信息，所述关联信息中包括所述错误信息；将所述关联信息发送至指定的开发者邮箱。

可选地，所述大数据处理集群中的所述进程包括：对所述数据源进行实时监控采集，采集到目标数据；将所述目标数据存入分布式存储集群；从所述分布式存储集群中获取目标数据，并对所述目标数据进行数据清洗；将完成数据清洗后的所述目标数据存入数据仓库；将所述数据仓库中的所述目标数据存入数据库中。

可选地，所述方法还包括：当所述分布式存储集群中的一个主节点崩溃，通过选举机制选择一个完好的备用节点作为新的所述主节点。

可选地，所述数据库包括高速数据子单元和基本数据子单元，所述将所述数据仓库中的所述目标数据存入数据库中，包括：将部分所述目标数据存入所述高速数据子单元中，并将其余的所述目标数据存入基本数据子单元中。

第二方面，本申请实施例提供了一种大数据运维管理***，所述***包括：可视化管理模块，用于响应于前端页面的可视化操作，生成操作请求；并用于将所述操作结果在所述前端页面进行显示；消息中间件，用于将所述操作请求存入消息中间件中；命令交互模块，用于从所述消息中间件中获取所述操作请求，并根据所述操作请求生成操作命令；大数据命令处理模块，用于大数据命令根据所述操作命令，启动大数据处理集群中的若干进程，并确定操作结果。

第三方面，本申请实施例提供了一种装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如第一方面所述的大数据运维管理方法。

第四方面，本申请实施例提供了一种计算机存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由所述处理器执行时用于实现如第一方面所述的大数据运维管理方法。

本申请实施例的有益效果如下：首先响应于前端页面的可视化操作，生成操作请求；将所述操作请求存入消息中间件中；从所述消息中间件中获取所述操作请求，并根据所述操作请求生成操作命令；根据所述操作命令，启动大数据处理集群中的若干进程，并确定操作结果；将所述操作结果在所述前端页面进行显示。本申请根据用户的可视化操作，生成对应的操作命令，并由操作命令来启动大数据处理集群中的不同进程，并且可以将操作结果反馈到前端页面上供用户查阅，令用户能够通过简单、直观的可视化操作，得到大数据的可视化结果。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1是本申请实施例提供的大数据运维管理***的示意图；

图2为本申请实施例提供的大数据运维管理方法的步骤流程图；

图3为本申请实施例提供的大数据处理集群中的处理流程的步骤图；

图4为本申请实施例提供的装置的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在***示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于***中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

随着大数据技术的发展，人们开始依赖大数据对各行各业进行分析，以实现总结过往一段时间的总体情况，并预测未来一定时间的发展的目的。但是，由于大数据具有数据量大、数据来源复杂等特点，如何对海量的数据进行有效、直观的分析操作，是大数据时代亟待解决的问题。

基于此，本申请实施例提供了一种大数据运维管理方法、***、装置及存储介质，该方法的步骤包括：首先响应于前端页面的可视化操作，生成操作请求；将操作请求存入消息中间件中；从消息中间件中获取操作请求，并根据操作请求生成操作命令；根据操作命令，启动大数据处理集群中的若干进程，并确定操作结果；将操作结果在前端页面进行显示。本申请根据用户的可视化操作，生成对应的操作命令，并由操作命令来启动大数据处理集群中的不同进程，并且可以将操作结果反馈到前端页面上供用户查阅，令用户能够通过简单、直观的可视化操作，得到大数据的可视化结果。

下面结合附图，对本申请实施例作进一步阐述。

首先，对本申请实施例提出的大数据运维管理***进行阐述。

参考图1，图1是本申请实施例提供的大数据运维管理***的示意图，该大数据运维管理***100包括：可视化管理模块110、消息中间件120、命令交互模块130和大数据命令处理模块140。可视化管理模块用于响应于前端页面的可视化操作，生成操作请求；并用于将操作结果在前端页面进行显示；消息中间件用于将操作请求存入消息中间件中；命令交互模块用于从消息中间件中获取操作请求，并根据操作请求生成操作命令；大数据命令处理模块用于大数据命令根据操作命令，启动大数据处理集群中的若干进程，并确定操作结果。

在一些实施例中，大数据命令处理模块包括数据采集单元、分布式存储单元、数据清洗单元、分析计算单元、数据仓库、数据传输单元以及数据库。其中，数据采集单元用于对数据源进行实时监控采集，采集到目标数据；分布式存储单元中包括分布式存储集群，采集到的目标数据则存储在分布式存储集群中；数据清洗单元和分析计算单元联合作用，对从分布式存储集群中获取到的目标数据进行数据清洗；完成数据清洗后的目标数据将存入数据仓库；数据传输单元用于将数据仓库中的目标数据存入数据库中。

在另一些实施例中，分布式存储单元中包括分布式存储集群和调度子单元，分布式存储集群用于存储大量数据，调度子单元则用于根据zookeeper等技术对分布式存储集群中的各个节点进行调度。在本申请实施例中，利用docker虚拟化容器技术对分布式存储集群和调度子单元这两个单元进行容器化，两个容器之间使用沙箱机制，相互之间不会有任何接口，因此不需要配置任何文件，也能够支持分布式存储单元的多平台迁移，更便捷，容量更小。

在另一些实施例中，数据库包括包括高速数据子单元和基本数据子单元，高速数据子单元是指类似redis这样能够支持数据高速读写的数据单元，而基本数据子单元则是指类似MySQL这样的传统数据库。

下面，结合如上图1所示的大数据运维管理***，阐述本申请实施例提供的大数据运维管理方法。

参照图2，图2为本申请实施例提供的大数据运维管理方法的步骤流程图，该方法应用于如图1的大数据运维管理***，该方法包括但不限于步骤S200-S240：

S200、响应于前端页面的可视化操作，生成操作请求；

具体地，本申请实施例由可视化管理模块在web前端页面展示可视化的操作界面，用户可以在前端页面执行可视化操作。响应于前端页面的可视化操作，可视化管理模块生成操作请求，这些操作请求可以对应不同的大数据流程，在执行完对应的大数据流程后，可以得到大数据流程的操作结果，从而实现大数据运维管理过程的可视化。

S210、将操作请求存入消息中间件中；

具体地，消息中间件包括kafka与redis技术，消息中间件用于缓存可视化管理模块产生的操作请求。以redis为例，使用集群化的redis来存储可视化管理模块产生的操作请求，由于redis高可用、数据不易丢失的特点，存储在其中的操作请求的安全性可以得到进一步的保障。

S220、从消息中间件中获取操作请求，并根据操作请求生成操作命令；

具体地，由命令交互模块从消息中间件中获取操作请求，并根据操作请求生成操作命令。该命令交互模块使用shell脚本技术，先实时获取消息中间件中的操作请求，然后通过shell脚本对操作请求进行分析，生成操作命令。本申请实施例中的操作命令用于启动大数据集群的若干流程。

在一些实施例中，命令交互模块还可以使用crontab定时技术，预先设置定时任务，根据预设的定时任务，命令交互模块定时从消息中间件中获取操作请求，并根据操作请求生成操作命令。例如，可以设置定时任务为：“选择每天晚上21点进行数据源信息的抓取”，则每天晚上21点，命令交互模块会从消息中间件中获取到对应的操作请求，并生成抓取数据源信息的操作命令。

而在另一些实施例中，为了避免任务失败，命令交互模块还设置了报错流程，具体地：命令交互模块根据预设的定时任务进行重定向，确定任务文本，并且对任务文本进行模糊搜索。当模糊搜索过程中发现，任务文本中出现错误信息，例如检测出任务文本中带有“error”字样的错误信息，则截取任务文本中的关联信息，关联信息是指包括该错误信息在内，该错误信息前后20行的信息，并且将该述关联信息发送至指定的开发者邮箱。则开发者可以通过该关联信息更方便地识别出某个大数据流程中发生的具体错误，进行针对性的修复。

S230、根据操作命令，启动大数据处理集群中的若干进程，并确定操作结果；

具体地，根据步骤S220中产生的操作命令，对大数据处理集群中的若干进程进行启动，并生成各个流程的操作结果。

结合图1中的大数据命令处理模块140，大数据处理集群中的流程主要可以通过图3的方法步骤来阐述。

参考图3，图3为本申请实施例提供的大数据处理集群中的处理流程的步骤图，该方法应用于图1中的大数据命令处理模块140，该方法包括但不限于步骤S300-S340：

S300、对数据源进行实时监控采集，采集到目标数据；

具体地，数据采集单元利用flume技术对数据源进行实时监控采集，采集到目标数据。flume是一个分布式的海量数据采集、聚合和传输的***。flume支持在日志***中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。作为数据采集的技术，flume技术具有拓展性好和高可靠的特点，具体为：flume可以分布式集群部署，拓展性好；而当节点出现故障时，数据能被传送到其他节点上而不会丢失，因此flume可靠性好。在本申请实施例的数据采集单元中，利用流模式对数据源进行实时数据采集，采集到的目标数据。

S310、将目标数据存入分布式存储集群；

具体地，本申请的分布式存储单元中的分布式存储集群主要用于大数据文件的储存，该种集群分布式部署的存储方式，在安全性及可靠性上都为数据提供了巨大的保障，能确保一台机器崩溃之后数据不会丢失，还能继续访问到该数据，因此分布式存储集群用于对数据采集模块所采集到的数据进行分布式储存。

在一些实施例中，分布式存储单元中还包括调度子单元，该调度子单元用于对分布式存储集群进行调度，其中调度子单元使用的是zookeeper技术，当分布式存储集群中的一个主节点崩溃，调度子单元可以通过选举机制选择一个完好的备用节点作为新的主节点，从而避免数据丢失、数据不能访问的情况出现。

S320、从分布式存储集群中获取目标数据，并对目标数据进行数据清洗；

具体地，本申请实施例提供了数据清洗单元和分析计算单元，由两个单元共同完成对目标数据的清洗。数据清洗单元中使用spark与Scala技术，主要利用spark对目标数据进行清晰。spark技术具有速度快、方便使用以及通用性高的优点。与Hadoop的MapReduce相比，spark基于内存的运算要快100倍以上，因此spark实现了高效的DAG执行引擎，可以通过基于内存来高效地处理流数据，速度更快。再者，Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同应用，使用起来简单方便。另外，Spark可以通过Spark SQL进行批处理、交互式查询，通过Spark Streaming进行实时流处理，通过Spark MLlib进行机器学习，还可以通过Spark GraphX进行图计算，这些不同类型的处理都可以在同一应用中无缝使用，表明spark的通用性很高。并且作为统一的解决方案，spark具有比较大的性能优势。

另外，分析计算单元主要采用MapReduce计算框架。首先作为一个基于集群的高性能并行计算平台，MapReduce计算框架允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。再者，作为一个并行计算与运行软件框架，MapReduce计算框架能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多***底层的复杂细节交由***负责处理，大大减少了软件开发人员的负担。最后，作为一个并行程序设计模型与方法，MapReduce计算框架借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。

通过数据清洗单元和分析计算单元的相互配合，完成对目标数据的清洗。

S330、将完成数据清洗后的目标数据存入数据仓库；

具体地，将完成数据清洗后的目标数据存入数据仓库，数据仓库采用hive数据仓库技术，hive是基于Hadoop构建的一套数据仓库分析***，hive的特点包括：可伸缩(在Hadoop的集群上动态添加设备)、可扩展、容错率高、输入格式的松散耦合等等。hive提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件***中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；还可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL。不熟悉Mapreduce的用户也可以很方便地利用SQL语言查询、汇总和分析数据。而Mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。hive数据仓库与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的工具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF(User-Defined Function)、UDAF(User-Defnes AggregateFunction)和UDTF(User-Defined Table-Generating Function)，也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。hive适合应用在基于大量不可变数据的批处理作业。

S340、将数据仓库中的目标数据存入数据库中；

具体地，本申请实施例通过数据传输单元将数据仓库中的目标数据存入数据库中。数据传输单元使用的是sqoop传输技术，该技术用于在hive与传统的数据库(如MySQL数据库)间进行数据的传递，sqoop可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库，hive也提供了连接器。类似于其他ETL工具，sqoop使用元数据模型来判断数据类型，并在数据从数据源转移到Hadoop时进行确保类型安全的数据处理。sqoop专为大数据批量传输设计，能够分割数据集并创建maptask任务来处理每个区块。

本步骤通过sqoop将hive数据仓库中的目标数据存入数据库中。本申请实施例中的数据库包括高速数据子单元和基本数据子单元，其中高速数据子单元使用redis集群，基本数据子单元使用MySQL数据库。对于redis集群来说，其具有以下优点：

1)响应快速

Redis响应非常快，每秒可以执行大约110000个写入操作，或者81000个读操作，其速度远超传统数据库。

2)支持6种数据类型

Redis支持的数据类型是字符串、哈希结构、列表、集合、可排序集合和基数。比如对于字符串，可以存入一些Java的基础数据类型，哈希可以存储对象，列表可以存储List对象等。这使得在应用中很容易根据自己的需要选择存储的数据类型，方便开发。

对于Redis而言，虽然只有6种数据类型，但是有两大好处：一方面可以满足存储各种数据结构体的需要；另外一方面数据类型少，使得规则就少，需要的判断和逻辑就少，这样读/写的速度就更快。

3)操作都是原子的

所有Redis的操作都是原子的，从而确保当两个客户同时访问Redis服务器时，得到的是更新后的值(最新值)。在需要高并发的场合可以考虑使用Redis的事务，处理一些需要锁的业务。

4)MultiUtility工具

Redis可以在如缓存、消息传递队列中使用(Redis支持“发布+订阅”的消息模式)，在应用程序如Web应用程序会话、网站页面点击数等任何短暂的数据中使用。

基于以上优点，将部分目标数据存入高速数据子单元中，而将剩余的目标数据存入基本数据子单元中。基本数据子单元所采用的是MySQL数据库技术，对目标数据起到基本储存作用。数据传输单元传输大量数据到数据库的时候，两个单元分工合作，分别存储不同的目标数据。

通过步骤S300-S340，本申请实施例提供了大数据命令处理模块中可执行的多个大数据流程。步骤S230阐述完毕，下面开始阐述步骤S240。

S240、将操作结果在前端页面进行显示；

具体地，根据上述内容，在大数据命令处理模块中包含多个大数据的处理流程，根据不同的操作命令，可以启动不同的处理流程。例如在可视化管理模块输入数据源的具体URL，则可以生成采集数据的操作请求，该操作请求先存入消息中间件，然后由命令交互模块读取，并生成采集数据的操作命令，该操作命令用于命令数据采集单元根据数据源的URL找到数据源，并进行数据采集，获得目标数据。则根据该操作命令启动对应的数据采集流程后，可以将操作结果在前端页面进行显示。例如在前端页面显示：“已经完成对指定数据源的数据采集”。同理，图3所示的每一个大数据流程都可以由命令交互模块实时生成的操作命令进行启动，并且将每一个流程的操作结果显示在前端页面中，方便用户能够及时查看大数据操作流程的实时进展，更好地对大数据进行运维管理。在完成所有大数据流程后，其数据也可以通过图表等形式在前端页面进行显示，帮助用户更直观、清晰地了解大数据相关信息。

可以理解的是，可视化管理模块中以图表等形式展示的数据，可以转为API形式，提供给用户网站进行对接。例如未来15天的天气数据做成图表可视化后，可以将其图表快捷放置天气网站中展示，让用户网站能更快捷方便地进行大数据信息可视化。

通过步骤S200-S240，在本申请实施例提出的大数据运维管理***的基础上，本申请实施例提供了一种大数据运维管理方法，由可视化管理模块响应于前端页面的可视化操作，生成操作请求；将操作请求存入消息中间件中；命令交互模块从消息中间件中获取操作请求，并根据操作请求生成操作命令；大数据命令处理模块根据操作命令，启动大数据处理集群中的若干进程，并确定操作结果；并由可视化管理模块将操作结果在前端页面进行显示。本申请根据用户的可视化操作，生成对应的操作命令，并由操作命令来启动大数据处理集群中的不同进程，并且可以将操作结果反馈到前端页面上供用户查阅，令用户能够通过简单、直观的可视化操作，得到大数据的可视化结果。另外，本申请提出命令交互模块的报错过程，有利于开发人员对大数据流程进行错误检修。并且，本申请所提出的大数据运维管理***的各个模块可移植性较高，通用性较强。

参考图4，图4为本申请实施例提供的装置的示意图，该装置400包括至少一个处理器410，还包括至少一个存储器420，用于存储至少一个程序；图4中以一个处理器及一个存储器为例。

处理器和存储器可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请的另一个实施例还提供了一种装置，该装置可用于执行如上任意实施例中的控制方法，例如，执行以上描述的图2中的方法步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本申请实施例还公开了一种计算机存储介质，其中存储有处理器可执行的程序，其特征在于，处理器可执行的程序在由处理器执行时用于实现本申请提出的合成语音与原始视频匹配方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种大数据运维管理方法，其特征在于，所述方法包括：

响应于前端页面的可视化操作，生成操作请求；

将所述操作请求存入消息中间件中；

从所述消息中间件中获取所述操作请求，并根据所述操作请求生成操作命令；

根据所述操作命令，启动大数据处理集群中的若干进程，并确定操作结果；

将所述操作结果在所述前端页面进行显示。

2.根据权利要求1所述的大数据运维管理方法，其特征在于，所述从所述消息中间件中获取所述操作请求，并根据所述操作请求生成操作命令，包括：

根据预设的定时任务，定时从所述消息中间件中获取所述操作请求，并根据所述操作请求生成操作命令。

3.根据权利要求2所述的大数据运维管理方法，其特征在于，所述方法还包括：

根据所述定时任务确定任务文本；

对所述任务文本进行模糊搜索；

当所述模糊搜索过程中出现错误信息，根据所述错误信息，截取所述任务文本中的关联信息，所述关联信息中包括所述错误信息；

将所述关联信息发送至指定的开发者邮箱。

4.根据权利要求1所述的大数据运维管理方法，其特征在于，所述大数据处理集群中的所述进程包括：

对所述数据源进行实时监控采集，采集到目标数据；

将所述目标数据存入分布式存储集群；

从所述分布式存储集群中获取目标数据，并对所述目标数据进行数据清洗；

将完成数据清洗后的所述目标数据存入数据仓库；

将所述数据仓库中的所述目标数据存入数据库中。

5.根据权利要求4所述的大数据运维管理方法，其特征在于，所述方法还包括：

当所述分布式存储集群中的一个主节点崩溃，通过选举机制选择一个完好的备用节点作为新的所述主节点。

6.根据权利要求4所述的大数据运维管理方法，其特征在于，所述数据库包括高速数据子单元和基本数据子单元，所述将所述数据仓库中的所述目标数据存入数据库中，包括：

将部分所述目标数据存入所述高速数据子单元中，并将其余的所述目标数据存入基本数据子单元中。

7.一种大数据运维管理***，其特征在于，所述***包括：

可视化管理模块，用于响应于前端页面的可视化操作，生成操作请求；并用于将操作结果在所述前端页面进行显示；

消息中间件，用于将所述操作请求存入消息中间件中；

命令交互模块，用于从所述消息中间件中获取所述操作请求，并根据所述操作请求生成操作命令；

大数据命令处理模块，用于根据所述操作命令，启动大数据处理集群中的若干进程，并确定所述操作结果。

8.一种装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6中任一项所述的大数据运维管理方法。

9.一种计算机存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求1-6中任一项所述的大数据运维管理方法。

Images