CN107220304B - 基于salt的海量mongodb慢日志管理*** - Google Patents

Abstract

本发明公开了一种基于salt的海量mongodb慢日志管理***，包括salt管理端、mongodb节点和分布式存储；salt管理端用于注册和注销salt客户端，发送指令到salt客户端；mongodb节点是部署mongodb服务的服务器，每个mongodb节点均需要部署salt客户端；salt客户端接收salt管理端的指令，完成相应的操作，返回结果给salt管理端；mongodb节点包括慢日志管理模块；分布式存储是指存储海量小文件的分布式文件***，包括存储慢日志模块。本发明***采用分布式存储，可以支持大规模mongodb慢日志存储；采用自动化方式管理慢日志，维护成本很低；解析mongodb慢日志，可以轻松查看效率低下的慢查询，大大提升性能调优效果。采用平台方式展示慢日志解析文件，更加直观，可视化效果更好。

Description

基于salt的海量mongodb慢日志管理***

技术领域

本发明属于mongodb数据库慢日志管理和性能调优领域，主要应用于互联网行业海量存储和性能调优场景。

背景技术

随着互联网行业蓬勃发展，业务对数据库的需求更加多样化，其中，mongodb数据库作为非关系型数据库，在生产环境应用越来越广泛。对于大规模mongodb集群，管理海量的慢日志显得越来越重要。

现有的管理慢日志***的缺点：

(1)维护成本高：需要较多的人工维护mongodb日志管理工作，效率低下。

(2)功能简单：无法解析mongodb慢日志和展示慢日志，无法查看历史信息。

(3)缺乏自动化：自动化程度低下，需要大量的人力操作。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于salt的海量mongodb慢日志管理***，可以管理大规模mongodb慢日志，并且可以解析慢日志，为性能调优提供参考依据。

本发明的目的是通过以下技术方案来实现的：一种基于salt的海量mongodb慢日志管理***，包括salt管理端、mongodb节点和分布式存储；

salt管理端是管理salt客户端的服务器，用于注册和注销salt客户端，发送指令到salt客户端；salt管理端包括salt管理模块、元信息管理模块、采集慢日志模块和解析慢日志模块；

mongodb节点是部署mongodb服务的服务器，每个mongodb节点均需要部署salt客户端；salt客户端接收salt管理端的指令，完成相应的操作，返回结果给salt管理端；mongodb节点包括慢日志管理模块；

分布式存储是指存储海量小文件的分布式文件***，包括存储慢日志模块。

进一步地，所述salt管理模块包括：

在所有mongodb节点部署salt客户端，salt管理端部署在单独的一台服务器上。该模块定期调用salt管理端接口，检查所有的mongodb节点上的salt客户端是否注册到salt管理端，如未注册，调用salt管理端接口，注册所述salt客户端；如注册失败，则发送通知给管理员。可选择注销某个mongodb节点的salt客户端。所有的mongodb节点对应的salt客户端全部注册到salt管理端后，salt管理端就可以发送指令和文件给salt客户端，完成特定的操作。在salt管理端，定期检测salt客户端是否通达，如不通，发送通知给管理员。

进一步地，所述元信息管理模块包括：

salt管理端定期调用元信息管理模块，及时获取最新的元信息。所述元信息包括mongodb节点主机名、mongodb节点IP、mongodb端口和mongodb慢日志文件名。

首先，salt管理端获取所有的mongodb节点主机名；然后，针对每个mongodb节点，salt管理端通过发送指令给salt客户端，获取每个mongodb节点上所有的mongodb进程信息，通过mongodb进程信息，可以解析得到mongodb配置文件名，通过所述mongodb配置文件名，可以获取mongodb端口和mongodb慢日志文件名。同时，根据mongodb节点主机名获取到mongodb节点IP。所述mongodb节点主机名、mongodb节点IP、mongodb端口和mongodb慢日志文件名保存在元信息表中。存储慢日志模块运行结束后，慢日志文件名和存储路径保存在慢日志元信息表中。

进一步地，所述慢日志管理模块包括：

需要传入的参数：mongodb节点主机名mongodb慢日志文件名

慢日志管理模块定期切割慢日志文件和清理无用慢日志文件。

在salt管理端，采用定时任务形式，定期切割所有mongodb节点上的mongodb慢日志文件：

针对每个所述mongodb节点，根据所述mongodb慢日志文件名，执行归档操作，将mongodb慢日志文件内容打印到一个以日期为后缀的文件里，记为归档文件；同时，清空mongodb慢日志文件内容。所述日期是当天的日期。对于3天前的归档文件，定期删除。在salt管理端，定期清理3天前的mongodb慢日志文件和慢日志解析文件。

进一步地，所述采集慢日志模块包括：

需要传入如下两个参数：mongodb节点主机名、归档mongdb慢日志文件名。

慢日志管理模块执行结束后，salt管理端发送操作指令到mongodb节点上salt客户端，采集mongodb节点上的归档mongodb慢日志文件，这样，归档mongodb慢日志文件传输到salt管理端指定目录。

进一步地，所述解析慢日志模块包括：

需要传入的参数：归档mongodb慢日志文件名

分析归档mongodb慢日志文件内容，得到慢日志统计信息，保存在相应的慢日志解析文件。

salt管理端在调用采集慢日志模块结束之后，所有的归档mongodb慢日志文件存放在salt管理端指定目录中，此时，定时任务调用慢日志解析脚本，解析每个归档mongodb慢日志文件，分别得到相应的慢日志解析文件。

进一步地，所述存储慢日志模块包括：

需要传入的参数：归档mongodb慢日志文件名、归档mongodb慢日志解析文件名

在salt管理端，通过调用分布式存储接口，上传所述归档mongodb慢日志文件和慢日志解析文件到分布式存储，然后返回mongodb慢日志文件和慢日志解析文件的存储路径，分别记为慢日志存储路径和慢日志解析文件存储路径。然后调用元信息管理模块，把慢日志文件名，慢日志存储路径，慢日志解析文件和慢日志解析文件存储路径记录到慢日志元信息表中。

进一步地，该***还包括慢日志管理平台，用于在web页面展示慢日志的详细信息，方便查看mongodb数据库存在的性能问题和及时进行调优；包括展示慢日志模块，存储慢日志模块执行结束后，慢日志管理平台调用慢日志元信息表展示所述慢日志解析文件，便于直观查看mongodb存在的性能问题，为性能调优提供准确参考。

本发明提出的基于salt的海量mongodb慢日志管理***，优点如下：

(1)支持海量存储：本发明采用分布式存储，可以支持大规模mongodb慢日志存储。

(2)维护成本低：采用自动化方式管理慢日志，维护成本很低

(3)便于性能调优：解析mongodb慢日志，可以轻松查看效率低下的慢查询，大大提升性能调优效果。

(4)可视化展示：采用平台方式展示慢日志解析文件，更加直观，可视化效果更好。

附图说明

图1是本发明基于salt的海量mongodb慢日志管理***总体架构图。

图2是本发明各个模块相互调用的流程图。

具体实施方式

图1是本发明基于salt的海量mongodb慢日志管理***总体架构图。总体包括四部分：salt管理端、mongodb节点、分布式存储和慢日志管理平台。salt管理端首先获取所有mongodb节点的mongodb慢日志元信息，然后采集慢日志并进行解析，把慢日志文件和慢日志解析文件存储在分布式存储中，在慢日志管理平台中展示mongodb慢日志解析文件内容。

图2是本发明各个模块相互调用的流程图。首先，salt管理模块通过salt客户端获取所有mongodb节点上mongodb服务元信息，并注册到元信息管理模块；通过salt客户端定期切割慢日志文件，采集慢日志模块采集所述慢日志并发送所述慢日志到salt管理端；解析慢日志模块在salt管理端解析所述慢日志得到解析文件，然后存储慢日志模块发送所述解析文件和慢日志文件到分布式存储，并把慢日志和解析文件名称以及存储路径注册到元信息管理模块。可选的，展示慢日志模块调用元信息管理模块，展示所述慢日志解析文件内容。

下面详细介绍各模块的实现过程：

(1)salt管理端

salt管理端是管理salt客户端的服务器，用于注册和注销salt客户端，发送指令到salt客户端。所述指令一般是通过一个或者多个Linux命令完成的操作。salt客户端接收salt管理端的指令，完成相应的操作，返回结果给salt管理端。salt管理端包括salt管理模块、元信息管理模块、采集慢日志模块和解析慢日志模块。

(2)mongodb节点

mongodb节点是指部署mongodb服务的服务器，每个mongodb节点均需要部署salt客户端。主要包括慢日志管理模块。

(3)分布式存储

分布式存储是指存储海量小文件的分布式文件***，支持分布式，易扩容，可伸缩。所述分布式存储是指FASTDFS存储。主要包括存储慢日志模块。

(4)慢日志管理平台

可选的，主要是用于在web页面展示慢日志的详细信息，方便查看mongodb数据库存在的性能问题和及时进行调优。包括展示慢日志模块。

各子模块实现如下：

(1)salt管理模块

主要功能是在所有mongodb节点部署salt客户端，salt管理端部署在单独的一台服务器上。

该模块定期调用salt管理端接口，检查所有的mongodb节点上的salt客户端是否注册到salt管理端，检测方式如下：

#salt‐key‐L‐acc|grep‘mongodb节点主机名’

如果返回值为假，需要调用salt管理端接口，注册所述salt客户端，注册方式如下：

#salt‐key–a–y‘mongodb节点主机名’

否则，不需要调用注册所述salt客户端。如果注册失败，那么发送通知给管理员处理。

如果需要注销某个mongodb节点的所述salt客户端，需要手动执行如下指令：

#salt‐key–d‘mongodb节点主机名’

所有的mongodb节点对应的salt客户端全部注册到salt管理端后，salt管理端就可以发送指令和文件给salt客户端，完成特定的操作。

并且，在salt管理端，定期检测salt客户端是否通达，检测方式如下：

#salt'mongodb节点主机名'cmd.run'exit'

如果返回值为真，说明该mongodb节点主机名所述salt客户端可以通达；否则，需要发送通知给管理员，需要人工处理。

(2)元信息管理模块

所述元信息包括mongodb节点主机名、mongodb节点IP、mongodb端口和mongodb慢日志文件名。

salt管理端定期调用元信息管理模块，及时获取最新的元信息。

首先，salt管理端获取所有的mongodb节点主机名，获取方式如下：

#salt‐key–L|grepmongodb节点主机名前缀

mongodb节点主机名前缀是mongodb节点主机名的前缀字符，基于此可以过滤得到所有的mongodb节点。

然后，针对每个mongodb节点，salt管理端通过发送指令给salt客户端，获取每个mongodb节点上所有的mongodb进程信息，命令如下：

#salt‘mongodb节点主机名’cmd.run‘ps–ef|egrepmongod|egrep–v grep’

通过mongodb进程信息，可以解析得到mongodb配置文件名，通过所述mongodb配置文件名，可以获取mongodb端口和mongodb慢日志文件名。

同时，根据mongodb节点主机名获取到mongodb节点IP。

所述mongodb节点主机名、mongodb节点IP、mongodb端口和mongodb慢日志文件名保存在元信息表中。

存储慢日志模块执行结束后，慢日志文件名和存储路径保存在慢日志元信息表中。

(3)慢日志管理模块

需要传入的参数：mongodb节点主机名mongodb慢日志文件名

主要功能是定期切割慢日志文件和清理无用慢日志文件。

在salt管理端，采用定时任务形式，定期切割所有mongodb节点上的mongodb慢日志文件：

20***sh/tmp/incision_slowlog.sh

每天00:02:00执行该定时任务。

incision_slowlog.sh主要逻辑如下：

for所有的mongodb节点主机名

do

salt‘mognodb节点主机名’cmd.run‘rsyncmongdb慢日志文件名归档mongodb慢日志文件&&echo>’mongdb慢日志文件名’

salt‘mongodb节点主机名’cmd.run‘rm–f 3天谴的归档mongodb慢日志文件’done

说明：

归档mongodb慢日志文件是以日期为后缀的mongodb慢日志文件，如mongod.log.20170501，

每天00:02:00，切割所有mongodb节点的mongodb慢日志文件，然后删除mongodb节点3天前的归档mongodb慢日志文件。

在salt管理端，定期运行如下定时任务：

1 2***sh/tmp/del_old_md_slowlog.sh

所述定时任务包含脚本del_old_md_slowlog.sh，功能是每天02:01:00清理salt管理端本地3天之前的归档mongodb慢日志文件和慢日志解析文件。

(4)采集慢日志模块

需要传入如下两个参数：mongodb节点主机名、归档mongdb慢日志文件名。

慢日志管理模块执行结束后，salt管理端发送操作指令到mongodb节点上salt客户端，采集mongodb节点上的归档mongodb慢日志文件。

所述操作指令如下：

salt"mongodb节点主机名"cp.push归档mongodb慢日志文件名

通过所述方式，归档mongodb慢日志文件传输到salt管理端指定目录。

(5)解析慢日志模块

需要传入的参数：归档mongodb慢日志文件名

主要功能是分析归档mongodb慢日志文件内容，得到慢日志统计信息，保存在相应的慢日志解析文件。

salt管理端在调用采集慢日志模块结束之后，所有的归档mongodb慢日志文件存放在salt管理端指定目录中，此时，定时任务调用慢日志解析脚本(可以采用mtools工具或者自行编写慢日志解析工具)，解析每个归档mongodb慢日志文件，分别得到相应的慢日志解析文件。

定时任务如下：

3 4***解析慢日志文件脚本

解析慢日志文件脚本就是解析mongodb慢日志文件的工具，每天04:03:00执行该脚本，解析所有归档mongodb慢日志文件，得到对应的慢日志解析文件。

(6)存储慢日志模块

需要传入的两个参数：归档mongodb慢日志文件名、归档mongodb慢日志解析文件名

在salt管理端，通过调用分布式存储接口，上传mongodb慢日志文件和mongodb慢日志解析文件到分布式存储，然后返回mongodb慢日志文件和mongodb慢日志解析文件的存储路径，分别记为慢日志存储路径和慢日志解析文件存储路径。然后调用元信息管理模块，把慢日志文件名，慢日志存储路径，慢日志解析文件和慢日志解析文件存储路径记录到慢日志元信息表中。

(7)展示慢日志模块

可选的，存储慢日志模块执行结束后，慢日志管理平台调用慢日志元信息表展示所述慢日志解析文件，便于直观查看mongodb存在的性能问题，为性能调优提供准确参考。

Claims (3)

1.一种基于salt的海量mongodb慢日志管理***，其特征在于，包括salt管理端、mongodb节点和分布式存储；

salt管理端是管理salt客户端的服务器，用于注册和注销salt客户端，发送指令到salt客户端；salt管理端包括salt管理模块、元信息管理模块、采集慢日志模块和解析慢日志模块；

mongodb节点是部署mongodb服务的服务器，每个mongodb节点均需要部署salt客户端；salt客户端接收salt管理端的指令，完成相应的操作，返回结果给salt管理端；mongodb节点包括慢日志管理模块；

分布式存储是指存储海量小文件的分布式文件***，包括存储慢日志模块；

所述salt管理模块包括：

在所有mongodb节点部署salt客户端，salt管理端部署在单独的一台服务器上；salt管理模块定期调用salt管理端接口，检查所有的mongodb节点上的salt客户端是否注册到salt管理端，如未注册，调用salt管理端接口，注册所述salt客户端；如注册失败，则发送通知给管理员；可选择注销某个mongodb节点的salt客户端；所有的mongodb节点对应的salt客户端全部注册到salt管理端后，salt管理端就可以发送指令和文件给salt客户端，完成特定的操作；在salt管理端，定期检测salt客户端是否通达，如不通，发送通知给管理员；

所述元信息管理模块包括：

salt管理端定期调用元信息管理模块，及时获取最新的元信息；所述元信息包括mongodb节点主机名、mongodb节点IP、mongodb端口和mongodb慢日志文件名；

首先，salt管理端获取所有的mongodb节点主机名；然后，针对每个mongodb节点，salt管理端通过发送指令给salt客户端，获取每个mongodb节点上所有的mongodb进程信息，通过mongodb进程信息，可以解析得到mongodb配置文件名，通过所述mongodb配置文件名，可以获取mongodb端口和mongodb慢日志文件名；同时，根据mongodb节点主机名获取到mongodb节点IP；所述mongodb节点主机名、mongodb节点IP、mongodb端口和mongodb慢日志文件名保存在元信息表中；存储慢日志模块运行结束后，慢日志文件名和存储路径保存在慢日志元信息表中；

所述慢日志管理模块包括：

需要传入的参数：mongodb节点主机名mongodb慢日志文件名

慢日志管理模块定期切割慢日志文件和清理无用慢日志文件；

在salt管理端，采用定时任务形式，定期切割所有mongodb节点上的mongodb慢日志文件：

针对每个所述mongodb节点，根据所述mongodb慢日志文件名，执行归档操作，将mongodb慢日志文件内容打印到一个以日期为后缀的文件里，记为归档文件；同时，清空mongodb慢日志文件内容；所述日期是当天的日期；对于3天前的归档文件，定期删除；在salt管理端，定期清理3天前的mongodb慢日志文件和慢日志解析文件；

所述解析慢日志模块包括：

需要传入的参数：归档mongodb慢日志文件名

分析归档mongodb慢日志文件内容，得到慢日志统计信息，保存在相应的慢日志解析文件；

salt管理端在调用采集慢日志模块结束之后，所有的归档mongodb慢日志文件存放在salt管理端指定目录中，此时，定时任务调用慢日志解析脚本，解析每个归档mongodb慢日志文件，分别得到相应的慢日志解析文件；

管理***还包括慢日志管理平台，用于在web页面展示慢日志的详细信息，方便查看mongodb数据库存在的性能问题和及时进行调优；包括展示慢日志模块，存储慢日志模块执行结束后，慢日志管理平台调用慢日志元信息表展示所述慢日志解析文件，便于直观查看mongodb存在的性能问题，为性能调优提供准确参考。

2.根据权利要求1所述的一种基于salt的海量mongodb慢日志管理***，其特征在于，所述采集慢日志模块包括：

需要传入如下两个参数：mongodb节点主机名、归档mongdb慢日志文件名；

慢日志管理模块执行结束后，salt管理端发送操作指令到mongodb节点上salt客户端，采集mongodb节点上的归档mongodb慢日志文件，这样，归档mongodb慢日志文件传输到salt管理端指定目录。

3.根据权利要求1所述的一种基于salt的海量mongodb慢日志管理***，其特征在于，所述存储慢日志模块包括：

需要传入的参数：归档mongodb慢日志文件名、归档mongodb慢日志解析文件名

在salt管理端，通过调用分布式存储接口，上传所述归档mongodb慢日志文件和慢日志解析文件到分布式存储，然后返回mongodb慢日志文件和慢日志解析文件的存储路径，分别记为慢日志存储路径和慢日志解析文件存储路径；然后调用元信息管理模块，把慢日志文件名，慢日志存储路径，慢日志解析文件和慢日志解析文件存储路径记录到慢日志元信息表中。