CN108491422B - 数据库自动化运维管理方法、服务器及存储介质 - Google Patents
数据库自动化运维管理方法、服务器及存储介质 Download PDFInfo
- Publication number
- CN108491422B CN108491422B CN201810123581.6A CN201810123581A CN108491422B CN 108491422 B CN108491422 B CN 108491422B CN 201810123581 A CN201810123581 A CN 201810123581A CN 108491422 B CN108491422 B CN 108491422B
- Authority
- CN
- China
- Prior art keywords
- database
- layer
- maintenance management
- module
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 130
- 238000012423 maintenance Methods 0.000 title claims abstract description 83
- 238000012544 monitoring process Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 238000011084 recovery Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000008521 reorganization Effects 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 230000010076 replication Effects 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 6
- 230000008439 repair process Effects 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000003032 molecular docking Methods 0.000 claims 2
- 238000012546 transfer Methods 0.000 claims 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 239000003795 chemical substances by application Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据库自动化运维管理方法、服务器及计算机可读存储介质。该方法包括以下步骤：安装数据库软件，接收用户通过WEB管理层提交的数据库创建申请，创建数据库和账号，并维护元数据；启动数据库，通过任务管理层对各项任务进行统一的调度管理，通过数据采集层进行数据采集，为用户提供持续的服务；监控数据库自动化运维管理***运行过程中的各项指标及生成的日志，对各校验项进行校验，以预设方式对异常问题发出警示；通过数据恢复或数据库重组自动修复异常问题或人工改进数据库自动化运维管理***的程序代码。利用本发明，可实现全部数据库种类的自动化闭环运维管理，有利于提高工作效率、减少人为操作失误。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据库自动化运维管理方法、服务器及计算机可读存储介质。
背景技术
当前市场上有多种数据库产品，包括MySQL、Redis、Oracle、SQL Server、DB2等，通常是一种数据库对应一个数据库管理***，由数据库管理***对数据库进行管理和控制，以保证数据库的安全性和完整性。而在实际工作中，为了提高工作效率、减少人为操作失误，数据库管理员更需要一种一体化的数据库运维管理方法和***，能够实现对全部种类数据库的自动化运维管理，打通数据库从申请和审批到自动化部署、自动化配置、自动化校验和自动化修复的整个自动化流程。目前，市场上缺少满足此类要求的数据库运维管理方法和工具。
发明内容
鉴于以上原因，本发明提供一种数据库自动化运维管理方法、服务器及计算机可读存储介质，其主要目的在于将数据库的运维管理过程打造成一个自动化的闭环流程，集成全部数据库种类的运维管理，有效地提高工作效率，减少人为操作失误的概率。
为实现上述目的，本发明提供一种数据库自动化运维管理方法，应用于服务器，该服务器中安装有数据库自动化运维管理***，该方法包括：
数据库部署配置步骤：安装数据库软件，接收用户通过WEB管理层提交的数据库创建申请，创建数据库和账号，并维护元数据；
数据库运行步骤：启动数据库，通过任务管理层对各项任务进行统一的调度管理，通过数据采集层进行数据采集，为用户提供持续的服务；
监控校验步骤：监控数据库自动化运维管理***运行过程中的各项指标及生成的日志，对各校验项进行校验，以预设方式对异常问题发出警示；及
异常修复步骤：通过数据恢复或数据库重组自动修复异常问题或人工改进数据库自动化运维管理***的程序代码。
优选地，所述数据库部署配置步骤还包括：为创建的数据库部署闭环任务流程，包括安装数据库实例节点、组建复制关系、配置高可用集群、设置监控信息、校验项和容量规划图表，设置集群中数据库主备关系的自动切换信息，包括设置新主库及切换时间点。
优选地，所述元数据包括服务器、数据库实例、数据库、数据表和数据列的数据信息，该数据库实例和数据表还包括分组信息、应用程序信息和用户信息。
优选地，所述数据采集采用基于Agent的数据采集方式，在服务器中自动运行Agent脚本，探测到活动的数据库端口后，自动采集数据。
优选地，所述数据库运行步骤中的预设方式包括在日志文件中高亮显示异常问题以及将异常问题以邮件或短信的方式发送给预设用户。
优选地，所述异常修复步骤中的数据恢复基于数据备份和监控日志，所述数据库重组基于数据库的容量规划。
本发明还提供一种服务器，该服务器包括存储器和处理器，所述存储器中包括数据库自动化运维管理***，该数据库自动化运维管理***被所述处理器执行时实现如下步骤：
数据库部署配置步骤：安装数据库软件，接收用户通过WEB管理层提交的数据库创建申请，创建数据库和账号，并维护元数据；
数据库运行步骤：启动数据库，通过任务管理层对各项任务进行统一的调度管理，通过数据采集层进行数据采集，为用户提供持续的服务；
监控校验步骤：监控数据库自动化运维管理***运行过程中的各项指标及生成的日志，对各校验项进行校验，以预设方式对异常问题发出警示；及
异常修复步骤：通过数据恢复或数据库重组自动修复异常问题或人工改进数据库自动化运维管理***的程序代码。
优选地，所述数据库部署配置步骤还包括：为创建的数据库部署闭环任务流程，包括安装数据库实例节点、组建复制关系、配置高可用集群、设置监控信息、校验项和容量规划图表，设置集群中数据库主备关系的自动切换信息，包括设置新主库及切换时间点。
优选地，所述元数据包括服务器、数据库实例、数据库、数据表和数据列的数据信息，该数据库实例和数据表还包括分组信息、应用程序信息和用户信息。
优选地，所述数据采集采用基于Agent的数据采集方式，在服务器中自动运行Agent脚本，探测到活动的数据库端口后，自动采集数据。
优选地，所述数据库运行步骤中的预设方式包括在日志文件中高亮显示异常问题以及将异常问题以邮件或短信的方式发送给预设用户。
优选地，所述异常修复步骤中的数据恢复基于数据备份和监控日志，所述数据库重组基于数据库的容量规划。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括数据库自动化运维管理***，该数据库自动化运维管理***被执行时，实现如上所述的数据库自动化运维管理方法中的任意步骤。
本发明提供的数据库自动化运维管理方法、服务器及计算机可读存储介质，适用于所有种类的数据库，通过集成WEB管理、任务管理、数据采集以及数据库自动部署配置、元数据维护管理、数据备份、主备切换、监控校验和异常问题自动修复等多种功能，将数据库的运维管理过程打造成一个自动化的闭环流程。利用本发明，可以简化数据库管理员对数据库的运维管理工作，提高工作效率，减少人为操作失误。
附图说明
图1为本发明服务器较佳实施例的应用环境示意图；
图2为图1中数据库自动化运维管理***较佳实施例的***架构图；
图3为本发明数据库自动化运维管理方法较佳实施例的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚明白，下面将结合若干附图及实施例，对本发明进行进一步详细说明。应当理解的是，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，为本发明服务器较佳实施例的应用环境示意图。在该实施例中，服务器1是数据库自动化运维管理方法的执行主体，该服务器1与数据库3通过网络2连接，与应用程序客户端5通过网络4连接。数据库3用于存储数据库数据。所述数据库可以是MySQL、Oracle、SQL Server、DB2等关系型数据库，也可以是Redis等非关系型数据库或其他数据库。应用程序客户端5可以是智能手机、平板电脑、便携计算机、桌上型计算机等具有存储和运算功能的终端设备。服务器1利用本发明提供的数据库自动化运维管理***10执行用户在服务器1或应用程序客户端5发出的命令。
该服务器1可以由多台计算机组成，包括存储器11、处理器12、网络接口13及通信总线14。所述网络接口13可选地可以包括标准的有线接口和无线接口(如WI-FI接口)。通信总线14用于实现上述组件之间的连接通信。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述服务器1的内部存储单元，例如该服务器1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述服务器1的外部存储器11，例如所述服务器1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11用于存储所述数据库自动化运维管理***10的程序代码以及处理器12执行数据库自动化运维管理***10的程序代码应用到的其他数据以及最后输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行数据库自动化运维管理***10等。
图1仅示出了具有组件11-14以及数据库自动化运维管理***10的服务器1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该服务器1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等。可选地，用户接口还可以包括标准的有线接口、无线接口。
可选地，该服务器1还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)显示器等。显示器用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。
可选地，该服务器1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。用户可以通过触摸所述触控区域输入身份识别信息或启动数据库自动化运维管理***10。
此外，该服务器1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
该服务器1还可以包括射频(Radio Frequency，RF)电路、传感器和音频电路等等，在此不再赘述。
在另一实施例中，当对数据库的容量要求较低时，服务器1和数据库可以集成在同一台计算机上。
在上述实施例中，处理器12执行存储器11中存储的数据库自动化运维管理***10时实现如下步骤：
数据库部署配置步骤：安装数据库软件，接收用户通过WEB管理层提交的数据库创建申请，创建数据库和账号，并维护元数据；
数据库运行步骤：启动数据库，通过任务管理层对各项任务进行统一的调度管理，通过数据采集层进行数据采集，为用户提供持续的服务；
监控校验步骤：监控数据库自动化运维管理***运行过程中的各项指标及生成的日志，对各校验项进行校验，以预设方式对异常问题发出警示；及
异常修复步骤：通过数据恢复或数据库重组自动修复异常问题或人工改进数据库自动化运维管理***的程序代码。
具体原理请参照下述图2关于数据库自动化运维管理***10较佳实施例的***架构图以及图3关于本发明数据库自动化运维管理方法较佳实施例的流程图的介绍。
参照图2所示，为图1中数据库自动化运维管理***10较佳实施例的***架构图。在本实施例中，数据库自动化运维管理***10包括三层架构，第一层为WEB管理层，用于信息查询和任务配置；第二层为任务管理层和数据采集层，用于数据的交互；第三层为任务操作层，用于实现各程序模块的功能，所述程序模块主要包括元数据模块、自动部署模块、数据库配置模块、备份模块、监控模块、校验模块、容量规划模块、消息通知模块和任务上报模块。同时，数据库自动化运维管理***10将提供Restful API用于***内部数据更新，提供HTTP API用于该***与外部***进行数据对接。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。
WEB管理层，用于实现一个WEB服务器，该WEB服务器的功能包括通过配置任务的下发读取查询信息，并将查询信息通过网页的形式展现到用户面前，提供图形界面管理，供用户清晰地了解数据库自动化运维管理***10的运行情况。
任务管理层，用于对各种操作任务进行统一的调度管理。可以理解的是，不同资源类型的监控策略往往不同，例如，CPU使用率一般要求实时监控，而磁盘存储空间一般半小时监控一次即可，而对于各种定时任务、周期任务等，也需要一个管理中心进行运行和记录结果，任务管理层可以实现对这些任务的统一调度处理，提高***自动化程度，减少数据库管理员的工作负担。数据采集层用于自动采集数据，实现数据交互。在本实施例中，数据采集层采用基于Agent的数据采集方式，在服务器1中自动运行Agent脚本，探测到活动的数据库端口后，自动采集数据。例如，用于自动探测活动的MySQL数据库端口的脚本代码如下：
def port_list()：
cmd＝“ss-nltp|grepmysqld|awk-F‘:::’‘{print$2}’”
stat，output＝commands.getstatusoutput(cmd)
if stat！＝0：
return None
else：
return output
任务操作层的各程序模块功能相互独立，满足高内聚、低耦合的设计要求。
元数据模块，用于记录和管理、维护元数据。所述元数据包括服务器、数据库实例、数据库、数据表和数据列的数据信息，数据库实例和数据表还包括分组信息、应用程序信息和用户信息。元数据模块是其他程序模块运行的基础，元数据模块记录的元数据信息可以通过WEB管理层以网页的形式展示给用户。
元数据模块记录和管理、维护的数据库实例表的一个示例，参见下述表1：
表1：数据库实例表
元数据模块记录和管理、维护的组表的一个示例，参见下述表2：
表2：组表
| 字段 | 类型 | 说明 | 备注 |
| id | int(11) | Primary key，auto increment | N/A |
| name | varchar(100) | N/A | 分组名/集群名 |
| tddl_status | int(10) | Default 0 | 是否为tddl |
| tddl_name | varchar(100) | N/A | tddl逻辑组名 |
元数据模块记录和管理、维护的数据库表的一个示例，参见下述表3：
表3：数据库表
元数据模块记录和管理、维护的数据表的一个示例，参见下述表4：
表4：数据表
元数据模块记录和管理、维护的列表的一个示例，参见下述表5：
表5：列表
元数据模块记录和管理、维护的用户表的一个示例，参见下述表6：
表6：用户表
自动部署模块，用于自动安装数据库软件，创建数据库和账号，为创建的数据库一键部署闭环流程，包括安装数据库实例节点、组建复制关系、配置高可用集群、设置监控和备份信息，设置集群中数据库主备关系的自动切换信息，包括设置新主库及切换时间点。在本实施例中，数据库包括Mysql、Redis。备份信息包括备份的数据库所述分组的组名、IP地址、端口、备份频率、备份保留天数等信息。自动部署模块还按照预设的时间周期(例如每日)统计自动部署的任务总数、执行成功的任务数量、执行失败的任务数量，根据执行成功的任务数量、执行失败的任务数量计算得到任务成功率，供用户(例如数据库管理员)清晰地了解***的运行情况。
数据库配置模块，用于根据自动化部署模块设置的信息，自动配置数据库。
备份模块，用于根据自动化部署模块设置的备份信息、基于数据采集层和元数据模块执行自动备份任务，对从数据库节点进行元数据复制产生备份文件，并将备份文件传输至备份存储平台。在本实施例中，自动化备份任务是通过脚本触发，调用XtraBackup工具对从节点做物理级别的复制，同时通过流式压缩将备份完成tar包文件传输至备份存储平台。所述备份存储平台包括两套MooseFS文件***，一套用于存放FULL-BACKUP备份，一套存放二进制日志(binlog)备份。用户，例如数据库管理员，可以通过备份模块修改备份信息。备份模块还用于对历史备份任务进行分析，统计备份实例的总数、正在执行的备份任务数量、未执行的备份任务数量、备份失败的人物数量、累计备份的容量。备份模块还可用于自动恢复数据至选定的备份文件，或使用选定的备份文件在选定的主机产生新的备用数据库。操作流程包括：选择备库实例、恢复文件的存储地址、恢复目标的主机的IP地址及端口、恢复方式。所述恢复方式包括只恢复数据、不创建从库，恢复为主库的从库和恢复为从库的从库。备份模块还可用于将数据自动恢复至指定的时间点。操作流程包括：选择备库实例、恢复文件的存储地址、恢复目标的主机的IP地址及端口，及恢复的时间点。备份模块进行数据恢复工作时通常都会参考日志文件。
监控模块，用于监控数据库自动化运维管理***10运行过程中的各项指标及生成的日志，以预设方式对异常问题发出警示。在本实施例中，主要采用Open-Falcon工具对服务器1、数据库3以及网络2、网络4进行统一的监控和告警，辅助监控工具还包括SEC、Mon和Query-digest-UI等。其中，Query-digest-UI用于对慢查询日志进行监控。所述预设方式包括在日志文件中高亮显示异常问题以及将异常问题以邮件或短信的方式发送给预设用户。
校验模块，用于设置各校验项、每个校验项的校验指标、校验的执行频率以及校验发现错误时的提示信息，并依此校验设置自动校验数据库信息。
容量规划模块，用于对服务器、数据库、数据表在预设周期内的数据容量进行分析，评估服务器和数据库的容量的增长量和增长趋势。在本实施例中，以柱状图的方式展示Mysql、Redis数据库的已用容量、剩余容量、预设周期(例如每周)内的增长容量、剩余容量的可用天数预估。当剩余容量过小时，数据库自动化运维管理***10的性能会受到很大影响，数据管理员可以基于容量规划对数据库进行重组操作。
消息通知模块，用于发送各类告警信息和服务通知信息。
任务上报模块，用于对接WEB管理层与任务操作层中的各程序模块。
参照图3所示，为本发明数据库自动化运维管理方法较佳实施例的流程图。服务器1的处理器12执行存储器11中存储的数据库自动化运维管理***10时实现数据库自动化运维管理方法的如下步骤：
步骤S10，自动部署模块在服务器1中自动安装数据库软件并接收用户通过WEB管理层提交的数据库创建申请，自动创建数据库和账号，并利用元数据模块维护管理元数据。在安装数据库软件之前，自动部署模块会检查服务器1的数据库软件安装环境，在满足可安装性的服务器主机上安装对应的数据库软件。在安装数据库软件之后，元数据模块会自动更新主机数据目录，***数据库实例信息，同时，自动部署模块会选择性地安装数据库的外部插件。在创建数据库时，可以通过WEB管理层提交组建复制关系和配置高可用集群的任务，操作流程包括：选择集群名称、主库主机IP、备库主机IP和实例端口。进一步的，还可以通过WEB管理层提交主备切换的任务信息，操作流程包括：选择集群名、选择新主库以及设置切换时间点。在本实施例中，对于不支持热备份的数据库，例如MySQL数据库，数据库管理人员还可以通过WEB管理层设置主备切换时新主库的预热时间，例如，可以将预热结束时间设置在主备切换时间点的前5分钟。
步骤S20，启动数据库，通过任务管理层对各项任务进行统一的调度管理，通过数据采集层进行数据采集，为用户提供持续的服务。所述各项任务包括各种定时任务和周期任务，例如主备切换、数据恢复、容量规划等等。任务管理层对这些通过WEB管理层设置的任务进行统一调度管理，然后借助任务操作层的各程序模块实现相应功能，为用户提供持续的服务。数据采集层以及任务操作层各程序模块的功能和原理详见上述关于数据库自动化运维管理***10较佳实施例的***架构图的详细介绍。
步骤S30，利用监控模块对数据库自动化运维管理***运行过程中的各项指标及生成的日志进行监控，利用校验模块对预设的校验项进行校验，对异常问题发出警示。
数据库日志记录了数据库启动后服务器1对数据库的操作事件，服务器日志主要记录了用户对数据库的访问信息以及数据库运行过程中的错误信息。在本实施例中，监控模块利用监控工具SEC等对所有数据库和服务器提供日志监控功能。例如，通过设置报警关键词，监控模块可以在日志文本中将含有报警关键词的错误信息高亮显示，还可以通过消息通知模块将异常问题以邮件或短信的方式发送给预设用户，例如指定的数据库管理员。监控模块还可以利用数据采集层采集的数据对主机负载、CPU使用率、数据库会话数和***吞吐量等各项指标进行实时监控。校验模块也可以利用数据采集层采集的数据对预设的校验项进行自动校验。所述预设的校验项包括元数据信息、备份信息、主从配置信息以及域名信息等。
步骤S40，通过数据库恢复或数据库重组自动修复异常问题或人工改进数据库自动化运维管理***的程序代码。所述数据库恢复基于数据备份和数据库日志，所述数据库重组基于数据库的容量规划。具体原理请参照上述关于备份模块和容量规划模块的详细介绍。
本实施例提出的数据库自动化运维管理方法，通过集成WEB管理、任务管理、数据采集、以及数据库自动部署、数据备份、主备库切换、监控校验和异常问题自动修复等多种功能，将数据库的运维管理过程打造成一个自动化的闭环流程，简化了数据库管理员的运维管理工作，有利于提高数据库运维管理效率，减少人为操作失误。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括数据库自动化运维管理***10，所述数据库自动化运维管理***10被所述处理器12执行时实现如下操作：
数据库部署配置步骤：安装数据库软件，接收用户通过WEB管理层提交的数据库创建申请，创建数据库和账号，并维护元数据；
数据库运行步骤：启动数据库，通过任务管理层对各项任务进行统一的调度管理，通过数据采集层进行数据采集，为用户提供持续的服务；
监控校验步骤：监控数据库自动化运维管理***运行过程中的各项指标及生成的日志，对各校验项进行校验，以预设方式对异常问题发出警示；及
异常修复步骤：通过数据恢复或数据库重组自动修复异常问题或人工改进数据库自动化运维管理***的程序代码。
本发明之计算机可读存储介质的具体实施方式与上述数据库自动化运维管理方法以及服务器1的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据库自动化运维管理方法，应用于服务器，该服务器中安装有数据库自动化运维管理***，其特征在于，该方法包括：
数据库部署配置步骤：所述数据库自动化运维管理***包括三层架构，第一层为WEB管理层、第二层为任务管理层和数据采集层，及第三层为任务操作层，安装数据库软件，接收用户通过所述WEB管理层提交的数据库创建申请，创建数据库和账号，并维护元数据，所述第一层用于信息查询和任务配置，所述第二层用于数据的交互，所述第三层用于实现各程序模块的功能，所述程序模块包括元数据模块、自动部署模块、数据库配置模块、备份模块、监控模块、校验模块、容量规划模块、消息通知模块和任务上报模块，所述数据库自动化运维管理***将提供Restful API用于***内部数据更新，提供HTTP API用于所述数据库自动化运维管理***与外部***进行数据对接；
数据库运行步骤：启动数据库，通过所述任务管理层对各项任务进行统一的调度管理，通过数据采集层进行数据采集，为用户提供持续的服务；
监控校验步骤：监控数据库自动化运维管理***运行过程中的各项指标及生成的日志，设置各校验项、各校验项的校验指标、校验的执行频率以及校验发现错误时的提示信息，并相应地校验设置自动校验数据库信息，以预设方式对异常问题发出警示；及
异常修复步骤：通过数据恢复或数据库重组自动修复异常问题或人工改进数据库自动化运维管理***的程序代码。
2.如权利要求1所述的数据库自动化运维管理方法，其特征在于，所述数据库部署配置步骤还包括：为创建的数据库部署闭环任务流程，包括安装数据库实例节点、组建复制关系、配置高可用集群、设置监控信息、校验项和容量规划图表，设置集群中数据库主备关系的自动切换信息，包括设置新主库及切换时间点。
3.如权利要求1或2所述的数据库自动化运维管理方法，其特征在于，所述元数据包括服务器、数据库实例、数据库、数据表和数据列的数据信息，该数据库实例和数据表还包括分组信息、应用程序信息和用户信息。
4.如权利要求1所述的数据库自动化运维管理方法，其特征在于，所述数据采集采用基于Agent的数据采集方式，在服务器中自动运行Agent脚本，探测到活动的数据库端口后，自动采集数据。
5.如权利要求1所述的数据库自动化运维管理方法，其特征在于，所述数据库运行步骤中的预设方式包括在日志文件中高亮显示异常问题以及将异常问题以邮件或短信的方式发送给预设用户。
6.如权利要求1、2、4、5中任意一项所述的数据库自动化运维管理方法，其特征在于，所述异常修复步骤中的数据恢复基于数据备份和监控日志，所述数据库重组基于数据库的容量规划。
7.一种服务器，包括存储器和处理器，其特征在于，所述存储器中包括数据库自动化运维管理***，该数据库自动化运维管理***被所述处理器执行时实现如下步骤：
数据库部署配置步骤：数据库部署配置步骤：所述数据库自动化运维管理***包括三层架构，第一层为WEB管理层、第二层为任务管理层和数据采集层，及第三层为任务操作层，安装数据库软件，接收用户通过所述WEB管理层提交的数据库创建申请，创建数据库和账号，并维护元数据，所述第一层用于信息查询和任务配置，所述第二层用于数据的交互，所述第三层用于实现各程序模块的功能，所述程序模块包括元数据模块、自动部署模块、数据库配置模块、备份模块、监控模块、校验模块、容量规划模块、消息通知模块和任务上报模块，所述数据库自动化运维管理***将提供Restful API用于***内部数据更新，提供HTTPAPI用于所述数据库自动化运维管理***与外部***进行数据对接；
数据库运行步骤：启动数据库，通过所述任务管理层对各项任务进行统一的调度管理，通过数据采集层进行数据采集，为用户提供持续的服务；
监控校验步骤：监控数据库自动化运维管理***运行过程中的各项指标及生成的日志，设置各校验项、各校验项的校验指标、校验的执行频率以及校验发现错误时的提示信息，并相应地校验设置自动校验数据库信息，以预设方式对异常问题发出警示；及
异常修复步骤：通过数据恢复或数据库重组自动修复异常问题或人工改进数据库自动化运维管理***的程序代码。
8.如权利要求7所述的服务器，其特征在于，所述数据库部署配置步骤还包括：为创建的数据库部署闭环任务流程，包括安装数据库实例节点、组建复制关系、配置高可用集群、设置监控信息、校验项和容量规划图表，设置集群中数据库主备关系的自动切换信息，包括设置新主库及切换时间点。
9.如权利要求7所述的服务器，其特征在于，所述元数据包括服务器、数据库实例、数据库、数据表和数据列的数据信息，该数据库实例和数据表还包括分组信息、应用程序信息和用户信息。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括数据库自动化运维管理***，所述数据库自动化运维管理***被执行时，实现如权利要求1至6中任意一项所述的数据库自动化运维管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810123581.6A CN108491422B (zh) | 2018-02-07 | 2018-02-07 | 数据库自动化运维管理方法、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810123581.6A CN108491422B (zh) | 2018-02-07 | 2018-02-07 | 数据库自动化运维管理方法、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108491422A CN108491422A (zh) | 2018-09-04 |
| CN108491422B true CN108491422B (zh) | 2024-02-09 |
Family
ID=63344687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810123581.6A Active CN108491422B (zh) | 2018-02-07 | 2018-02-07 | 数据库自动化运维管理方法、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108491422B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522287B (zh) * | 2018-09-18 | 2023-08-18 | 平安科技（深圳）有限公司 | 分布式文件存储集群的监控方法、***、设备及介质 |
| CN109409411B (zh) * | 2018-09-28 | 2020-11-03 | 东软集团股份有限公司 | 基于运维管理的问题定位方法、装置及存储介质 |
| CN110084385B (zh) * | 2019-04-16 | 2023-12-29 | 湖州三滴油科技有限公司 | 一种设备润滑点信息化管理*** |
| CN110362428A (zh) * | 2019-06-27 | 2019-10-22 | 北京人大金仓信息技术股份有限公司 | 在线自动恢复数据库块的方法和*** |
| CN110532322B (zh) * | 2019-08-20 | 2024-04-30 | 腾讯云计算（北京）有限责任公司 | 运维交互方法、***、计算机可读存储介质及设备 |
| CN110489494B (zh) * | 2019-08-27 | 2023-02-24 | 中国工商银行股份有限公司 | 分布式数据库在线扩容方法及装置 |
| CN110874311A (zh) * | 2019-10-11 | 2020-03-10 | 网联清算有限公司 | 数据库检测方法、装置、计算机设备和存储介质 |
| CN111104161B (zh) * | 2019-12-03 | 2022-07-08 | 江苏艾佳家居用品有限公司 | 一种数据库sql脚本的自动审批执行方法 |
| CN111177116B (zh) * | 2019-12-12 | 2022-07-08 | 江苏艾佳家居用品有限公司 | 一种数据库智能管理平台及其管理方法 |
| CN111930565B (zh) * | 2020-07-21 | 2021-09-14 | 腾讯科技（深圳）有限公司 | 分布式管理***中组件的进程故障自愈方法、装置及设备 |
| CN112269776A (zh) * | 2020-11-18 | 2021-01-26 | 四川长虹电器股份有限公司 | 一种数据库运维管理平台 |
| CN112764956B (zh) * | 2021-01-14 | 2024-01-12 | 网宿科技股份有限公司 | 数据库的异常处理***、数据库的异常处理方法及装置 |
| CN113641667B (zh) * | 2021-08-12 | 2022-05-20 | 深圳市润迅通投资有限公司 | 一种分布式大数据采集平台的数据异常监控***及方法 |
| CN114217867A (zh) * | 2021-11-26 | 2022-03-22 | 新华三大数据技术有限公司 | 自动化运维代理装置、设备和存储介质 |
| CN114422582B (zh) * | 2022-01-20 | 2023-05-16 | 中国科学院软件研究所 | 一种面向科技资源的服务动态组合方法及装置 |
| CN114490588A (zh) * | 2022-02-11 | 2022-05-13 | 京东科技信息技术有限公司 | 数据库部署方法、装置、电子设备和计算机可读介质 |
| CN114553679A (zh) * | 2022-02-23 | 2022-05-27 | 浪潮软件集团有限公司 | 一种运维数据采集方法、装置及介质 |
| CN114722029B (zh) * | 2022-04-18 | 2024-01-09 | 苏州浪潮智能科技有限公司 | 一种修复monitor数据库的方法、***、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101123533A (zh) * | 2007-08-02 | 2008-02-13 | ***通信集团福建有限公司 | 通信电源运维管理装置 |
| CN101436274A (zh) * | 2008-11-14 | 2009-05-20 | 山东浪潮齐鲁软件产业股份有限公司 | 跨平台监控企业应用***性能的方法 |
| CN104699759A (zh) * | 2015-02-10 | 2015-06-10 | 上海新炬网络信息技术有限公司 | 一种数据库自动化运行维护方法 |
| CN107391633A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 数据库集群自动优化处理方法、装置及服务器 |
| CN107612756A (zh) * | 2017-10-31 | 2018-01-19 | 广西宜州市联森网络科技有限公司 | 一种具有智能故障分析处理功能的运维管理*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101854400B (zh) * | 2010-06-09 | 2015-04-01 | 中兴通讯股份有限公司 | 一种数据库同步部署及监控的方法和装置 |
| US9069799B2 (en) * | 2012-12-27 | 2015-06-30 | Commvault Systems, Inc. | Restoration of centralized data storage manager, such as data storage manager in a hierarchical data storage system |
-
2018
- 2018-02-07 CN CN201810123581.6A patent/CN108491422B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101123533A (zh) * | 2007-08-02 | 2008-02-13 | ***通信集团福建有限公司 | 通信电源运维管理装置 |
| CN101436274A (zh) * | 2008-11-14 | 2009-05-20 | 山东浪潮齐鲁软件产业股份有限公司 | 跨平台监控企业应用***性能的方法 |
| CN104699759A (zh) * | 2015-02-10 | 2015-06-10 | 上海新炬网络信息技术有限公司 | 一种数据库自动化运行维护方法 |
| CN107391633A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 数据库集群自动优化处理方法、装置及服务器 |
| CN107612756A (zh) * | 2017-10-31 | 2018-01-19 | 广西宜州市联森网络科技有限公司 | 一种具有智能故障分析处理功能的运维管理*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108491422A (zh) | 2018-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108491422B (zh) | 数据库自动化运维管理方法、服务器及存储介质 | |
| US7765460B2 (en) | Out-of-band change detection | |
| KR101044849B1 (ko) | 자동 데이터베이스 또는 파일 시스템 정비 및 수리를 위한시스템 및 방법 | |
| US20060117091A1 (en) | Data logging to a database | |
| US8165994B2 (en) | Integrated governance and version audit logging | |
| CN102708158B (zh) | 一种PostgreSQL云存储归档调度*** | |
| US10747732B2 (en) | Virtual database administrator | |
| EP1955235A2 (en) | System and method of managing data protection resources | |
| US9164857B2 (en) | Scalable structured data store operations | |
| CN110063042B (zh) | 一种数据库故障的响应方法及其终端 | |
| WO2020015116A1 (zh) | 数据库监控方法及终端设备 | |
| CA2799877C (en) | Data archiving and de-archiving in a business environment | |
| CN110659259A (zh) | 数据库迁移方法、服务器以及计算机存储介质 | |
| US10783039B2 (en) | Intelligent backup and restore system | |
| CN108833451B (zh) | 基于国产安全管控平台的多级管控***及管控方法 | |
| CN103152219A (zh) | 一种计算机网络***的事件监控***及事件监控方法 | |
| US10230578B2 (en) | Systems and methods for scanning infrastructure within a computer network | |
| WO2021081675A1 (en) | System and method for blockchain based backup and recovery | |
| CN104063294A (zh) | 一种Linux***备份和恢复方法 | |
| CN111857796A (zh) | 一种数据库版本控制***及方法 | |
| CN103761169B (zh) | 石油地质软件数据库的热备份方法及装置 | |
| CN104699811A (zh) | 一种无侵入式表单数据变化记录和回溯的方法及装置 | |
| US9621415B1 (en) | Automated configuration collection and management using source control | |
| CN111177116B (zh) | 一种数据库智能管理平台及其管理方法 | |
| US20230138900A1 (en) | Systems and methods for managing cloud environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |