CN113094353A - 一种数据库扩容方法及装置 - Google Patents

Abstract

本发明提供了一种数据库扩容方法及装置，适用于金融领域，方法包括：获取预设的表结构扩容信息和监控配置信息；通过预设的守护进程实时监控数据库中各个表结构的数据量生成监控信息；实时对比监控信息中的数据量和表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理。本申请提供的方法能够自动识别数据量并自动扩容，通过数据采集、数据监控、数据扩容与监控报警等多个功能模块，对不同数据库的表结构进行监控、扩容和预警等一系列处理动作，最终实现了对各个应用***表结构扩容的自动化处理，很好地解决了现有方式依赖人工统计，人工重复登记，单个表结构自动化监控缺失，单表数据量激增扩容机制缺乏等问题。

Description

一种数据库扩容方法及装置

技术领域

本申请属于数据库管理技术领域，具体地讲，涉及一种数据库扩容方法及装置。

背景技术

数据库是大部分IT***的核心业务处理节点，而数据库中表结构扩容则是数据库日常运维工作。目前，MySQL数据库的表结构因数据量增长而引发的扩容主要通过研发人员定期统计生产数据库表结构的数据量，并在元数据统一管理平台中登记当前表结构的新分区或者新的分区表结构，再经元数据统一管理平台自动生成的DDL脚本打包到新版本中带出，最后通过自动安装新版本完成数据库扩容。这种方式的缺陷在于，各***间交互次数和手工操作步骤较多，且每次带出都需进行测试验证，浪费研发资源。同时现有技术方案对生产数据库出现数据量激增时的响应能力不足，缺失单表自动化监控和自动化扩容机制，***生产运行风险较大。

发明内容

本申请提供了一种数据库扩容方法及装置，以至少解决目前在数据库扩容过程中各***间交互次数和手工操作步骤较多，且每次带出都需进行测试验证，浪费研发资源。同时现有技术方案对生产数据库出现数据量激增时的响应能力不足，缺失单表自动化监控和自动化扩容机制，***生产运行风险较大的问题。

本申请提供了一种数据库扩容方法，包括：

获取预设的表结构扩容信息和监控配置信息；

通过预设的守护进程实时监控数据库中各个表结构的数据量生成监控信息；

实时对比监控信息中的数据量和表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理。

在一实施例中，实时对比监控信息中的数据量和表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理，包括：

当监控信息中的数据量超过表结构扩容信息中的数据量上限指标时，根据监控配置信息对数据库表结构进行扩容处理。

在一实施例中，当监控信息中的数据量超过表结构扩容信息中的数据量上限指标时，根据监控配置信息对数据库表结构进行扩容处理，包括：

当数据量超过数据量上限指标时，读取监控配置信息中预设的扩容时间点；

根据扩容时间点和表结构扩容信息中的扩容方式对数据库表结构进行扩容。

在一实施例中，根据扩容时间点和表结构扩容信息中的扩容方式对数据库表结构进行扩容，包括：

读取监控配置信息中预设的扩容时间点和表结构扩容信息中的扩容方式；

在扩容时间点上，根据扩容方式执行表结构创建语句或表分区创建语句扩容数据库表结构。

在一实施例中，数据库扩容方法还包括：

如果扩容失败，则进行数据库监控预警。

根据本申请的另一个方面，还提供了一种数据库扩容装置，包括：

信息获取单元，用于获取预设的表结构扩容信息和监控配置信息；

监控信息生成单元，用于通过预设的守护进程实时监控数据库中各个表结构的数据量生成监控信息；

扩容单元，用于实时对比监控信息中的数据量和表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理。

在一实施例中，扩容单元包括：

达限扩容模块，用于当监控信息中的数据量超过表结构扩容信息中的数据量上限指标时，根据监控配置信息对数据库表结构进行扩容处理。

在一实施例中，达限扩容模块包括：

扩容时间点获取模块，用于当数据量超过数据量上限指标时，读取监控配置信息中预设的扩容时间点；

扩容模块，用于根据扩容时间点和表结构扩容信息中的扩容方式对数据库表结构进行扩容。

在一实施例中，扩容模块包括：

读取模块，用于读取监控配置信息中预设的扩容时间点和表结构扩容信息中的扩容方式；

语句执行模块，用于在扩容时间点上，根据扩容方式执行表结构创建语句或表分区创建语句扩容数据库表结构。

在一实施例中，数据库扩容装置还包括：

监控预警单元，用于如果扩容失败，则进行数据库监控预警。

本申请提供的方法能够自动识别数据量并自动扩容，通过数据采集、数据监控、数据扩容与监控报警等多个功能模块，对不同数据库的表结构进行监控、扩容和预警等一系列处理动作，最终实现了对各个应用***表结构扩容的自动化处理，很好地解决了现有方式依赖人工统计，人工重复登记，单个表结构自动化监控缺失，单表数据量激增扩容机制缺乏等问题，并且落地该方法对各个应用***侵入性极低，落地成本小，在有效降低数据库表结构扩容相关的研发管理成本的同时降低了应用***的运维管理成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种数据库扩容方法流程图。

图2为本申请实施例中对数据库表结构进行扩容处理的方法流程图。

图3为本申请实施例中对数据库表结构进行扩容的具体办法流程图。

图4为本申请提供的一种数据库扩容装置结构框图。

图5为本申请实施例中达限扩容模块的结构框图。

图6为本申请实施例中扩容模块的结构框图。

图7为本申请实施例中一种电子设备的具体实施方式。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，MySQL数据库的表结构因数据量增长而引发的扩容主要通过研发人员定期统计生产数据库表结构的数据量，并在元数据统一管理平台中登记当前表结构的新分区或者新的分区表结构，再经元数据统一管理平台自动生成的DDL脚本打包到新版本中带出，最后通过自动安装新版本完成数据库扩容。这种方式的缺陷在于，各***间交互次数和手工操作步骤较多，且每次带出都需进行测试验证，浪费研发资源。为了克服现有技术中的问题，基于现有元数据统一管理平台进行一次登记，并在生产上对单表进行自动监控和扩容，提升应用***数据库性能容量的自动监控和扩容机制，本申请提供了一种数据库扩容方法，如图1所示，包括：

S101：获取预设的表结构扩容信息和监控配置信息。

S102：通过预设的守护进程实时监控数据库中各个表结构的数据量生成监控信息。

S103：实时对比监控信息中的数据量和表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理。

在一实施例中，实时对比监控信息中的数据量和表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理，包括：

当监控信息中的数据量超过表结构扩容信息中的数据量上限指标时，根据监控配置信息对数据库表结构进行扩容处理。

数据库表结构是由表名、表中的字段和表的记录三个部分组成的。设计数据表结构就是定义数据表文件名，确定数据表包含哪些字段，各字段的字段名、字段类型、及宽度，并将这些数据输入到计算机当中。

本申请中涉及元数据统一管理平台，是当前现有的数据管理平台，其对数据库单表性能容量相关的指标进行登记，统一管理表结构性能容量指标数据，并作为监控和自动扩容方法的源数据。用户在元数据统一管理平台登记单个应用***单表时增加登记数据量上限指标(包括条数或大小)，达到上限后的扩容方法(1、数据量指标：距离超限多少临界值进行扩容(如70％，100％)2、扩容方式：建立新表或建立表分区)。

技术人员对数据库单表性能容量相关的指标进行登记，统一管理表结构性能容量指标数据，并作为监控和自动扩容方法的源数据。用户在元数据统一管理平台登记单个应用***单表时增加登记数据量上限指标(包括条数或大小)，达到上限后的扩容方法(1、数据量指标：距离超限多少临界值进行扩容(如70％，100％)2、扩容方式：建立新表或建立表分区)。基于现有的元数据统一管理平台生成DDL脚本自动发版的机制，元数据统一管理平台将上一步中各个应用登记的数据量上限指标、达到上限后的扩容方法导出成配置文件，提供给监控和自动扩容方法进行读取使用。

配置文件的样例如下：

配置文件名：

应用***名称_数据库***(ORACLE/MYSQL等)_数据库用户名_TABLES_EXTEND.CFG

配置文件内容：

[表名]

DATA_LIMIT_MODE＝条数/数据量

DATA_LIMIT_VALUE＝具体条数/单表/单分区数据量

DATA_EXTEND_MODE＝建立新表/建立表分区

DATA_EXTEND_VALUE＝0.7/1

用户配置单个应用***表结构的表名、监控频度(默认按小时监控)、允许扩容时间范围(达到数据量指标后马上实施扩容或晚间某个低频交易时间区间实施扩容)等信息。在生产应用***中部署一个守护进程、创建一个具备读取数据库各类表结构统计数据的数据库用户，守护进程读取监控配置信息和各个应用登记的不同表结构的数据量上限指标、达到上限后的扩容方法的配置文件数据，通过调用独立的数据库用户对各类表结构数据量进行监控。当数据量超过预设的数据量上限指标时，即自动进行数据库扩容。

在一实施例中，当监控信息中的数据量超过表结构扩容信息中的数据量上限指标时，根据监控配置信息对数据库表结构进行扩容处理，如图2所示，包括：

S201：当数据量超过数据量上限指标时，读取监控配置信息中预设的扩容时间点。

S202：根据扩容时间点和表结构扩容信息中的扩容方式对数据库表结构进行扩容。

在一具体实施例中，本申请包括数据采集模块、数据监控模块和数据扩容模块三部分。数据采集模块通过元数据统一管理平台和监控配置文件，将单个应用***单表时增加登记数据量上限指标(包括条数或大小)，达到上限后的扩容方法(1、数据量指标：距离超限多少临界值进行扩容(如70％，100％)2、扩容方式：建立新表或建立表分区)，用户配置单个应用***表结构的表名、监控频度(默认按小时监控)，允许扩容时间范围(达到数据量指标后马上实施扩容或晚间某个低频交易时间区间实施扩容)等原始数据采集形成配置文件，并提供给数据监控模块获取使用。数据监控模块读取表结构扩容信息和监控配置信息，通过使用守护进程和具有***表结构权限和应用***用户表结构权限的独立数据库用户，对数据库中各个表结构的数据量进行监控，同时守护进程通过心跳机制进行可用性监控。数据扩容模块读取监控配置信息中预设的扩容时间点，使用独立数据库用户执行表结构或者表分区创建语句，进行数据库表结构扩容操作。

在一实施例中，根据扩容时间点和表结构扩容信息中的扩容方式对数据库表结构进行扩容，如图3所示，包括：

S301：读取监控配置信息中预设的扩容时间点和表结构扩容信息中的扩容方式。

S302：在扩容时间点上，根据扩容方式执行表结构创建语句或表分区创建语句扩容数据库表结构。

在一实施例中，数据库扩容方法还包括：

如果扩容失败，则进行数据库监控预警。

在一具体实施例中，当数据量超过预设数据量指标时，数据扩容模块根据上一步输出的监控信息，读取监控配置信息中预设的扩容时间点，使用独立数据库用户执行表结构或者表分区创建语句，进行数据库表结构扩容操作，若扩容失败则进行监控预警。

基于同一发明构思，本申请实施例还提供了一种数据库扩容装置，可以用于实现上述实施例中所描述的方法，如下面实施例所述。由于该数据库扩容装置解决问题的原理与数据库扩容方法相似，因此数据库扩容装置的实施可以参见数据库扩容方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的***较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

根据本申请的另一个方面，还提供了一种数据库扩容装置，如图4所示，包括：

信息获取单元401，用于获取预设的表结构扩容信息和监控配置信息；

监控信息生成单元402，用于通过预设的守护进程实时监控数据库中各个表结构的数据量生成监控信息；

扩容单元403，用于实时对比监控信息中的数据量和表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理。

在一实施例中，扩容单元403包括：

达限扩容模块，用于当监控信息中的数据量超过表结构扩容信息中的数据量上限指标时，根据监控配置信息对数据库表结构进行扩容处理。

在一实施例中，如图5所示，达限扩容模块包括：

扩容时间点获取模块501，用于当数据量超过数据量上限指标时，读取监控配置信息中预设的扩容时间点；

扩容模块502，用于根据扩容时间点和表结构扩容信息中的扩容方式对数据库表结构进行扩容。

在一实施例中，如图6所示，扩容模块502包括：

读取模块601，用于读取监控配置信息中预设的扩容时间点和表结构扩容信息中的扩容方式；

语句执行模块602，用于在扩容时间点上，根据扩容方式执行表结构创建语句或表分区创建语句扩容数据库表结构。

在一实施例中，数据库扩容装置还包括：

监控预警单元，用于如果扩容失败，则进行数据库监控预警。

本申请很好地解决了现有方式依赖人工统计，人工重复登记，单个表结构自动化监控缺失，单表数据量激增扩容机制缺乏等问题，并且落地该方法对各个应用***侵入性极低，落地成本小，在有效降低数据库表结构扩容相关的研发管理成本的同时降低了应用***的运维管理成本。

本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种电子设备的具体实施方式，参见图7，所述电子设备具体包括如下内容：

处理器(processor)701、内存702、通信接口(Communications Interface)703、总线704和非易失性存储器705；

其中，所述处理器701、内存702、通信接口703通过所述总线704完成相互间的通信；

所述处理器701用于调用所述内存702和非易失性存储器705中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

S101：获取预设的表结构扩容信息和监控配置信息。

S102：通过预设的守护进程实时监控数据库中各个表结构的数据量生成监控信息。

S103：实时对比监控信息中的数据量和表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理。

本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

S101：获取预设的表结构扩容信息和监控配置信息。

S102：通过预设的守护进程实时监控数据库中各个表结构的数据量生成监控信息。

S103：实时对比监控信息中的数据量和表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。本领域技术人员应明白，本说明书的实施例可提供为方法、***或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims (12)

1.一种数据库扩容方法，其特征在于，包括：

获取预设的表结构扩容信息和监控配置信息；

通过预设的守护进程实时监控数据库中各个表结构的数据量生成监控信息；

实时对比所述监控信息中的数据量和所述表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理。

2.根据权利要求1所述的数据库扩容方法，其特征在于，所述实时对比所述监控信息中的数据量和所述表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理，包括：

当所述监控信息中的数据量超过所述表结构扩容信息中的数据量上限指标时，根据所述监控配置信息对数据库表结构进行扩容处理。

3.根据权利要求2所述的数据库扩容方法，其特征在于，所述当所述监控信息中的数据量超过所述表结构扩容信息中的数据量上限指标时，根据所述监控配置信息对数据库表结构进行扩容处理，包括：

当数据量超过所述数据量上限指标时，读取所述监控配置信息中预设的扩容时间点；

根据所述扩容时间点和所述表结构扩容信息中的扩容方式对数据库表结构进行扩容。

4.根据权利要求3所述的数据库扩容方法，其特征在于，所述根据所述扩容时间点和所述表结构扩容信息中的扩容方式对数据库表结构进行扩容，包括：

读取所述监控配置信息中预设的扩容时间点和所述表结构扩容信息中的扩容方式；

在所述扩容时间点上，根据所述扩容方式执行表结构创建语句或表分区创建语句扩容数据库表结构。

5.根据权利要求4所述的数据库扩容方法，其特征在于，还包括：

如果扩容失败，则进行数据库监控预警。

6.一种数据库扩容装置，其特征在于，包括：

信息获取单元，用于获取预设的表结构扩容信息和监控配置信息；

监控信息生成单元，用于通过预设的守护进程实时监控数据库中各个表结构的数据量生成监控信息；

扩容单元，用于实时对比所述监控信息中的数据量和所述表结构扩容信息中的数据量之间的大小关系，并根据对比结果对数据库表结构进行扩容处理。

7.根据权利要求6所述的数据库扩容装置，其特征在于，所述扩容单元包括：

达限扩容模块，用于当所述监控信息中的数据量超过所述表结构扩容信息中的数据量上限指标时，根据所述监控配置信息对数据库表结构进行扩容处理。

8.根据权利要求7所述的数据库扩容装置，其特征在于，所述达限扩容模块包括：

扩容时间点获取模块，用于当数据量超过所述数据量上限指标时，读取所述监控配置信息中预设的扩容时间点；

扩容模块，用于根据所述扩容时间点和所述表结构扩容信息中的扩容方式对数据库表结构进行扩容。

9.根据权利要求8所述的数据库扩容装置，其特征在于，所述扩容模块包括：

读取模块，用于读取所述监控配置信息中预设的扩容时间点和所述表结构扩容信息中的扩容方式；

语句执行模块，用于在所述扩容时间点上，根据所述扩容方式执行表结构创建语句或表分区创建语句扩容数据库表结构。

10.根据权利要求9所述的数据库扩容装置，其特征在于，还包括：

监控预警单元，用于如果扩容失败，则进行数据库监控预警。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5任一项所述的数据库扩容方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5任一项所述的数据库扩容方法的步骤。

Images