CN115640274A - 数据库模型动态调整的方法、设备及存储介质 - Google Patents
数据库模型动态调整的方法、设备及存储介质 Download PDFInfo
- Publication number
- CN115640274A CN115640274A CN202110814308.XA CN202110814308A CN115640274A CN 115640274 A CN115640274 A CN 115640274A CN 202110814308 A CN202110814308 A CN 202110814308A CN 115640274 A CN115640274 A CN 115640274A
- Authority
- CN
- China
- Prior art keywords
- data
- database model
- database
- model
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 187
- 238000003860 storage Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 116
- 230000008569 process Effects 0.000 claims abstract description 108
- 238000005259 measurement Methods 0.000 claims abstract description 63
- 238000005457 optimization Methods 0.000 claims abstract description 52
- 238000007405 data analysis Methods 0.000 claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims abstract description 46
- 238000005192 partition Methods 0.000 claims description 56
- 238000009826 distribution Methods 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000007726 management method Methods 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 19
- 238000011068 loading method Methods 0.000 description 19
- 230000000737 periodic effect Effects 0.000 description 11
- 230000001932 seasonal effect Effects 0.000 description 11
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 10
- 238000013075 data extraction Methods 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 10
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 description 10
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 9
- 230000007774 longterm Effects 0.000 description 9
- BTCSSZJGUNDROE-UHFFFAOYSA-N gamma-aminobutyric acid Chemical compound NCCCC(O)=O BTCSSZJGUNDROE-UHFFFAOYSA-N 0.000 description 7
- 230000001788 irregular Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 239000013589 supplement Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101000822425 Arthrobacter sp. (strain KUJ 8602) Guanidinobutyrase Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据库模型动态调整的方法、设备及存储介质。方法包括对数据库模型中存储的被管数据对应的数据处理过程进行优化处理，得到经过优化处理后的数据处理过程所对应的当前度量指标数据；对所述当前度量指标数据进行数据分析，得到分析结果；根据所述分析结果，驱动所述数据库模型进行数据调整；对经过数据调整后的数据库模型进行所述优化处理以更新所述当前度量指标数据，直到所述当前度量指标数据与预设的目标度量指标数据相同，以此动态调整数据库模型中存储的被管数据，解决了相关技术中在运行期数据和模型中存在偏差，导致数据库无法发挥较好性能的问题。
Description
技术领域
本发明实施例涉及但不限于数据库技术领域，尤其涉及一种数据库模型动态调整的方法、设备及存储介质。
背景技术
针对海量数据管理和分析通常是基于数据库模型。相关技术中，数据库的建模是基于规则的模型驱动，然而，通过这种方法构建的数据库模型，通常无法适用对多种类型数据的管理。例如，在管理多种制式网元的性能数据中，在运行期数据和模型中会存在偏差，进而导致数据库无法发挥较好性能。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供了一种数据库模型动态调整的方法、设备及存储介质，能够解决相关技术中在运行期数据和模型中存在偏差，导致数据库无法发挥较好性能的问题。
第一方面，本发明实施例提供了一种数据库模型动态调整的方法，包括：
对数据库模型中存储的被管数据对应的数据处理过程进行优化处理，得到经过优化处理后的数据处理过程所对应的当前度量指标数据；
对所述当前度量指标数据进行数据分析，得到分析结果；
根据所述分析结果，驱动所述数据库模型进行数据调整；
对经过数据调整后的数据库模型进行所述优化处理以更新所述当前度量指标数据，直到所述当前度量指标数据与预设的目标度量指标数据相同。
第二方面，本发明实施例还提供了一种设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的数据库模型动态调整的方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的数据库模型动态调整的方法。
本发明实施例包括：通过对数据库模型中存储的被管数据对应的数据处理过程进行优化处理，以使被管数据的数据处理过程能够被约束，从而能够保持在持续被优化的状态；由于被管数据的数据处理过程被优化后，其所对应的当前度量指标数据也将发生改变；故对数据处理过程进行优化处理后，通过计算可得到经过优化处理后的数据处理过程所对应的当前度量指标数据；再对当前度量指标数据进行数据分析，能够得到分析结果；根据分析结果，驱动数据库模型进行数据调整，即可动态调整数据库模型中存储的被管数据；之后对经过数据调整后的数据库模型再进行上述优化处理以更新当前度量指标数据，直到当前度量指标数据与预设的目标度量指标数据相同，从而能够得到被优化调整后的数据库模型。该数据库模型性能较好，能够适用于对多种类型数据的管理和分析，解决了相关技术中在运行期数据和模型中存在偏差，导致数据库无法发挥较好性能的问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明一个实施例提供的数据库模型动态调整的方法的流程图；
图2是本发明一个实施例提供的数据库模型动态调整的方法中对数据处理过程进行优化处理的流程图；
图3是本发明另一实施例提供的数据库模型动态调整的方法中对数据处理过程进行优化处理的流程图；
图4是本发明一个实施例提供的数据库模型动态调整的方法中得到时间序列分布结果的流程图；
图5是本发明一个实施例提供的数据库模型动态调整的方法中对被管数据进行分区的流程图；
图6是本发明一个实施例提供的数据库模型动态调整的方法中对数据库模型进行数据调整的流程图；
图7是本发明另一实施例提供的数据库模型动态调整的方法中得到资源分布结果的流程图；
图8是本发明一个实施例提供的数据库模型动态调整的装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
相关技术中，针对海量数据管理和分析通常是基于数据库模型，而数据库的建模是基于规则的模型驱动，然而，通过这种方法构建的数据库模型，通常无法适用对多种类型数据的管理。可以理解的是，由于被管数据的数据量、数据类型等的不同，会导致数据库模型对被管数据中的数据处理过程也会存在差异，因此基于一种规则的模型驱动构建的数据库模型通常无法适用于多种场景环境中。例如，针对无线网元的性能数据，在管理多种制式网元性能数据中，如果是基于规则的模型驱动构建了数据库模型(即可以理解为基于专家经验构建的数据库模型)，将该数据库模型作为基准模型直接使用时，容易在运行期数据和模型中存在偏差，进而导致数据库无法发挥较好性能，且容易导致被管数据中的应用***效率低、资源使用和配置不合理等。
基于此，本发明提供了一种数据库模型动态调整的方法、设备及存储介质，通过动态调整数据库模型中存储的被管数据，使得被优化调整后的数据库模型性能较好，能够适用于对多种类型数据的管理和分析，解决了相关技术中在运行期数据和模型中存在偏差，导致数据库无法发挥较好性能的问题。
可以理解的是，本发明对数据库模型中存储的被管数据主要是从两个阶段上进行优化。第一阶段，是对数据库模型中存储的被管数据对应的数据处理过程进行优化处理；第二阶段，是从被管数据的数据处理效率方面对数据库模型进行数据调整以进行优化。
具体地，本发明实施例通过模型驱动方式构建数据库模型，该数据库模型可以作为基准模型。可以理解的是，该数据库模型(即基准模型)可以由以下步骤得到：
建立网元性能模型，该网元性能模型包括模型元素(即网元性能数据)，可以理解的是，可以从业务角度建立模型元素的关系。该模型元素具体可包括网元制式、被管对象、测量类型、指标、计数器、数据库对应的表定义等，本实施例对此并不作具体限定；可以理解的是，上述指标可以为网元性能指标。由于网元性能模型中的模型元素并未与所要构建的数据库模型建立起联系，因此在建立网元性能模型之后，需要通过模型驱动方式来构建数据库模型。即通过解析网元性能模型，以将网元性能模型中的模型元素映射为数据库对象。可以理解的是，网元性能模型可以基于专家经验进行生成，或通过导入同类型网络训练好的模型作为网元性能模型。
可以理解的是，数据库对象包括但不限于：数据库、逻辑子库、数据库表、数据表、分区、视图、索引、自定义函数等，本实施例对此并不作具体限定。例如，可通过数据库对应的表定义来定义这些模型元素，以便于将模型元素与数据库模型中的数据库对象建立映射关系。如一些实施例中，通过将模型元素中的网元制式定义在数据库模型中的某个数据库或者某个数据表内等，从而建立起了映射关系。还可以理解的是，由于在对数据库模型的构建和维护过程中，将会涉及被管数据(如网元性能数据)的抽取-转换-加载(Extract-Transform-Load，ETL)、查询分析和历史数据清理等，将其映射到数据库模型中则是对数据库对象的数据定义语言(Data Definition Language，DDL)操作，例如对逻辑子库、数据表、索引、自定义函数、视图、分区的构建和维护；又或者，映射到数据库模型中是对数据库对象的数据操作语言(Data Manipulation Language，DML)操作，如对数据表的增加、查询、删除、更新。可以理解的是，针对数据库对象中的自定义函数，其能够有效帮助数据库模型处理数据，例如帮助被管数据进行转换操作，以便于存储在数据表内。针对视图，可理解为一种数据显示的方式，例如某个数据表内包括一千个字段，而用户只关注某个时刻内的一百个字段，通过视图可建立该一百个字段所对应的显示数据。
可以理解的是，本发明实施例的被管数据包括数据库对象。通过以数据库对象作为数据库模型的起点，从而根据数据库对象构建该数据库模型。
因此，本发明通过网元性能模型以进一步构建数据库模型，该数据库模型作为基准模型后，采用本发明的数据库模型动态调整的方法对该数据库模型进行数据处理过程的优化处理以及进行数据库模型的数据调整，从而得到被优化调整后的数据库模型，能够发挥较好的性能。
需要说明的是，本发明实施例描述的通过建立网元性能模型，来进一步构建数据库模型以及所涉及的具体应用场景，是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定。本领域技术人员可知，无线通信技术中的数据类型存在多样性，针对不同类型的数据管理和分析通常都基于数据库模型。而本实施例是具体针对多种制式网元性能数据管理和分析这个应用场景，而提出基于网元性能模型来构建数据库模型，但并不局限于此。本发明实施例提供的技术方案对于类似的技术问题，同样适用。
基于上述构建的数据库模型作为基准模型，提出本发明的数据库模型动态调整的方法的各个实施例。
下面结合附图，对本发明实施例作进一步阐述。
本发明实施例具体提供一种数据库模型动态调整的方法。如图1所示，图1是本发明一个实施例提供的数据库模型动态调整的方法的流程图，该数据库模型动态调整的方法包括但不限于有以下步骤：
步骤S100，对数据库模型中存储的被管数据对应的数据处理过程进行优化处理，得到经过优化处理后的数据处理过程所对应的当前度量指标数据；
步骤S200，对当前度量指标数据进行数据分析，得到分析结果；
步骤S300，根据分析结果，驱动数据库模型进行数据调整；
步骤S400，对经过数据调整后的数据库模型进行优化处理以更新当前度量指标数据，直到当前度量指标数据与预设的目标度量指标数据相同。
通过对数据库模型中存储的被管数据对应的数据处理过程进行优化处理，以使被管数据的数据处理过程能够被约束，从而能够保持在持续被优化的状态。
由于被管数据的数据处理过程被优化后，其所对应的当前度量指标数据也将发生改变；故对数据处理过程进行优化处理后，通过计算可得到经过优化处理后的数据处理过程所对应的当前度量指标数据。再对当前度量指标数据进行数据分析，能够得到分析结果。可以理解的是，本实施例从构建的数据库模型作为基准模型的基础上，通过采集经过优化处理后的数据处理过程所对应的当前度量指标数据，并对当前度量指标数据进行持续的机器学习和分析，以建立了依据数据库模型运行期的数据处理过程所对应的当前度量指标数据的分析结果，来驱动数据库模型进行动态调整的机制。即可根据分析结果，驱动数据库模型进行数据调整，从而可动态调整数据库模型中存储的被管数据。之后对经过数据调整后的数据库模型再进行上述优化处理，即返回步骤S100以更新当前度量指标数据，直到当前度量指标数据与预设的目标度量指标数据相同，从而能够得到被优化调整后的数据库模型。
可以理解的是，对数据库模型的数据调整，可以设置为程序自动调整或手工调整，目的是能够通过分析结果驱动数据库模型进行数据调整，再通过获取数据处理过程所对应的当前度量指标数据来验证数据库模型的质量，使得最终被优化调整后的数据库模型中的被管数据所对应的当前度量指标数据是最优的。
需要说明的是，最终被优化调整后的数据库模型能够应用到同类型的场景环境中，也能够适用于多种个性化场景。例如，针对同类型的场景环境，可以理解为，被管数据的数据类型相同，和/或，被管数据的数据量相同。对于被管数据中的数据库对象而言，假设被管数据的数据类型相同，如都为5G，而被管数据中的数据库对象对应的数据量为2000个，则所采用的数据库模型也是对应于2000个数据量的管理级别的；而将该被优化调整后的数据库模型拷贝应用到其他区域也是2000个数据量且数据类型相同的场景环境中，也是同样适用的。一些实施例中，数据库模型的管理级别可以以数据量的大小来区分，例如对数据库模型的管理级别在广义理解上，可以为：2000个数据量为一个管理级别，2万个数据量为另一个管理级别；又或者，在狭义理解上，2000个数据量为一个管理级别，2001个数据量则为另一个管理级别等。
又例如，针对多种个性化场景，由于被管数据的数据类型、数据量存在多样性，即可根据被管数据的数据类型不同，和/或，被管数据的数据量不同，对该数据库模型作优化调整，以适用于上述的个性化场景。对于被管数据的数据类型而言，例如针对2G/3G/4G/5G等不同类型的移动通信***，其所对应的数据库模型之间也将存在差异，通过对数据库模型作对应的个性化的优化调整后，使得最终被优化调整后的数据库模型能够应用到上述移动通信***中。又或者，被管数据的数据类型相同，但被管数据中的数据库对象对应的数据量不同，如针对4G移动通信***，由于被管数据中的数据库对象在不同局域点中所对应的数据量会存在差异，例如数据表的个数上的差异等，因此，所对应的数据库模型也会存在差异。
通过本实施例的数据库模型动态调整的方法，数据库模型性能较好，能够适用于对多种类型数据的管理和分析，解决了相关技术中在运行期数据和模型中存在偏差，导致数据库无法发挥较好性能的问题。
需要说明的是，数据库模型中存储的被管数据并不局限于网元性能数据，也可以是其他性能数据，其包括但不限于：所有被管***对应的度量指标数据。
如图2所示，图2是本发明一个实施例提供的对数据处理过程进行优化处理的流程图。可以理解的是，步骤S100中的对数据库模型中存储的被管数据对应的数据处理过程进行优化处理，包括但不限于有以下步骤：
步骤S110，获取数据处理过程对应的算法复杂度，对不符合第一规则的算法复杂度进行优化处理；其中，第一规则包括算法复杂度小于或等于预设阈值。
本实施例具体对数据处理过程对应的算法复杂度基于第一规则进行优化处理。
可以理解的是，数据库模型中存储的被管数据对应的数据处理过程涉及的类型通常较多，故在一些实施例中，可以提取使用频率较高的一些数据处理过程来作数据分析。具体地，该数据处理过程包括但不限于：抽取过程、转换过程、加载过程、查询过程、汇总过程和补汇总过程等。因此，可对数据的抽取过程、转换过程、加载过程、查询过程、汇总过程或补汇总过程所对应的算法复杂度分别基于第一规则进行优化处理，即对不符合第一规则的算法复杂度进行优化处理，可以理解的是，被优化处理后的算法复杂度应小于或等于预设阈值。而在一些实施例中，通常采用O(n)函数用以表征算法复杂度，即可以使得算法复杂度小于或等于预设的O(n)。对于不符合第一规则的算法复杂度对应的数据处理过程进行持续优化，以降低其算法复杂度直至小于或等于O(n)，本实施例的数据处理过程能够保持在持续被优化的状态。
如图3所示，图3是本发明另一实施例提供的对数据处理过程进行优化处理的流程图。可以理解的是，步骤S100中的对数据库模型中存储的被管数据对应的数据处理过程进行优化处理，还包括但不限于有以下步骤：
步骤S120，获取数据处理过程对应的结构化查询语言，对不符合第二规则的结构化查询语言进行优化处理。
需要说明的是，第二规则包括以下至少之一：数据重分布或广播小于或等于设定阈值；索引层次小于或等于索引层次阈值；嵌套循环次数为0；溢出文件次数为0；查询涉及的分区小于分区阈值；查询涉及的分区的筛选率小于筛选率阈值；数据倾斜次数为0；采用函数过滤数据次数为0。
若数据处理过程涉及到结构化查询语言(Structured Query Language，SQL)，则本实施例需对数据处理过程对应的结构化查询语言基于第二规则进行优化处理。
可以理解的是，基于上述实施例可知，数据处理过程包括但不限于：抽取过程、转换过程、加载过程、查询过程、汇总过程和补汇总过程等，因此，可对数据的抽取过程、转换过程、加载过程、查询过程、汇总过程或补汇总过程所对应的结构化查询语言分别基于第二规则进行优化处理，即对不符合第二规则的结构化查询语言进行优化处理。
需要说明的是，由于结构化查询语言涉及的类型通常也较多，故在一些实施例中，可以提取使用频率较高的一些结构化查询语言来作数据分析。例如通过机器学习聚类、分类等算法，来提取上述的结构化查询语言。
该结构化查询语言所对应的执行信息包括但不限于：数据重分布或广播、索引层次、嵌套循环、溢出文件、涉及的分区、数据倾斜信息、数据筛选条件等。可以理解的是，上述的结构化查询语言需要遵循数据库最佳实践规则，因此需要对不符合第二规则的结构化查询语言进行优化处理。
第二规则包括以下至少之一：数据重分布或广播小于或等于设定阈值；索引层次小于或等于索引层次阈值，例如索引层次阈值为2层；嵌套循环次数为循环次数阈值，例如循环次数阈值为0，其表示不应该存在嵌套循环；溢出文件次数为溢出次数阈值，例如溢出次数阈值为0，其表示避免出现溢出文件；查询涉及的分区小于分区阈值，例如对于一个数据表而言，其包括有多个分区(如100个分区)，为了避免查询涉及的分区过多而导致不符合第二规则，通常需要设置查询涉及的分区小于分区阈值。若在执行查询过程时，直接将所有分区(如100个分区)进行了全表扫描，或者对80％分区(如80个分区)都进行了扫描，则表示该查询涉及的分区过多，而不符合第二规则，需要对其进行优化处理，直至符合第二规则；查询涉及的分区的筛选率小于筛选率阈值，例如，查询涉及的分区筛选率应当较低，当筛选率过高时，容易导致被管数据对应的当前度量指标数据较差，影响数据处理效率；数据倾斜次数为倾斜次数阈值，例如倾斜次数阈值为0，其表示数据不存在倾斜，本实施例的数据倾斜信息包括数据倾斜次数；以及采用函数过滤数据次数为过滤次数阈值，例如过滤次数阈值为0，其表示不采用函数过滤数据，本实施例的数据筛选条件包括采用函数过滤数据次数，等等。
本实施例通过对数据处理过程对应的结构化查询语言进行数据分析，以便于对不符合第二规则的结构化查询语言进行优化处理，能够保证在同等数据处理过程中，所对应的当前度量指标数据能够被优化。
可以理解的是，在一些实施例中，还可以分别获取数据处理过程对应的算法复杂度、结构化查询语言，以便于对算法复杂度、结构化查询语言分别进行优化。
还可以理解的是，在一些实施例中，结构化查询语言通常包括数据查询语言(DataQuery Language，DQL)、数据操作语言(Data Manipulation Language，DML)、事务处理语言(Transaction Process Language，TPL)、数据控制语言(Data Control Language，DCL)、数据定义语言(Data Definition Language，DDL)以及指针控制语言(Cursor ControlLanguage，CCL)。本实施例具体对与数据库模型相关的数据定义语言以及数据操作语言进行数据分析。例如，分别获取数据库模型中存储的被管数据对应的数据定义语言、数据操作语言，以便于对数据定义语言、数据操作语言分别进行优化。
需要说明的是，本发明对数据库模型中存储的被管数据主要是从两个阶段上进行优化。上述实施例具体描述了第一阶段，即对被管数据对应的数据处理过程所对应的算法复杂度和结构化查询语言进行优化处理。
下面具体描述本实施例的第二阶段，是从被管数据的数据处理效率方面对数据库模型进行数据调整以进行优化。具体地，是从被管数据对应的度量指标数据方面对数据库模型进行数据调整以进行优化。
可以理解的是，当前度量指标数据可以包括当前效率指标数据、当前资源使用指标数据。即度量指标数据包括效率指标数据、资源使用指标数据。
当当前度量指标数据包括当前效率指标数据时，具体描述本发明实施例如下：
如图4所示，图4是本发明一个实施例提供的得到时间序列分布结果的流程图。步骤S200中的对当前度量指标数据进行数据分析，得到分析结果，具体包括但不限于有以下步骤：
步骤S210，在时间维度上对当前效率指标数据进行数据分析，得到时间序列分布结果。
可以理解的是，一些实施例中，能够通过时间序列方式来表征数据处理过程所对应的当前效率指标数据。因此，本实施例通过在时间维度上对当前效率指标数据进行数据分析，能够得到时间序列分布结果。这样设置的目的是，便于进一步对时间序列分布结果进行分析，以获取时间序列分布结果所对应的规律变化。可以理解的是，在一些实施例中，时间序列分布结果所对应的规律变化与数据库模型中存储的被管数据所对应的预设分区范围存在关联。可以理解的是，在时间维度上对当前效率指标数据进行数据分析，可以通过采用不同的机器学习算法，以便于获取得到时间序列分布结果。
如图5所示，可以理解的是，在一实施例中，步骤S100中的对数据库模型中存储的被管数据对应的数据处理过程进行优化处理之前，该数据库模型动态调整的方法包括但不限于有以下步骤：
步骤S101，根据对应的预设分区范围对数据库模型中存储的被管数据进行分区。
可以理解的是，在步骤S100之前，需要通过规则模型驱动方式构建数据库模型，该数据库模型可作为基准模型，因此，其具体可通过根据预设分区范围，对数据库模型中存储的被管数据进行对应的分区。如此设置，使得基准模型能够根据预设分区范围对被管数据进行分区，以便于提高效率。之后，本发明具体可通过以下实施例对该数据库模型进行数据调整以进行优化：
对数据库模型中存储的被管数据对应的数据处理过程中的算法复杂度和/或结构化查询语言进行优化处理；之后采集经过优化处理后的数据处理过程所对应的当前度量指标数据，本实施例则是采集经过优化处理后的数据库模型运行期的数据处理过程所对应的当前效率指标数据；之后，在时间维度上对当前效率指标数据进行数据分析，得到时间序列分布结果，再根据时间序列分布结果驱动数据库模型进行数据调整；对经过数据调整后的数据库模型进行优化处理以更新当前效率指标数据，直到当前效率指标数据与预设的目标效率指标数据相同。通过当前效率指标数据所对应的时间序列分布结果对数据库模型进行数据调整，以实现对数据库模型中的被管数据的动态调整，便于训练得到一个最优数据库模型。
具体地，在一实施例中，如图6所示，步骤S300中的根据分析结果，驱动数据库模型进行数据调整，包括但不限于有以下步骤：
步骤S310，根据时间序列分布结果，对预设分区范围进行分区调整，得到调整范围；
步骤S320，根据调整范围驱动数据库模型中存储的被管数据进行数据调整。
可以理解的是，本实施例的时间序列分布结果主要受长期趋势因素T、季节变动因素S、周期变动因素(也称循环变动因素)C和不规则变动因素I等因素的影响。长期趋势因素T表示在较长时期内受某种根本性因素作用而形成的总的变动趋势；季节变动因素S表示受季节变动影响而形成的一种长度和幅度固定的周期波动；周期变动因素C表示受各种因素影响而形成的上下起伏不定的波动；不规则变动因素I表示一种无规律可循的变动。
需要说明的是，本实施例需要对不规则变动因素I进行排除，以提取出长期趋势因素T、季节变动因素S、周期变动因素C；通过根据上述长期趋势因素T/季节变动因素S/周期变动因素C反映的时间序列分布结果，对预设分区范围进行分区调整，得到调整范围；之后根据调整范围驱动数据库模型中存储的被管数据进行数据调整，以便于实现动态调整数据库模型中的被管数据，如根据调整范围，动态调整数据库模型中的逻辑子库的个数、数据表分区的范围等。最后，对经过数据调整后的数据库模型，再进行对数据库模型中存储的被管数据对应的数据处理过程中的算法复杂度和/或结构化查询语言的优化处理，以更新当前效率指标数据，直到当前效率指标数据与预设的目标效率指标数据相同。
当当前度量指标数据包括当前资源使用指标数据时，具体描述本发明实施例如下：
如图7所示，步骤S200中的对当前度量指标数据进行数据分析，得到分析结果，具体包括但不限于有以下步骤：
步骤S220，对当前资源使用指标数据进行数据分析，得到资源分布结果。
可以理解的是，资源使用指标数据包括以下至少之一：应用资源使用、数据库资源使用、存储设备输入/输出资源使用。可以理解的是，资源使用数据可包括：内存占用数据、中央处理器(Central Processing Unit，CPU)使用率数据、输入/输出(Input/Output，I/O)响应时间数据、输入/输出读写流量数据、网络流量数据等。
本实施例通过对数据库模型中存储的被管数据对应的数据处理过程进行优化处理，并采集经过优化处理后的数据处理过程所对应的当前资源使用指标数据；对当前资源使用指标数据进行数据分析，得到资源分布结果，根据资源分布结果驱动数据库模型进行数据调整，最后对经过数据调整后的数据库模型进行优化处理以更新当前资源使用指标数据，直到当前资源使用指标数据与预设的目标资源使用指标数据相同。本实施例通过采集当前资源使用指标数据来验证数据库模型的质量，使得最终被优化调整后的数据库模型中的被管数据所对应的当前资源使用指标数据是最优的，如得到最少的资源使用，此时表示数据库模型完成优化调整。
需要说明的是，一实施例中，当当前度量指标数据包括当前效率指标数据、当前资源使用指标数据时，本实施例通过对数据库模型中存储的被管数据对应的数据处理过程中的算法复杂度和/或结构化查询语言进行优化处理，并分别采集经过优化处理后的数据处理过程所对应的当前效率指标数据、当前资源使用指标数据；此时本实施例处于第二阶段的优化，一方面，在时间维度上对当前效率指标数据进行数据分析，得到时间序列分布结果；另一方面，对当前资源使用指标数据进行数据分析，得到资源分布结果；之后根据时间序列分布结果，对数据库模型中存储的被管数据对应的预设分区范围进行分区调整，得到调整范围；再根据调整范围、资源分布结果，驱动数据库模型中存储的被管数据进行数据调整；对经过数据调整后的数据库模型重新进行上述的优化处理，以分别更新当前效率指标数据和当前资源使用指标数据，直到当前效率指标数据与预设的目标效率指标数据相同，以及当前资源使用指标数据与预设的目标资源使用指标数据相同。可以理解的是，本实施例通过采集数据处理过程所对应的当前效率指标数据、当前资源使用指标数据等来验证数据库模型质量，以便于训练得到一个最优数据库模型。
下面以被管数据包括网元性能数据为例，具体描述本发明的数据库模型动态调整的方法。
本实施例通过建立网元性能模型来进一步构建数据库模型，上述所构建的数据库模型可作为基准模型。具体针对网元性能数据，本发明从网元性能数据对应的度量指标数据方面对数据库模型(即基准模型)进行数据调整和优化。可以理解的是，网元性能数据包括但不限于：管理的网元制式、以及不同制式下被管对象的指标和计数器等。
具体地，对数据库模型中存储的网元性能数据对应的数据处理过程中的算法复杂度、结构化查询语言进行优化处理，并采集经过优化处理后的数据处理过程所对应的当前度量指标数据，即采集数据库模型运行期的数据处理过程所对应的当前效率指标数据以及当前资源使用指标数据；其中，效率指标数据还可以包括网元性能指标、计数器的使用频次等。通过如此设置，能够保证同等数据处理过程中所对应的当前效率指标数据、当前资源使用指标数据能够被优化。例如在一些实施例中，可通过数据处理对应的当前耗时时长(或当前执行时间)来表征当前效率指标数据，当当前效率指标数据被优化后，则可有效提升数据处理效率；以及若当前资源使用指标数据被优化后(例如被优化后的当前资源使用率下降)，则可保证资源使用在对应的目标范围内。
之后，在时间维度上对当前效率指标数据进行数据分析，得到时间序列分布结果；以及对当前资源使用指标数据进行数据分析，得到资源分布结果。即可通过对数据处理过程对应的当前效率指标数据、当前资源使用指标数据分别进行机器学习，以便于得到对应的分析结果。可以理解的是，本实施例通过时间序列分布结果、资源分布结果来驱动数据库模型进行数据调整，例如驱动数据库模型中的逻辑子库的个数、数据表的定义、数据表分区的范围或者索引的定义等等进行数据调整。对经过数据调整后的数据库模型返回到上述的优化处理，以更新当前效率指标数据、当前资源使用指标数据，直到当前效率指标数据与预设的目标效率指标数据相同，以及当前资源使用指标数据与预设的目标资源使用指标数据相同。
由此可知，经过对数据库模型的持续优化和调整，最终通过训练可得到被管数据如网元性能数据所对应的最优数据库模型。
参照图8，可以理解的是，本发明实施例的数据库模型动态调整的方法具体对应有数据库模型动态调整的装置。该装置包括但不限于有：网元性能数据抽取转换加载模块100、网元性能数据分析模块200、数据处理过程优化模块300、数据库模型优化模块400、数据库管理维护模块500和分析型数据库模块600。
网元性能数据抽取转换加载模块100用于获取网元性能数据，并对网元性能数据进行数据清洗和数据转换，将数据清洗和数据转换后的网元性能数据发送给分析型数据库模块600；
网元性能数据分析模块200用于对网元性能数据进行数据统计和数据分析，并将数据统计和数据分析后的网元性能数据发送给分析型数据库模块600；
其中，网元性能数据抽取转换加载模块100、网元性能数据分析模块200还用于采集数据处理过程中的算法复杂度和结构化查询语言，并将算法复杂度和结构化查询语言发送给数据处理过程优化模块300；还用于采集经过优化处理后的数据处理过程所对应的当前度量指标数据，并将当前度量指标数据发送给数据库模型优化模块400；其中，当前度量指标数据包括当前效率指标数据、当前资源使用指标数据；
数据处理过程优化模块300用于获取网元性能数据抽取转换加载模块100、网元性能数据分析模块200发送的算法复杂度和结构化查询语言，并对不符合第一规则的算法复杂度进行优化处理，以及对不符合第二规则的结构化查询语言进行优化处理；还用于通过模型驱动方式维护数据库模型中的数据库对象，其中，数据库对象包括数据库、数据表、分区、视图、索引、自定义函数；
数据库模型优化模块400用于获取网元性能数据抽取转换加载模块100、网元性能数据分析模块200发送的数据处理过程所对应的当前度量指标数据，并对当前度量指标数据进行数据分析得到分析结果，并将分析结果发送给数据库管理维护模块500；
数据库管理维护模块500用于获取数据库模型优化模块400发送的分析结果，并根据分析结果驱动数据库模型进行数据调整；
分析型数据库模块600，用于获取网元性能数据抽取转换加载模块100发送的数据清洗和数据转换后的网元性能数据，以及获取网元性能数据分析模块200发送的数据统计和数据分析后的网元性能数据，并对网元性能数据进行数据存储和数据管理；其中，分析型数据库模块600包括GBase数据库模块、Greenplum数据库模块。
可以理解的是，网元性能数据抽取转换加载模块100能够采集网元所对应的网元性能数据，例如获取来自文件传输协议(File Transfer Protocol，FTP)服务器的网元性能数据；或者获取来自简单网络管理协议(Simple Network Management Protocol,SNMP)服务器的网元性能数据；又或者获取来自套接字(Socket)服务器的网元性能数据等。
可以理解的是，本实施例的装置还可包括应用运行模块，应用运行模块用于支持数据库模型进行数据调整时对应的应用运行；其中，应用运行模块包括刀片服务器模块、架式服务器模块。
可以理解的是，网元性能数据抽取转换加载模块100和网元性能数据分析模块200能够从网元性能数据的数据处理效率方面采集数据处理过程所对应的当前效率指标数据和当前资源使用指标数据。例如，数据处理过程包括：抽取过程、转换过程、加载过程、查询过程、汇总过程和补汇总过程，则该数据处理过程所对应的当前效率指标数据，可表示为：抽取过程、转换过程、加载过程、查询过程、汇总过程和补汇总过程所对应的当前执行时间；而该数据处理过程所对应的当前资源使用指标数据，可表示为：当前应用资源例如当前中央处理器占用或者当前内存占用等。在一些实施例中，网元性能数据抽取转换加载模块100和网元性能数据分析模块200还能够从数据分析方面采集数据库表及列对应的查询的频率，或者性能数据分布等。
可以理解的是，数据库模型优化模块400对当前度量指标数据进行数据分析，具体地，在时间维度上通过机器学习算法对当前效率指标数据进行数据分析，得到时间序列分布结果，时间序列分布结果主要受长期趋势因素T、季节变动因素S、周期变动因素C和不规则变动因素I等因素影响。例如，可以对网元性能数据的汇总过程、加载过程或查询过程对应的当前执行时间进行分析。一些实施例中，需要对不规则变动因素I进行排除后，建立被管数据(如网元性能数据)对应的数据处理过程(如汇总过程)对应的当前效率指标数据(如当前执行时间)所反映的时间序列分布结果(如长期趋势因素T/季节变动因素S/周期变动因素C)，和数据库模型中的被管对象(如逻辑子库、数据表分区)间的关联。
例如，对于2G/3G/4G/5G共管的移动通信***，其所包括的指标(如网元性能指标)和计数器个数通常达到数万个，不同用户能够通过查询分析功能来获取并使用自己关注的指标和计数器。例如，对于网元性能指标和计数器的查询，映射到数据库模型中则是对数据库对象(例如数据库表等)的查询分析。而数据库模型中的数据库对象(例如数据库表)对应的使用频次也是通过时间序列方式来表征的。因此，通过对网元性能数据对应的当前度量指标数据进行数据分析所得到分析结果，可以获取到网元性能数据的数据存储和数据查询之间的关联，以便于对数据库模型的数据调整提供依据，例如为数据表的结构调整、数据汇总的操作频次调整、中间表的创建调整等提供依据。
还可以理解的是，数据库模型优化模块400还能够通过对经过数据调整后的数据库模型进行优化处理以更新当前效率指标数据，直到当前效率指标数据与预设的目标效率指标数据相同，即通过持续的数据分析和数据调整经过优化处理后的数据处理过程所对应的当前效率指标数据，能够保证数据处理功能满足业务要求以及当前资源使用指标数据为目标资源使用指标数据(如资源使用不增加)的情况下，持续判断当前效率指标数据是否变的更优，即当前效率指标数据是否与预设的目标效率指标数据相同。经过迭代调整，以训练得到一个最优数据库模型。可以理解的是，数据库模型优化模块400通过当前效率指标数据和当前资源使用指标数据来验证数据库模型的质量，例如最优数据库模型对应的最终的当前资源使用指标数据所反映的结果是最少的资源使用，当前效率指标数据所反映的结果是最优的执行时间或耗时时长等。
数据库管理维护模块500通过根据分析结果驱动数据库模型进行数据调整；具体地，基于机器学习对应的规则对数据库模型进行持续的数据调整；如调整逻辑子库的个数、数据表分区的范围、数据表的结构、数据汇总的操作频次、中间表的创建等等。
以下以具体实施例描述本发明的数据库模型动态调整的方法。
实施例1：本实施例描述的是对数据库表对应的预设分区范围进行数据调整的过程，其包括但不限于：
(1)通过网元性能数据抽取转换加载模块100和网元性能数据分析模块200，来采集经过优化处理后的数据处理过程所对应的当前度量指标数据，并将当前度量指标数据上报给数据库模型优化模块400。本实施例的当前度量指标数据包括当前效率指标数据、当前资源使用指标数据，且当前效率指标数据、当前资源使用指标数据均具有时间特征。可以理解的是，效率指标数据包括有汇总耗时时长、加载耗时时长、查询耗时时长等；而资源使用指标数据包括有应用资源使用(如中央处理器占用/内存占用)、数据库资源使用(如中央处理器占用/内存占用)、存储设备输入/输出资源使用(如每秒的输入输出量(Input/OutputPer Second，IOPS)/输入输出量等待(IOWait))等。
(2)数据库模型优化模块400在时间维度上对当前效率指标数据进行数据分析，得到时间序列分布结果，时间序列分布结果主要受长期趋势因素T、季节变动因素S、周期变动因素C和不规则变动因素I等因素影响，在排除不规则变动因素I后，得到长期趋势因素T/季节变动因素S/周期变动因素C对应的时间序列分布结果。可以理解的是，长期趋势因素T具体呈现平均趋势，而季节变动因素S和原始数据表对应的第一预设分区范围保持一致，周期变动因素C和汇总表对应的第二预设分区范围保持一致。
(3)汇总耗时时长具体定义为变量w；可以理解的是，w的最大值Max(w)小于业务定义的耗时阈值λ；预设分区范围定义为变量P，P的取值范围为[1,30]；其中，原始数据表对应的第一预设分区范围定义为变量P1，原始数据表对应的第一调整范围定义为变量p1，汇总表对应的第二预设分区范围定义为变量P2，汇总表对应的第二调整范围定义为变量p2。P、P1、P2、p1、p2的单位均为天。为了获取数据库模型对应的最优的w值，通过数据库模型优化模块400基于步骤(2)得到的时间序列分布结果，来驱动数据库管理维护模块500对数据库模型进行数据调整，以对数据库模型进行优化调整。可以理解的是，原始数据表对应的第一预设分区范围P1通常是基于经验进行设置的，通常会设置的偏大。因此若原始数据表对应的第一预设分区范围P1>1，则可以对原始数据表对应的第一预设分区范围P1进行第一分区调整，以得到原始数据表对应的合适的第一调整范围p1。具体地，第一分区调整可以设置为：p1＝P1-1；其中，p1大于或等于1。
(4)通过数据库模型优化模块400对经过数据调整后的数据库模型进行优化处理以更新当前效率指标数据，同时辅助参考当前资源使用指标数据，若应用资源使用或数据库资源使用总体不增加、存储设备输入/输出资源使用在硬件能力范围内，或者其他数据处理过程对应的耗时时长没有恶化，便可以存储原始数据表对应的第一调整范围p1。可以理解的是，汇总表对应可执行如上述的分区调整，以得到汇总表对应的合适的第二调整范围p2。
(5)实施例1说明：
例如，原始数据表按天分区并保存15分钟粒度的被管数据，汇总表则按周分区并保存小时粒度的被管数据。具体地，汇总表中的被管数据是通过聚合原始数据表中的被管数据，之后将原始数据表中的被管数据加载到汇总表内。在时间维度上对汇总表对应的当前效率指标数据进行数据分析，得到时间序列分布结果，其中，汇总表所对应的季节变动因素S为1天，周期变动因素C为1周。
汇总耗时时长所对应的时间序列分布结果，主要呈现两个规律：
规律一：以天为观测粒度时，随着时间推移，汇总耗时时长呈逐步上升趋势；
规律一出现的原因是：由于原始数据表是按天分区的，故针对当天的被管数据而言，其对应的数据量在时间维度上是逐渐增加的，因此通过小时汇总时，所读取的被管数据对应的数据范围逐渐增加，从而导致读取的耗时增加，因此汇总耗时时长增加。
规律二：不同天的同一时段的汇总耗时时长呈逐步上升趋势。
规律二出现的原因是：由于被管数据被汇总加载到小时表中时，会存在重复数据的删除和***操作，删除操作所涉及的数据范围随着被管数据被汇总时所对应的数据量不断增加而变大，从而导致删除耗时时长的增加；而由于***操作会涉及到索引页面的操作，由于索引范围随着被管数据被汇总时所对应的数据量不断增加而增加，从而导致***耗时时长的增加。因此不同天的同一时段的汇总耗时时长呈逐步上升趋势。
可以理解的是，本实施例的原始数据表中，若第一预设分区范围P1＝1时，则不需要对原始数据表进行第一分区调整。而对于汇总表对应的第二预设分区范围P2＝7时，则可以对第二预设分区范围P2进行第二分区调整，第二分区调整可以设置为：p2＝P2-1，以得到汇总表对应的合适的第二调整范围p2，以便于确保资源使用指标数据处在对应的目标范围内。
实施例2：本实施例描述的是对数据表结构、数据汇总进行数据调整的过程，其包括但不限于：
(1)通过网元性能数据分析模块200来获取数据处理过程所对应的当前度量指标数据，并将当前度量指标数据上报给数据库模型优化模块400。度量指标数据包括指标(如网元性能指标)和计数器的使用频次、指标(如网元性能指标)和计数器对应的汇总时间范围、指标(如网元性能指标)和计数器所归属的数据库表。
(2)数据库模型优化模块400对当前度量指标数据进行数据分析，得到分析结果，分析结果包括热点数据分布结果，如高频使用的指标分布结果、低频使用的指标分布结果；和/或高频使用的计数器分布结果、低频使用的计数器分布结果等，从而能够进一步根据指标(如网元性能指标)和计数器所归属的数据库表，得到对应的高频使用的数据库表和列、低频使用的数据库表和列等。
(3)数据库管理维护模块500对数据库模型进行数据调整，以对数据库模型进行优化调整。例如对性能数据进行小时汇总是为了应用于用户对性能小时数据分析。对于每小时都要进行最近小时数据分析的性能数据，就需要按1小时间隔及时进行汇总，例如对于性能数据进行小时汇总并保存15分钟粒度，即每小时的性能数据对应有当前度量指标数据；用户针对当前时刻(例如16：00)，需要对距离当前时刻(例如16：00)最近的前1小时(例如15：00至16：00)进行数据分析，则需要按照1小时间隔及时进行汇总；而对于应用很少或没有小时数据分析所涉及的性能数据，则可以降低汇总的使用频次，并同时扩大汇总时间范围(例如按8小时间隔汇总)，以提升总体小时汇总效率。对应用不关注的性能数据，则可以不存储，并调整数据库表结构。
(4)验证数据库模型效果，本实施例通过减少对性能数据的存储和降低汇总的使用频次，从而降低对应用***计算和存储资源的使用，从而提升数据库模型整体效率。
实施例3：本实施例描述的是数据库应用领域中的对数据库模型进行数据调整的过程，其包括但不限于：
(1)获取数据处理过程所对应的当前度量指标数据，当前度量指标数据包括当前效率指标数据和当前资源使用指标数据。例如数据入库和数据查询对应的效率指标数据(如耗时时长)、数据库资源使用(如中央处理器占用/内存占用)、存储设备输入/输出资源使用(如IOPS/IOWait)等，该当前度量指标数据具有时间特征。
(2)由于分析型数据库是由多个逻辑子库构建的集群数据库，逻辑子库的个数和IOPS成类正比关系。在时间维度上对存储设备输入/输出资源使用对应的当前资源使用指标数据进行数据分析，以判断IOPS和IOWait是否在硬件能力范围内。若数据处理过程所产生的IOPS，没有达到或已经超过硬件能力范围，则可以通过增加或减少逻辑子库的个数来提升或降低IOPS，例如，数据处理过程所产生的IOPS没有达到硬件能力范围时，则可以增加逻辑子库的个数来提升IOPS；同时IOWait应处于对应的目标范围内，即处于合理范围内。本实施例的IOPS和IOWait处在对应的目标范围内，会对数据处理过程的效率起正向作用。
(3)获取数据的查询过程对应的当前效率指标数据，驱动数据库模型中的数据库表分区/分表进行数据调整，从而使数据库模型发挥最大性能，其实现原理可参照实施例1。
可以理解的是，本实施例的数据库模型动态调整的方法，是主动式***维护，而不是问题驱动或人工维护，能够有效提升***运维效率。
通过对网元性能指标和计数器的使用频次进行数据分析，能够获取热点数据分布结果，进而可以调整数据库表的结构以及数据的存储，提升数据汇总和分析的效率，能够保证资源使用指标数据处在对应的目标范围内。
通过模型驱动方式构建以及维护数据库模型，能够提高数据库模型的易维护性，提高了版本升级效率，降低了等待时间。
通过模型共享性，可以将训练好的数据库模型导出并复制到同类型的***中，降低数据库模型的训练成本。
另外，本发明的一个实施例还提供了一种设备，该设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的数据库模型动态调整的方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的数据库模型动态调整的方法，例如，执行以上描述的图1中的方法步骤S100至S400、图2中的方法步骤S110、图3中的方法步骤S120、图4中的方法步骤S210、图5中的方法步骤S101、图6中的方法步骤S310至S320、图7中的方法步骤S220。
以上所描述的设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的数据库模型动态调整的方法，例如，执行以上描述的图1中的方法步骤S100至S400、图2中的方法步骤S110、图3中的方法步骤S120、图4中的方法步骤S210、图5中的方法步骤S101、图6中的方法步骤S310至S320、图7中的方法步骤S220。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
Claims (11)
1.一种数据库模型动态调整的方法，包括：
对数据库模型中存储的被管数据对应的数据处理过程进行优化处理，得到经过优化处理后的数据处理过程所对应的当前度量指标数据；
对所述当前度量指标数据进行数据分析，得到分析结果；
根据所述分析结果，驱动所述数据库模型进行数据调整；
对经过数据调整后的数据库模型进行所述优化处理以更新所述当前度量指标数据，直到所述当前度量指标数据与预设的目标度量指标数据相同。
2.根据权利要求1所述的方法，其特征在于，所述数据库模型由以下步骤得到：
建立网元性能模型，所述网元性能模型包括模型元素；
解析所述网元性能模型以将所述模型元素映射为数据库对象，其中，所述被管数据包括所述数据库对象；
根据所述数据库对象构建所述数据库模型。
3.根据权利要求1所述的方法，其特征在于，所述对数据库模型中存储的被管数据对应的数据处理过程进行优化处理，包括：
获取数据处理过程对应的算法复杂度，对不符合第一规则的所述算法复杂度进行优化处理；其中，所述第一规则包括所述算法复杂度小于或等于预设阈值。
4.根据权利要求1所述的方法，其特征在于，所述对数据库模型中存储的被管数据对应的数据处理过程进行优化处理，包括：
获取数据处理过程对应的结构化查询语言，对不符合第二规则的所述结构化查询语言进行优化处理；
其中，所述第二规则包括以下至少之一：
数据重分布或广播小于或等于设定阈值；
索引层次小于或等于索引层次阈值；
嵌套循环次数为0；
溢出文件次数为0；
查询涉及的分区小于分区阈值；
查询涉及的分区的筛选率小于筛选率阈值；
数据倾斜次数为0；
采用函数过滤数据次数为0。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述当前度量指标数据包括当前效率指标数据；
所述对所述当前度量指标数据进行数据分析，得到分析结果，包括：
在时间维度上对所述当前效率指标数据进行数据分析，得到时间序列分布结果。
6.根据权利要求5所述的方法，其特征在于，所述对数据库模型中存储的被管数据对应的数据处理过程进行优化处理之前，所述方法还包括：
根据对应的预设分区范围对所述数据库模型中存储的被管数据进行分区。
7.根据权利要求6所述的方法，其特征在于，所述根据所述分析结果，驱动所述数据库模型进行数据调整，包括：
根据所述时间序列分布结果，对所述预设分区范围进行分区调整，得到调整范围；
根据所述调整范围驱动所述数据库模型中存储的被管数据进行数据调整。
8.根据权利要求7所述的方法，其特征在于，所述对经过数据调整后的数据库模型进行所述优化处理以更新所述当前度量指标数据，直到所述当前度量指标数据与预设的目标度量指标数据相同，包括：
对经过数据调整后的所述数据库模型进行所述优化处理以更新所述当前效率指标数据，直到所述当前效率指标数据与预设的目标效率指标数据相同。
9.根据权利要求1至4任一项所述的方法，其特征在于，所述当前度量指标数据包括当前资源使用指标数据；
所述对所述当前度量指标数据进行数据分析，得到分析结果，包括：
对所述当前资源使用指标数据进行数据分析，得到资源分布结果。
10.一种设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至9中任意一项所述的数据库模型动态调整的方法。
11.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至9中任意一项所述的数据库模型动态调整的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110814308.XA CN115640274A (zh) | 2021-07-19 | 2021-07-19 | 数据库模型动态调整的方法、设备及存储介质 |
| PCT/CN2022/091510 WO2023000766A1 (zh) | 2021-07-19 | 2022-05-07 | 数据库模型动态调整的方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110814308.XA CN115640274A (zh) | 2021-07-19 | 2021-07-19 | 数据库模型动态调整的方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115640274A true CN115640274A (zh) | 2023-01-24 |
Family
ID=84939426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110814308.XA Pending CN115640274A (zh) | 2021-07-19 | 2021-07-19 | 数据库模型动态调整的方法、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115640274A (zh) |
| WO (1) | WO2023000766A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115858699A (zh) * | 2023-02-28 | 2023-03-28 | 北京仁科互动网络技术有限公司 | 数据仓库的构建方法、装置、电子设备和可读存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116842223B (zh) * | 2023-08-29 | 2023-11-10 | 天津鑫宝龙电梯集团有限公司 | 一种工况数据管理方法、装置、设备和介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060085484A1 (en) * | 2004-10-15 | 2006-04-20 | Microsoft Corporation | Database tuning advisor |
| US8180762B2 (en) * | 2005-12-13 | 2012-05-15 | International Business Machines Corporation | Database tuning methods |
| CN100543746C (zh) * | 2007-03-16 | 2009-09-23 | 华为技术有限公司 | 一种实现数据库***自动优化的***和方法 |
| JP6669571B2 (ja) * | 2016-04-19 | 2020-03-18 | 株式会社シスバンク | リレーショナルデータベースのチューニング装置及び方法 |
| US11327988B2 (en) * | 2019-06-20 | 2022-05-10 | International Business Machines Corporation | Dynamically self-indexing database-management system |
| CN111339066B (zh) * | 2020-05-20 | 2020-09-04 | 腾讯科技（深圳）有限公司 | 数据库优化方法、装置、电子设备及计算机可读存储介质 |
| CN112231236A (zh) * | 2020-12-14 | 2021-01-15 | 广东睿江云计算股份有限公司 | 一种数据库性能的测试方法 |
-
2021
- 2021-07-19 CN CN202110814308.XA patent/CN115640274A/zh active Pending
-
2022
- 2022-05-07 WO PCT/CN2022/091510 patent/WO2023000766A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115858699A (zh) * | 2023-02-28 | 2023-03-28 | 北京仁科互动网络技术有限公司 | 数据仓库的构建方法、装置、电子设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023000766A1 (zh) | 2023-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11138175B2 (en) | Type-specific compression in database systems | |
| US10073888B1 (en) | Adjusting partitioning policies of a database system in view of storage reconfiguration | |
| US10725995B2 (en) | Automatically revising synopsis table structure | |
| US10346432B2 (en) | Compaction policy | |
| US9892150B2 (en) | Unified data management for database systems | |
| US20180253443A1 (en) | Automated Information Lifecycle Management Using Low Access Patterns | |
| EP2811792B1 (en) | A method for operating a mobile telecommunication device | |
| WO2023000766A1 (zh) | 数据库模型动态调整的方法、设备及存储介质 | |
| EP3757815A1 (en) | Data processing method and device, storage medium, and electronic device | |
| US20150248462A1 (en) | Dynamically improving streaming query performance based on collected measurement data | |
| JP5088668B2 (ja) | 計算機負荷見積システム、計算機負荷見積方法、計算機負荷見積プログラム | |
| EP3401807B1 (en) | Synopsis based advanced partition elimination | |
| CN107004016B (zh) | 有效的数据操纵支持 | |
| US20160328445A1 (en) | Data Query Method and Apparatus | |
| US20180260439A1 (en) | Grouping in analytical databases | |
| CN103336792A (zh) | 数据分区方法和装置 | |
| CN111309251A (zh) | 数据存储方法、***、电子设备及可读存储介质 | |
| US20170235779A1 (en) | Processing query of database and data stream | |
| CN111125158B (zh) | 数据表处理方法、装置、介质及电子设备 | |
| US20160253591A1 (en) | Method and apparatus for managing performance of database | |
| CN117194426A (zh) | 一种数据分区归档方法、***、设备和介质 | |
| CN116089414A (zh) | 基于海量数据场景的时序数据库写入性能优化方法及装置 | |
| CN111723089A (zh) | 一种基于列式存储格式处理数据的方法和装置 | |
| US11762831B2 (en) | Adaptive sparse indexing in cloud-based data warehouses | |
| WO2023049627A1 (en) | Dataset optimization framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |