CN117076195A - 参数的调整方法、装置、存储介质及电子装置 - Google Patents
参数的调整方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN117076195A CN117076195A CN202311016374.8A CN202311016374A CN117076195A CN 117076195 A CN117076195 A CN 117076195A CN 202311016374 A CN202311016374 A CN 202311016374A CN 117076195 A CN117076195 A CN 117076195A
- Authority
- CN
- China
- Prior art keywords
- delay
- target
- log
- algorithm
- target system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 4
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 239000000306 component Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供了一种参数的调整方法、装置、存储介质及电子装置，其中，该方法包括：获取目标***的日志应用模块的第一延时以及日志应用模块的闲置时间，其中，第一延时用于表示基于目标***的主数据库的日志修改目标***的从数据库中数据表的延时；利用第一算法基于第一延时以及闲置时间预测日志应用模块的预测负载；基于预测负载调整目标***的目标参数。通过本发明，解决了相关技术中存在的调整***的参数不合理导致数据库吞吐量不能达到最优的问题，达到调整目标参数后的目标***能够适应***负载的效果，提高数据库的吞吐量。
Description
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种参数的调整方法、装置、存储介质及电子装置。
背景技术
数据库***是当前大多数企业级信息化***的核心组成部分，维护着对于企业生产经营至关重要的数据信息。可能发生的***故障、存储故障和网络故障等引起的数据库***中断，如果缺少完善的保护方案，将会造成业务运行中断和数据丢失，对企业经营和声誉等将会造成重大损失。尤其是金融、通讯、国防等行业，对于数据库***有着很高的可用性、可靠性和连续性运行等要求，往往需要建立数据库的灾难备份和恢复***，以尽量减少生产故障所带来的运行中断和数据丢失。灾备***主要采用主备***的形式，即部署主、备两个节点，在主节点发生故障时快速切换至备用节点；目前，一些灾备***也有采用双活的形式，即两个节点同时提供服务，互为备份，在其中某一节点发生故障时可以快速切换至另一节点。
目前，金融数据库通常采用QREP数据备份技术，在QREP数据备份技术中，负责调整服务器负载能力的参数通常由管理员根据经验来进行设定，是一套相对静态的参数，但是这样设定参数对于***性能的分配不够合理，容易造成性能的浪费，或者使高峰期数据复制延迟较大，使得数据库的吞吐量没有达到最优。
由此可知，相关技术中存在调整***的参数不合理导致数据库吞吐量不能达到最优的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种参数的调整方法、装置、存储介质及电子装置，以至少解决相关技术中存在的调整***的参数不合理导致数据库吞吐量不能达到最优的问题。
根据本发明的一个实施例，提供了一种参数的调整方法，包括：获取目标***的日志应用模块的第一延时以及所述日志应用模块的闲置时间，其中，所述第一延时用于表示基于所述目标***的主数据库的日志修改所述目标***的从数据库中数据表的延时；利用第一算法基于所述第一延时以及所述闲置时间预测所述日志应用模块的预测负载；基于所述预测负载调整所述目标***的目标参数。
根据本发明的另一个实施例，提供了一种参数的调整装置，包括：获取模块，用于获取目标***的日志应用模块的第一延时以及所述日志应用模块的闲置时间，其中，所述第一延时用于表示基于所述目标***的主数据库的日志修改所述目标***的从数据库中数据表的延时；预测模块，用于利用第一算法基于所述第一延时以及所述闲置时间预测所述日志应用模块的预测负载；调整模块，用于基于所述预测负载调整所述目标***的目标参数。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，获取目标***的日志应用模块的第一延时以及日志应用模块的闲置时间，利用第一算法基于第一延时以及闲置时间预测日志应用模块的预测负载，根据预测负载调整目标***的目标参数。由于目标***的目标参数是根据预测负载调整的，预测负载是根据日志应用模块根据目标***的主数据库的日志修改目标***的从数据库中数据表的延时以及闲置时间确定的，因此，调整后的目标***的目标参数可以适应目标***的负载，因此，可以解决相关技术中存在的调整***的参数不合理导致数据库吞吐量不能达到最优的问题，达到调整目标参数后的目标***能够适应***负载的效果，提高数据库的吞吐量。
附图说明
图1是本发明实施例的一种参数的调整方法的移动终端的硬件结构框图；
图2是根据本发明实施例的参数的调整方法的流程图；
图3是根据本发明示例性实施例的QREP的流程示意图；
图4是根据本发明实施例的参数的调整装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种参数的调整方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的参数的调整方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种参数的调整方法，图2是根据本发明实施例的参数的调整方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取目标***的日志应用模块的第一延时以及所述日志应用模块的闲置时间，其中，所述第一延时用于表示基于所述目标***的主数据库的日志修改所述目标***的从数据库中数据表的延时；
步骤S204，利用第一算法基于所述第一延时以及所述闲置时间预测所述日志应用模块的预测负载；
步骤S206，基于所述预测负载调整所述目标***的目标参数。
在上述实施例中，目标***可以为数据库***，目标***中可以包括主数据库以及从数据库，主从数据库可以相互备份，以防止故障发生时发生数据丢失的情况。目标***在进行数据备份时可以采用QREP技术，QREP(Q-Replication，一种数据复制技术)的性能通常用end2end_latency来衡量，也就是端对端的延迟，即数据从主数据库复制到从数据库的延迟。QREP的原理是，将主数据库中对数据表的操作记录在日志中，然后将日志传输到从数据库，然后根据日志对从数据库中的数据表进行操作，从而实现数据库同步的效果。其中，QREP的流程示意图可参见附图3，如图3所示，DB2表示主数据库，右侧的DB2'表示从数据库；SOURCE1-3表示主数据库中的源数据表；capture表示日志抓取模块，capmon(capturemonitor)表示被抓取的日志数据，capture抓取到日志数据后进行打包，然后通过硬件级的数据将数据包发送给apply；apply表示日志应用模块，applymon表示apply对数据包解码后得到的日志数据，TARGET1-3表示从数据库中***作的目标数据表。在这一过程中，***性能主要由三部分指标以及负载情况体现，第一部分capture_latency是capture从主数据库抓取日志的延时，第二部分Q_latency是capture将数据发送到apply的延时，第三部分apply_latency，apply_latency是根据日志修改从数据库中数据表的延时。其中，Q_latency主要受到硬件性能和网络的影响，在提高成本投入的前提下难以优化延时。
在上述实施例中，针对日志应用模块的第一延时，即apply_latency以及日志应用模块的闲置时间，可以利用第一算法根据第一延时以及闲置时间确定预测负载。其中，第一算法可以是arima算法，以历史的负载和延迟(作为性能指标)为输入，预测未来的负载，得到对应的参数设置。
在上述实施例中，apply部分，即日志应用模块的性能主要由第一延时(apply_latency)和闲置时间(apply_sleep_time)来体现。其中闲置时间越短，代表***负载越低，闲置时间越长代表***负载越高；延时(apply_latency值)越长，代表实时的负载越大，延时越短，代表实时的负载越小。对于apply部分，可以以延时(apply_latency)和闲置时间(apply_sleep_time)作为第一算法的输入，预测出***的预测负载，并根据预测负载调整目标***的目标参数。其中，目标参数可以包括目标***中的各个代理组的对应的代理数量。
其中，上述步骤的执行主体可以为处理器等，但不限于此。
通过本发明，获取目标***的日志应用模块的第一延时以及日志应用模块的闲置时间，利用第一算法基于第一延时以及闲置时间预测日志应用模块的预测负载，根据预测负载调整目标***的目标参数。由于目标***的目标参数是根据预测负载调整的，预测负载是根据日志应用模块根据目标***的主数据库的日志修改目标***的从数据库中数据表的延时以及闲置时间确定的，因此，调整后的目标***的目标参数可以适应目标***的负载，因此，可以解决相关技术中存在的调整***的参数不合理导致数据库吞吐量不能达到最优的问题，达到调整目标参数后的目标***能够适应***负载的效果，提高数据库的吞吐量。
在一个示例性实施例中，在利用第一算法基于所述第一延时以及所述闲置时间预测所述日志应用模块的预测负载之前，所述方法还包括：获取所述目标***的历史时间序列数据，其中，所述历史时间序列数据中包括所述日志应用模块的第一历史延时和历史闲置时间，所述历史延时为基于所述主数据库的日志修改所述目标***的从数据库中包括的数据包的延时；确定所述历史时间序列数据的数据类型；基于所述数据类型确定所述第一算法。在本实施例中，在利用第一算法预测日志应用模块的预测负载之前，可以构建第一算法。其中，第一算法可以是arima算法，还可以是其他机器学***均模型，全称是Autoregressive IntegratedMoving Average Model。也记作ARIMA(p,d,q)。由于银行业务具有明显的周期性，且较为平稳，因此可以采用arima模型来对银行业务的负载进行预测，并根据预测负载调整目标***的目标参数。
在上述实施例中，在构建第一算法时，可以获取被观测***时间序列数据，即历史时间序列数据，例如延时(apply_latency)和闲置时间(apply_sleep_time)等；确定历史时间序列数据的数据类型，根据数据类型构建第一算法。
在一个示例性实施例中，基于所述数据类型确定所述第一算法包括：在所述数据类型指示所述历史时间序列数据为平稳时间序列的情况下，基于所述历史时间序列数据确定目标系数，将初始算法的系数修改为所述目标系数，得到所述第一算法；在所述数据类型指示所述历史时间序列数据为非平稳时间序列的情况下，对所述历史时间序列数据进行差分运算，得到平稳历史时间序列数据，基于所述平稳历史时间序列数据确定所述目标系数，将初始算法的系数修改为所述目标系数，得到所述第一算法。在本实施例中，在获取历史时间序列数据后，可以对数据绘图，观测是否为平稳时间序列；对于非平稳时间序列要先进行d阶差分运算，化为平稳时间序列；对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF，通过对自相关图和偏自相关图的分析，得到最佳的阶层p和阶数q。由以上得到的d、q、p，得到ARIMA模型。然后开始对得到的模型进行模型检验。校验以后，根据得到的模型，在不同时间设置对应的参数值，例如agent数量、传输数据包的大小(trans_batch_sz)的大小等。
在一个示例性实施例中，基于所述预测负载调整所述目标***的目标参数包括：确定负载与所述目标***中的代理组的代理数量的对应关系；基于所述对应关系确定所述预测负载对应的目标代理数量；将所述目标***中的代理组的代理数量调整为所述目标代理数量。在本实施例中，Apply部分的性能主要受agent数量的影响，在这个数据备份的***中，存在两个逻辑概念，代理组cg和代理agent，其中代理组负责处理不同的数据表，可以通过arima算法预测不同时间段该给各个代理组分配多少数量的代理。对于apply部分，可以将根据主数据库的日志修改从数据库的数据表的延时(apply_latency)和闲置时间(apply_sleep_time)作为输入，将为每个代理组分配的目标代理数量作为输出。
在一个示例性实施例中，所述方法还包括：确定所述目标***的日志抓取模块向所述日志应用模块传输的数据包的数据包大小以及数据包数量；利用第二算法基于所述数据包大小以及所述数据包数量预测所述日志应用模块的预测负载数量，其中，所述第二算法为基于所述日志抓取模块向所述日志应用模块传输的数据包的历史数据包大小以及历史数据包数量进行训练得到的算法；将所述日志应用模块的负载数量调整为所述预测负载数量。在本实施例中，第二算法可以为arima算法，也可以为其他机器学***衡性能需求和成本，找到一个合适的commit_count值，来实现此目的。具体地，可以通过arima算法通过历史数据包大小以及历史数据包数量进行训练得到。利用训练后的arima算法预测日志应用模块的预测负载数量，并将日志应用模块的负载数量调整为预测负载数量。
在一个示例性实施例中，所述方法还包括：获取所述目标***读取所述主数据库的日志的第二延时；利用第三算法基于所述第二延时调整读取所述主数据库的日志的目标线程的优先级，以降低所述第二延时，其中，所述第三算法为基于所述目标***读取所述主数据库的日志的第二历史延时以及目标线程的历史优先级训练得到的算法。在本实施例中，第二延时可以是目标***的日志读取模块读取主数据库的日志的延时，可以通过capture的线程优先级(CPU WLM，priorityworkload manage)来降低该延时。在CPU资源有限的情况下，可以调高capture的线程优先级来降低日志读取延时，但是可能会影响其他业务的性能。因此可以在对capture的线程优先级进行调整，降低日志读取延时的同时减少对其他业务的影响。其中，第三算法可以为arima算法，也可以为其他机器学习模型算法。第三算法的输入可以是日志读取延时(logread_api_time)，输出为目标线程的优先级。当主数据库写入压力小的时候，提高capture线程的优先级，当主数据库写入压力大时，降低capture线程的优先级。
在一个示例性实施例中，利用第三算法基于所述第二延时调整读取所述主数据库的日志的目标线程的优先级包括：利用所述第三算法确定所述第二延时对应的线程优先级；将所述目标线程的优先级调整为所述线程优先级。在本实施例中，可以根据第三算法确定第二延时对应的线程优先级，将目标线程的优先级调整为线程优先级。
在前述实施例中，可以通过历史数据的学习，自动调整参数，使得***性能能够适应负载，降低数据复制的延迟，提高数据库的吞吐量。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种参数的调整装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的参数的调整装置的结构框图，如图4所示，该装置包括：
获取模块42，用于获取目标***的日志应用模块的第一延时以及所述日志应用模块的闲置时间，其中，所述第一延时用于表示基于所述目标***的主数据库的日志修改所述目标***的从数据库中数据表的延时；
预测模块44，用于利用第一算法基于所述第一延时以及所述闲置时间预测所述日志应用模块的预测负载；
调整模块46，用于基于所述预测负载调整所述目标***的目标参数。
在一个示例性实施例中，所述装置可以用于在利用第一算法基于所述第一延时以及所述闲置时间预测所述日志应用模块的预测负载之前：获取所述目标***的历史时间序列数据，其中，所述历史时间序列数据中包括所述日志应用模块的第一历史延时和历史闲置时间，所述历史延时为基于所述主数据库的日志修改所述目标***的从数据库中包括的数据包的延时；确定所述历史时间序列数据的数据类型；基于所述数据类型确定所述第一算法。
在一个示例性实施例中，所述装置可以通过如下方式实现基于所述数据类型确定所述第一算法：在所述数据类型指示所述历史时间序列数据为平稳时间序列的情况下，基于所述历史时间序列数据确定目标系数，将初始算法的系数修改为所述目标系数，得到所述第一算法；在所述数据类型指示所述历史时间序列数据为非平稳时间序列的情况下，对所述历史时间序列数据进行差分运算，得到平稳历史时间序列数据，基于所述平稳历史时间序列数据确定所述目标系数，将初始算法的系数修改为所述目标系数，得到所述第一算法。
在一个示例性实施例中，预测模块44可以通过如下方式实现基于所述预测负载调整所述目标***的目标参数：确定负载与所述目标***中的代理组的代理数量的对应关系；基于所述对应关系确定所述预测负载对应的目标代理数量；将所目标***中的代理组的代理数量调整为所述目标代理数量。
在一个示例性实施例中，所述装置还可以用于确定所述目标***的日志抓取模块向所述日志应用模块传输的数据包的数据包大小以及数据包数量；利用第二算法基于所述数据包大小以及所述数据包数量预测所述日志应用模块的预测负载数量，其中，所述第二算法为基于所述日志抓取模块向所述日志应用模块传输的数据包的历史数据包大小以及历史数据包数量进行训练得到的算法；将所述日志应用模块的负载数量调整为所述预测负载数量。
在一个示例性实施例中，所述装置还可以用于获取所述目标***读取所述主数据库的日志的第二延时；利用第三算法基于所述第二延时调整读取所述主数据库的日志的目标线程的优先级，以降低所述第二延时，其中，所述第三算法为基于所述目标***读取所述主数据库的日志的第二历史延时以及目标线程的历史优先级训练得到的算法。
在一个示例性实施例中，所述装置可以通过如下方式实现利用第三算法基于所述第二延时调整读取所述主数据库的日志的目标线程的优先级包括：利用所述第三算法确定所述第二延时对应的线程优先级；将所述目标线程的优先级调整为所述线程优先级。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种参数的调整方法，其特征在于，包括：
获取目标***的日志应用模块的第一延时以及所述日志应用模块的闲置时间，其中，所述第一延时用于表示基于所述目标***的主数据库的日志修改所述目标***的从数据库中数据表的延时；
利用第一算法基于所述第一延时以及所述闲置时间预测所述日志应用模块的预测负载；
基于所述预测负载调整所述目标***的目标参数。
2.根据权利要求1所述的方法，其特征在于，在利用第一算法基于所述第一延时以及所述闲置时间预测所述日志应用模块的预测负载之前，所述方法还包括：
获取所述目标***的历史时间序列数据，其中，所述历史时间序列数据中包括所述日志应用模块的第一历史延时和历史闲置时间，所述历史延时为基于所述主数据库的日志修改所述目标***的从数据库中包括的数据包的延时；
确定所述历史时间序列数据的数据类型；
基于所述数据类型确定所述第一算法。
3.根据权利要求2所述的方法，其特征在于，基于所述数据类型确定所述第一算法包括：
在所述数据类型指示所述历史时间序列数据为平稳时间序列的情况下，基于所述历史时间序列数据确定目标系数，将初始算法的系数修改为所述目标系数，得到所述第一算法；
在所述数据类型指示所述历史时间序列数据为非平稳时间序列的情况下，对所述历史时间序列数据进行差分运算，得到平稳历史时间序列数据，基于所述平稳历史时间序列数据确定所述目标系数，将初始算法的系数修改为所述目标系数，得到所述第一算法。
4.根据权利要求1所述的方法，其特征在于，基于所述预测负载调整所述目标***的目标参数包括：
确定负载与所述目标***中的代理组的代理数量的对应关系；
基于所述对应关系确定所述预测负载对应的目标代理数量；
将所目标***中的代理组的代理数量调整为所述目标代理数量。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述目标***的日志抓取模块向所述日志应用模块传输的数据包的数据包大小以及数据包数量；
利用第二算法基于所述数据包大小以及所述数据包数量预测所述日志应用模块的预测负载数量，其中，所述第二算法为基于所述日志抓取模块向所述日志应用模块传输的数据包的历史数据包大小以及历史数据包数量进行训练得到的算法；
将所述日志应用模块的负载数量调整为所述预测负载数量。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述目标***读取所述主数据库的日志的第二延时；
利用第三算法基于所述第二延时调整读取所述主数据库的日志的目标线程的优先级，以降低所述第二延时，其中，所述第三算法为基于所述目标***读取所述主数据库的日志的第二历史延时以及目标线程的历史优先级训练得到的算法。
7.根据权利要求6所述的方法，其特征在于，利用第三算法基于所述第二延时调整读取所述主数据库的日志的目标线程的优先级包括：
利用所述第三算法确定所述第二延时对应的线程优先级；
将所述目标线程的优先级调整为所述线程优先级。
8.一种参数的调整装置，其特征在于，包括：
获取模块，用于获取目标***的日志应用模块的第一延时以及所述日志应用模块的闲置时间，其中，所述第一延时用于表示基于所述目标***的主数据库的日志修改所述目标***的从数据库中数据表的延时；
预测模块，用于利用第一算法基于所述第一延时以及所述闲置时间预测所述日志应用模块的预测负载；
调整模块，用于基于所述预测负载调整所述目标***的目标参数。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311016374.8A CN117076195A (zh) | 2023-08-11 | 2023-08-11 | 参数的调整方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311016374.8A CN117076195A (zh) | 2023-08-11 | 2023-08-11 | 参数的调整方法、装置、存储介质及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117076195A true CN117076195A (zh) | 2023-11-17 |
Family
ID=88703526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311016374.8A Pending CN117076195A (zh) | 2023-08-11 | 2023-08-11 | 参数的调整方法、装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117076195A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117992240A (zh) * | 2024-04-03 | 2024-05-07 | 本原数据(北京)信息技术有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
-
2023
- 2023-08-11 CN CN202311016374.8A patent/CN117076195A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117992240A (zh) * | 2024-04-03 | 2024-05-07 | 本原数据(北京)信息技术有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019154394A1 (zh) | 分布式数据库集群***、数据同步方法及存储介质 | |
| CN109034993A (zh) | 对账方法、设备、***及计算机可读存储介质 | |
| CN103761309A (zh) | 一种运营数据处理方法及*** | |
| KR101922044B1 (ko) | 데이터베이스 이중화 무중단 정합성 복구 기법 | |
| CN111966289B (zh) | 基于Kafka集群的分区优化方法和*** | |
| CN106815254A (zh) | 一种数据处理方法和装置 | |
| Xia et al. | Performance and availability modeling of ITSystems with data backup and restore | |
| CN117076195A (zh) | 参数的调整方法、装置、存储介质及电子装置 | |
| CN107623703A (zh) | 全局事务标识gtid的同步方法、装置及*** | |
| CN113434312A (zh) | 数据血缘关系处理方法及装置 | |
| Sousa et al. | Predictive elastic replication for multi‐tenant databases in the cloud | |
| CN111782473A (zh) | 分布式日志数据处理方法、装置及*** | |
| CN106844694B (zh) | 用于同步数据的方法及设备 | |
| CN115291806A (zh) | 一种处理方法、装置、电子设备及存储介质 | |
| Ravindra et al. | Latency aware elastic switching-based stream processing over compressed data streams | |
| CN114237896A (zh) | 分布式节点资源动态调度方法及装置 | |
| CN112363838A (zh) | 数据处理方法及装置、存储介质、电子装置 | |
| CN104915376A (zh) | 一种云存储中文件的归档压缩方法 | |
| CN107329832A (zh) | 一种数据接收方法及装置 | |
| CN114661563B (zh) | 基于流处理框架的数据处理方法以及*** | |
| CN112000657A (zh) | 数据管理方法、装置、服务器及存储介质 | |
| CN115713395A (zh) | 一种基于Flink的用户风控管理方法、装置及设备 | |
| CN114945026A (zh) | 数据处理方法、装置和*** | |
| CN113407491A (zh) | 数据处理方法及装置 | |
| CN112433891A (zh) | 数据处理方法、装置和服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |