CN116991947B - 一种自动化数据同步方法及*** - Google Patents
一种自动化数据同步方法及*** Download PDFInfo
- Publication number
- CN116991947B CN116991947B CN202311226130.2A CN202311226130A CN116991947B CN 116991947 B CN116991947 B CN 116991947B CN 202311226130 A CN202311226130 A CN 202311226130A CN 116991947 B CN116991947 B CN 116991947B
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- change
- synchronization
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 238000012544 monitoring process Methods 0.000 claims abstract description 326
- 230000008859 change Effects 0.000 claims abstract description 254
- 238000001514 detection method Methods 0.000 claims abstract description 195
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 135
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000006870 function Effects 0.000 claims description 79
- 230000008569 process Effects 0.000 claims description 72
- 230000009467 reduction Effects 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 47
- 230000001360 synchronised effect Effects 0.000 claims description 35
- 230000002159 abnormal effect Effects 0.000 claims description 32
- 238000012795 verification Methods 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 11
- 230000009131 signaling function Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000006399 behavior Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005315 distribution function Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000001976 improved effect Effects 0.000 description 41
- 238000007726 management method Methods 0.000 description 23
- 238000004458 analytical method Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012300 Sequence Analysis Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及数据处理技术领域，尤其涉及一种自动化数据同步方法及***。所述方法包括：利用自动化同步工具并基于心跳检测算法对源数据库与目标数据库进行GoldenGate连接检测，得到数据同步信息；其中自动化同步工具内封装了GoldenGate软件；通过自动化同步工具对数据同步信息进行自动化部署，利用GoldenGate软件创建GoldenGate监控进程并利用GoldenGate监控进程对源数据库进行监控，得到源数据库变更信息；利用变更检测算法模型对源数据库变更信息进行变更审核处理，得到源数据库变更数据。本发明能够实现在不同的数据库类型、不同版本、不同平台之间数据的同步。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种自动化数据同步方法及***。
背景技术
GoldenGate是一款强大的实时数据复制和数据集成工具，可以实现数据在异构***之间的实时同步。目前银行业各***之间数据的交互需求越来越多，使用***的API接口，会导致***间耦合性太高。GoldeGate数据同步软件是一个比较好的选择，能够实现在不同的数据库类型、不同版本、不同平台之间数据的同步。但GoldeGate配置维护比较复杂，技术要求性高。现行业内还没有一款基于GoldenGate自动化、可配置化的数据同步工具。然而，针对不同类型的数据库、不同的平台，又GoldenGate发布过不同的版本，数据库管理员如果不熟悉可能会出现安装错误的版本，导致数据不能正常同步，另外，GoldenGate本身不提供告警功能，当遇到同步延迟或者进程Abended的时候不能及时发现，从而导致业务数据无法正常同步。
发明内容
基于此，有必要提供一种自动化数据同步方法及***，以解决至少一个上述技术问题。
为实现上述目的，一种自动化数据同步方法，包括以下步骤：
步骤S1：利用自动化同步工具并基于心跳检测算法对源数据库与目标数据库进行GoldenGate连接检测，得到数据同步信息；其中自动化同步工具内封装了GoldenGate软件；
步骤S2：通过自动化同步工具对数据同步信息进行自动化部署，利用GoldenGate软件创建GoldenGate监控进程并利用GoldenGate监控进程对源数据库进行监控，得到源数据库变更信息；利用变更检测算法模型对源数据库变更信息进行变更审核处理，得到源数据库变更数据；
步骤S3：利用变更降噪算法对源数据库变更数据进行降噪处理，得到源数据库变更降噪数据；对自动化同步工具进行设备配置以形成GoldenGate同步进程，利用GoldenGate同步进程对源数据库变更降噪数据进行数据同步处理，以得到同步变更数据；
步骤S4：响应于自动化同步工具的台账管理指令，启动GoldenGate监控进程并利用GoldenGate监控进程对同步变更数据进行监控管理，得到监控进程状态信息；
步骤S5：利用监控状态监测算法对监控进程状态信息进行历史回溯检测，得到历史状态数据；通过预设的监控告警模型对历史状态数据进行模型训练，以生成监控告警类型；
步骤S6：根据动态匹配规则对监控告警类型进行配置匹配，得到监控告警同步方案；通过监控告警同步方案实现对自动化同步工具的全范围监控及告警。
本发明通过自动化同步工具并基于心跳检测算法可以快速检测源数据库与目标数据库之间的连接是否正常，其中在自动化同步工具内封装GoldenGate软件，能够提供比GoldenGate软件更多的功能，例如台帐管理、GoldenGate链路监控、自动化部署、自动初始化等。数据同步信息可以确保数据同步过程的完整性和准确性，同时提高数据库同步的安全性。通过对数据同步信息进行自动化部署，自动化部署可以减少手动操作的错误和成本，提高数据同步的效率和稳定性。在创建GoldenGate监控进程后，源数据库变更信息可以被GoldenGate监控进程捕获，为后续的同步到目标数据库提供了信息基础。利用变更检测算法模型可以有效地对变更进行审核，并排除非法变更，从而确保数据同步的正确性和一致性。利用变更降噪算法可以对变更数据进行过滤和降噪，去除不必要的数据，减少数据同步的耗时和成本，并提高数据库同步效率和稳定性。然后通过对自动化同步工具进行设备配置以形成GoldenGate同步进程，利用GoldenGate同步进程对获得的源数据库变更降噪数据进行数据同步处理，将源数据库变更降噪数据同步到目标数据库，最终得到同步变更数据，同步变更数据可以确保源数据库和目标数据库之间的数据一致性和完整性。响应于自动化同步工具的台账管理指令，可以更好地监测GoldenGate监控进程的状态，及时发现问题。对监控进程状态信息进行分析，可以优化GoldenGate监控进程的配置，提高数据同步效率和稳定性。通过监控状态监测算法对监控进程状态信息进行历史回溯检测可以更好地发现问题，优化GoldenGate监控进程的配置。通过预设的监控告警模型对历史状态数据进行模型训练可以生成监控告警类型，进一步提高数据同步的稳定性和效率。最后，通过根据动态匹配规则对监控告警类型进行配置匹配，得到监控告警同步方案。通过监控告警同步方案可以实现对自动化同步工具进行全范围监控及告警，及时发现问题并进行解决，从而提高数据同步的稳定性和效率。
优选地，本发明还提供了一种自动化数据同步***，包括：
至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行如上任一项所述的自动化数据同步方法。
综上所述，本发明提供了一种自动化数据同步***，该***能够实现本发明所述任意一种自动化数据同步方法，用于联合存储器、处理器及存储器上运行的计算机程序之间的操作实现一种自动化数据同步方法，***内部结构互相协作，该***通过自动化的数据同步过程，可以大大提高数据同步效率，减少了人工疏忽和错误，提高了数据同步的准确性，减少了数据同步过程中的人为误差和数据丢失的可能性。自动化数据同步***，可以完善数据同步流程，实现自动化的任务调度和监控告警，加强数据同步流程的控制和管理，保证数据同步的稳定性和可靠性。GoldenGate支持多种数据库平台和操作***，可以实现在异构***之间的数据同步，为企业提供更大的数据同步灵活性和可扩展性。
附图说明
通过阅读参照以下附图所作的对非限制性实施所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一种自动化数据同步方法的步骤流程示意图；
图2为图1中步骤S1的详细实施步骤流程示意图；
图3为图1中步骤S2的详细实施步骤流程示意图；
图4为图3中步骤S23的详细实施步骤流程示意图；
图5为图1中步骤S3的详细实施步骤流程示意图；
图6为图1中步骤S5的详细实施步骤流程示意图；
图7为图6中步骤S53的详细实施步骤流程示意图；
图8为图1中步骤S6的详细实施步骤流程示意图。
具体实施方式
下面结合附图对本发明专利的技术方法进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域所属的技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为实现上述目的，请参阅图1至图8，本发明提供了一种自动化数据同步方法，所述方法包括以下步骤：
步骤S1：利用自动化同步工具并基于心跳检测算法对源数据库与目标数据库进行GoldenGate连接检测，得到数据同步信息；其中自动化同步工具内封装了GoldenGate软件；
具体地，例如安装GoldenGate：在源数据库和目标数据库上都已经安装和配置了GoldenGate，将GoldenGate进行正确地配置，包括源和目标的Extract和Replicat进程。配置心跳表：在源数据库和目标数据库之间创建一个专门用于心跳检测的表，通常称为"Heartbeat Table"，这个表将用于定期发送心跳信号以检测连接状态。表中应该包含一些关键信息，如时间戳、心跳标识。创建心跳提取进程：在源数据库上创建一个GoldenGateExtract进程，负责从心跳表中提取心跳数据，并将其传输到目标数据库。创建心跳复制进程：在目标数据库上创建一个GoldenGate Replicat进程，负责接收并处理来自源数据库的心跳数据。配置GoldenGate连接检测：设置自动同步工具：在自动化同步工具中，配置连接检测任务。这些任务将定期执行心跳检测操作，以确保GoldenGate连接正常运行。定义心跳检测频率：配置心跳检测的频率，通常建议设置为几秒或几分钟一次。监控报警设置：设置监控报警，以便在检测到连接故障时能够及时通知管理员，通过电子邮件、短信或其他通知方式来实现。执行连接检测：运行自动同步工具：启动自动化同步工具，定期执行心跳检测任务。监控连接状态：通过自动同步工具的监控界面或报警通知来监视连接状态。如果连接正常，将会得到相应的信息，如果连接故障，将会收到警报通知。故障处理：自动重连：如果检测到连接故障，可以尝试自动重新建立连接，可以通过自动同步工具的设置来实现。手动干预：如果自动重连不起作用，需要手动介入来解决连接问题，包括检查网络配置、数据库配置或GoldenGate配置。
本发明实施例通过自动化同步工具在源数据库和目标数据库上安装GoldenGate软件并在自动化同步工具内封装GoldenGate软件，通过激活心跳检测算法检测源数据库与目标数据库之间的连接是否正常，通过GoldenGate连接检测以得到连接检测结果，其中连接检测结果包括连接状态、连接延迟等信息，根据连接检测结果，获得数据同步信息，其中数据同步信息包括源数据库和目标数据库之间的同步状态、同步延迟和同步速度等信息。
步骤S2：通过自动化同步工具对数据同步信息进行自动化部署，利用GoldenGate软件创建GoldenGate监控进程并利用GoldenGate监控进程对源数据库进行监控，得到源数据库变更信息；利用变更检测算法模型对源数据库变更信息进行变更审核处理，得到源数据库变更数据；
本发明实施例通过自动化同步工具响应数据同步信息对操作***进行自动化部署GoldenGate进程，利用GoldenGate软件创建GoldenGate监控进程并利用GoldenGate监控进程对源数据库进行实时监控，从中获得源数据库变更信息，利用变更检测算法模型对源数据库变更信息进行变更审核处理，最终得到源数据库变更数据。
步骤S3：利用变更降噪算法对源数据库变更数据进行降噪处理，得到源数据库变更降噪数据；对自动化同步工具进行设备配置以形成GoldenGate同步进程，利用GoldenGate同步进程对源数据库变更降噪数据进行数据同步处理，以得到同步变更数据；
本发明实施例通过选择合适的变更降噪算法对获得的源数据库变更数据进行降噪处理，去除重复和无关噪声数据，以得到源数据库变更降噪数据，通过对自动化同步工具进行抽取、投递、应用端等设备的初始化配置以形成GoldenGate同步进程，利用GoldenGate同步进程对进行降噪处理后的源数据库变更降噪数据进行数据同步处理，将变更数据同步到目标数据库中，最终得到同步变更数据。
步骤S4：响应于自动化同步工具的台账管理指令，启动GoldenGate监控进程并利用GoldenGate监控进程对同步变更数据进行监控管理，得到监控进程状态信息；
本发明实施例利用操作***响应自动化同步工具的台账管理指令，启动GoldenGate监控进程，通过GoldenGate监控进程对得到的同步变更数据进行监控管理，通过台账管理工具对同步变更数据进行检测和分析，最终得到监控进程状态信息。
步骤S5：利用监控状态监测算法对监控进程状态信息进行历史回溯检测，得到历史状态数据；通过预设的监控告警模型对历史状态数据进行模型训练，以生成监控告警类型；
本发明实施例通过对监控进程状态信息进行数据采集，得到监控状态数据，利用监控状态监测算法对监控状态数据进行历史回溯检测以获得历史状态数据，然后根据提取的历史状态数据输入至预设的监控告警模型中进行训练，并通过调整模型参数和模型结构，直到最终达到预期的预测精度和效果，将训练好的监控告警模型对实时采集的监控状态数据进行实时监测，最终生成监控告警类型。
步骤S6：根据动态匹配规则对监控告警类型进行配置匹配，得到监控告警同步方案；通过监控告警同步方案实现对自动化同步工具的全范围监控及告警。
本发明实施例通过动态匹配对监控告警类型与GoldenGate进程进行匹配，配置监控告警类型相应的监控告警规则和阈值，制定不同的监控策略，及时检测到GoldenGate同步进程中可能发生的问题，得到相应的监控告警同步方案，然后通过监控告警同步方案，对自动化同步工具进行全范围监控及告警，当发生相应的监控告警类型时，可自动发送告警信息并采取相应措施。
本发明通过自动化同步工具并基于心跳检测算法可以快速检测源数据库与目标数据库之间的连接是否正常，其中在自动化同步工具内封装GoldenGate软件，能够提供比GoldenGate软件更多的功能，例如台帐管理、GoldenGate链路监控、自动化部署、自动初始化等。数据同步信息可以确保数据同步过程的完整性和准确性，同时提高数据库同步的安全性。通过对数据同步信息进行自动化部署，自动化部署可以减少手动操作的错误和成本，提高数据同步的效率和稳定性。在创建GoldenGate监控进程后，源数据库变更信息可以被GoldenGate监控进程捕获，为后续的同步到目标数据库提供了信息基础。利用变更检测算法模型可以有效地对变更进行审核，并排除非法变更，从而确保数据同步的正确性和一致性。利用变更降噪算法可以对变更数据进行过滤和降噪，去除不必要的数据，减少数据同步的耗时和成本，并提高数据库同步效率和稳定性。然后通过对自动化同步工具进行设备配置以形成GoldenGate同步进程，利用GoldenGate同步进程对获得的源数据库变更降噪数据进行数据同步处理，将源数据库变更降噪数据同步到目标数据库，最终得到同步变更数据，同步变更数据可以确保源数据库和目标数据库之间的数据一致性和完整性。响应于自动化同步工具的台账管理指令，可以更好地监测GoldenGate监控进程的状态，及时发现问题。对监控进程状态信息进行分析，可以优化GoldenGate监控进程的配置，提高数据同步效率和稳定性。通过监控状态监测算法对监控进程状态信息进行历史回溯检测可以更好地发现问题，优化GoldenGate监控进程的配置。通过预设的监控告警模型对历史状态数据进行模型训练可以生成监控告警类型，进一步提高数据同步的稳定性和效率。最后，通过根据动态匹配规则对监控告警类型进行配置匹配，得到监控告警同步方案。通过监控告警同步方案可以实现对自动化同步工具进行全范围监控及告警，及时发现问题并进行解决，从而提高数据同步的稳定性和效率。
作为本发明的一个实施例，参考图2所示，为图1中步骤S1的详细步骤流程示意图，在本实施例中步骤S1包括以下步骤：
步骤S11：利用自动化同步工具在源数据库的服务器和目标数据库的服务器上均安装GoldenGate软件，GoldenGate软件响应于操作***的检测指令，以生成连接检测命令；
本发明实施例通过自动化同步工具在源数据库服务器和目标数据库服务器上安装GoldenGate软件并进行基本配置，操作***发送检测指令生成连接检测命令，用于检测源数据库和目标数据库之间的连接状况，根据连接检测命令响应GoldenGate软件对源数据库和目标数据库进行连接检测。
步骤S12：根据连接检测命令利用心跳检测算法对源数据库与目标数据库进行数据库连接检测，得到连接检测结果；
本发明实施例根据连接检测命令生成心跳检测信号，利用心跳检测信号激活心跳检测算法进行源数据库和目标数据库之间的连接检测和同步状态检测，通过选择合适的心跳检测算法函数参数，其中包括心跳检测的时间间隔、调和平滑参数、积分常数变量、信号增益系数、积分项个数、各函数的修正值以及源数据库和目标数据库连接状态的权重系数，用于计算心跳检测算法，最终得到连接检测结果。
其中，心跳检测算法的公式如下所示：
；
；
式中，为心跳检测算法函数，/>为时间分量，/>为心跳检测的时间间隔，/>为源数据库中的第/>个连接的状态，/>为目标数据库中的第/>个连接的状态，/>为积分时间分量，/>为/>的权重系数，/>为/>的权重系数，/>为心跳检测算法函数的调和平滑参数，/>为积分常数变量，/>为心跳检测信号函数，/>为心跳检测信号函数的信号比例增益系数，为心跳检测信号函数的信号比例积分增益系数，/>为心跳检测信号函数的信号积分增益系数，/>为积分项的个数，/>为源数据库与目标数据库之间的信号同步延迟，/>为心跳检测算法函数的修正值，/>为心跳检测信号函数的修正值；
本发明构建了一个心跳检测算法的公式，为了能够更准确地判断源数据库和目标数据库之间的连接是否正常，从而确保源数据库与目标数据库能够正常同步，该算法公式充分考虑了心跳检测的时间间隔，源数据库中的第/>个连接的状态/>，时间分量/>，目标数据库中的第/>个连接的状态/>，积分时间分量/>，/>的权重系数/>，/>的权重系数/>，心跳检测算法函数的调和平滑参数/>，积分常数变量/>，心跳检测信号函数/>，通过以上参数之间的关系构成了一种函数关系/>，另外，通过心跳检测算法函数的修正值/>的引入，可以针对检测数据库连接问题时出现的特性情况进行调整，进一步提高心跳检测算法函数的适用性和稳定性，其中心跳检测信号函数/>的参数包括心跳检测信号函数的信号比例增益系数/>，心跳检测信号函数的信号比例积分增益系数/>，心跳检测信号函数的信号积分增益系数/>，积分项的个数/>，源数据库与目标数据库之间的信号同步延迟/>，从而构成了一种心跳检测信号函数关系，同时，该函数通过引入心跳检测信号函数的修正值/>可以根据实际情况进行调整，从而提高心跳检测信号函数的适用性和稳定性，进一步提高连接检测的效果。相比于现有技术，本发明提供了高度定制化和精确的连接状态检测，可以用于复杂的数据库同步场景，帮助管理员及时发现和解决连接问题，确保数据同步的可靠性和稳定性。
步骤S13：对连接检测结果进行分析处理，得到数据同步信息。
本发明实施例根据心跳检测算法函数的连接检测结果，对连接状态进行分析，判断源数据库和目标数据库之间的同步状态，根据同步状态，最终得到数据同步信息。
本发明通过自动化同步工具在源数据库和目标数据库的服务器中均安装GoldenGate软件，响应于操作***检测指令后，可以生成连接检测命令。通过这样的方式，可以确保GoldenGate软件正常安装并且能够响应相关指令。基于连接检测命令，使用心跳检测算法对源数据库和目标数据库之间的连接进行检测。心跳检测算法采用了一种平滑处理方式，可以更准确地判断源数据库和目标数据库之间的连接是否正常，从而确保正常同步。根据连接检测结果，对源数据库和目标数据库之间的连接状态进行分析和处理，从而得到数据同步的相关信息，在数据同步过程中，通过实时监控源数据库的变化并将其同步到目标数据库，从而确保数据的一致性和完整性。通过自动化同步工具对源数据库和目标数据库进行数据同步，并使用心跳检测算法保证了连接检测的准确性和稳定性，提高了数据同步的效率和可靠性。同时，通过分析连接检测结果并获得数据同步信息，可以更好地控制数据同步的过程，确保数据同步的准确性和可靠性，有效提高数据处理的效率。
作为本发明的一个实施例，参考图3所示，为图1中步骤S2的详细步骤流程示意图，在本实施例中步骤S2包括以下步骤：
步骤S21：通过自动化同步工具响应数据同步信息对操作***进行自动化部署，得到进程部署信息；
本发明实施例通过自动化同步工具响应数据同步信息确认操作***的安装和配置，安装并配置数据同步工具，通过数据同步工具进行自动化部署不同的GoldenGate软件版本，最终得到进程部署信息。
步骤S22：利用进程部署信息响应GoldenGate软件创建GoldenGate监控进程并利用GoldenGate监控进程对源数据库进行监控，得到源数据库变更信息；
本发明实施例通过利用进程部署信息创建响应GoldenGate软件相应的GoldenGate监控进程并设置监控参数，通过启动GoldenGate监控进程开始对源数据库进行实时监控，定期对GoldenGate监控进程运行状态进行监控和调整，最终得到源数据库变更信息。
步骤S23：利用变更检测算法模型对源数据库变更信息进行变更审核处理，得到源数据库变更数据。
本发明实施例通过构建变更检测算法模型，选择合适的神经网络结构、激活函数和损失函数并对变更检测算法模型进行训练和调优，将监控得到的源数据库变更信息输入至训练好的变更检测算法模型中进行变更审核处理，对审核结果进行统计和分析，根据分析结果对变更检测算法模型进行优化和调整，最终得到更准确的源数据库变更数据。
本发明通过自动化同步工具响应数据同步信息获取操作***的部署信息，以自动化方式进行操作***部署，从而得到进程部署信息，这样可以减少人工干预的程度，提高效率。根据得到的进程部署信息响应GoldenGate软件创建GoldenGate监控进程，利用GoldenGate监控进程对源数据库进行实时监控，能够更加准确的获取源数据库变更信息，为后续的变更检测算法模型提供了数据来源。最后，通过使用变更检测算法模型对源数据库变更信息进行审核处理，识别非法的数据变更信息，避免数据丢失、数据泄露等风险，从而提高数据库的安全性与准确性。
优选地，步骤S23包括以下步骤：
步骤S231：对源数据库变更信息进行数据预处理和数据转换，得到源数据库变更数据集；并将源数据库变更数据集划分为训练数据集、验证数据集和测试数据集；
步骤S232：构建基于神经网络的变更检测算法模型，其中变更检测算法模型包括模型训练、模型验证与模型评估；
其中，变更检测算法模型的公式如下所示：
；
式中，为变更检测算法模型，/>为变更检测算法模型的激活函数，/>为模型输入数据，/>、/>和/>分别为三层全连接神经网络结构预设的参数矩阵，/>、/>、/>分别为三层全连接神经网络结构的偏置值，/>为预设的高斯分布函数，/>为变更检测算法模型激活函数的修正值；
步骤S233：将训练数据集输入至变更检测算法模型中进行模型训练，并通过变更损失函数对模型参数进行调优，得到验证模型；将验证数据集输入至验证模型中进行模型验证，得到测试模型；
其中，变更损失函数的公式如下所示：
；
；
；
；
式中，为变更损失函数，/>为均方误差损失函数，/>为正则化项，/>为积分项，/>为变更检测算法模型的参数，/>为变更检测算法模型的超参数，/>为训练数据集的输入序列，/>为目标输出序列，/>为在参数/>上模型对输入序列/>的预测输出，/>为输入序列长度，/>为/>的正则化系数，/>为正则化项/>的正则化系数，/>为积分项/>的正则化系数，/>为模型参数/>的权重，为正则化项/>的调和平滑参数，/>为模型参数/>权重样本的个数，/>为积分项的函数形式，/>为模型超参数的权重系数，/>为变更损失函数的修正值；
步骤S234：将测试数据集输入至经过参数优化后的测试模型中进行模型评估，得到优化的变更检测算法模型；并将源数据库变更数据集重新输入至优化的变更检测算法模型中进行变更审核处理，得到源数据库变更数据。
作为本发明的一个实施例，参考图4所示，为图3中步骤S23的详细步骤流程示意图，在本实施例中步骤S23包括以下步骤：
步骤S231：对源数据库变更信息进行数据预处理和数据转换，得到源数据库变更数据集；并将源数据库变更数据集划分为训练数据集、验证数据集和测试数据集；
本发明实施例通过对源数据库变更信息进行去重、过滤和格式化后，对预处理后的变更信息进行转换为数据集，获得源数据库变更数据集，按照划分比例为7：2：1将源数据库变更数据集划分为训练数据集、验证数据集和测试数据集
步骤S232：构建基于神经网络的变更检测算法模型，其中变更检测算法模型包括模型训练、模型验证与模型评估；
本发明实施例通过构建基于神经网络的变更检测算法模型，包括输入层、三个隐藏层和输出层，并选择适合变更检测的激活函数，设置神经网络结构中每一层的神经元个数、参数矩阵和偏置值，利用训练数据集对模型进行训练，通过验证数据集对模型进行调优，同时通过测试数据集对模型进行评估，判断模型的性能和精度。
其中，变更检测算法模型的公式如下所示：
；
式中，为变更检测算法模型，/>为变更检测算法模型的激活函数，/>为模型输入数据，/>、/>和/>分别为三层全连接神经网络结构预设的参数矩阵，/>、/>、/>分别为三层全连接神经网络结构的偏置值，/>为预设的高斯分布函数，/>为变更检测算法模型激活函数的修正值；
本发明构建了一个变更检测算法模型的公式，用于构建变更检测算法模型，旨在检测给定的输入训练数据集中是否存在变更，该模型采用了三层全连接神经网络结构，每层都有自己的参数矩阵和偏置值，该公式充分考虑了变更检测算法模型的激活函数，模型输入数据/>，三层全连接神经网络结构预设的参数矩阵/>、/>和/>，三层全连接神经网络结构的偏置值/>、/>和/>，其中第一层隐藏层/>利用输入层/>的数据进行计算得到，由一个预设的参数矩阵/>和一个偏置值/>组成，其中包括一个预定的ReLU激活函数/>，可以将隐藏层神经元的输出映射到非线性空间，用来增强模型的表达能力，第二层隐藏层/>引入一个ReLU激活函数/>对第一层隐藏层的输出进行修正，增强了非线性变换的优化效果，其中ReLU激活函数由一个预设的参数矩阵/>和一个偏置值/>组成，第三层隐藏层/>通过引入sigmoid激活函数对第二层隐藏层的输出进行修正，该激活函数由一个预设的参数矩阵/>和一个偏置值/>组成，并结合高斯积分函数/>构成了sigmoid激活函数关系，将输出限制在0和1的范围内，通过高斯积分函数对隐藏层的输出进行积分处理，得到归纳式建模的能力，同时，通过变更检测算法模型激活函数的修正值/>的引入可以根据实际情况进行调整，从而提高变更检测算法模型的泛化能力和鲁棒性。相比于常规技术手段，基于神经网络的变更检测算法模型具有强大的建模能力和适应性，可以用于各种不同的变更检测任务，包括但不限于数据变更检测、异常检测和时间序列分析。
步骤S233：将训练数据集输入至变更检测算法模型中进行模型训练，并通过变更损失函数对模型参数进行调优，得到验证模型；将验证数据集输入至验证模型中进行模型验证，得到测试模型；
本发明实施例通过将划分后的训练数据集输入至变更检测算法模型中进行训练，通过选择合适的变更损失函数对模型的参数和超参数进行调优，得到验证模型，同时，将划分后的验证数据集输入至参数优化后的验证模型中进行模型验证，最终得到测试模型。
其中，变更损失函数的公式如下所示：
；
；
；
；
式中，为变更损失函数，/>为均方误差损失函数，/>为正则化项，/>为积分项，/>为变更检测算法模型的参数，/>为变更检测算法模型的超参数，/>为训练数据集的输入序列，/>为目标输出序列，/>为在参数/>上模型对输入序列/>的预测输出，/>为输入序列长度，/>为/>的正则化系数，/>为正则化项/>的正则化系数，/>为积分项/>的正则化系数，/>为模型参数/>的权重，为正则化项/>的调和平滑参数，/>为模型参数/>权重样本的个数，/>为积分项的函数形式，/>为模型超参数的权重系数，/>为变更损失函数的修正值；
本发明构建了一个变更损失函数的公式，用于对变更检测算法模型参数进行调优，在通过运用变更检测算法模型对训练数据集进行训练时，为了帮助模型尽可能地拟合数据，需要使用一个合适的变更损失函数来作为模型参数优化的指标，该公式充分考虑了均方误差损失函数，正则化项/>，正则化项/>的正则化系数/>，积分项/>，积分项/>的正则化系数/>，变更检测算法模型的参数/>，变更检测算法模型的超参数/>，其中第一部分是均方误差损失函数/>用于衡量模型预测输出与目标输出之间的差异，该函数参数包括训练数据集的输入序列/>，目标输出序列/>，在参数/>上模型对输入序列/>的预测输出/>，输入序列长度/>，均方误差损失函数的积分项函数/>，/>的正则化系数/>，模型参数/>权重样本的个数/>，积分项的函数形式/>，模型超参数的权重系数/>，通过以上参数构成了该均方误差损失函数，第二部分是正则化项，用于惩罚模型复杂度，防止过拟合，该项参数包括模型参数/>的权重/>，正则化项/>的调和平滑参数/>，构成了该正则化项/>，第三部分是积分项，用于考虑相邻训练数据集位置之间的关系，根据变更损失函数/>与以上各部分之间的相互关联关系构成了一种函数关系构成了一种函数关系，实现了对模型参数和超参数的调优，同时，通过变更损失函数的修正值/>的引入，可以针对在模型训练时出现的特殊情况进行调整，进一步提高变更损失函数的适用性和稳定性，从而提高变更检测算法模型的泛化能力和鲁棒性。常规技术手段往往基于常规的损失函数，只能实现简单的损失值判断问题，无法实现特定的检测任务，而本发明具有强大的建模能力和适应性，可以用于各种不同的变更检测任务，包括但不限于数据变更检测、异常检测和时间序列分析。
步骤S234：将测试数据集输入至经过参数优化后的测试模型中进行模型评估，得到优化的变更检测算法模型；并将源数据库变更数据集重新输入至优化的变更检测算法模型中进行变更审核处理，得到源数据库变更数据。
本发明实施例通过将划分后的测试数据集输入至测试模型中进行模型评估，对模型参数和超参数进行进一步检查和核实优化处理，获得更高效准确的变更检测算法模型，得到优化的变更检测算法模型，同时将原始的源数据库变更数据集重新输入至优化的变更检测算法模型中进行变更审核处理，得到审核结果，对审核结果进行统计分析，并对出现异常的变更数据进行进一步的检查，最终得到源数据库变更数据。
本发明通过对源数据库变更信息对目标数据库进行数据预处理和数据转换，将源数据库变更信息转化为源数据库变更数据集，为后续构建变更检测算法模型提供了基础数据，从而有效地提高变更检测算法模型的准确性和泛化能力。通过将源数据库变更数据集划分为训练数据集、验证数据集和测试数据集，可以避免模型过拟合，并且可以评估模型的性能表现。通过构建基于神经网络的变更检测算法模型，可以实现自动化的变更检测，有效地降低了人工干预的成本和风险。模型训练、模型验证和模型评估这三个环节可以帮助我们监控模型的学习过程和性能表现，从而不断调整和优化模型的参数和结构，进一步提高模型的准确性和泛化能力。通过使用训练数据集对变更检测算法模型进行训练，模型可以学习变更检测的特征和规律，并逐渐优化模型参数。通过设计合适的变更损失函数，来评估模型输出与真实变更情况之间的差异，通过最小化该变更损失函数对模型参数进行调优，提高了模型的鲁棒性和泛化性。然后通过不同的验证数据集对模型进行验证，全面地了解模型的性能和准确度，可以判断模型是否存在过拟合或欠拟合等问题，通过测试和评估模型，最终得出优化的变更检测算法模型，以实现对源数据库变更数据进行快速准确地审核和处理。
作为本发明的一个实施例，参考图5所示，为图1中步骤S3的详细步骤流程示意图，在本实施例中步骤S3包括以下步骤：
步骤S31：对数据库变更数据进行数据预处理，得到待降噪变更数据；
本发明实施例通过对获得的数据库变更数据进行去重、过滤、归一化等处理后，对预处理后的变更数据进行归类整理，最终得到待降噪变更数据。
步骤S32：利用变更降噪算法对待降噪变更数据进行降噪处理，得到待降噪变更数据噪声值；
本发明实施例根据变更降噪算法的公式设置相应的核函数的宽度调节参数、行为调节参数、积分项函数、积分步长、积分区间长度等参数信息，将待降噪变更数据代入公式中，按照积分计算的方法计算出待降噪变更数据噪声值。
其中，变更降噪算法的公式如下所示：
；
其中，为待降噪变更数据噪声值，/>为待降噪变更数据，/>为待降噪变更数据中的数据参数，/>为核函数的宽度调节参数，/>为核函数的行为调节参数，为核函数，/>为预设的积分项函数，/>为积分步长，/>为积分区间长度，/>为变更降噪算法的修正值；
本发明构建了一个变更降噪算法的公式，为了消除数据库变更数据中的噪声源对数据同步过程准确度的影响，需要对数据库变更数据进行降噪处理，以得到更加干净、准确的数据库变更数据，通过该算法计算得到待降噪变更数据噪声值，该算法公式充分考虑了待降噪变更数据中的数据参数，待降噪变更数据/>，另外，需要事先设定一个合适的核函数来评估该算法，经过不断测试得到核函数为/>，还需要考虑核函数的宽度调节参数/>，核函数的行为调节参数/>，通过以上参数和核函数形成了一种积分函数关系/>，并通过调节/>和/>的值来控制降噪效果和处理速度，通过选择合适的积分项函数/>来控制平滑程度，其中还需要设置积分步长/>，积分区间长度/>，根据待降噪变更数据噪声值/>与以上各参数之间的相互关联关系构成了一种函数关系，实现了对待降噪变更数据进行降噪处理，同时，该算法公式中变更降噪算法的修正值/>可以根据实际情况进行调整，从而提高变更降噪算法的准确性和适用性。常规技术手段往往采用线性降噪或者简单的非线性降噪，以实现基于阈值的降噪处理，而本发明通过多种参数的计算关系，以更好地处理噪声和变更数据之间的关系，从而实现特定范围内的降噪任务。
步骤S33：根据预设的噪声阈值对待降噪变更数据噪声值进行判断，若待降噪变更数据噪声值大于预设的噪声阈值时，剔除该待降噪变更数据噪声值对应的待降噪变更数据，得到源数据库变更降噪数据；若小于或等于预设的噪声阈值时，则将待降噪变更数据定义为源数据库变更降噪数据；
本发明实施例根据预设的噪声阈值，对待降噪变更数据噪声值进行比较，若大于或超过噪声阈值，则该变更数据被判定为噪声，将被判定为噪声的变更数据从待降噪变更数据中移除，最终得到源数据库变更降噪数据，若小于或等于预设的噪声阈值时，则将待降噪变更数据定义为源数据库变更降噪数据。
步骤S34：对自动化同步工具进行设备配置以形成GoldenGate同步进程，利用GoldenGate同步进程对源数据库变更降噪数据与目标数据库进行数据同步处理，以得到同步变更数据。
本发明实施例通过收集数据同步的具体需求，例如需要同步的表清单、同步数据时间点等信息，通过对自动化同步工具进行抽取、投递、应用端等设备的配置以形成GoldenGate同步进程，配置完成之后可以在源数据库和目标数据库上创建GoldenGate同步用户，并初始化源数据库变更降噪数据，将源数据库变更降噪数据同步到目标数据库中，最终得到同步变更数据。
本发明通过对源数据库变更数据进行预处理和降噪处理，可以有效降低在同步数据过程中的噪声和干扰，提高同步数据的质量和准确性。通过降噪处理，可以防止噪声数据对目标数据库的影响，提高数据安全保障性，减少数据泄漏和数据丢失风险。同时，通过降噪处理，可以减少同步数据的噪声和错误，从而提高配置GoldenGate同步进程过程的稳定性和可靠性。通过剔除高噪声的源数据库变更数据加强了同步变更数据的处理，可以避免高噪声的源数据库变更数据对目标数据库的影响，保证同步变更数据的完整性和一致性。通过剔除高噪声的源数据库变更数据，可以避免同步过程中的错误和滞后，减少了高噪声的源数据库变更数据，减少了同步变更数据的大小和质量，从而可以提高GoldenGate数据同步的效率和速度。通过数据降噪处理和剔除高噪声变更数据的做法，提高了数据的可控度和可管理性，方便数据的后期维护和管理，从而可以帮助***实现高效稳定的数据同步过程，提高同步数据的准确性和精确度，最终实现数据同步过程的高效可控。
优选地，步骤S4包括以下步骤：
响应于自动化同步工具的台账管理指令，启动GoldenGate监控进程并利用GoldenGate监控进程对同步变更数据进行监控管理，得到监控进程记录信息；
本发明实施例通过操作***响应自动化同步工具的台账管理指令，利用台账管理指令打开台账管理工具创建一个新的项目，在该项目中配置GoldenGate监控进程相关的参数，如源数据库和目标数据库的连接信息、数据同步变更信息等，并配置GoldenGate监控进程的参数文件和进程启动脚本，利用进程启动脚本启动GoldenGate监控进程并在台账管理工具中监控同步变更数据其变更运行状态，在监控过程中记录所有的关键事件和异常情况信息，最终得到监控进程记录信息。
优选地，在完成自动化部署和数据同步处理之后根据监控进程记录信息将同步变更数据记录到台账管理中进行检测，以得到监控进程状态信息。
本发明实施例通过在对源数据库和目标数据库进行自动化部署以及完成GoldenGate的部署和抽取、投递、应用端的同步配置之后，根据监控进程记录信息的异常情况将同步变更数据记录到台账管理中，包括变更时间、源数据库和目标数据库信息、操作类型和变更数据等，通过台账管理对同步变更数据进行检测和分析，得到监控进程状态信息，其中监控进程状态信息包括同步数据丢失、同步延迟和同步异常。
本发明通过利用台账管理方式启动GoldenGate监控进程对同步变更数据进行监控和记录，来实现对自动化同步工具状态和变更数据的实时监控和管理，能够及时发现自动化同步工具存在的问题和异常，提高自动化同步工具的可靠性和稳定性。利用台账管理方式，可以实现对同步变更数据的自动化管理，避免人为操作或忽略，提高监控效率和精度。通过整理监控进程记录信息到台账管理中进行检测分析，可以方便地获取监控进程的状态信息，对***状态进行精细化管理，快速有效地发现和解决问题。通过对同步进程进行监控，可以有效避免数据同步出现错误和故障，提高***稳定性和数据可靠性。同时，通过监控进程记录信息，可以优化***性能，提高同步效率，增强GoldenGate监控进程的自我优化和调整能力，优化***结构和配置。
作为本发明的一个实施例，参考图6所示，为图1中步骤S5的详细步骤流程示意图，在本实施例中步骤S5包括以下步骤：
步骤S51：通过对监控进程状态信息进行数据采集，得到监控状态数据；
本发明实施例通过对获得的监控进程状态信息采集与异常故障相关的状态信息，最终得到监控状态数据。
步骤S52：利用监控状态监测算法对监控状态数据进行历史回溯检测，得到历史状态数据；
本发明实施例通过将采集后的监控状态数据进行数据清洗、采样、滤波等操作后，提取相关特征利用监控状态监测算法进行历史回溯分析，还原自动化同步工具曾经出现的异常状态数据，最终得到历史状态数据。
其中，监控状态监测算法的公式如下所示：
；
其中，为历史状态数据，/>为输入监控状态数据的数量，/>为积分项的数量，/>为第/>个输入监控状态数据的权重系数，/>为第/>个输入监控状态数据的值，/>为第/>个积分项的常量系数，/>为第/>个积分项的标准差，/>为第/>个积分项的均值，/>为第/>个积分项对应的监控状态数据，/>为监测时间间隔，/>为监测时间，/>为历史状态数据的修正值；
本发明构建了一个监控状态监测算法的公式，为了对监控状态数据进行历史回溯检测以获取历史状态数据，通过利用监控状态监测算法可以重溯自动化同步工具曾经出现的异常状态，还原自动化同步工具的历史状态数据，为后续的监控告警预测未来的故障发生提供了历史数据来源，通过监控状态监测算法实现对自动化同步工具性能状态的实时监测和自动化诊断，并能够准确快速地发现并解决***存在的问题与异常，从而保障***的稳定性和可靠性，该算法公式充分考虑了输入监控状态数据的数量，积分项的数量/>，第/>个输入监控状态数据的权重系数/>，第/>个输入监控状态数据的值/>，第/>个积分项的常量系数/>，第/>个积分项的标准差/>，第/>个积分项的均值/>，第/>个积分项对应的监控状态数据/>，监测时间间隔/>，监测时间/>，根据历史状态数据/>与以上各参数之间的相互关系构成了一种函数关系/>，实现了对监控状态数据进行历史回溯检测，同时，该算法公式中历史状态数据的修正值/>可以根据实际情况进行调整，从而提高监控状态监测算法的准确性和适用性。常规技术手段往往使用预定义的规则或阈值来进行监测状态的检测和历史回溯，这些规则可能基于经验或领域知识，但通常较为简单，难以适应复杂的数据关系和模式，仅仅解决某个指标上的监控状态监测问题，而本发明可以允许输入多个监控状态数据，并使用不同的权重系数来加权考虑它们，从而更全面地处理多维度数据，并在处理过程中采用非线性核函数来监控状态数据之间的关系，以更准确地反映实际数据的特性，提高了建模的精度。
步骤S53：通过预设的监控告警模型对历史状态数据进行模型训练，以生成监控告警类型。
本发明实施例通过预设的基于支持向量机的监控告警模型对历史状态数据进行模型训练和参数优化，并通过验证模型的预测准确性和鲁棒性，自动学习历史状态数据相应的监控告警类型，确定最终的监控告警类型。
本发明通过对监控进程状态信息进行数据采集，可以实时获取自动化同步工具的状态信息，包括CPU负载、网络带宽、内存占用等信息，为后续的状态监测和告警分析提供数据支持。其中通过数据采集，可以快速定位自动化数据同步过程异常，找到问题的原因和解决方法，提高自动化同步工具的稳定性和可用性。利用监控状态监测算法对监控状态数据进行历史回溯检测，可以快速识别自动化同步工具中出现的异常状态，及时告警并提供针对性的解决方案，防止***故障导致严重后果。通过历史回溯检测，可以深入分析自动化同步工具各个方面的状态信息，找出***存在的弱点和隐患，为及时发现问题以及优化***性能提供重要数据。通过预设的监控告警模型对历史状态数据进行模型训练，可以得到监控告警模型及其相关参数，实现对自动化同步工具状态的自动化诊断。通过监控告警模型的训练，可以提高监测准确率和故障判别能力，减少误判率和漏判率，保证监测的精确度和可靠性。通过监控告警模型的训练，可以识别出各种类型的异常状态和故障现象，为解决问题和优化***提供重要参考依据，提高自动化同步工具的可靠性和稳定性。
优选地，步骤S53包括以下步骤：
步骤S531：利用预设的监控告警模型对历史状态数据进行模型训练，并对模型参数进行优化处理，得到优化的监控告警模型；
步骤S532：利用优化的监控告警模型对监控状态数据进行告警检测，得到监控异常信号；
步骤S533：根据监控异常信号确定监控告警信息，得到监控告警类型。
作为本发明的一个实施例，参考图7所示，为图6中步骤S53的详细步骤流程示意图，在本实施例中步骤S53包括以下步骤：
步骤S531：利用预设的监控告警模型对历史状态数据进行模型训练，并对模型参数进行优化处理，得到优化的监控告警模型；
本发明实施例通过对收集到的历史状态数据进行数据预处理、特征提取等操作后，将处理后的历史状态数据导入预设的基于支持向量机的监控告警模型中进行训练，模型根据数据自动学习到监测指标之间的相互关系，然后，使用优化算法对模型参数进行调整，最终得到最佳性能的优化的监控告警模型。
步骤S532：利用优化的监控告警模型对监控状态数据进行告警检测，得到监控异常信号；
本发明实施例通过将实时的监控状态数据输入到优化的监控告警模型中进行告警检测，判断是否出现异常信号，最终得到监控异常信号。
步骤S533：根据监控异常信号确定监控告警信息，得到监控告警类型。
本发明实施例通过对出现的监控异常信号的监控指标进行分析和诊断，根据分析结果确定监控告警信息，将监控异常信号和监控告警信息进行匹配，得到相应的监控告警类型。
本发明通过利用预设的监控告警模型对历史状态数据进行模型训练，可以通过大量的历史状态数据来归纳总结出自动化同步工具可能出现的异常状态，减少误报和漏报的情况发生。对模型参数进行优化处理，可以使得监控告警模型更加精确和稳定，进一步提高告警模型的准确性和可靠性，减少误报率和漏报率。最终得到优化的监控告警模型，可以对自动化同步工具产生的状态数据进行分类和判别，更好地识别GoldenGate软件***异常情况并及时告警。利用得到的优化的监控告警模型对监控状态数据进行告警检测，可以实时检测自动化同步工具的数据同步，一旦发现异常情况就可及时通过告警功能通知运维人员，快速处理异常状况，保证***的稳定性和可用性。通过监控状态数据的告警检测，可以识别自动化同步工具中的异常状态，及时发现问题和需要调整的点，帮助运维人员更好地优化***，并改进***设计和部署，从而进一步提高自动化同步工具的可靠性和性能。根据监控异常信号确定监控告警信息，可以提供详细的、准确的异常信息描述，在自动化同步工具遇到告警情况时，通过告警信息快速识别和解决问题，并进行进一步的跟踪和分析，提高***维护的效率。最后可以根据不同类型的告警信息进行分类管理以得到监控告警类型，并针对不同类型的告警信息采取不同的处理策略，优化监控告警流程，进一步提高***维护的效率和质量。
优选地，步骤S6包括以下步骤：
步骤S61：根据监控告警类型制定相应的监控告警规则和阈值，通过自动化同步工具配置监控告警规则和阈值，并检测监控告警类型以得到报警信息；
步骤S62：通过动态匹配规则将自动化同步工具产生的报警信息同步到GoldenGate同步进程中，生成监控告警同步方案；
步骤S63：根据监控告警同步方案配置相关监控项，以实现对自动化同步工具的全范围监控及告警。
作为本发明的一个实施例，参考图8所示，为图1中步骤S6的详细步骤流程示意图，在本实施例中步骤S6包括以下步骤：
步骤S61：根据监控告警类型制定相应的监控告警规则和阈值，通过自动化同步工具配置监控告警规则和阈值，并检测监控告警类型以得到报警信息；
本发明实施例通过获得的监控告警类型制定相对应的监控告警规则和阈值，其中监控告警类型包括在数据同步过程中的监控数据丢失、数据延迟增加、进程中断等告警类型，通过登录自动化同步工具打开监控告警配置界面，创建相应的监控告警规则和设置监控告警阈值，例如，若监控数据丢失，设置数据丢失率大于10%时触发告警。通过自动化同步工具定时检测监控告警类型，如果超过了监控告警阈值，***会自动产生报警信息。
步骤S62：通过动态匹配规则将自动化同步工具产生的报警信息同步到GoldenGate同步进程中，生成监控告警同步方案；
本发明实施例根据动态匹配规则把报警信息与获得的监控告警类型进行一一匹配，将自动化同步工具生成的报警信息转换为相应的监控告警类型，将转换后的监控告警类型匹配到监控告警规则中的相应配置项生成监控告警同步方案，并同步到GoldenGate同步进程中。
步骤S63：根据监控告警同步方案配置相关监控项，以实现对自动化同步工具的全范围监控及告警。
本发明实施例根据生成的监控告警同步方案，配置相关监控项，包括监控对象、监控指标、监控方式等，实现对自动化同步工具的全范围监控，并及时发出告警信号，在出现告警信号时，根据监控告警同步方案提供的告警信息进行故障诊断和修复。
本发明根据监控告警类型制定相应的监控告警规则和阈值，可以使得对不同类型的告警产生相应的监控策略，减少对无关报警的干扰，能够更精确地对自动化同步工具的异常情况进行监控。通过自动化同步工具进行配置监控告警规则和阈值，方便了自动化同步工具的运维维护工作，可以通过GUI或命令行设置来完成告警规则和阈值设置，提高了配置的通用性和可扩展性。检测监控告警类型以得到报警信息，可以及时获得自动化同步工具的异常信息或告警信息，及时发现和解决异常问题，提高数据同步的稳定性。通过动态匹配规则将自动化同步工具产生的报警信息同步到GoldenGate同步进程中，可以自动将自动化同步工具产生的告警信息与之前设置的告警规则和阈值进行匹配，生成监控告警同步方案，从而减少人工干预，提高自动化的水平。通过动态匹配规则处理并过滤自动化同步工具产生的异常信息，避免对监控告警的重复触发和误报，从而减少误报和漏报的情况发生。根据生成的监控告警同步方案配置相关监控项，能够实现对自动化同步工具进行全范围的监控，及时掌握自动化同步工具的运行状况并采取相应措施进行处理，保证***的稳定性和安全性。实现对自动化同步工具进行全范围监控及告警，能够及时发现和排除GoldenGate同步进程中的错误、故障和异常情况，减少因进程异常而引起的数据同步中断和数据丢失，保证数据同步的可靠性和一致性。
优选地，本发明还提供了一种自动化数据同步***，包括：
至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行如上任一项所述的自动化数据同步方法。
综上所述，本发明提供了一种自动化数据同步***，该***能够实现本发明所述任意一种自动化数据同步方法，用于联合存储器、处理器及存储器上运行的计算机程序之间的操作实现一种自动化数据同步方法，***内部结构互相协作，该***通过自动化的数据同步过程，可以大大提高数据同步效率，减少了人工疏忽和错误，提高了数据同步的准确性，减少了数据同步过程中的人为误差和数据丢失的可能性。自动化数据同步***，可以完善数据同步流程，实现自动化的任务调度和监控告警，加强数据同步流程的控制和管理，保证数据同步的稳定性和可靠性。GoldenGate支持多种数据库平台和操作***，可以实现在异构***之间的数据同步，为企业提供更大的数据同步灵活性和可扩展性。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在申请文件的等同要件的含义和范围内的所有变化涵括在本发明内。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种自动化数据同步方法，其特征在于，包括以下步骤：
步骤S1：利用自动化同步工具并基于心跳检测算法对源数据库与目标数据库进行GoldenGate连接检测，得到数据同步信息；其中自动化同步工具内封装了GoldenGate软件；
步骤S2：通过自动化同步工具对数据同步信息进行自动化部署，利用GoldenGate软件创建GoldenGate监控进程并利用GoldenGate监控进程对源数据库进行监控，得到源数据库变更信息；利用变更检测算法模型对源数据库变更信息进行变更审核处理，得到源数据库变更数据；
步骤S3：利用变更降噪算法对源数据库变更数据进行降噪处理，得到源数据库变更降噪数据；对自动化同步工具进行设备配置以形成GoldenGate同步进程，利用GoldenGate同步进程对源数据库变更降噪数据进行数据同步处理，以得到同步变更数据；
步骤S4：响应于自动化同步工具的台账管理指令，启动GoldenGate监控进程并利用GoldenGate监控进程对同步变更数据进行监控管理，得到监控进程状态信息；
步骤S5：利用监控状态监测算法对监控进程状态信息进行历史回溯检测，得到历史状态数据；通过预设的监控告警模型对历史状态数据进行模型训练，以生成监控告警类型；
步骤S6：根据动态匹配规则对监控告警类型进行配置匹配，得到监控告警同步方案；通过监控告警同步方案实现对自动化同步工具的全范围监控及告警。
2.根据权利要求1所述的自动化数据同步方法，其特征在于，步骤S1包括以下步骤：
步骤S11：利用自动化同步工具在源数据库的服务器和目标数据库的服务器上均安装GoldenGate软件，GoldenGate软件响应于操作***的检测指令，以生成连接检测命令；
步骤S12：根据连接检测命令利用心跳检测算法对源数据库与目标数据库进行数据库连接检测，得到连接检测结果；
其中，心跳检测算法的公式如下所示：
；
；
式中，为心跳检测算法函数，/>为时间分量，/>为心跳检测的时间间隔，/>为源数据库中的第/>个连接的状态，/>为目标数据库中的第/>个连接的状态，/>为积分时间分量，/>为/>的权重系数，/>为/>的权重系数，/>为心跳检测算法函数的调和平滑参数，/>为积分常数变量，/>为心跳检测信号函数，/>为心跳检测信号函数的信号比例增益系数，/>为心跳检测信号函数的信号比例积分增益系数，/>为心跳检测信号函数的信号积分增益系数，/>为积分项的个数，/>为源数据库与目标数据库之间的信号同步延迟，/>为心跳检测算法函数的修正值，/>为心跳检测信号函数的修正值；
步骤S13：对连接检测结果进行分析处理，得到数据同步信息。
3.根据权利要求1所述的自动化数据同步方法，其特征在于，步骤S2包括以下步骤：
步骤S21：通过自动化同步工具响应数据同步信息对操作***进行自动化部署，得到进程部署信息；
步骤S22：利用进程部署信息响应GoldenGate软件创建GoldenGate监控进程并利用GoldenGate监控进程对源数据库进行监控，得到源数据库变更信息；
步骤S23：利用变更检测算法模型对源数据库变更信息进行变更审核处理，得到源数据库变更数据。
4.根据权利要求3所述的自动化数据同步方法，其特征在于，步骤S23包括以下步骤：
步骤S231：对源数据库变更信息进行数据预处理和数据转换，得到源数据库变更数据集；并将源数据库变更数据集划分为训练数据集、验证数据集和测试数据集；
步骤S232：构建基于神经网络的变更检测算法模型，其中变更检测算法模型包括模型训练、模型验证与模型评估；
其中，变更检测算法模型的公式如下所示：
；
式中，为变更检测算法模型，/>为变更检测算法模型的激活函数，/>为模型输入数据，、/>和/>分别为三层全连接神经网络结构预设的参数矩阵，/>、/>、/>分别为三层全连接神经网络结构的偏置值，/>为高斯分布范围参数，/>为高斯分布函数参数，/>为预设的高斯分布函数，/>为变更检测算法模型激活函数的修正值；
步骤S233：将训练数据集输入至变更检测算法模型中进行模型训练，并通过变更损失函数对模型参数进行调优，得到验证模型；将验证数据集输入至验证模型中进行模型验证，得到测试模型；
其中，变更损失函数的公式如下所示：
；
；
；
；
式中，为变更损失函数，/>为均方误差损失函数，/>为正则化项，为积分项，/>为变更检测算法模型的参数，/>为变更检测算法模型的超参数，/>为训练数据集的输入序列，/>为目标输出序列，/>为在参数/>上模型对输入序列/>的预测输出，/>为输入序列长度，/>为/>的正则化系数，/>为正则化项/>的正则化系数，/>为积分项/>的正则化系数，/>为模型参数/>的权重，/>为正则化项/>的调和平滑参数，/>为模型参数/>权重样本的个数，/>为积分项的函数形式，/>为模型超参数的权重系数，/>为变更损失函数的修正值；
步骤S234：将测试数据集输入至经过参数优化后的测试模型中进行模型评估，得到优化的变更检测算法模型；并将源数据库变更数据集重新输入至优化的变更检测算法模型中进行变更审核处理，得到源数据库变更数据。
5.根据权利要求1所述的自动化数据同步方法，其特征在于，步骤S3包括以下步骤：
步骤S31：对数据库变更数据进行数据预处理，得到待降噪变更数据；
步骤S32：利用变更降噪算法对待降噪变更数据进行降噪处理，得到待降噪变更数据噪声值；
其中，变更降噪算法的公式如下所示：
；
其中，为待降噪变更数据噪声值，/>为待降噪变更数据，/>为待降噪变更数据中的数据参数，/>为核函数的宽度调节参数，/>为核函数的行为调节参数，/>为变更降噪算法参数，/>为核函数，/>为预设的积分项函数，/>为积分步长，/>为积分区间长度，/>为变更降噪算法的修正值；
步骤S33：根据预设的噪声阈值对待降噪变更数据噪声值进行判断，若待降噪变更数据噪声值大于预设的噪声阈值时，剔除该待降噪变更数据噪声值对应的待降噪变更数据，得到数据库变更降噪数据；若小于或等于预设的噪声阈值时，则将待降噪变更数据定义为数据库变更降噪数据；
步骤S34：对自动化同步工具进行设备配置以形成GoldenGate同步进程，利用GoldenGate同步进程对数据库变更降噪数据与目标数据库进行数据同步处理，以得到同步变更数据。
6.根据权利要求1所述的自动化数据同步方法，其特征在于，步骤S4包括以下步骤：
响应于自动化同步工具的台账管理指令，启动GoldenGate监控进程并利用GoldenGate监控进程对同步变更数据进行监控管理，得到监控进程记录信息；
在完成自动化部署和数据同步处理之后根据监控进程记录信息将同步变更数据记录到台账管理中进行检测，以得到监控进程状态信息。
7.根据权利要求1所述的自动化数据同步方法，其特征在于，步骤S5包括以下步骤：
步骤S51：通过对监控进程状态信息进行数据采集，得到监控状态数据；
步骤S52：利用监控状态监测算法对监控状态数据进行历史回溯检测，得到历史状态数据；
其中，监控状态监测算法的公式如下所示：
；
其中，为历史状态数据，/>为输入监控状态数据的数量，/>为积分项的数量，/>为第/>个输入监控状态数据的权重系数，/>为第/>个输入监控状态数据的值，/>为第/>个积分项的常量系数，/>为第/>个积分项的标准差，/>为第/>个积分项的均值，/>为第/>个积分项对应的监控状态数据，/>为监测时间间隔，/>为监测时间，/>为历史状态数据的修正值；
步骤S53：通过预设的监控告警模型对历史状态数据进行模型训练，以生成监控告警类型。
8.根据权利要求7所述的自动化数据同步方法，其特征在于，步骤S53包括以下步骤：
步骤S531：利用预设的监控告警模型对历史状态数据进行模型训练，并对模型参数进行优化处理，得到优化的监控告警模型；
步骤S532：利用优化的监控告警模型对监控状态数据进行告警检测，得到监控异常信号；
步骤S533：根据监控异常信号确定监控告警信息，得到监控告警类型。
9.根据权利要求1所述的自动化数据同步方法，其特征在于，步骤S6包括以下步骤：
步骤S61：根据监控告警类型制定相应的监控告警规则和阈值，通过自动化同步工具配置监控告警规则和阈值，并检测监控告警类型以得到报警信息；
步骤S62：通过动态匹配规则将自动化同步工具产生的报警信息同步到GoldenGate同步进程中，生成监控告警同步方案；
步骤S63：根据监控告警同步方案配置相关监控项，以实现对自动化同步工具的全范围监控及告警。
10.一种自动化数据同步***，其特征在于，包括：
至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行如权利要求1至9中任一项所述的自动化数据同步方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311226130.2A CN116991947B (zh) | 2023-09-22 | 2023-09-22 | 一种自动化数据同步方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311226130.2A CN116991947B (zh) | 2023-09-22 | 2023-09-22 | 一种自动化数据同步方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116991947A CN116991947A (zh) | 2023-11-03 |
| CN116991947B true CN116991947B (zh) | 2024-01-05 |
Family
ID=88523410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311226130.2A Active CN116991947B (zh) | 2023-09-22 | 2023-09-22 | 一种自动化数据同步方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116991947B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117591607B (zh) * | 2024-01-19 | 2024-05-07 | 杭州青橄榄网络技术有限公司 | 数据同步管理方法与*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034521A (zh) * | 2018-06-07 | 2018-12-18 | 国电南瑞科技股份有限公司 | 一种电网调度控制***的智能运维架构设计方法 |
| CN109376026A (zh) * | 2018-09-14 | 2019-02-22 | 上海新炬网络信息技术股份有限公司 | 一种基于脚本的数据同步校验实现方法 |
| CN110784352A (zh) * | 2019-10-30 | 2020-02-11 | 国网山东省电力公司信息通信公司 | 一种基于Oracle Goldengate的数据同步监控告警方法及装置 |
| CN110955673A (zh) * | 2020-02-04 | 2020-04-03 | 医渡云（北京）技术有限公司 | 数据去标识化方法、装置、设备及存储介质 |
| US11269731B1 (en) * | 2017-11-22 | 2022-03-08 | Amazon Technologies, Inc. | Continuous data protection |
| CN115330364A (zh) * | 2022-10-17 | 2022-11-11 | 湖南三湘银行股份有限公司 | 一种基于rpa的软件配置管理辅助*** |
| CN116594913A (zh) * | 2023-07-15 | 2023-08-15 | 青岛大学 | 一种智能软件自动化测试方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2652111C (en) * | 2006-05-12 | 2018-09-11 | Goldengate Software, Inc. | Apparatus and method for forming a homogenous transaction data store from heterogeneous sources |
| US20080288522A1 (en) * | 2007-01-26 | 2008-11-20 | Herbert Dennis Hunt | Creating and storing a data field alteration datum using an analytic platform |
| US20190171650A1 (en) * | 2017-12-01 | 2019-06-06 | Chavdar Botev | System and method to improve data synchronization and integration of heterogeneous databases distributed across enterprise and cloud using bi-directional transactional bus of asynchronous change data system |
| US10417257B2 (en) * | 2015-10-21 | 2019-09-17 | Oracle International Corporation | Non-blocking database table alteration |
-
2023
- 2023-09-22 CN CN202311226130.2A patent/CN116991947B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11269731B1 (en) * | 2017-11-22 | 2022-03-08 | Amazon Technologies, Inc. | Continuous data protection |
| CN109034521A (zh) * | 2018-06-07 | 2018-12-18 | 国电南瑞科技股份有限公司 | 一种电网调度控制***的智能运维架构设计方法 |
| CN109376026A (zh) * | 2018-09-14 | 2019-02-22 | 上海新炬网络信息技术股份有限公司 | 一种基于脚本的数据同步校验实现方法 |
| CN110784352A (zh) * | 2019-10-30 | 2020-02-11 | 国网山东省电力公司信息通信公司 | 一种基于Oracle Goldengate的数据同步监控告警方法及装置 |
| CN110955673A (zh) * | 2020-02-04 | 2020-04-03 | 医渡云（北京）技术有限公司 | 数据去标识化方法、装置、设备及存储介质 |
| CN115330364A (zh) * | 2022-10-17 | 2022-11-11 | 湖南三湘银行股份有限公司 | 一种基于rpa的软件配置管理辅助*** |
| CN116594913A (zh) * | 2023-07-15 | 2023-08-15 | 青岛大学 | 一种智能软件自动化测试方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116991947A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021077983A1 (zh) | 一种电梯故障判断逻辑验证方法、***及存储介质 | |
| DE102017128693A1 (de) | Merkmal- und Grenzeinstellung zur Bedrohungserkennung in einem industriellen Anlagensteuersystem | |
| CN111459700B (zh) | 设备故障的诊断方法、诊断装置、诊断设备及存储介质 | |
| EP3105644B1 (en) | Method of identifying anomalies | |
| CN116991947B (zh) | 一种自动化数据同步方法及*** | |
| US20060195201A1 (en) | Data analysis system and method | |
| WO2005020001A2 (en) | Systems and methods for automated computer support | |
| CN109413642B (zh) | 终端安全检测与监测体系化方法 | |
| CN111309565A (zh) | 告警处理方法、装置、电子设备以及计算机可读存储介质 | |
| CN111510339B (zh) | 一种工业互联网数据监测方法和装置 | |
| CN112905371B (zh) | 基于异构多源数据异常检测的软件变更检查方法和装置 | |
| KR20180046598A (ko) | 이상 감지 관리 방법 및 그 장치 | |
| CN112286771A (zh) | 一种针对全域资源监控的告警方法 | |
| TWI591489B (zh) | Intelligent monitoring and warning device and method for distributed software defined storage system | |
| CN117408162A (zh) | 基于数字孪生的电网故障控制方法 | |
| CN117435908A (zh) | 一种用于旋转机械的多种故障特征提取方法 | |
| JP7062505B2 (ja) | 設備管理支援システム | |
| CN114039837A (zh) | 告警数据处理方法、装置、***、设备和存储介质 | |
| JP4850733B2 (ja) | ヘルスチェック装置及びヘルスチェック方法及びプログラム | |
| ZA200601937B (en) | System and methods for automated computer support | |
| TWI815310B (zh) | 主動式資料庫風險偵測系統與運作方法 | |
| CN116484263B (zh) | 一种智能化自助机故障检测***及方法 | |
| CN114637793B (zh) | 一种基于大数据分析的装备故障频发区域定位方法 | |
| KR101347748B1 (ko) | 씨피에스에서의 자율 컴퓨팅 방법 및 장치 | |
| TWM630660U (zh) | 主動式資料庫風險偵測系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |