CN117290163B - 基于关系型数据库的数据容灾备份***、方法及介质 - Google Patents
基于关系型数据库的数据容灾备份***、方法及介质 Download PDFInfo
- Publication number
- CN117290163B CN117290163B CN202311557278.4A CN202311557278A CN117290163B CN 117290163 B CN117290163 B CN 117290163B CN 202311557278 A CN202311557278 A CN 202311557278A CN 117290163 B CN117290163 B CN 117290163B
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- information
- target
- relational database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000004806 packaging method and process Methods 0.000 claims abstract description 13
- 230000000903 blocking effect Effects 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 48
- 238000012937 correction Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005065 mining Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据容灾处理技术领域，揭露一种基于关系型数据库的数据容灾备份***、方法及介质，基于关系型数据库的数据容灾备份***包括：优先级计算模块，用于对待备份数据进行数据分块处理，得到备份数据块，确定备份数据块对应的备份优先级；编码包打包模块，用于对备份数据块进行编码处理，得到编码数据块，对编码数据块进行打包处理，得到编码数据包；节点设置模块，用于对关系型数据库进行集群处理，得到集群数据库，在集群数据库中构建备份保护节点；备份处理模块，用于对编码数据包进行剔除处理，得到目标编码包，在备份保护节点中执行目标编码包的备份处理，得到备份结果。本发明在于提高关系型数据库的数据容灾备份的合理性。
Description
技术领域
本发明涉及数据容灾处理技术领域，尤其涉及一种基于关系型数据库的数据容灾备份***、方法及介质。
背景技术
数据容灾备份是指为了保护数据免受意外损失或灾难性事件的影响而进行的一种预防措施，在数据容灾备份中，数据会被复制或备份存储位置，以确保即使发生数据丢失、硬件故障、自然灾害或其他意外情况，仍能够快速恢复数据并保持业务的正常运行，通过数据容灾备份***可以最大程度地减少因数据丢失或灾难性事件而导致的业务中断，并提供快速、可靠的数据恢复和持续运营的能力。
但是现有的基于关系型数据库的数据容灾备份***主要为数据库镜像***，具体过程为：构建关系型数据库对应的镜像数据库，关系型数据库产生的数据会实时地同步到镜像数据库中，在关系型数据库发生故障时，镜像数据库可以立即接管服务，但是该方法是对数据进行依次复制，没有对相关的数据进行多样化备份处理，如果镜像数据库中的某个数据库发生损坏，会导致该数据库内的数据无法恢复，从而导致关系型数据库的相关服务无法执行，使得该方法备份处理的合理性下降。
发明内容
本发明提供一种基于关系型数据库的数据容灾备份***、方法及介质，其主要目的在于提高关系型数据库的数据容灾备份的合理性。
为实现上述目的，本发明提供的基于关系型数据库的数据容灾备份***，其特征在于，所述基于关系型数据库的数据容灾备份***包括：
优先级计算模块，用于获取关系型数据库中的待备份数据，对所述待备份数据进行数据分块处理，得到备份数据块，计算所述备份数据块中每个数据块对应的重要度，根据所述重要度，确定所述备份数据块对应的备份优先级；
编码包打包模块，用于计算所述备份数据块对应的前向纠错编码，根据所述前向纠错编码，对所述备份数据块进行编码处理，得到编码数据块，计算所述编码数据块对应的关联系数，根据所述关联系数，对所述编码数据块进行打包处理，得到编码数据包；
节点设置模块，用于对所述关系型数据库进行集群处理，得到集群数据库，调度所述关系型数据库对应的灾难日志数据，根据所述灾难日志数据，在所述集群数据库中构建备份保护节点；
备份处理模块，用于计算所述编码数据包对应的有用系数，根据所述有用系数，对所述编码数据包进行剔除处理，得到目标编码包，根据所述备份优先级，在所述备份保护节点中执行所述目标编码包的备份处理，得到备份结果。
可选地，所述计算所述备份数据块中每个数据块对应的重要度，包括：
提取所述备份数据块中每个数据对应的数据目标特征；
根据所述数据目标特征，构建所述备份数据块中每个数据对应的目标特征矩阵；
计算所述目标特征矩阵对应的方差系数，对所述方差系数进行归一化处理，得到归一化方差值；
根据所述归一化方差值，确定所述备份数据块中每个数据的数据重要度，计算所述备份数据块中每个数据对应的数据权重；
结合所述数据权重和所述数据重要度，计算所述备份数据块中每个数据块对应的重要度。
可选地，所述计算所述目标特征矩阵对应的方差系数，包括：
通过下述公式计算所述目标特征矩阵对应的方差系数：其中，A表示目标特征矩阵对应的方差系数，b表示目标特征矩阵的序列号，/>表示目标特征矩阵的矩阵总数，/>表示目标特征矩阵中第b个矩阵的矩阵期望值，/>表示目标特征矩阵中第b个矩阵对应的矩阵值，/>表示目标特征矩阵的平均值。
可选地，所述根据所述前向纠错编码，对所述备份数据块进行编码处理，得到编码数据块，包括：
通过下述公式对所述备份数据块进行编码处理：其中，表示备份数据块进行编码处理后得到的编码数据块，/>分别表示编码数据块中的起始编码数据、第二编码数据以及第r-1编码数据，/>分别表示备份数据块中的起始未编码数据、第二未编码数据以及第r-1未编码数据，分别表示起始未编码数据对应的前向纠错编码，/>分别表示第二未编码数据对应的前向纠错编码，/>分别表示第r-1未编码数据对应的前向纠错编码。
可选地，所述计算所述编码数据块对应的关联系数，包括：
挖掘所述编码数据块中每个数据对应的数据信息，计算所述数据信息中每个信息对应的信息熵值；
根据所述信息熵值，对所述数据信息进行筛选处理，得到目标数据信息；
计算所述目标数据信息中每个信息之间的信息关联度，对所述信息关联度进行加权求和，得到所述编码数据块对应的关联系数。
可选地，所述计算所述目标数据信息中每个信息之间的信息关联度，包括：
通过下述公式计算所述目标数据信息中每个信息之间的信息关联度：其中，G表示目标数据信息中每个信息之间的信息关联度，/>表示目标数据信息的信息数量，j表示目标数据信息的信息序列号，/>表示目标数据信息中第j个信息对应的标准差，/>表示目标数据信息中第j+1个信息对应的标准差，表示第j个信息和第j+1个信息对应的标准差的差值的两级最小差值，/>表示第j个信息和第j+1个信息对应的标准差的差值的两级最大差值。
可选地，所述对所述关系型数据库进行集群处理，得到集群数据库，包括：
查询所述关系型数据库对应的数据库服务器，提取所述数据库服务器对应的服务器参数；
根据所述服务器参数，分析所述数据库服务器对应的功能属性，计算所述功能属性之间的支持系数；
根据所述支持系数，对所述数据库服务器进行集群处理，得到集群服务器；
根据所述集群服务器，确定所述关系型数据库对应的集群架构；
根据所述集群架构，对所述关系型数据库进行集群处理，得到集群数据库。
可选地，所述计算所述编码数据包对应的有用系数，包括：
通过下述公式计算所述编码数据包对应的有用系数：其中，R表示编码数据包对应的有用系数，T表示编码数据包对应的调取响应时间，/>表示编码数据包中第n个数据包含的对象数量，n表示编码数据包中的数据序列号，/>表示编码数据包中第n个数据的冗余对象数量，/>表示编码数据包中第n个数据的数据存储成本。
为了解决上述问题，本发明还提供一种基于关系型数据库的数据容灾备份方法，所述方法包括：
获取关系型数据库中的待备份数据，对所述待备份数据进行数据分块处理，得到备份数据块，计算所述备份数据块中每个数据块对应的重要度，根据所述重要度，确定所述备份数据块对应的备份优先级；
计算所述备份数据块对应的前向纠错编码，根据所述前向纠错编码，对所述备份数据块进行编码处理，得到编码数据块，计算所述编码数据块对应的关联系数，根据所述关联系数，对所述编码数据块进行打包处理，得到编码数据包；
对所述关系型数据库进行集群处理，得到集群数据库，调度所述关系型数据库对应的灾难日志数据，根据所述灾难日志数据，在所述集群数据库中构建备份保护节点；
计算所述编码数据包对应的有用系数，根据所述有用系数，对所述编码数据包进行剔除处理，得到目标编码包，根据所述备份优先级，在所述备份保护节点中执行所述目标编码包的备份处理，得到备份结果。
为了解决上述问题，本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行上述所述的基于关系型数据库的数据容灾备份方法。
本发明实施例中，通过对所述待备份数据进行数据分块处理，可以将所述待备份数据的划分成单独的数据，进而提高了所述待备份数据的数据灵活性，并且提高了后续所述待备份数据的处理传输效率，通过计算所述备份数据块中每个数据块对应的重要度，可以了解所述备份数据块的重要程度，便于后续备份优先级的确定，本发明实施例中，通过对所述备份数据块进行编码处理，可以提高所述备份数据块中对应的数据容错性增强，后续所述备份数据块中的数据丢失，可以通过所述前向纠错编码从其他备份的数据中找回，从而提高数据的恢复效率；此外，本发明实施例中，通过对所述关系型数据库进行集群处理，可以实现故障转移，当某个数据库出现故障时，***可以切换到其他节点继续提供服务，避免***中断和数据丢失，以提高所述关系型数据库的容灾效率，本发明实施例通过计算所述编码数据包对应的有用系数，可以通过所述有用系数了解所述编码数据包中的数据价值，对所述编码数据包进行剔除处理，以便于后续可以对具有数据价值的谁进行备份处理，避免造成存储资源的浪费。因此，本发明实施例提供的一种基于关系型数据库的数据容灾备份***、方法及介质，能够提高关系型数据库的数据容灾备份的合理性。
附图说明
图1为本发明一实施例提供的基于关系型数据库的数据容灾备份***的功能模块图；
图2为本发明一实施例提供的基于关系型数据库的数据容灾备份方法的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
实际上，基于关系型数据库的数据容灾备份***所部署的服务端设备可能是由一台或多台设备构成的。上述基于关系型数据库的数据容灾备份***可以实现为：业务实例、虚拟机、硬件设备。比如，该基于关系型数据库的数据容灾备份***可以实现为部署在云节点中的一个或多个设备上的一种业务实例。简单来说，该直播服务***可以理解为是部署在云节点上的一种软件，用于为各用户端提供基于关系型数据库的数据容灾备份的服务。或者，该基于关系型数据库的数据容灾备份***也可以实现为部署在云节点中的一个或多个设备上的一种虚拟机。该虚拟机中安装有用于管理各用户端的应用软件。或者，该基于关系型数据库的数据容灾备份***还可以实现为由众多相同或不同类型的硬件设备构成的服务端，设置一个或多个硬件设备用于为各用户端提供基于关系型数据库的数据容灾备份服务。
在实现形式上，基于关系型数据库的数据容灾备份***和用户端相互适应。即，基于关系型数据库的数据容灾备份***作为安装于云服务平台的应用，则用户端作为与该应用建立通信连接的客户端；或实现基于关系型数据库的数据容灾备份***作为网站实现，则用户端作为网页实现；再或实现基于关系型数据库的数据容灾备份***作为云服务平台实现，则用户端作为即时通信应用中的小程序实现。
参照图1所示，是本发明一实施例提供的基于关系型数据库的数据容灾备份***的功能模块图。
本发明所述基于关系型数据库的数据容灾备份***100可以设置于云端服务器中，在实现形式上，可以作为一个或多个服务设备，也可以作为一应用安装于云端(例如直播服务运营方的服务器、服务器集群等)上，或者也可以开发为网站。根据实现的功能，所述基于关系型数据库的数据容灾备份***100包括优先级计算模块101、编码包打包模块102、节点设置模块103及备份处理模块104。
本发明实施例中，基于基于关系型数据库的数据容灾备份的追踪中，上述各个模块均可独立实现，且与其他模块调用。这里的调用可以理解为，某一模块可以连接另一类型的多个模块，并为其连接的多个模块提供相应服务，本发明实施例提供的基于关系型数据库的数据容灾备份***中，无需修改程序代码，即可通过增加模块、并直接调用的形式来调整基于关系型数据库的数据容灾备份架构的适用范围，实现集群式水平拓展，以便达到快捷灵活拓展基于关系型数据库的数据容灾备份***的目的。实际应用中，上述模块可以设置在同一设备或不同设备中，也可以是设置在虚拟设备中，例如云端服务器中的服务实例。
下面结合具体实施例，分别针对基于关系型数据库的数据容灾备份***的各个组成部分以及具体工作流程进行说明：
所述优先级计算模块101，用于获取关系型数据库中的待备份数据，对所述待备份数据进行数据分块处理，得到备份数据块，计算所述备份数据块中每个数据块对应的重要度，根据所述重要度，确定所述备份数据块对应的备份优先级。
本发明实施例中，通过对所述待备份数据进行数据分块处理，可以将所述待备份数据的划分成单独的数据，进而提高了所述待备份数据的数据灵活性，并且提高了后续所述待备份数据的处理传输效率，通过计算所述备份数据块中每个数据块对应的重要度，可以了解所述备份数据块的重要程度，便于后续备份优先级的确定，其中，所述关系型数据库是一种采用表格形式存储和管理数据的数据库，所述待备份数据是关系型数据库中需要进行备份存储的数据，所述备份数据块是所述待备份数据被分割成单独的数据，所述重要度表示所述备份数据块中每个数据块对应的重要程度，所述备份优先级是所述备份数据块进行处理时对应的优先程度，可选的，对所述待备份数据进行数据分块处理可以通过FSP算法实现，所述备份数据块对应的备份优先级可以提供根据所述重要度的数值大小确定。
作为本发明的一个实施例，所述计算所述备份数据块中每个数据块对应的重要度，包括：提取所述备份数据块中每个数据对应的数据目标特征，根据所述数据目标特征，构建所述备份数据块中每个数据对应的目标特征矩阵，计算所述目标特征矩阵对应的方差系数，对所述方差系数进行归一化处理，得到归一化方差值，根据所述归一化方差值，确定所述备份数据块中每个数据的数据重要度，计算所述备份数据块中每个数据对应的数据权重，结合所述数据权重和所述数据重要度，计算所述备份数据块中每个数据块对应的重要度。
其中，所述数据目标特征是所述备份数据块中每个数据对应的数据表征中的关键表征，所述目标特征矩阵所述备份数据块中每个数据根据所述数据目标特征构建的方阵，所述方差系数表示所述目标特征矩阵对应的变化程度，所述归一化方差值是所述方差系数映射在0-1区间内得到的数值，所述数据重要度表示所述备份数据块中每个数据对应的重要程度，所述数据权重表示所述备份数据块中每个数据对应的权重比例。
可选地，提取所述备份数据块中每个数据对应的数据目标特征可以通过orb特征提取算法实现，构建所述备份数据块中每个数据对应的目标特征矩阵可以通过矩阵函数实现，如zero矩阵函数，对所述方差系数进行归一化处理可以通过标准化方法实现，所述备份数据块中每个数据的数据重要度可以通过根据所述归一化方差值对应的百分数得到，计算所述备份数据块中每个数据对应的数据权重可以通过权重计算器实现，可以通过所述数据权重和所述数据重要度的乘积得到每个数据对应的目标重要度，对每个数据块内数据的目标重要度进行求和，以此得到所述备份数据块中每个数据块对应的重要度。
可选地，作为本发明的一个可选实施例，所述计算所述目标特征矩阵对应的方差系数，包括：
通过下述公式计算所述目标特征矩阵对应的方差系数：其中，A表示目标特征矩阵对应的方差系数，b表示目标特征矩阵的序列号，/>表示目标特征矩阵的矩阵总数，/>表示目标特征矩阵中第b个矩阵的矩阵期望值，/>表示目标特征矩阵中第b个矩阵对应的矩阵值，/>表示目标特征矩阵的平均值。
所述编码包打包模块102，用于计算所述备份数据块对应的前向纠错编码，根据所述前向纠错编码，对所述备份数据块进行编码处理，得到编码数据块，计算所述编码数据块对应的关联系数，根据所述关联系数，对所述编码数据块进行打包处理，得到编码数据包。
本发明实施例中，通过对所述备份数据块进行编码处理，可以提高所述备份数据块中对应的数据容错性增强，后续所述备份数据块中的数据丢失，可以通过所述前向纠错编码从其他备份的数据中找回，从而提高数据的恢复效率，其中，所述前向纠错编码是用于数据恢复的数据编码，所述编码数据块是所述备份数据块根据所述前向纠错编码进行编码处理后得到的数据块，可选地，计算所述备份数据块对应的前向纠错编码可以通过纠错码计算器实现，所述纠错码计算器是由脚本语言编译。
作为本发明的一个实施例，所述根据所述前向纠错编码，对所述备份数据块进行编码处理，得到编码数据块，包括：
通过下述公式对所述备份数据块进行编码处理：其中，表示备份数据块进行编码处理后得到的编码数据块，/>分别表示编码数据块中的起始编码数据、第二编码数据以及第r-1编码数据，/>分别表示备份数据块中的起始未编码数据、第二未编码数据以及第r-1未编码数据，分别表示起始未编码数据对应的前向纠错编码，/>分别表示第二未编码数据对应的前向纠错编码，/>分别表示第r-1未编码数据对应的前向纠错编码。
本发明实施例中，通过计算所述编码数据块对应的关联系数，可以得到所述编码数据块中每个数据块之间关联关系，以便于后续可以将具有关联关系的所述编码数据块打包在一起，以便于后续可以快速的进行数据恢复处理，其中，所述关联系数表示所述编码数据块中每个数据块之间的关联程度，所述编码数据包是所述编码数据块根据所述关联系数的数值大小进行打包处理后得到的数据包，可选地，对所述编码数据块进行打包处理可以通过帧封装法实现。
本发明实施例中，所述计算所述编码数据块对应的关联系数，包括：挖掘所述编码数据块中每个数据对应的数据信息，计算所述数据信息中每个信息对应的信息熵值，根据所述信息熵值，对所述数据信息进行筛选处理，得到目标数据信息，计算所述目标数据信息中每个信息之间的信息关联度，对所述信息关联度进行加权求和，得到所述编码数据块对应的关联系数。
其中，所述数据信息是所述编码数据块中每个数据的属性描述信息，所述信息熵值表示所述数据信息中每个信息包含的信息量的多少，所述目标数据信息是所述数据信息中包含信息量最多的信息，所述信息关联度表示所述目标数据信息中每个信息之间的关联程度。
可选地，挖掘所述编码数据块中每个数据对应的数据信息可以通过遗传算法实现，对所述数据信息进行筛选处理可以通过filter筛选函数实现，对所述信息关联度进行加权求和可以通过加权求和算法实现。
可选地，作为本发明的一个可选实施例，所述计算所述数据信息中每个信息对应的信息熵值，包括：
通过下述公式计算所述数据信息中每个信息对应的信息熵值：其中，H表示数据信息中每个信息对应的信息熵值，i表示数据信息对应的信息序列号，t表示数据信息的信息数量，/>表示数据信息中第i个信息的出现概率，/>表示数据信息中第i个信息的特性信息h在数据信息中的出现概率。
可选地，作为本发明的一个可选实施例，所述计算所述目标数据信息中每个信息之间的信息关联度，包括：
通过下述公式计算所述目标数据信息中每个信息之间的信息关联度：其中，G表示目标数据信息中每个信息之间的信息关联度，/>表示目标数据信息的信息数量，j表示目标数据信息的信息序列号，/>表示目标数据信息中第j个信息对应的标准差，/>表示目标数据信息中第j+1个信息对应的标准差，表示第j个信息和第j+1个信息对应的标准差的差值的两级最小差值，/>表示第j个信息和第j+1个信息对应的标准差的差值的两级最大差值。
所述节点设置模块103，用于对所述关系型数据库进行集群处理，得到集群数据库，调度所述关系型数据库对应的灾难日志数据，根据所述灾难日志数据，在所述集群数据库中构建备份保护节点。
本发明实施例中，通过对所述关系型数据库进行集群处理，可以实现故障转移，当某个数据库出现故障时，***可以切换到其他节点继续提供服务，避免***中断和数据丢失，以提高所述关系型数据库的容灾效率，其中，所述集群数据库是所述关系型数据库中的服务器构建逻辑关系后得到的数据库。
本发明实施例中，所述对所述关系型数据库进行集群处理，得到集群数据库，包括：查询所述关系型数据库对应的数据库服务器，提取所述数据库服务器对应的服务器参数，根据所述服务器参数，分析所述数据库服务器对应的功能属性，计算所述功能属性之间的支持系数，根据所述支持系数，对所述数据库服务器进行集群处理，得到集群服务器，根据所述集群服务器，确定所述关系型数据库对应的集群架构，根据所述集群架构，对所述关系型数据库进行集群处理，得到集群数据库。
其中，所述数据库服务器是所述关系型数据库中每个数据库的处理服务器，所述服务器参数是所述数据库服务器对应的介绍参数信息，所述功能属性是所述数据库服务器中每个服务器对应的功能性质，如主从复制或者共享存储等功能，所述支持系数表示所述功能属性之间的可以互相支持的程度，所述集群服务器所述数据库服务器之间进行组合后得到的服务器，所述集群架构是所述关系型数据库进行组合时对应的集群框架。
可选的，查询所述关系型数据库对应的数据库服务器可以通过站长工具实现，提取所述数据库服务器对应的服务器参数可以通过参数提取工具实现，所述参数提取工具是由JAVA语言编译，所述数据库服务器对应的功能属性可以通过分析所述服务器参数中关于用途的参数文本语义得到，计算所述功能属性之间的支持系数可以通过COUNTIF函数实现，对所述数据库服务器进行集群处理可以通过主备集群法实现，所述关系型数据库对应的集群架构可以通过根据所述集群服务器对应的架构确定。
本发明通过根据所述灾难日志数据，在所述集群数据库中构建备份保护节点，在发生灾难时可以对所述集群数据库中的数据起到保护作用，从而提高所述集群数据库对应的容灾容错率，其中，所述灾难日志数据是所述关系型数据库发生灾难记录的相关数据，所述备份保护节点是用于对所述集群数据库中的数据起到保护作用的服务器，可选地，调度所述关系型数据库对应的灾难日志数据可以通过优先级调度算法实现，在所述集群数据库中构建备份保护节点可以通过虚拟软件实现，如VMware、Hyper-V或KVM等软件。
所述备份处理模块104，用于计算所述编码数据包对应的有用系数，根据所述有用系数，对所述编码数据包进行剔除处理，得到目标编码包，根据所述备份优先级，在所述备份保护节点中执行所述目标编码包的备份处理，得到备份结果。
本发明实施例通过计算所述编码数据包对应的有用系数，可以通过所述有用系数了解所述编码数据包中的数据价值，对所述编码数据包进行剔除处理，以便于后续可以对具有数据价值的谁进行备份处理，避免造成存储资源的浪费，其中，所述有用系数表示所述编码数据包中的数据对应的数据价值，所述目标编码包是所述编码数据包中没有价值的数据经过剔除处理后得到的编码包，可选的，对所述编码数据包进行剔除处理可以通过箱线图法实现。
作为本发明的一个实施例，所述计算所述编码数据包对应的有用系数，包括：
通过下述公式计算所述编码数据包对应的有用系数：其中，R表示编码数据包对应的有用系数，T表示编码数据包对应的调取响应时间，/>表示编码数据包中第n个数据包含的对象数量，n表示编码数据包中的数据序列号，/>表示编码数据包中第n个数据的冗余对象数量，/>表示编码数据包中第n个数据的数据存储成本。
本发明通过根据所述备份优先级，在所述备份保护节点中执行所述目标编码包的备份处理，可以对重要的数据进行优先存储，避免重要的数据发生丢失，造成不必要的损失。
本发明实施例中，通过对所述待备份数据进行数据分块处理，可以将所述待备份数据的划分成单独的数据，进而提高了所述待备份数据的数据灵活性，并且提高了后续所述待备份数据的处理传输效率，通过计算所述备份数据块中每个数据块对应的重要度，可以了解所述备份数据块的重要程度，便于后续备份优先级的确定，本发明实施例中，通过对所述备份数据块进行编码处理，可以提高所述备份数据块中对应的数据容错性增强，后续所述备份数据块中的数据丢失，可以通过所述前向纠错编码从其他备份的数据中找回，从而提高数据的恢复效率；此外，本发明实施例中，通过对所述关系型数据库进行集群处理，可以实现故障转移，当某个数据库出现故障时，***可以切换到其他节点继续提供服务，避免***中断和数据丢失，以提高所述关系型数据库的容灾效率，本发明实施例通过计算所述编码数据包对应的有用系数，可以通过所述有用系数了解所述编码数据包中的数据价值，对所述编码数据包进行剔除处理，以便于后续可以对具有数据价值的谁进行备份处理，避免造成存储资源的浪费。因此，本发明实施例提供的一种基于关系型数据库的数据容灾备份方法，能够提高关系型数据库的数据容灾备份的合理性。
参照图2所示，为本发明一实施例提供的基于关系型数据库的数据容灾备份方法的流程示意图。在本实施例中，所述基于关系型数据库的数据容灾备份方法包括：
获取关系型数据库中的待备份数据，对所述待备份数据进行数据分块处理，得到备份数据块，计算所述备份数据块中每个数据块对应的重要度，根据所述重要度，确定所述备份数据块对应的备份优先级；
计算所述备份数据块对应的前向纠错编码，根据所述前向纠错编码，对所述备份数据块进行编码处理，得到编码数据块，计算所述编码数据块对应的关联系数，根据所述关联系数，对所述编码数据块进行打包处理，得到编码数据包；
对所述关系型数据库进行集群处理，得到集群数据库，调度所述关系型数据库对应的灾难日志数据，根据所述灾难日志数据，在所述集群数据库中构建备份保护节点；
计算所述编码数据包对应的有用系数，根据所述有用系数，对所述编码数据包进行剔除处理，得到目标编码包，根据所述备份优先级，在所述备份保护节点中执行所述目标编码包的备份处理，得到备份结果。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取关系型数据库中的待备份数据，对所述待备份数据进行数据分块处理，得到备份数据块，计算所述备份数据块中每个数据块对应的重要度，根据所述重要度，确定所述备份数据块对应的备份优先级；
计算所述备份数据块对应的前向纠错编码，根据所述前向纠错编码，对所述备份数据块进行编码处理，得到编码数据块，计算所述编码数据块对应的关联系数，根据所述关联系数，对所述编码数据块进行打包处理，得到编码数据包；
对所述关系型数据库进行集群处理，得到集群数据库，调度所述关系型数据库对应的灾难日志数据，根据所述灾难日志数据，在所述集群数据库中构建备份保护节点；
计算所述编码数据包对应的有用系数，根据所述有用系数，对所述编码数据包进行剔除处理，得到目标编码包，根据所述备份优先级，在所述备份保护节点中执行所述目标编码包的备份处理，得到备份结果。
在本发明所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或***也可以由一个单元或***通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (7)
1.一种基于关系型数据库的数据容灾备份***，其特征在于，所述基于关系型数据库的数据容灾备份***包括：
优先级计算模块，用于获取关系型数据库中的待备份数据，对所述待备份数据进行数据分块处理，得到备份数据块，计算所述备份数据块中每个数据块对应的重要度，根据所述重要度，确定所述备份数据块对应的备份优先级；
编码包打包模块，用于计算所述备份数据块对应的前向纠错编码，根据所述前向纠错编码，对所述备份数据块进行编码处理，得到编码数据块，计算所述编码数据块对应的关联系数，根据所述关联系数，对所述编码数据块进行打包处理，得到编码数据包，其中，所述计算所述编码数据块对应的关联系数，包括：
挖掘所述编码数据块中每个数据对应的数据信息，计算所述数据信息中每个信息对应的信息熵值；
根据所述信息熵值，对所述数据信息进行筛选处理，得到目标数据信息；
通过下述公式计算所述目标数据信息中每个信息之间的信息关联度：其中，G表示目标数据信息中每个信息之间的信息关联度，/>表示目标数据信息的信息数量，j表示目标数据信息的信息序列号，/>表示目标数据信息中第j个信息对应的标准差，/>表示目标数据信息中第j+1个信息对应的标准差，/>表示第j个信息和第j+1个信息对应的标准差的差值的两级最小差值，/>表示第j个信息和第j+1个信息对应的标准差的差值的两级最大差值；
对所述信息关联度进行加权求和，得到所述编码数据块对应的关联系数；
节点设置模块，用于对所述关系型数据库进行集群处理，得到集群数据库，调度所述关系型数据库对应的灾难日志数据，根据所述灾难日志数据，在所述集群数据库中构建备份保护节点；
备份处理模块，用于通过下述公式计算所述编码数据包对应的有用系数：其中，R表示编码数据包对应的有用系数，T表示编码数据包对应的调取响应时间，/>表示编码数据包中第n个数据包含的对象数量，n表示编码数据包中的数据序列号，/>表示编码数据包中第n个数据的冗余对象数量，/>表示编码数据包中第n个数据的数据存储成本；
根据所述有用系数，对所述编码数据包进行剔除处理，得到目标编码包，根据所述备份优先级，在所述备份保护节点中执行所述目标编码包的备份处理，得到备份结果。
2.如权利要求1所述的基于关系型数据库的数据容灾备份***，其特征在于，所述计算所述备份数据块中每个数据块对应的重要度，包括：
提取所述备份数据块中每个数据对应的数据目标特征；
根据所述数据目标特征，构建所述备份数据块中每个数据对应的目标特征矩阵；
计算所述目标特征矩阵对应的方差系数，对所述方差系数进行归一化处理，得到归一化方差值；
根据所述归一化方差值，确定所述备份数据块中每个数据的数据重要度，计算所述备份数据块中每个数据对应的数据权重；
结合所述数据权重和所述数据重要度，计算所述备份数据块中每个数据块对应的重要度。
3.如权利要求2所述的基于关系型数据库的数据容灾备份***，其特征在于，所述计算所述目标特征矩阵对应的方差系数，包括：
通过下述公式计算所述目标特征矩阵对应的方差系数：其中，A表示目标特征矩阵对应的方差系数，b表示目标特征矩阵的序列号，/>表示目标特征矩阵的矩阵总数，/>表示目标特征矩阵中第b个矩阵的矩阵期望值，/>表示目标特征矩阵中第b个矩阵对应的矩阵值，/>表示目标特征矩阵的平均值。
4.如权利要求1所述的基于关系型数据库的数据容灾备份***，其特征在于，所述根据所述前向纠错编码，对所述备份数据块进行编码处理，得到编码数据块，包括：
通过下述公式对所述备份数据块进行编码处理：其中，表示备份数据块进行编码处理后得到的编码数据块，/>分别表示编码数据块中的起始编码数据、第二编码数据以及第r-1编码数据，分别表示备份数据块中的起始未编码数据、第二未编码数据以及第r-1未编码数据，/>、/>、/>分别表示起始未编码数据对应的前向纠错编码，/>、/>、/>分别表示第二未编码数据对应的前向纠错编码，/>、/>、/>分别表示第r-1未编码数据对应的前向纠错编码。
5.如权利要求1所述的基于关系型数据库的数据容灾备份***，其特征在于，所述对所述关系型数据库进行集群处理，得到集群数据库，包括：
查询所述关系型数据库对应的数据库服务器，提取所述数据库服务器对应的服务器参数；
根据所述服务器参数，分析所述数据库服务器对应的功能属性，计算所述功能属性之间的支持系数；
根据所述支持系数，对所述数据库服务器进行集群处理，得到集群服务器；
根据所述集群服务器，确定所述关系型数据库对应的集群架构；
根据所述集群架构，对所述关系型数据库进行集群处理，得到集群数据库。
6.一种基于关系型数据库的数据容灾备份方法，其特征在于，所述方法包括：
获取关系型数据库中的待备份数据，对所述待备份数据进行数据分块处理，得到备份数据块，计算所述备份数据块中每个数据块对应的重要度，根据所述重要度，确定所述备份数据块对应的备份优先级；
计算所述备份数据块对应的前向纠错编码，根据所述前向纠错编码，对所述备份数据块进行编码处理，得到编码数据块，计算所述编码数据块对应的关联系数，根据所述关联系数，对所述编码数据块进行打包处理，得到编码数据包，其中，所述计算所述编码数据块对应的关联系数，包括：
挖掘所述编码数据块中每个数据对应的数据信息，计算所述数据信息中每个信息对应的信息熵值；
根据所述信息熵值，对所述数据信息进行筛选处理，得到目标数据信息；
通过下述公式计算所述目标数据信息中每个信息之间的信息关联度：其中，G表示目标数据信息中每个信息之间的信息关联度，/>表示目标数据信息的信息数量，j表示目标数据信息的信息序列号，/>表示目标数据信息中第j个信息对应的标准差，/>表示目标数据信息中第j+1个信息对应的标准差，/>表示第j个信息和第j+1个信息对应的标准差的差值的两级最小差值，/>表示第j个信息和第j+1个信息对应的标准差的差值的两级最大差值；
对所述信息关联度进行加权求和，得到所述编码数据块对应的关联系数；
对所述关系型数据库进行集群处理，得到集群数据库，调度所述关系型数据库对应的灾难日志数据，根据所述灾难日志数据，在所述集群数据库中构建备份保护节点；
通过下述公式计算所述编码数据包对应的有用系数：其中，R表示编码数据包对应的有用系数，T表示编码数据包对应的调取响应时间，/>表示编码数据包中第n个数据包含的对象数量，n表示编码数据包中的数据序列号，/>表示编码数据包中第n个数据的冗余对象数量，/>表示编码数据包中第n个数据的数据存储成本；
根据所述有用系数，对所述编码数据包进行剔除处理，得到目标编码包，根据所述备份优先级，在所述备份保护节点中执行所述目标编码包的备份处理，得到备份结果。
7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求6所述的基于关系型数据库的数据容灾备份方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311557278.4A CN117290163B (zh) | 2023-11-21 | 2023-11-21 | 基于关系型数据库的数据容灾备份***、方法及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311557278.4A CN117290163B (zh) | 2023-11-21 | 2023-11-21 | 基于关系型数据库的数据容灾备份***、方法及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117290163A CN117290163A (zh) | 2023-12-26 |
| CN117290163B true CN117290163B (zh) | 2024-02-13 |
Family
ID=89257427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311557278.4A Active CN117290163B (zh) | 2023-11-21 | 2023-11-21 | 基于关系型数据库的数据容灾备份***、方法及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117290163B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414431A (zh) * | 2020-04-28 | 2020-07-14 | 武汉烽火技术服务有限公司 | 基于区块链技术的网络运维数据容灾备份管理方法及*** |
| CN111679939A (zh) * | 2020-06-16 | 2020-09-18 | 江苏超流信息技术有限公司 | 数据备份方法及*** |
| CN117056130A (zh) * | 2023-09-06 | 2023-11-14 | 飞创信息科技有限公司 | 一种虚拟磁带库备份***及备份方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5397700B2 (ja) * | 2010-04-09 | 2014-01-22 | ソニー株式会社 | 情報処理装置および方法 |
| US11614883B2 (en) * | 2020-07-17 | 2023-03-28 | Commvault Systems, Inc. | Distributed data storage system using erasure coding on storage nodes fewer than data plus parity fragments |
| US11500566B2 (en) * | 2020-08-25 | 2022-11-15 | Commvault Systems, Inc. | Cloud-based distributed data storage system using block-level deduplication based on backup frequencies of incoming backup copies |
-
2023
- 2023-11-21 CN CN202311557278.4A patent/CN117290163B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414431A (zh) * | 2020-04-28 | 2020-07-14 | 武汉烽火技术服务有限公司 | 基于区块链技术的网络运维数据容灾备份管理方法及*** |
| CN111679939A (zh) * | 2020-06-16 | 2020-09-18 | 江苏超流信息技术有限公司 | 数据备份方法及*** |
| CN117056130A (zh) * | 2023-09-06 | 2023-11-14 | 飞创信息科技有限公司 | 一种虚拟磁带库备份***及备份方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117290163A (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110134674B (zh) | 一种货币信贷大数据监测分析*** | |
| CN107818431B (zh) | 一种提供订单轨迹数据的方法和*** | |
| US7680793B2 (en) | Commit-time ordered message queue supporting arbitrary read and dequeue patterns from multiple subscribers | |
| US7610172B2 (en) | Method and system for monitoring non-occurring events | |
| CN111355610A (zh) | 一种基于边缘网络的异常处理方法及装置 | |
| CN106445644A (zh) | 基于改进的一阶段提交的分布式事务的处理方法和装置 | |
| JP2022118108A (ja) | ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム | |
| US10169166B2 (en) | Real-time fault-tolerant architecture for large-scale event processing | |
| CN112527534A (zh) | 基于消息队列的业务处理方法、装置、设备及存储介质 | |
| CN111740868B (zh) | 告警数据的处理方法和装置及存储介质 | |
| CN112416724A (zh) | 告警处理方法、***、计算机设备和存储介质 | |
| CN112039701A (zh) | 接口调用监控方法、装置、设备及存储介质 | |
| CN113791586A (zh) | 一种新型的工业app与标识注册解析集成方法 | |
| CN113298638A (zh) | 根因定位方法、电子设备及存储介质 | |
| CN112181307A (zh) | 基于区块链的分布式数据冗余存储方法和电子设备 | |
| Zhang et al. | A new scheme on privacy preserving association rule mining | |
| CN116719799A (zh) | 环保数据治理方法、装置、计算机设备和存储介质 | |
| CN104008100B (zh) | 集群环境并发处理方法 | |
| CN105096034A (zh) | 电子政务的实现方法和电子政务*** | |
| CN117290163B (zh) | 基于关系型数据库的数据容灾备份***、方法及介质 | |
| CN111404737B (zh) | 一种容灾处理方法以及相关装置 | |
| CN110781232A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN115495587A (zh) | 一种基于知识图谱的告警分析方法及装置 | |
| CN116975117A (zh) | 一种日志数据管理方法及装置 | |
| CN111427871B (zh) | 数据处理方法、装置、设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |