CN114064359A - 一种跨平台多机房分布式数据库备份*** - Google Patents
一种跨平台多机房分布式数据库备份*** Download PDFInfo
- Publication number
- CN114064359A CN114064359A CN202111341828.XA CN202111341828A CN114064359A CN 114064359 A CN114064359 A CN 114064359A CN 202111341828 A CN202111341828 A CN 202111341828A CN 114064359 A CN114064359 A CN 114064359A
- Authority
- CN
- China
- Prior art keywords
- data
- backed
- module
- sending
- delta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种跨平台多机房分布式数据库备份***,包括:采集模块,用于采集数据并生成待备份数据;获取模块,用于获取待备份数据的数据特征;判断模块,用于判定是否需要备份所述数据库备份数据的判断单元;确定模块,用于二次判定是否需要备份所述数据库备份数据的确定单元;发送模块,用于若判定需要备份所述待备份数据,则将所述待备份数据发送至数据库中;数据库,用于接收和储存所述发送模块传输的待备份数据;修正模块,用于分别检测所述发送模块的传输速率,通过本发明,可以在提高备份数据的效率同时,还能提高发送模块发送待备份数据的准确性,并有效的节约备份数据传输时间和提高了备份数据传输的安全性。
Description
技术领域
本发明涉及数据库备份技术领域,尤其涉及一种跨平台多机房分布式数据库备份***。
背景技术
数据丢失对大小企业来说都是个噩梦,业务数据与企业日常业务运作唇齿相依,损失这些数据,即使是暂时性的也会给企业带来不可挽回的损失。数据库数据是一个***应用的核心。
现有技术中,在备份数据时,无法根据待备份数据的程度对待不备份数据进行分类,且在数据备份过程中,将待备份数据进行整体传送,导致数据传输效率低和数据传输不安全的问题。
发明内容
为此,本发明提供一种跨平台多机房分布式数据库备份***,用以克服现有技术中无法根据待备份数据的程度对待不备份数据进行分类和数据传输效率低和数据传输不安全的问题。
为实现上述目的,本发明提供一种跨平台多机房分布式数据库备份***,其特征在于,包括:
采集模块,其包括若干用于采集数据并生成待备份数据的采集单元;
获取模块,其与所述采集模块连接,包括若干用于获取待备份数据的数据特征的获取单元;
判断模块,其与所述获取模块相连,包括若干用于根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度,并根据计算结果以判定是否需要备份所述数据库备份数据的判断单元;其中,所述判断模块在计算待备份数据的重要程度时,所述判断模块将待备份数据的实际分值与预设值进行比对,并根据比对结果判定是否需要备份该待备份数据,所述判断模块判定实际分值小于预设值,所述判断模块判定无需备份该备份数据,所述判断模块判定实际分值数据预设值,所述判断模块将该备份数据发送至确定模块以进行二次判定,所述判断模块判定实际分值大于预设值,所述判断模块判定需备份该备份数据;
所述确定模块,其与所述判断模块相连,包括若干用于根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度,并根据计算结果以二次判定是否需要备份所述数据库备份数据的确定单元;其中,所述确定模块在进行二次判定时,所述确定模块获取待备份数据的文件名,并根据文件名重合度二次判定是否备份该待备份数据;
发送模块,其分别与所述判断模块和所述确定模块相连,包括若干用于若判定需要备份所述待备份数据,则将所述待备份数据发送至数据库中进行备份的发送单元;所述发送模块在发送所述待备份数据时,使用处于闲时状态的发送单元发送所述待备份数据;
数据库,其与所述发送模块相连,用于接收和储存所述发送模块传输的待备份数据,储存完成时,数据库将待备份数据标记为备份数据;
修正模块,其所述发送模块相连,用于分别检测所述发送模块的传输速率,并根据检测结果判定是否修正所述发送单元的数量。
进一步地,当所述判断模块根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度时,所述判断模块计算所述待备份数据的实际分值A、将实际分值A与预设分值A0进行比对并根据比对结果判定是否备份该待备份数据,其中,所述数据特征包括,待备份数据的大小、被查看次数、被查看总时长;
所述预设分值A0包括第一预设分值A1和第二预设分值A2,其中,A1<A2;
当A<A1时,所述判断模块将该待备份数据判定为不重要待备份数据,且无需备份该待备份数据;
当A1≤A≤A2时,所述判断模块判定该待备份数据判定为普通待备份数据,并将该待备份数据发送至所述确定模块以进行二次判定;
当A>A2时,所述判断模块判定该待备份数据判定为重要待备份数据,且需备份该待备份数据。
进一步地,当所述判断模块判定该待备份数据判定为重要待备份数据时,所述判断模块计算分值差值△A、将分值差值△A与预设分值差值进行比对,并根据比对结果将该待备份数据拆分为若干部分,拆分完成时,所述判断模块将拆分后的待备份数据发送至所述发送模块,所述发送模块使用所述发送单元向所述数据库中传输待备份数据中的各拆分部分,其中,所述发送单元与拆分部分的数量相同;
所述预设分值差值包括第一预设分值差值△A1、第二预设分值差值△A2、第三预设分值差值△A3、第一拆分部分数量Q1、第二拆分部分数量Q2、第三拆分部分数量Q3和第四拆分部分数量Q4,其中,△A1<△A2<△A2,3≤Q1<Q2<Q3<Q4≤20;
当△A<△A1时,所述判断模块将该待备份数据的拆分数量设置为Q1;
当△A1≤△A<△A2时,所述判断模块将该待备份数据的拆分数量设置为Q2;
当△A2≤△A<△A3时,所述判断模块将该待备份数据的拆分数量设置为Q3;
当△A≥△A2时,所述判断模块将该待备份数据的拆分数量设置为Q4。
进一步地,当所述判断模块完成对所述待备份数据的拆分,且所述发送模块使用发送单元传输各拆分部分时,所述修正模块检测所述发送模块的传输速率Va、将传输速率Va与对应的预设传输速率Vb进行比对,并根据比对结果判定传输速率是否修正所述发送单元的数量,设定Va=V1+V2+V3+......+Vi,设定Vb=V0×(Y/Y0),其中,V0为发送模块传输速率最大值,Vi为各发送单元的实际传输速率,Y0为发送模块中发送单元的数量,Y为实际发送待备份数据的发送单元的数量,且i=Y;
当Va=Vb时,所述修正模块判定传输速率符合标准,并无需修正所述发送单元的数量Y;
当Va<Vb时,所述修正模块判定传输速率不符合标准,并需修正所述发送单元的数量Y。
进一步地,当所述修正模块检测所述发送模块的传输速率Va、将传输速率Va与对应的预设传输速率Vb进行比对时,所述修正模块计算各所述发送单元传输速率差值△Vi、将传输速率差值△Vi依次与预设传输速率差值最大值△Vmax进行比对,并根据比对结果判定对应的发送单元是否存在故障,其中,△Vi=Vb-Vi;
当△Vi≥△Vmax时,所述修正模块判定该发送单元发生故障,并使用与该发送单元相邻的闲时发送单元发送待备份数据;
当△Vi<△Vmax时,所述修正模块判定该发送单元未发生故障,并使用该发送单元发送待备份数据。
进一步地,所述修正模块判定需修正所述发送单元的数量Y时,所述修正模块将修正后的发送单元数量记为Y1,设定Y1=Y×(1+(Va/Vb)),其中,当Y1不为整数时,所述修正模块向下取整。
进一步地,当所述修正模块判定需将所述发送单元的数量修正为Y1时,所述修正模块将修正后的发送单元数量Y1与当前处于闲时状态的发送单元数量Yb进行比对;
当Y1>Yb时,所述修正模块判定修正后的发送单元数量不符合标准,并将发送单元的数量设置为Yb;
当Y1≤Yb时,所述修正模块判定修正后的发送单元数量符合标准,并将发送单元的数量设置为Y1。
进一步地,当所述判断模块判定该待备份数据判定为普通待备份数据,并将该待备份数据发送至所述确定模块以进行二次判定时,所述确定模块获取该备份数据的文件名,并将该文件名与所述数据库中储存的备份数据进行比对以判定文件名重合度,当文件名重合度大于等于97%时,所述确定模块判定该待备份数据为重要待备份数据,并该将待备份数据发送至所述发送模块。
进一步地,所述数据特征还包括备份标记,当所述判断模块根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度,且待备份数据含有备份标记时,所述判断模块判定该待备份数据为重要待备份数据,并该将待备份数据发送至所述发送模块。
进一步地,所述实际分值A采用公式(1)计算:
A=((B/B0)+(C/C0)+(D/D0))×100% (1);
其中,B为待备份数据实际大小,B0为预设待备份数据大小,C为统计周期t内实际被查看次数,C0为统计周期t内预设被查看次数,D为统计周期t内实际被查看总时间,D0为统计周期t内预设被查看总时间。
与现有技术相比,本发明的有益效果在于,本发明中判断模块通过将待备份数据的数据特征以计算待备份数据的分值,并将待备份数据的分值与预设分值进行比对,确定需要备份的待备份数据,其一方面,通过对待备份数据的重要程度进行判定,能过避免对分值低的待备份数据进行备份,以提高备份数据的效率,其另一方面,通过分值对比的方式进行判定,将各个带备份数据的分值与标准值进行一一实施对比,能过避免对分值低的待备份数据进行备份,在提高备份数据的效率同时,还能提高发送模块发送待备份数据的准确性。
尤其,本发明还通过确定模块对待备份数据的关联性进行二次判定,并将关联性符合预设标准的待备份数据进行备份,在提高备份数据的效率同时,还能提高发送模块发送待备份数据的准确性。
尤其,本发明的发送模块中设置有多个发送单元,发送模块在发送待备份数据时,通过选取多个闲时的发送单元进行发送待备份数据,通过使用的发送单元进行发送待备份数据,可以有效地提高备份数据的效率。
进一步地,判断模块中设置有预设分值A0,在进行待备份数据重要程度判断时,所述判断模块计算所述待备份数据的实际分值A、将实际分值A与预设分值A0进行比对并根据比对结果判定是否备份该待备份数据,通过判断模块实时对各待备份数据分值的掌握,其一方面,通过对待备份数据的重要程度进行判定,能过避免对分值低的待备份数据进行备份,以提高备份数据的效率,其另一方面,通过分值对比的方式进行判定,将各个带备份数据的分值与标准值进行一一实施对比,能过避免对分值低的待备份数据进行备份,在提高备份数据的效率同时,还能提高发送模块发送待备份数据的准确性。
进一步地,当判断模块判定各待备份数据为重要待备份数据时,所述判断模块计算分值差值△A、将分值差值△A与预设分值差值进行比对,并根据比对结果将该待备份数据拆分为若干部分,将拆分后的各部分通过不同的发送单元进行传输,其一方面,通过判断模块计算分值差值△A,可以更加精确分析各待备份数据的重要程度,以提高备份数据的效率,其另一方面,通过拆分待备份数据并使用多个发送单元传输各拆分部分,在提高备份数据的效率的同时,可以有效的保证传输数据的安全。
进一步地,在发送模块传输待备份数据时,修正模块获取传输发送模块的实际传输速率Va,将传输速率Va与对应的预设传输速率Vb进行比对,并根据比对结果判定传输速率是否修正所述发送单元的数量,通过将实际发送模块的发送速率与对应的预设的传输速率,可以精准的把握待备份数据的传输时间,并在传输速率不符合标准时,通过修正发送单元的数量,以使实际发送模块的传输速率符合标准,通过修正模块修正发送单元的数量,可以有效的提高备份数据的效率。
进一步地,所述修正模块中还预设有传输速率最大值,当修正模块进行传输速率比对时,通过将计算各发送单元与预设值的差值,以将实际传输速率差值与预设传输速率差值进行比对,当实际传输速率差值大于预设传输速率差值时,修正模块则判定该发送模块存在故障,通过修正模块实时计算实际传输速率差值,其一方面,可以精准的掌握存在故障的发送单元,其另一方面,修正模块判定发送单元存在故障时,修正模块将使用与该存在故障发送单元相邻的发送单元发送待备份数据,通过修正模块切换发送单元,可以有效的保证备份数据的效率。
进一步地,所述修正模块在修正发送单元数量时,通过实际传输速率与对应的预设传输速率的比值,对发送单元的数量进行适当的修正,可以在传输过程中,可以对发送单元的数量进行实时修正,通过修正模块实时修正发送单元的数量,更加有效的提高了备份数据的效率。
进一步地,当所述确定模块对待备份数据进行二次判定时,确定模块通过获取待备份数据的文件名、将待备份数据中的文件名依次与数据库中储存的备份数据中的文件名进行比对,并当文件名重合度符合标准时,确定模块将该待备份数据标记为重要待备份数据,通过确定模块的二次判定,可以更加精确的判定各待备份数据,进而提高了发送模块发送待备份数据的准确性,且提高了备份数据的效率。
进一步地,在所述判断模块计算待备份数据的分值时,通过待备份数据大小、统计周期内被查看次数、统计周期内被查看总时间多角度、多维度的对待备份数据进行评分,可以更加精准的掌握待备份数据的重要程度,进而,可以提高发送模块发送待备份数据的准确性,且提高了备份数据的效率。
附图说明
图1为本发明所述跨平台多机房分布式数据库备份***的结构示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示,为本发明实施例提供的所述跨平台多机房分布式数据库备份***结构示意图,包括:
采集模块,其包括若干用于采集数据并生成待备份数据的采集单元;
获取模块,其与所述采集模块连接,包括若干用于获取待备份数据的数据特征的获取单元;
判断模块,其与所述获取模块相连,包括若干用于根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度,并根据计算结果以判定是否需要备份所述数据库备份数据的判断单元;
确定模块,其与所述判断模块相连,包括若干用于根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度,并根据计算结果以二次判定是否需要备份所述数据库备份数据的确定单元;
发送模块,其分别与所述判断模块和所述确定模块相连,包括若干用于若判定需要备份所述待备份数据,则将所述待备份数据发送至数据库中进行备份的发送单元;所述发送模块在发送所述待备份数据时,使用处于闲时状态的发送单元发送所述待备份数据;
数据库,其与所述发送模块相连,用于接收和储存所述发送模块传输的待备份数据,储存完成时,数据库将待备份数据标记为备份数据;
修正模块,其所述发送模块相连,用于分别检测所述发送模块的传输速率,并根据检测结果判定是否修正所述发送单元的数量。
具体而言,本发明的有益效果在于,本发明中判断模块通过将待备份数据的数据特征以计算待备份数据的分值,并将待备份数据的分值与预设分值进行比对,确定需要备份的待备份数据,其一方面,通过对待备份数据的重要程度进行判定,能过避免对分值低的待备份数据进行备份,以提高备份数据的效率,其另一方面,通过分值对比的方式进行判定,将各个带备份数据的分值与标准值进行一一实施对比,能过避免对分值低的待备份数据进行备份,在提高备份数据的效率同时,还能提高发送模块发送待备份数据的准确性。
尤其,本发明还通过确定模块对待备份数据的关联性进行二次判定,并将关联性符合预设标准的待备份数据进行备份,在提高备份数据的效率同时,还能提高发送模块发送待备份数据的准确性。
尤其,本发明的发送模块中设置有多个发送单元,发送模块在发送待备份数据时,通过选取多个闲时的发送单元进行发送待备份数据,通过使用的发送单元进行发送待备份数据,可以有效地提高备份数据的效率。
具体而言,当所述判断模块根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度时,所述判断模块计算所述待备份数据的实际分值A、将实际分值A与预设分值A0进行比对并根据比对结果判定是否备份该待备份数据,其中,所述数据特征包括,待备份数据的大小、被查看次数、被查看总时长;
所述预设分值A0包括第一预设分值A1和第二预设分值A2,其中,A1<A2;
当A<A1时,所述判断模块将该待备份数据判定为不重要待备份数据,且无需备份该待备份数据;
当A1≤A≤A2时,所述判断模块判定该待备份数据判定为普通待备份数据,并将该待备份数据发送至所述确定模块以进行二次判定;
当A>A2时,所述判断模块判定该待备份数据判定为重要待备份数据,且需备份该待备份数据。
具体而言,当所述判断模块判定该待备份数据判定为重要待备份数据时,所述判断模块计算分值差值△A、将分值差值△A与预设分值差值进行比对,并根据比对结果将该待备份数据拆分为若干部分,拆分完成时,所述判断模块将拆分后的待备份数据发送至所述发送模块,所述发送模块使用所述发送单元向所述数据库中传输待备份数据中的各拆分部分,其中,所述发送单元与拆分部分的数量相同;
所述预设分值差值包括第一预设分值差值△A1、第二预设分值差值△A2、第三预设分值差值△A3、第一拆分部分数量Q1、第二拆分部分数量Q2、第三拆分部分数量Q3和第四拆分部分数量Q4,其中,△A1<△A2<△A2,3≤Q1<Q2<Q3<Q4≤20;
当△A<△A1时,所述判断模块将该待备份数据的拆分数量设置为Q1;
当△A1≤△A<△A2时,所述判断模块将该待备份数据的拆分数量设置为Q2;
当△A2≤△A<△A3时,所述判断模块将该待备份数据的拆分数量设置为Q3;
当△A≥△A2时,所述判断模块将该待备份数据的拆分数量设置为Q4。
具体而言,当判断模块判定各待备份数据为重要待备份数据时,所述判断模块计算分值差值△A、将分值差值△A与预设分值差值进行比对,并根据比对结果将该待备份数据拆分为若干部分,将拆分后的各部分通过不同的发送单元进行传输,其一方面,通过判断模块计算分值差值△A,可以更加精确分析各待备份数据的重要程度,以提高备份数据的效率,其另一方面,通过拆分待备份数据并使用多个发送单元传输各拆分部分,在提高备份数据的效率的同时,可以有效的保证传输数据的安全。
具体而言,当所述判断模块完成对所述待备份数据的拆分,且所述发送模块使用发送单元传输各拆分部分时,所述修正模块检测所述发送模块的传输速率Va、将传输速率Va与对应的预设传输速率Vb进行比对,并根据比对结果判定传输速率是否修正所述发送单元的数量,设定Va=V1+V2+V3+......+Vi,设定Vb=V0×(Y/Y0),其中,V0为发送模块传输速率最大值,Vi为各发送单元的实际传输速率,Y0为发送模块中发送单元的数量,Y为实际发送待备份数据的发送单元的数量,且i=Y;
当Va=Vb时,所述修正模块判定传输速率符合标准,并无需修正所述发送单元的数量Y;
当Va<Vb时,所述修正模块判定传输速率不符合标准,并需修正所述发送单元的数量Y。
具体而言,当所述修正模块检测所述发送模块的传输速率Va、将传输速率Va与对应的预设传输速率Vb进行比对时,所述修正模块计算各所述发送单元传输速率差值△Vi、将传输速率差值△Vi依次与预设传输速率差值最大值△Vmax进行比对,并根据比对结果判定对应的发送单元是否存在故障,其中,△Vi=Vb-Vi;
当△Vi≥△Vmax时,所述修正模块判定该发送单元发生故障,并使用与该发送单元相邻的闲时发送单元发送待备份数据;
当△Vi<△Vmax时,所述修正模块判定该发送单元未发生故障,并使用该发送单元发送待备份数据。
具体而言,在发送模块传输待备份数据时,修正模块获取传输发送模块的实际传输速率Va,将传输速率Va与对应的预设传输速率Vb进行比对,并根据比对结果判定传输速率是否修正所述发送单元的数量,通过将实际发送模块的发送速率与对应的预设的传输速率,可以精准的把握待备份数据的传输时间,并在传输速率不符合标准时,通过修正发送单元的数量,以使实际发送模块的传输速率符合标准,通过修正模块修正发送单元的数量,可以有效的提高备份数据的效率。
具体而言,所述修正模块中还预设有传输速率最大值,当修正模块进行传输速率比对时,通过将计算各发送单元与预设值的差值,以将实际传输速率差值与预设传输速率差值进行比对,当实际传输速率差值大于预设传输速率差值时,修正模块则判定该发送模块存在故障,通过修正模块实时计算实际传输速率差值,其一方面,可以精准的掌握存在故障的发送单元,其另一方面,修正模块判定发送单元存在故障时,修正模块将使用与该存在故障发送单元相邻的发送单元发送待备份数据,通过修正模块切换发送单元,可以有效的保证备份数据的效率。
具体而言,所述修正模块判定需修正所述发送单元的数量Y时,所述修正模块将修正后的发送单元数量记为Y1,设定Y1=Y×(1+(Va/Vb)),其中,当Y1不为整数时,所述修正模块向下取整。
具体而言,所述修正模块在修正发送单元数量时,通过实际传输速率与对应的预设传输速率的比值,对发送单元的数量进行适当的修正,可以在传输过程中,可以对发送单元的数量进行实时修正,通过修正模块实时修正发送单元的数量,更加有效的提高了备份数据的效率。
具体而言,当所述修正模块判定需将所述发送单元的数量修正为Y1时,所述修正模块将修正后的发送单元数量Y1与当前处于闲时状态的发送单元数量Yb进行比对;
当Y1>Yb时,所述修正模块判定修正后的发送单元数量不符合标准,并将发送单元的数量设置为Yb;
当Y1≤Yb时,所述修正模块判定修正后的发送单元数量符合标准,并将发送单元的数量设置为Y1。
具体而言,当所述判断模块判定该待备份数据判定为普通待备份数据,并将该待备份数据发送至所述确定模块以进行二次判定时,所述确定模块获取该备份数据的文件名,并将该文件名与所述数据库中储存的备份数据进行比对以判定文件名重合度,当文件名重合度大于等于97%时,所述确定模块判定该待备份数据为重要待备份数据,并该将待备份数据发送至所述发送模块。
具体而言,当所述确定模块对待备份数据进行二次判定时,确定模块通过获取待备份数据的文件名、将待备份数据中的文件名依次与数据库中储存的备份数据中的文件名进行比对,并当文件名重合度符合标准时,确定模块将该待备份数据标记为重要待备份数据,通过确定模块的二次判定,可以更加精确的判定各待备份数据,进而提高了发送模块发送待备份数据的准确性,且提高了备份数据的效率。
具体而言,所述数据特征还包括备份标记,当所述判断模块根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度,且待备份数据含有备份标记时,所述判断模块判定该待备份数据为重要待备份数据,并该将待备份数据发送至所述发送模块。
具体而言,所述实际分值A采用公式(1)计算:
A=((B/B0)+(C/C0)+(D/D0))×100% (1);
其中,B为待备份数据实际大小,B0为预设待备份数据大小,C为统计周期t内实际被查看次数,C0为统计周期t内预设被查看次数,D为统计周期t内实际被查看总时间,D0为统计周期t内预设被查看总时间。
具体而言,在所述判断模块计算待备份数据的分值时,通过待备份数据大小、统计周期内被查看次数、统计周期内被查看总时间多角度、多维度的对待备份数据进行评分,可以更加精准的掌握待备份数据的重要程度,进而,可以提高发送模块发送待备份数据的准确性,且提高了备份数据的效率。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例,并不用于限制本发明;对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种跨平台多机房分布式数据库备份***,其特征在于,包括:
采集模块,其包括若干用于采集数据并生成待备份数据的采集单元;
获取模块,其与所述采集模块连接,包括若干用于获取待备份数据的数据特征的获取单元;
判断模块,其与所述获取模块相连,包括若干用于根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度,并根据计算结果以判定是否需要备份所述数据库备份数据的判断单元;其中,所述判断模块在计算待备份数据的重要程度时,所述判断模块将待备份数据的实际分值与预设值进行比对,并根据比对结果判定是否需要备份该待备份数据,所述判断模块判定实际分值小于预设值,所述判断模块判定无需备份该备份数据,所述判断模块判定实际分值数据预设值,所述判断模块将该备份数据发送至确定模块以进行二次判定,所述判断模块判定实际分值大于预设值,所述判断模块判定需备份该备份数据;
所述确定模块,其与所述判断模块相连,包括若干用于根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度,并根据计算结果以二次判定是否需要备份所述数据库备份数据的确定单元;其中,所述确定模块在进行二次判定时,所述确定模块获取待备份数据的文件名,并根据文件名重合度二次判定是否备份该待备份数据;
发送模块,其分别与所述判断模块和所述确定模块相连,包括若干用于若判定需要备份所述待备份数据,则将所述待备份数据发送至数据库中进行备份的发送单元,所述发送模块在发送所述待备份数据时,使用处于闲时状态的发送单元发送所述待备份数据;
数据库,其与所述发送模块相连,用于接收和储存所述发送模块传输的待备份数据,储存完成时,数据库将待备份数据标记为备份数据;
修正模块,其所述发送模块相连,用于分别检测所述发送模块的传输速率,并根据检测结果判定是否修正所述发送单元的数量。
2.根据权利要求1所述的跨平台多机房分布式数据库备份***,其特征在于,当所述判断模块根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度时,所述判断模块计算所述待备份数据的实际分值A、将实际分值A与预设分值A0进行比对并根据比对结果判定是否备份该待备份数据,其中,所述数据特征包括,待备份数据的大小、被查看次数、被查看总时长;
所述预设分值A0包括第一预设分值A1和第二预设分值A2,其中,A1<A2;
当A<A1时,所述判断模块将该待备份数据判定为不重要待备份数据,且无需备份该待备份数据;
当A1≤A≤A2时,所述判断模块判定该待备份数据判定为普通待备份数据,并将该待备份数据发送至所述确定模块以进行二次判定;
当A>A2时,所述判断模块判定该待备份数据判定为重要待备份数据,且需备份该待备份数据。
3.根据权利要求2所述的跨平台多机房分布式数据库备份***,其特征在于,当所述判断模块判定该待备份数据判定为重要待备份数据时,所述判断模块计算分值差值△A、将分值差值△A与预设分值差值进行比对,并根据比对结果将该待备份数据拆分为若干部分,拆分完成时,所述判断模块将拆分后的待备份数据发送至所述发送模块,所述发送模块使用所述发送单元向所述数据库中传输待备份数据中的各拆分部分,其中,所述发送单元与拆分部分的数量相同;
所述预设分值差值包括第一预设分值差值△A1、第二预设分值差值△A2、第三预设分值差值△A3、第一拆分部分数量Q1、第二拆分部分数量Q2、第三拆分部分数量Q3和第四拆分部分数量Q4,其中,△A1<△A2<△A2,3≤Q1<Q2<Q3<Q4≤20;
当△A<△A1时,所述判断模块将该待备份数据的拆分数量设置为Q1;
当△A1≤△A<△A2时,所述判断模块将该待备份数据的拆分数量设置为Q2;
当△A2≤△A<△A3时,所述判断模块将该待备份数据的拆分数量设置为Q3;
当△A≥△A2时,所述判断模块将该待备份数据的拆分数量设置为Q4。
4.根据权利要求3所述的跨平台多机房分布式数据库备份***,其特征在于,当所述判断模块完成对所述待备份数据的拆分,且所述发送模块使用发送单元传输各拆分部分时,所述修正模块检测所述发送模块的传输速率Va、将传输速率Va与对应的预设传输速率Vb进行比对,并根据比对结果判定传输速率是否修正所述发送单元的数量,设定Va=V1+V2+V3+......+Vi,设定Vb=V0×(Y/Y0),其中,V0为发送模块传输速率最大值,Vi为各发送单元的实际传输速率,Y0为发送模块中发送单元的数量,Y为实际发送待备份数据的发送单元的数量,且i=Y;
当Va=Vb时,所述修正模块判定传输速率符合标准,并无需修正所述发送单元的数量Y;
当Va<Vb时,所述修正模块判定传输速率不符合标准,并需修正所述发送单元的数量Y。
5.根据权利要求4所述的跨平台多机房分布式数据库备份***,其特征在于,当所述修正模块检测所述发送模块的传输速率Va、将传输速率Va与对应的预设传输速率Vb进行比对时,所述修正模块计算各所述发送单元传输速率差值△Vi、将传输速率差值△Vi依次与预设传输速率差值最大值△Vmax进行比对,并根据比对结果判定对应的发送单元是否存在故障,其中,△Vi=Vb-Vi;
当△Vi≥△Vmax时,所述修正模块判定该发送单元发生故障,并使用与该发送单元相邻的闲时发送单元发送待备份数据;
当△Vi<△Vmax时,所述修正模块判定该发送单元未发生故障,并使用该发送单元发送待备份数据。
6.根据权利要求4所述的跨平台多机房分布式数据库备份***,其特征在于,所述修正模块判定需修正所述发送单元的数量Y时,所述修正模块将修正后的发送单元数量记为Y1,设定Y1=Y×(1+(Va/Vb)),其中,当Y1不为整数时,所述修正模块向下取整。
7.根据权利要求6所述的跨平台多机房分布式数据库备份***,其特征在于,当所述修正模块判定需将所述发送单元的数量修正为Y1时,所述修正模块将修正后的发送单元数量Y1与当前处于闲时状态的发送单元数量Yb进行比对;
当Y1>Yb时,所述修正模块判定修正后的发送单元数量不符合标准,并将发送单元的数量设置为Yb;
当Y1≤Yb时,所述修正模块判定修正后的发送单元数量符合标准,并将发送单元的数量设置为Y1。
8.根据权利要求2所述的跨平台多机房分布式数据库备份***,其特征在于,当所述判断模块判定该待备份数据判定为普通待备份数据,并将该待备份数据发送至所述确定模块以进行二次判定时,所述确定模块获取该备份数据的文件名,并将该文件名与所述数据库中储存的备份数据进行比对以判定文件名重合度,当文件名重合度大于等于97%时,所述确定模块判定该待备份数据为重要待备份数据,并该将待备份数据发送至所述发送模块。
9.根据权利要求2或8所述的跨平台多机房分布式数据库备份***,其特征在于,所述数据特征还包括备份标记,当所述判断模块根据所述获取模块分析的待备份数据的数据特征计算待备份数据的重要程度,且待备份数据含有备份标记时,所述判断模块判定该待备份数据为重要待备份数据,并该将待备份数据发送至所述发送模块。
10.根据权利要求2所述的跨平台多机房分布式数据库备份***,其特征在于,所述实际分值A采用公式(1)计算:
A=((B/B0)+(C/C0)+(D/D0))×100% (1);
其中,B为待备份数据实际大小,B0为预设待备份数据大小,C为统计周期t内实际被查看次数,C0为统计周期t内预设被查看次数,D为统计周期t内实际被查看总时间,D0为统计周期t内预被查看总时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111341828.XA CN114064359B (zh) | 2021-11-12 | 2021-11-12 | 一种跨平台多机房分布式数据库备份*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111341828.XA CN114064359B (zh) | 2021-11-12 | 2021-11-12 | 一种跨平台多机房分布式数据库备份*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114064359A true CN114064359A (zh) | 2022-02-18 |
CN114064359B CN114064359B (zh) | 2023-03-31 |
Family
ID=80271907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111341828.XA Active CN114064359B (zh) | 2021-11-12 | 2021-11-12 | 一种跨平台多机房分布式数据库备份*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114064359B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116016237A (zh) * | 2023-03-27 | 2023-04-25 | 武汉星翊科技有限公司 | 一种智能网关监控*** |
CN117149746A (zh) * | 2023-10-30 | 2023-12-01 | 山东海博科技信息***股份有限公司 | 基于云原生和存算分离的数据仓库管理*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140181042A1 (en) * | 2012-12-26 | 2014-06-26 | Kabushiki Kaisha Toshiba | Information processor, distributed database system, and backup method |
CN104182302A (zh) * | 2014-09-15 | 2014-12-03 | 北京国双科技有限公司 | 数据库备份方法及装置 |
CN112800428A (zh) * | 2021-01-15 | 2021-05-14 | ***股份有限公司 | 一种终端设备的安全状态判断方法及装置 |
CN113157489A (zh) * | 2021-02-24 | 2021-07-23 | 平安普惠企业管理有限公司 | 数据库数据备份方法、装置及计算机设备 |
CN113360324A (zh) * | 2021-08-10 | 2021-09-07 | 北京华科海讯科技有限公司 | 基于分布式文件数据的数据备份装置 |
CN113467996A (zh) * | 2021-07-08 | 2021-10-01 | 咪咕音乐有限公司 | 数据库备份方法、装置、计算机设备及存储介质 |
-
2021
- 2021-11-12 CN CN202111341828.XA patent/CN114064359B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140181042A1 (en) * | 2012-12-26 | 2014-06-26 | Kabushiki Kaisha Toshiba | Information processor, distributed database system, and backup method |
CN104182302A (zh) * | 2014-09-15 | 2014-12-03 | 北京国双科技有限公司 | 数据库备份方法及装置 |
CN112800428A (zh) * | 2021-01-15 | 2021-05-14 | ***股份有限公司 | 一种终端设备的安全状态判断方法及装置 |
CN113157489A (zh) * | 2021-02-24 | 2021-07-23 | 平安普惠企业管理有限公司 | 数据库数据备份方法、装置及计算机设备 |
CN113467996A (zh) * | 2021-07-08 | 2021-10-01 | 咪咕音乐有限公司 | 数据库备份方法、装置、计算机设备及存储介质 |
CN113360324A (zh) * | 2021-08-10 | 2021-09-07 | 北京华科海讯科技有限公司 | 基于分布式文件数据的数据备份装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116016237A (zh) * | 2023-03-27 | 2023-04-25 | 武汉星翊科技有限公司 | 一种智能网关监控*** |
CN116016237B (zh) * | 2023-03-27 | 2023-11-14 | 武汉星翊科技有限公司 | 一种智能网关监控*** |
CN117149746A (zh) * | 2023-10-30 | 2023-12-01 | 山东海博科技信息***股份有限公司 | 基于云原生和存算分离的数据仓库管理*** |
CN117149746B (zh) * | 2023-10-30 | 2024-02-02 | 山东海博科技信息***股份有限公司 | 基于云原生和存算分离的数据仓库管理*** |
Also Published As
Publication number | Publication date |
---|---|
CN114064359B (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114064359B (zh) | 一种跨平台多机房分布式数据库备份*** | |
US11350188B2 (en) | Internet of things (IoT) based gas meter fault prompting | |
CN103873287B (zh) | 一种基于企业服务总线消息监控平台的消息补偿方法 | |
CN106841881B (zh) | 用电模块的分析方法及装置 | |
EP2724276A1 (en) | System and method for determining an optimum qc strategy for immediate release results | |
CN111204224A (zh) | 一种基于汽车的动力电池包故障控制***及方法 | |
CN110097275A (zh) | 一种基于台区停电数据的户变关系校验方法及装置 | |
CN111404356B (zh) | 一种电源设备功率等级修正方法及相应的修正装置 | |
CN106848452A (zh) | 一种动力电池故障显示方法和动力电池故障显示装置 | |
CN113609119A (zh) | 一种数据对账修复方法、装置、存储介质及电子设备 | |
EP3859867B1 (en) | Battery management system, processing device, battery management method, and battery management and control system | |
CN111949641B (zh) | 一种多级平台间数据清洗与同步方法及*** | |
CN117668692A (zh) | 基于故障检测的智能化电能监控方法、装置、设备和介质 | |
CN106373028B (zh) | 一种电力维修*** | |
CN116668265A (zh) | 一种监测i2c总线通信异常的方法及*** | |
CN109254952B (zh) | 一种智能变电站配置文件合法性校验方法 | |
CN116708488A (zh) | 水利物联网设备状态同步方法、装置、设备及存储介质 | |
CN112884353B (zh) | 一种任务可靠度评价*** | |
CN115883340A (zh) | 一种基于hplc和hrf双模通信故障处理方法和设备 | |
CN114039886A (zh) | 基于四分差和自相关性分析的数据正确性辨识方法及装置 | |
JP2011192201A (ja) | リモート保全システムおよびリモート保全方法 | |
CN106941429B (zh) | 一种通讯可靠性测试方法及*** | |
CN103647353A (zh) | 一种基于站内信号的远传点表的比对方法 | |
CN109994326B (zh) | 一种特高压直流输电工程用电容器单元电容的配平方法 | |
EP4256354B1 (en) | Safety mechanisms for artificial intelligence units used in safety critical applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |