CN115934843A - 一种分布式数据读写处理方法 - Google Patents

Abstract

本发明公开了一种分布式数据读写处理方法，涉及数据读写处理技术领域，解决了现有技术中，数据读写处理过程中不能够进行主从延迟检测的技术问题；本发明是通过判断当前数据库的访问强度大小，以至于在数据库访问时能够及时进行数据调度，防止访问强度大导致数据库运转出现偏差，降低数据库的工作效率，同时在完成强度分析后将访问任务中读写任务量进行均衡性分析；还将数据库实时访问时数据执行过程进行分析，判断数据执行过程是否存在延迟，以确保数据执行的可靠性，防止数据库的使用质量降低，同时在根据是否存在延迟将对应数据库进行主从控制分析，合理进行主从执行，保证数据库的数据执行合格性，将数据库的数据访问执行风险降至最低。

Description

一种分布式数据读写处理方法

技术领域

本发明涉及数据读写处理技术领域，具体为一种分布式数据读写处理方法。

背景技术

数据库架构是一写多读架构，主库也是写库、从库也为读库，而读写分离的意思是所有的写操作走主库、其他走从库，而读写分离的主要目的是降低主库的压力，以达到***的整体稳定，另外读写架构非常适合实现事务，只有一个写节点；

但是在现有技术中，主从延迟将导致往主库写入的数据跟从库读出来的数据不一致，且数据读写处理过程中不能够进行主从延迟检测，同时不能够将数据库进行分区储存，将读写数据分区；

针对上述的技术缺陷，现提出一种解决方案。

发明内容

本发明的目的就在于为了解决上述提出的问题，而提出一种分布式数据读写处理方法，是根据读写不同类型进行数据分区存储，有利于提高数据库数据存储的效率，同时有利于提高数据库访问的稳定性，防止数据访问延迟导致数据访问出现偏差，导致数据库的存储效率降低；还将数据库内实时存储数据进行分区存储后，将可读区域和可写区域内存储的数据进行关联性分析，以至于在可读区域和可写区域内存储数据需同时使用时，能够保证存储数据的供应及时性，防止在读写过程中数据供应不及时，导致数据库的数据存储效率低，影响数据执行的效率。

本发明的目的可以通过以下技术方案实现：

一种分布式数据读写处理方法，处理方法步骤如下：

步骤一、存储数据分析，将数据库内实时存储数据进行分析，将实时存储数据进行类型划分，根据实时存储数据的本身特性进行读写类型划分，并根据读写不同类型进行数据分区存储；

步骤二、分区存储，将数据库内实时存储数据进行分区存储后，将可读区域和可写区域内存储的数据进行关联性分析；

步骤三、访问强度分析，将数据库的当前访问强度进行分析监测，同时在完成强度分析后将访问任务中读写任务量进行均衡性分析；

步骤四、主从控制分析，将数据库实时访问时数据执行过程进行分析，判断数据执行过程是否存在延迟，同时在根据是否存在延迟将对应数据库进行主从控制分析。

作为本发明的一种优选实施方式，步骤一中存储数据分析的具体过程如下：

将数据库内的实时存储数据设置标号i，i为大于1的自然数，采集到数据库内实时存储数据的最短更新间隔时长以及实时存储数据的数据更新频率；采集到数据库内实时存储数据的数据更新偏差概率；通过分析获取到数据库内实时存储数据的类型划分系数；

将数据库内实时存储数据的类型划分系数与类型划分系数阈值进行比较：若数据库内实时存储数据的类型划分系数超过类型划分系数阈值，则判定对应实时存储数据的变动概率大，将对应实时存储数据标记为高频率可写数据；若数据库内实时存储数据的类型划分系数未超过类型划分系数阈值，则判定对应实时存储数据的变动概率小，将对应实时存储数据标记为高频率可读数据。

作为本发明的一种优选实施方式，步骤二中分区存储存储过程如下：

将数据库内高频率可写数据和高频率可读数据进行对应分区存储，并将数据库划分出可写区域和可读区域，且将高频率可写数据和高频率可读数据分别对应存储至可写区域和可读区域，在完成分区存储后，将可写区域和可读区域内存储数据进行分析；

将可写区域和可读区域内存储数据统一标记为分区存储数据，采集到各个分区存储数据同一时刻更新的频率以及分区存储数据相邻更新的最短间隔时长，并将各个分区存储数据同一时刻更新的频率以及分区存储数据相邻更新的最短间隔时长分别与更新频率阈值和最短间隔时长阈值进行比较：

若各个分区存储数据同一时刻更新的频率超过更新频率阈值，或者分区存储数据相邻更新的最短间隔时长未超过最短间隔时长阈值，则判定对应分区存储数据为高关联性数据；若各个分区存储数据同一时刻更新的频率未超过更新频率阈值，且分区存储数据相邻更新的最短间隔时长超过最短间隔时长阈值，则判定对应分区存储数据为低关联性数据。

作为本发明的一种优选实施方式，步骤三中访问强度分析过程如下：

将数据库的访问强度进行分析，采集到访问时间段内数据库对应实时访问终端数量增长速度以及数据库内同一存储数据的同时刻需求访问终端数量，并将其分别与数量增长速度阈值和访问终端数量阈值进行比较：

若访问时间段内数据库对应实时访问终端数量增长速度超过数量增长速度阈值，或者数据库内同一存储数据的同时刻需求访问终端数量超过访问终端数量阈值，则判定数据库的实时访问强度大，并将当前数据库访问标记为高强度执行；若访问时间段内数据库对应实时访问终端数量增长速度未超过数量增长速度阈值，且数据库内同一存储数据的同时刻需求访问终端数量未超过访问终端数量阈值，则判定数据库的实时访问强度小，并将当前数据库访问标记为低强度执行。

作为本发明的一种优选实施方式，将高强度执行过程进行分析，采集到高强度执行过程中数据读取任务量与数据写入任务量的比值以及数据读取任务执行频率与数据写入任务执行频率的比值，并将其分别与任务量比值阈值范围和执行频率比值阈值范围进行比较：

若高强度执行过程中数据读取任务量与数据写入任务量的比值处于任务量比值阈值范围，且数据读取任务执行频率与数据写入任务执行频率的比值处于执行频率比值阈值范围，则判定数据库的当前读写访问任务量均衡性合格，生成均衡访问信号并将均衡访问信号发送至管理人员的手机终端；

若高强度执行过程中数据读取任务量与数据写入任务量的比值未处于任务量比值阈值范围，或者数据读取任务执行频率与数据写入任务执行频率的比值未处于执行频率比值阈值范围，则判定数据库的当前读写访问任务量均衡性不合格，生成非均衡访问信号并将非均衡访问信号发送至管理人员的手机终端。

作为本发明的一种优选实施方式，步骤四中主从控制分析过程如下：

采集到数据库访问过程中数据访问出现延迟的频率以及数据访问延迟的平均时长，并将数据库访问过程中数据访问出现延迟的频率以及数据访问延迟的平均时长分别与延迟频率阈值和平均时长阈值进行比较：

若数据库访问过程中数据访问出现延迟的频率超过延迟频率阈值，或者数据访问延迟的平均时长超过平均时长阈值，则判定数据库访问存在延迟，生成访问延迟信号并将访问延迟信号发送至管理人员的手机终端；若数据库访问过程中数据访问出现延迟的频率未超过延迟频率阈值，且数据访问延迟的平均时长未超过平均时长阈值，则判定数据库访问不存在延迟，生成访问无延迟信号并将访问无延迟信号发送至管理人员的手机终端。

与现有技术相比，本发明的有益效果是：

1、本发明中，将实时存储数据进行类型划分，根据实时存储数据的本身特性进行读写类型划分，并根据读写不同类型进行数据分区存储，有利于提高数据库数据存储的效率，同时有利于提高数据库访问的稳定性，防止数据访问延迟导致数据访问出现偏差，导致数据库的存储效率降低；将数据库内实时存储数据进行分区存储后，将可读区域和可写区域内存储的数据进行关联性分析，以至于在可读区域和可写区域内存储数据需同时使用时，能够保证存储数据的供应及时性，防止在读写过程中数据供应不及时，导致数据库的数据存储效率低，影响数据执行的效率；

2、本发明中，将数据库的当前访问强度进行分析监测，判断当前数据库的访问强度大小，以至于在数据库访问时能够及时进行数据调度，防止访问强度大导致数据库运转出现偏差，降低数据库的工作效率，同时在完成强度分析后将访问任务中读写任务量进行均衡性分析，为主从控制提供标准，也防止读写任务量差值过程中导致存储资源匹配不合格；将数据库实时访问时数据执行过程进行分析，判断数据执行过程是否存在延迟，从而确保数据执行的可靠性，防止数据库的使用质量降低，同时在根据是否存在延迟将对应数据库进行主从控制分析，合理进行主从执行，保证数据库的数据执行合格性，将数据库的数据访问执行风险降至最低。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明一种分布式数据读写处理方法的方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1所示，一种分布式数据读写处理方法，具体处理方法步骤如下：

步骤一、存储数据分析，将数据库内实时存储数据进行分析，将实时存储数据进行类型划分，根据实时存储数据的本身特性进行读写类型划分，并根据读写不同类型进行数据分区存储，有利于提高数据库数据存储的效率，同时有利于提高数据库访问的稳定性，防止数据访问延迟导致数据访问出现偏差，导致数据库的存储效率降低；

步骤二、分区存储，将数据库内实时存储数据进行分区存储后，将可读区域和可写区域内存储的数据进行关联性分析，以至于在可读区域和可写区域内存储数据需同时使用时，能够保证存储数据的供应及时性，防止在读写过程中数据供应不及时，导致数据库的数据存储效率低，影响数据执行的效率；

步骤三、访问强度分析，将数据库的当前访问强度进行分析监测，判断当前数据库的访问强度大小，以至于在数据库访问时能够及时进行数据调度，防止访问强度大导致数据库运转出现偏差，降低数据库的工作效率，同时在完成强度分析后将访问任务中读写任务量进行均衡性分析，为主从控制提供标准，也防止读写任务量差值过程中导致存储资源匹配不合格；

步骤四、主从控制分析，将数据库实时访问时数据执行过程进行分析，判断数据执行过程是否存在延迟，从而确保数据执行的可靠性，防止数据库的使用质量降低，同时在根据是否存在延迟将对应数据库进行主从控制分析，合理进行主从执行，保证数据库的数据执行合格性，将数据库的数据访问执行风险降至最低；

步骤一中存储数据分析的具体过程如下：

将数据库内的实时存储数据设置标号i，i为大于1的自然数，采集到数据库内实时存储数据的最短更新间隔时长以及实时存储数据的数据更新频率，并将数据库内实时存储数据的最短更新间隔时长以及实时存储数据的数据更新频率分别标记为HGSi和GPLi；采集到数据库内实时存储数据的数据更新偏差概率，并将数据库内实时存储数据的数据更新偏差概率标记为PGLi；

通过公式

获取到数据库内实时存储数据的类型划分系数Xi，其中，a1、a2以及a3均为预设比例系数，且a1＞a2＞a3＞0，β为误差修正因子，取值为0.9875；

将数据库内实时存储数据的类型划分系数Xi与类型划分系数阈值进行比较：

若数据库内实时存储数据的类型划分系数Xi超过类型划分系数阈值，则判定对应实时存储数据的变动概率大，将对应实时存储数据标记为高频率可写数据；若数据库内实时存储数据的类型划分系数Xi未超过类型划分系数阈值，则判定对应实时存储数据的变动概率小，将对应实时存储数据标记为高频率可读数据；

步骤二中分区存储存储过程如下：

将数据库内高频率可写数据和高频率可读数据进行对应分区存储，并将数据库划分出可写区域和可读区域，且将高频率可写数据和高频率可读数据分别对应存储至可写区域和可读区域，在完成分区存储后，将可写区域和可读区域内存储数据进行分析；

将可写区域和可读区域内存储数据统一标记为分区存储数据，采集到各个分区存储数据同一时刻更新的频率以及分区存储数据相邻更新的最短间隔时长，并将各个分区存储数据同一时刻更新的频率以及分区存储数据相邻更新的最短间隔时长分别与更新频率阈值和最短间隔时长阈值进行比较：其中，更新最短间隔时长根据多次更新间隔时长取平均值获取；

若各个分区存储数据同一时刻更新的频率超过更新频率阈值，或者分区存储数据相邻更新的最短间隔时长未超过最短间隔时长阈值，则判定对应分区存储数据为高关联性数据；若各个分区存储数据同一时刻更新的频率未超过更新频率阈值，且分区存储数据相邻更新的最短间隔时长超过最短间隔时长阈值，则判定对应分区存储数据为低关联性数据；

在数据库访问时，若实时访问数据需进行读写时，将不同区域的分区存储数据进行数据传输通道占用，即在当前分区存储数据完成访问后，实时访问终端仍需访问关联数据，则将对应高关联性数据实时传输至实时访问终端，防止关联数据访问时无法及时获取在访问强度大时容易造成网路拥堵，影响访问质量；

步骤三中访问强度分析过程如下：

将数据库的访问强度进行分析，采集到访问时间段内数据库对应实时访问终端数量增长速度以及数据库内同一存储数据的同时刻需求访问终端数量，并将访问时间段内数据库对应实时访问终端数量增长速度以及数据库内同一存储数据的同时刻需求访问终端数量分别与数量增长速度阈值和访问终端数量阈值进行比较：

若访问时间段内数据库对应实时访问终端数量增长速度超过数量增长速度阈值，或者数据库内同一存储数据的同时刻需求访问终端数量超过访问终端数量阈值，则判定数据库的实时访问强度大，并将当前数据库访问标记为高强度执行；若访问时间段内数据库对应实时访问终端数量增长速度未超过数量增长速度阈值，且数据库内同一存储数据的同时刻需求访问终端数量未超过访问终端数量阈值，则判定数据库的实时访问强度小，并将当前数据库访问标记为低强度执行；

将高强度执行过程进行分析，采集到高强度执行过程中数据读取任务量与数据写入任务量的比值以及数据读取任务执行频率与数据写入任务执行频率的比值，并将高强度执行过程中数据读取任务量与数据写入任务量的比值以及数据读取任务执行频率与数据写入任务执行频率的比值分别与任务量比值阈值范围和执行频率比值阈值范围进行比较：

若高强度执行过程中数据读取任务量与数据写入任务量的比值处于任务量比值阈值范围，且数据读取任务执行频率与数据写入任务执行频率的比值处于执行频率比值阈值范围，则判定数据库的当前读写访问任务量均衡性合格，生成均衡访问信号并将均衡访问信号发送至管理人员的手机终端；

若高强度执行过程中数据读取任务量与数据写入任务量的比值未处于任务量比值阈值范围，或者数据读取任务执行频率与数据写入任务执行频率的比值未处于执行频率比值阈值范围，则判定数据库的当前读写访问任务量均衡性不合格，生成非均衡访问信号并将非均衡访问信号发送至管理人员的手机终端；管理人员接收到非均衡访问信号后，将数据库对应访问区域进行主从控制；

步骤四中主从控制分析过程如下：

采集到数据库访问过程中数据访问出现延迟的频率以及数据访问延迟的平均时长，并将数据库访问过程中数据访问出现延迟的频率以及数据访问延迟的平均时长分别与延迟频率阈值和平均时长阈值进行比较：

若数据库访问过程中数据访问出现延迟的频率超过延迟频率阈值，或者数据访问延迟的平均时长超过平均时长阈值，则判定数据库访问存在延迟，生成访问延迟信号并将访问延迟信号发送至管理人员的手机终端；

若数据库访问过程中数据访问出现延迟的频率未超过延迟频率阈值，且数据访问延迟的平均时长未超过平均时长阈值，则判定数据库访问不存在延迟，生成访问无延迟信号并将访问无延迟信号发送至管理人员的手机终端；

管理人员接收到访问延迟信号，将对应访问区域进行主从控制；将需要进行主从控制的访问区域标记为控制区域，将控制区域各个访问节点去中心化处理，即每个访问节点可单独接收访问需求，且接收到访问需求后自行进行访问需求执行，有利于当前访问任务的稳定执行，防止任务量强度导致数据库运行效率降低；若控制区域内不存在延迟或者任务量均衡性合格，则将控制区域内各个访问节点设置主节点，即主节点进行访问需求接收，并在访问需求判定可执行后将其发送至其余访问节点，访问节点完成执行后将执行反馈发送至主节点；保证数据库的安全性同时提高数据访问的可溯源性。

上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式，公式中的系数是由本领域技术人员根据实际情况进行设置；

本发明在使用时，存储数据分析，将数据库内实时存储数据进行分析，将实时存储数据进行类型划分，根据实时存储数据的本身特性进行读写类型划分，并根据读写不同类型进行数据分区存储；分区存储，将数据库内实时存储数据进行分区存储后，将可读区域和可写区域内存储的数据进行关联性分析；访问强度分析，将数据库的当前访问强度进行分析监测，同时在完成强度分析后将访问任务中读写任务量进行均衡性分析；主从控制分析，将数据库实时访问时数据执行过程进行分析，判断数据执行过程是否存在延迟，同时在根据是否存在延迟将对应数据库进行主从控制分析。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种分布式数据读写处理方法，其特征在于，处理方法步骤如下：

步骤一、存储数据分析，将数据库内实时存储数据进行分析，将实时存储数据进行类型划分，根据实时存储数据的本身特性进行读写类型划分，并根据读写不同类型进行数据分区存储；

步骤二、分区存储，将数据库内实时存储数据进行分区存储后，将可读区域和可写区域内存储的数据进行关联性分析；

步骤三、访问强度分析，将数据库的当前访问强度进行分析监测，同时在完成强度分析后将访问任务中读写任务量进行均衡性分析；

步骤四、主从控制分析，将数据库实时访问时数据执行过程进行分析，判断数据执行过程是否存在延迟，同时在根据是否存在延迟将对应数据库进行主从控制分析。

2.根据权利要求1所述的一种分布式数据读写处理方法，其特征在于，步骤一中存储数据分析的具体过程如下：

将数据库内的实时存储数据设置标号i，i为大于1的自然数，采集到数据库内实时存储数据的最短更新间隔时长以及实时存储数据的数据更新频率；采集到数据库内实时存储数据的数据更新偏差概率；通过分析获取到数据库内实时存储数据的类型划分系数；

将数据库内实时存储数据的类型划分系数与类型划分系数阈值进行比较：若数据库内实时存储数据的类型划分系数超过类型划分系数阈值，则判定对应实时存储数据的变动概率大，将对应实时存储数据标记为高频率可写数据；若数据库内实时存储数据的类型划分系数未超过类型划分系数阈值，则判定对应实时存储数据的变动概率小，将对应实时存储数据标记为高频率可读数据。

3.根据权利要求1所述的一种分布式数据读写处理方法，其特征在于，步骤二中分区存储存储过程如下：

将数据库内高频率可写数据和高频率可读数据进行对应分区存储，并将数据库划分出可写区域和可读区域，且将高频率可写数据和高频率可读数据分别对应存储至可写区域和可读区域，在完成分区存储后，将可写区域和可读区域内存储数据进行分析；

将可写区域和可读区域内存储数据统一标记为分区存储数据，采集到各个分区存储数据同一时刻更新的频率以及分区存储数据相邻更新的最短间隔时长，并将各个分区存储数据同一时刻更新的频率以及分区存储数据相邻更新的最短间隔时长分别与更新频率阈值和最短间隔时长阈值进行比较：

若各个分区存储数据同一时刻更新的频率超过更新频率阈值，或者分区存储数据相邻更新的最短间隔时长未超过最短间隔时长阈值，则判定对应分区存储数据为高关联性数据；若各个分区存储数据同一时刻更新的频率未超过更新频率阈值，且分区存储数据相邻更新的最短间隔时长超过最短间隔时长阈值，则判定对应分区存储数据为低关联性数据。

4.根据权利要求1所述的一种分布式数据读写处理方法，其特征在于，步骤三中访问强度分析过程如下：

将数据库的访问强度进行分析，采集到访问时间段内数据库对应实时访问终端数量增长速度以及数据库内同一存储数据的同时刻需求访问终端数量，并将其分别与数量增长速度阈值和访问终端数量阈值进行比较：

若访问时间段内数据库对应实时访问终端数量增长速度超过数量增长速度阈值，或者数据库内同一存储数据的同时刻需求访问终端数量超过访问终端数量阈值，则判定数据库的实时访问强度大，并将当前数据库访问标记为高强度执行；若访问时间段内数据库对应实时访问终端数量增长速度未超过数量增长速度阈值，且数据库内同一存储数据的同时刻需求访问终端数量未超过访问终端数量阈值，则判定数据库的实时访问强度小，并将当前数据库访问标记为低强度执行。

5.根据权利要求4所述的一种分布式数据读写处理方法，其特征在于，将高强度执行过程进行分析，采集到高强度执行过程中数据读取任务量与数据写入任务量的比值以及数据读取任务执行频率与数据写入任务执行频率的比值，并将其分别与任务量比值阈值范围和执行频率比值阈值范围进行比较：

若高强度执行过程中数据读取任务量与数据写入任务量的比值处于任务量比值阈值范围，且数据读取任务执行频率与数据写入任务执行频率的比值处于执行频率比值阈值范围，则判定数据库的当前读写访问任务量均衡性合格，生成均衡访问信号并将均衡访问信号发送至管理人员的手机终端；

若高强度执行过程中数据读取任务量与数据写入任务量的比值未处于任务量比值阈值范围，或者数据读取任务执行频率与数据写入任务执行频率的比值未处于执行频率比值阈值范围，则判定数据库的当前读写访问任务量均衡性不合格，生成非均衡访问信号并将非均衡访问信号发送至管理人员的手机终端。

6.根据权利要求1所述的一种分布式数据读写处理方法，其特征在于，步骤四中主从控制分析过程如下：

采集到数据库访问过程中数据访问出现延迟的频率以及数据访问延迟的平均时长，并将数据库访问过程中数据访问出现延迟的频率以及数据访问延迟的平均时长分别与延迟频率阈值和平均时长阈值进行比较：

若数据库访问过程中数据访问出现延迟的频率超过延迟频率阈值，或者数据访问延迟的平均时长超过平均时长阈值，则判定数据库访问存在延迟，生成访问延迟信号并将访问延迟信号发送至管理人员的手机终端；若数据库访问过程中数据访问出现延迟的频率未超过延迟频率阈值，且数据访问延迟的平均时长未超过平均时长阈值，则判定数据库访问不存在延迟，生成访问无延迟信号并将访问无延迟信号发送至管理人员的手机终端。

Images