CN117056134B - 一种快速备份能耗监测***中数据库数据的方法 - Google Patents
一种快速备份能耗监测***中数据库数据的方法 Download PDFInfo
- Publication number
- CN117056134B CN117056134B CN202311316562.2A CN202311316562A CN117056134B CN 117056134 B CN117056134 B CN 117056134B CN 202311316562 A CN202311316562 A CN 202311316562A CN 117056134 B CN117056134 B CN 117056134B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- backup
- storage
- energy consumption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005265 energy consumption Methods 0.000 title claims abstract description 59
- 238000012544 monitoring process Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005192 partition Methods 0.000 claims abstract description 35
- 238000013500 data storage Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 16
- 238000007726 management method Methods 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
为解决现有技术的问题，一种快速备份能耗监测***中数据库数据的方法，包括：步骤一，构建能耗监测模型；所述能耗监测模型包括具有数据关联性的：应用层、业务层、数据访问层、数据库层；步骤二，根据数据类型选择数据的储存和备份方式；步骤三，读取***数据进行储存和备份，包括：（一）对目标读取数据进行压缩处理；（二）根据步骤二确定的储存和备份方式，将步骤（一）的数据储存至对应的数据分区，并进行备份；（三）对储存的数据进行归档处理。本发明可以将能源监控***的目标储存数据进行压缩储存，从而极大节约了数据库的存储空间，保障数据的准确性和完整性的同时显著提高能耗监控***数据储存和读取的速度和准确性。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种快速备份能耗监测***中数据库数据的方法。
背景技术
目前随着各行各业的不断发展，各个企业使用的电力也在不断上升，在实际使用过程中经常会出现电能浪费的情况，使得企业整体的能耗上升，进而增加了企业的能耗成本，也造成了电能大量浪费的情况，并且每个企业在实际使用电能的设备和场所不同。
现有技术一般通过能耗监管平台对企业进行能耗监管，该***是用于各行业能源管理和节能决策的大型***，可以利用各种电量变送器、流量传感器、温度传感器、压力传感器等智能仪表自动采集分散在各地的耗能设备所消耗的电、水、汽等各种能源形态的实时数据，通过有线或无线传输网络平台。由于能耗监管平台需要分析和储存的数据量很高，常规的数据库直接储存方法，一方面进行数据备份的难度很高，而单一数据库储存数据很容易出现数据缺失或数据篡改的问题。另一方面常规的数据库直接储存方法，不仅需要超大容量的数据存储空间进行数据储存，而且调用数据时很难提供高效、准确的储存数据，限制了能耗监管平台中各数据分析模块的分析速度和分析准确性。
发明内容
为解决现有技术的存在的问题，本发明提供了一种快速备份能耗监测***中数据库数据的方法，包括：
步骤一 构建能耗监测模型；
所述能耗监测模型包括具有数据关联性的：应用层、业务层、数据访问层、数据库层；
步骤二 根据数据类型选择数据的储存和备份方式；
步骤三 读取***数据进行储存和备份，包括：
（一)对目标读取数据进行压缩处理；
（二）根据步骤二确定的储存和备份方式，将步骤（一）的数据储存至对应的数据分区，并进行备份；
（三）对储存的数据进行归档处理。
进一步的，所述应用层用于接收用户的请求并将其传递给下一层处理，并将处理结果返回给用户。
所述业务层是应用层的下一层，负责处理业务逻辑和业务规则。
所述数据访问层用于与数据库进行交互。
所述数据库层用于对数据进行存储和管理。
进一步的，步骤二所述数据类型包括：将***数据分为管理型静态数据和业务型动态数据，其中：
管理型静态数据为：目标能耗监测***投入运行前，在数据准备阶段进行定义并维护完成的数据。
业务型动态数据：在目标能耗监测***运行过程中，实时产生的涉及目标运行状态相关的数据。
进一步的，步骤二所述根据数据类型选择数据的储存和备份方式包括：
对于管理型静态数据，将相关数据储存在固定储存器中，并定期进行数据备份。
对业务型动态数据，采取随机存取存储器配合固定储存器的方式进行数据实时储存，且至少同时包括两套同步数据库进行同步储存。对同步数据库进行实时数据同步。
对业务型动态数据进行数据实时储存的方法包括：
首先，获取能耗监测***中的实时业务数据。
然后，将采集的数据先写入内存，并采用MDM技术数据对存入内存的实时数据进行管理。
最后，在设定内存数据存储空间写满后，将内存数据写入磁盘作为历史数据存档。
对业务型动态数据进行实时数据同步的方法包括：
首先，准备至少两套相同配置的数据库，每套数据库均可以与相关的上下层进行数据交互。
之后，以其中一套数据库为主数据库，其余数据库作为备份数据库。备份数据库向主数据库进行数据备份。
进一步的，备份数据库向主数据库进行数据备份的方法包括：当主数据库数据量没有超过预设阈值或备份数据库与主数据库没有一致时，备份数据库进行主数据库的全量数据同步镜像备份。当主数据库数据量超过预设阈值且备份数据库与主数据库一致，主数据库与备份数据库之间采用增强数据实时同步的方式，具体包括：
主数据库和备份数据库之间通过心跳监测方式进行通信，以监测主数据库和备份数据库之间的数据变化。当主数据库数据出现新增储存数据时，向备份数据库发出通信，并将新增储存数据备储存至备份数据库中。
进一步的，定时验证主数据库数据与备份数据库数据之间的一致性，当主数据库数据与备份数据库数据出现不一致时，调取数据缺失项，并进行如下判断：
当缺失数据存在于主数据库中时，将缺失数据补充至备份数据库中。
当缺失数据存在于备用数据库中时，调取主数据库数据删除历史，如该数据有对应的删除历史，则将该缺失数据标记为存在，下次数据一致性验证时读取该标记即认为该数据在主数据库中不缺失。如该数据没有对应的删除历史，则从备份数据库中该缺失数据补充至主数据库中。
进一步的，步骤三所述对目标读取数据进行压缩处理的方法包括：
S1. 构建常规字符-代码表。
S2. 从输入的数据中读取一个字符A1作为前缀B1。
S3. 读取下一个字符A2，并进行如下判断：
如果前缀B1加上字符A2在字符-代码表中存在对应的代码，则将前缀B1更新为前缀B1加上字符A2作为新的前缀B2。
如果前缀B1加上字符A2在字符-代码表中不存在对应的代码，则进行步骤S4。
S4. 在字符-代码表中添加一个前缀B1加字符A2作为字符，新的代码作为代码的新的字符-代码栏，并将新的字符-代码栏填入字符-代码表中。
S5. 重复步骤S2至S4至全部数据读取完成，并保存当前的字符-代码表。
S6. 统计所读取数据中，字符-代码表中所存对应字符分别出现的频率。
S7. 根据字符出现的频率构建一棵Huffman编码树，对于每一个叶子节点，其编码等于从根节点到该叶子节点的路径，0表示向左，1表示向右。
S8. 将Huffman编码树上的所有字符按照字符-代码表替换为对应的代码，得到Huffman代码树。
S9. 输出Huffman代码树为压缩后的数据。
进一步的，步骤三所述将数据储存至对应的数据分区的方法包括：根据读取数据的类型，将相似类型的数据划分至同一储存分区中。储存数据读取时，根据数据类型首先在对应的储存分区中进行数据读取。
进一步的，储存分区的存储能力进行如下判断调整：
首先，根据数据类型的数量，平均分配每个储存分区的存储能力。
然后，在其中某一储存分区内储存的数据总量达到存储能力上限的预设上限阈值时，自数据总量最小的储存分区中划分预设存储能力比例的存储空间给达到预设上限阈值的储存分区。
进一步的，步骤三所述对储存的数据进行归档处理的方法包括：将储存时间超过预设时间阈值，或读取频率低于预设频率阈值的数据自主数据库的活跃数据存储区域转存入非活跃数据存储区域，同时记录该数据的转存记录。储存数据读取时，优先检索和读取活跃数据存储区域内的数据。
本发明至少具有以下优点之一：
1.本发明采用特定的数据压缩算法可以将能源监控***的目标储存数据进行压缩储存，从而极大节约了数据库的存储空间。
2.本发明采用了特殊的数据储存结构，可以实现数据的高效读取，提高能耗监控***数据储存和读取的速度以及准确性。
3.本发明可以对主要储存数据进行备份，且采用的备份方式一方面可以节约存储空间，另一方面可以保障数据的准确性和完整性。
具体实施方式
以下结合具体实施例对本发明作进一步详细的说明。
实施例1
一种快速备份能耗监测***中数据库数据的方法，包括：
步骤一 构建能耗监测模型；
所述能耗监测模型包括具有数据关联性的：应用层、业务层、数据访问层、数据库层；
所述应用层用于接收用户的请求并将其传递给下一层处理，并将处理结果返回给用户。应用层包含了用户交互界面、业务逻辑、数据处理和应用服务等组件。应用层的作用是实现***的功能，并提供用户友好的界面。
所述业务层是应用层的下一层，负责处理业务逻辑和业务规则。它不依赖于具体的用户界面或数据存储方式，独立于应用层，可以被多个应用层共享和复用。业务层的作用是对外提供具体业务功能的接口，并调用下一层的服务来完成具体的业务逻辑。
所述数据访问层用于与数据库进行交互。它提供了对数据库的增删改查操作，并将数据库返回的结果传递给业务层。数据访问层的作用是将业务层的请求转化为对数据库的操作，并将数据库返回的结果封装给业务层使用。
所述数据库层用于对数据进行存储和管理。数据库层的作用是提供数据的持久化存储，并支持对数据的高效、安全和可靠的访问。
步骤二 根据数据类型选择数据的储存和备份方式；
所述数据类型包括：将***数据分为管理型静态数据和业务型动态数据，其中：
管理型静态数据为：目标能耗监测***投入运行前，在数据准备阶段进行定义并维护完成的数据。
业务型动态数据：在目标能耗监测***运行过程中，实时产生的涉及目标运行状态相关的数据。
所述根据数据类型选择数据的储存和备份方式包括：
对于管理型静态数据，将相关数据储存在固定储存器中，并定期进行数据备份。
对业务型动态数据，采取随机存取存储器配合固定储存器的方式进行数据实时储存，且至少同时包括两套同步数据库进行同步储存。对同步数据库进行实时数据同步。
对业务型动态数据进行数据实时储存的方法包括：
首先，获取能耗监测***中的实时业务数据。
数据的获取可以选择通过MCM多通道复用技术，为数据采集的准确性基础保障。同时采用SHS Data Bus超高速数据总线技术，为数据采集、传输提供更高速的数据通量与充足的传输带宽。
然后，将采集的数据先写入内存，并采用MDM技术数据对存入内存的实时数据进行管理。
根据需要，本发明在数据采集完毕后先写入内存，通过MTD技术数据对内存里的实时数据进行管理，在设定内存数据存储空间写满后将内存数据再写入磁盘作为历史数据存档，实时数据内存管理方式即满足用户进行高速分析与计算，为业务实时监测与分析提供数据支持，同时利用MDM技术可在数据入库前期完成数据的清洗工作，为数据的质量与精准度提供有效保障。
最后，在设定内存数据存储空间写满后，将内存数据写入磁盘作为历史数据存档。
对业务型动态数据进行实时数据同步的方法包括：
首先，准备至少两套相同配置的数据库，每套数据库均可以与相关的上下层进行数据交互。
之后，以其中一套数据库为主数据库，其余数据库作为备份数据库。备份数据库向主数据库进行数据备份。
备份数据库向主数据库进行数据备份的方法包括：当主数据库数据量没有超过预设阈值或备份数据库与主数据库没有一致时，备份数据库进行主数据库的全量数据同步镜像备份。当主数据库数据量超过预设阈值且备份数据库与主数据库一致，主数据库与备份数据库之间采用增强数据实时同步的方式，具体包括：
主数据库和备份数据库之间通过心跳监测方式进行通信，以监测主数据库和备份数据库之间的数据变化。当主数据库数据出现新增储存数据时，向备份数据库发出通信，并将新增储存数据备储存至备份数据库中。
定时验证主数据库数据与备份数据库数据之间的一致性，当主数据库数据与备份数据库数据出现不一致时，调取数据缺失项，并进行如下判断：
当缺失数据存在于主数据库中时，将缺失数据补充至备份数据库中。
当缺失数据存在于备用数据库中时，调取主数据库数据删除历史，如该数据有对应的删除历史，则将该缺失数据标记为存在，下次数据一致性验证时读取该标记即认为该数据在主数据库中不缺失。如该数据没有对应的删除历史，则从备份数据库中该缺失数据补充至主数据库中。
本发明根据能耗监测***功能与数据结构的特点，将***所需管理的数据类型分为管理型静态数据和业务型动态数据，其中管理数据大多为静态数据，这类数据主要在***投入使用前的数据准备阶段进行定义并维护完成，在***运行过程这类数据的变化与更新频次并不高或者无变换，数据的备份与恢复采用常规备份策略即可有效保障数据的安全性与完整性。
能耗监测***所管理与处理的业务型动态数据主要有以下特点：
(1)实时性：能耗监测数据是实时获取的，能够提供当前能耗情况的即时信息。
(2)多样性：能耗监测数据涵盖了多个方面的信息，包括用电量、能源消耗、能源效率等。
(3)大数据量：能耗监测数据通常是大规模收集和处理的，包含大量的数据点和时间序列。
(4)多维度：能耗监测数据可以从不同的角度和维度进行分析，包括时间维度、空间维度、设备维度等。
(5)可视化：能耗监测数据可以通过可视化手段呈现，例如图表、曲线、热力图等，便于用户直观地理解和分析。
(6)高精度：能耗监测数据通常具有较高的精度，以确保数据的准确性和可靠性。
(7)长期性：能耗监测数据可以长期收集和保存，用于长期能耗趋势的分析和对比。
(8)可追溯性：能耗监测数据记录了能源使用的历史信息，可以进行追溯和分析，帮助发现节能潜力和问题。
(9)可比较性：能耗监测数据可以与其他数据进行比较，例如不同时间段、不同地点或不同设备之间的能耗对比。
以上能耗监测数据的特点有助于对能耗进行分析和管理。这类数据有效的管理与备份，对保障数据的实时性、准确性、安全性将显得尤为重要。
本发明主要针对业务类型的动态数据提出一种高效、便捷管理与维护方法，业务数据主要为实时监测的能耗数据，此类数据采集频率高、变化快，时域跨度周期长。本发明的方法有别于传统的数据管理维护方案，采用基于实时数据的随机存取存储器配合固定储存器的复合式数据处理与储存方案，实现了数据异步处理机制与数据环形循环存储读写技术的结合，有效的提高数据写入、读取的效率。而数据备份方案采用数据实时同步策略，具备全量历史数据与增量数据同步以及数据补写机制，多个数据库的数据管理策略可以有效保障数据服务的可靠性。
步骤三 读取***数据进行储存和备份，包括：
（一）对目标读取数据进行压缩处理，具体包括：
S1. 构建常规字符-代码表。
S2. 从输入的数据中读取一个字符A1作为前缀B1。
S3. 读取下一个字符A2，并进行如下判断：
如果前缀B1加上字符A2在字符-代码表中存在对应的代码，则将前缀B1更新为前缀B1加上字符A2作为新的前缀B2。
如果前缀B1加上字符A2在字符-代码表中不存在对应的代码，则进行步骤S4。
S4. 在字符-代码表中添加一个前缀B1加字符A2作为字符，新的代码作为代码的新的字符-代码栏，并将新的字符-代码栏填入字符-代码表中。
S5. 重复步骤S2至S4至全部数据读取完成，并保存当前的字符-代码表。
S6. 统计所读取数据中，字符-代码表中所存对应字符分别出现的频率。
S7. 根据字符出现的频率构建一棵Huffman编码树，对于每一个叶子节点，其编码等于从根节点到该叶子节点的路径，0表示向左，1表示向右。
S8. 将Huffman编码树上的所有字符按照字符-代码表替换为对应的代码，得到Huffman代码树。
S9. 输出Huffman代码树为压缩后的数据。
由于能耗监测***的储存数据量很高，因此直接进行数据储存非常占用储存器的储存空间，采用本发明数据压缩方法可以在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据库备份通常会占用大量的存储空间，考虑使用压缩算法对备份数据进行压缩，能提高数据备份的效率，并减小存储空间的占用。
（二）根据步骤二确定的储存和备份方式，将步骤（一）的数据储存至对应的数据分区，并进行备份；
所述将数据储存至对应的数据分区的方法包括：根据读取数据的类型，将相似类型的数据划分至同一储存分区中。储存数据读取时，根据数据类型首先在对应的储存分区中进行数据读取。
储存分区的存储能力进行如下判断调整：
首先，根据数据类型的数量，平均分配每个储存分区的存储能力。
然后，在其中某一储存分区内储存的数据总量达到存储能力上限的预设上限阈值时，自数据总量最小的储存分区中划分预设存储能力比例的存储空间给达到预设上限阈值的储存分区。
数据库分区是一种物理数据库设计技术，根据数据的特点将其划分为多个分区，使得具有相近时间范围的数据存储在同一分区中，从而提高查询效率和存储管理的灵活性。此外本发明还提供了一种可以根据不同分区物理储存空间使用量动态调整各分区储量空间总量的方法，避免有的分区储存空间空余过多而有的分区储存空间不够使用的问题。
（三）对储存的数据进行归档处理。
步骤三所述对储存的数据进行归档处理的方法包括：将储存时间超过预设时间阈值，或读取频率低于预设频率阈值的数据自主数据库的活跃数据存储区域转存入非活跃数据存储区域，同时记录该数据的转存记录。储存数据读取时，优先检索和读取活跃数据存储区域内的数据。
本发明数据库归档可以将过期或者不再被使用的数据转移到一个存储区域，从而能够自动备份数据库的重要信息，保证数据的完整性和可靠性。同时归档功能能够检测和记录所有对数据库的更改操作，并根据用户定义的策略自动备份和存储这些操作，以保证数据不会丢失或损坏。从而可以提高数据库备份的速度和效率，只备份增量数据，减少备份过程中的数据重复，同时方便进行快速恢复，因为归档日志文件记录了所有对数据库的更改操作，可以快速恢复到某个时间点。在数据归档中还可以通过使用基于树的索引结构，提高数据的检索速度及准确性。
现有的能耗监测***不仅获取监测数据，还需要对所管理区域的各类能源的实时监测与分析、快速诊断设备运行期间的故障等，这就需要储存数据的支撑。本发明通过对数据进行压缩、归档、分区的方式优化了数据存储和查询过程，从而可以提高数据查询效率，提高能耗监测***中分析模块调取相应储存数据的速度。
以下为某电网项目直流调控数据分析与处理平台
原方案采用的为key-value数据库(Redis)+关系型数据库(MySQL)为核心的组合库，主要用于所辖换流站(变电站)各类型设备、线路运行过程的实时运行运维数据，且存储数据多为实时的时间序列数据。
后升级为本发明实施例1的技术方案，其直流调控数据分析平台的整体性能测试结果如下表所示：
可见，经过升级改造项目采用本发明技术为核心的数据底座，替代了直流中心传统key-value数据库(Redis)+关系型数据库(MySQL)为核心的组合库架构，使该直流调控数据分析与处理平台的整体性能在原有基础之上提高了15-41倍，大幅提升直流中心现有应用***的数据读写性能。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (8)
1.一种快速备份能耗监测***中数据库数据的方法，其特征在于，包括：
步骤一 构建能耗监测模型；
所述能耗监测模型包括具有数据关联性的：应用层、业务层、数据访问层、数据库层；
步骤二 根据数据类型选择数据的储存和备份方式；
步骤三 读取***数据进行储存和备份，包括：
（一）对目标读取数据进行压缩处理；
（二）根据步骤二确定的储存和备份方式，将步骤（一）的数据储存至对应的数据分区，并进行备份；
（三）对储存的数据进行归档处理；
步骤二所述数据类型包括：将***数据分为管理型静态数据和业务型动态数据，其中：
管理型静态数据为：目标能耗监测***投入运行前，在数据准备阶段进行定义并维护完成的数据；
业务型动态数据：在目标能耗监测***运行过程中，实时产生的涉及目标运行状态相关的数据；
步骤二所述根据数据类型选择数据的储存和备份方式包括：
对于管理型静态数据，将相关数据储存在固定储存器中，并定期进行数据备份；
对业务型动态数据，采取随机存取存储器配合固定储存器的方式进行数据实时储存，且至少同时包括两套同步数据库进行同步储存；对同步数据库进行实时数据同步；
对业务型动态数据进行数据实时储存的方法包括：
首先，获取能耗监测***中的实时业务数据；
然后，将采集的数据先写入内存，并采用MDM技术数据对存入内存的实时数据进行管理；
最后，在设定内存数据存储空间写满后，将内存数据写入磁盘作为历史数据存档；
对业务型动态数据进行实时数据同步的方法包括：
首先，准备至少两套相同配置的数据库，每套数据库均可以与相关的上下层进行数据交互；
之后，以其中一套数据库为主数据库，其余数据库作为备份数据库；备份数据库向主数据库进行数据备份。
2.根据权利要求1所述快速备份能耗监测***中数据库数据的方法，其特征在于，所述应用层用于接收用户的请求并将其传递给下一层处理，并将处理结果返回给用户；
所述业务层是应用层的下一层，负责处理业务逻辑和业务规则；
所述数据访问层用于与数据库进行交互；
所述数据库层用于对数据进行存储和管理。
3.根据权利要求1所述快速备份能耗监测***中数据库数据的方法，其特征在于，备份数据库向主数据库进行数据备份的方法包括：当主数据库数据量没有超过预设阈值或备份数据库与主数据库没有一致时，备份数据库进行主数据库的全量数据同步镜像备份；当主数据库数据量超过预设阈值且备份数据库与主数据库一致，主数据库与备份数据库之间采用增强数据实时同步的方式，具体包括：
主数据库和备份数据库之间通过心跳监测方式进行通信，以监测主数据库和备份数据库之间的数据变化；当主数据库数据出现新增储存数据时，向备份数据库发出通信，并将新增储存数据备储存至备份数据库中。
4.根据权利要求3所述快速备份能耗监测***中数据库数据的方法，其特征在于，定时验证主数据库数据与备份数据库数据之间的一致性，当主数据库数据与备份数据库数据出现不一致时，调取数据缺失项，并进行如下判断：
当缺失数据存在于主数据库中时，将缺失数据补充至备份数据库中；
当缺失数据存在于备用数据库中时，调取主数据库数据删除历史，如该数据有对应的删除历史，则将该缺失数据标记为存在，下次数据一致性验证时读取该标记即认为该数据在主数据库中不缺失；如该数据没有对应的删除历史，则从备份数据库中该缺失数据补充至主数据库中。
5.根据权利要求1所述快速备份能耗监测***中数据库数据的方法，其特征在于，步骤三所述对目标读取数据进行压缩处理的方法包括：
S1. 构建常规字符-代码表；
S2. 从输入的数据中读取一个字符A1作为前缀B1；
S3. 读取下一个字符A2，并进行如下判断：
如果前缀B1加上字符A2在字符-代码表中存在对应的代码，则将前缀B1更新为前缀B1加上字符A2作为新的前缀B2；
如果前缀B1加上字符A2在字符-代码表中不存在对应的代码，则进行步骤S4；
S4. 在字符-代码表中添加一个前缀B1加字符A2作为字符，新的代码作为代码的新的字符-代码栏，并将新的字符-代码栏填入字符-代码表中；
S5. 重复步骤S2至S4至全部数据读取完成，并保存当前的字符-代码表；
S6. 统计所读取数据中，字符-代码表中所存对应字符分别出现的频率；
S7. 根据字符出现的频率构建一棵Huffman编码树，对于每一个叶子节点，其编码等于从根节点到该叶子节点的路径，0表示向左，1表示向右；
S8. 将Huffman编码树上的所有字符按照字符-代码表替换为对应的代码，得到Huffman代码树；
S9. 输出Huffman代码树为压缩后的数据。
6.根据权利要求1所述快速备份能耗监测***中数据库数据的方法，其特征在于，步骤三所述将数据储存至对应的数据分区的方法包括：根据读取数据的类型，将相似类型的数据划分至同一储存分区中；储存数据读取时，根据数据类型首先在对应的储存分区中进行数据读取。
7.根据权利要求6所述快速备份能耗监测***中数据库数据的方法，其特征在于，储存分区的存储能力进行如下判断调整：
首先，根据数据类型的数量，平均分配每个储存分区的存储能力；
然后，在其中某一储存分区内储存的数据总量达到存储能力上限的预设上限阈值时，自数据总量最小的储存分区中划分预设存储能力比例的存储空间给达到预设上限阈值的储存分区。
8.根据权利要求1所述快速备份能耗监测***中数据库数据的方法，其特征在于，步骤三所述对储存的数据进行归档处理的方法包括：将储存时间超过预设时间阈值，或读取频率低于预设频率阈值的数据自主数据库的活跃数据存储区域转存入非活跃数据存储区域，同时记录该数据的转存记录；储存数据读取时，优先检索和读取活跃数据存储区域内的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311316562.2A CN117056134B (zh) | 2023-10-12 | 2023-10-12 | 一种快速备份能耗监测***中数据库数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311316562.2A CN117056134B (zh) | 2023-10-12 | 2023-10-12 | 一种快速备份能耗监测***中数据库数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117056134A CN117056134A (zh) | 2023-11-14 |
| CN117056134B true CN117056134B (zh) | 2023-12-22 |
Family
ID=88653996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311316562.2A Active CN117056134B (zh) | 2023-10-12 | 2023-10-12 | 一种快速备份能耗监测***中数据库数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117056134B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719165A (zh) * | 2010-01-12 | 2010-06-02 | 山东高效能服务器和存储研究院 | 一种实现数据库高效快速备份的方法 |
| CN106844392A (zh) * | 2015-12-07 | 2017-06-13 | 北京航天长峰科技工业集团有限公司 | 一种异构语音数据接入平台 |
| CN108536552A (zh) * | 2018-04-17 | 2018-09-14 | 北京搜狐新媒体信息技术有限公司 | 数据的冗余备份处理方法及装置 |
| CN112925673A (zh) * | 2021-02-18 | 2021-06-08 | 北京九贺科技有限公司 | 一种用于电力监控的大数据存储管理方法和*** |
| CN115599807A (zh) * | 2022-10-28 | 2023-01-13 | 中国农业银行股份有限公司（Cn） | 一种数据存取方法、装置、应用服务器及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004047078A2 (en) * | 2002-11-20 | 2004-06-03 | Filesx Ltd. | Fast backup storage and fast recovery of data (fbsrd) |
-
2023
- 2023-10-12 CN CN202311316562.2A patent/CN117056134B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719165A (zh) * | 2010-01-12 | 2010-06-02 | 山东高效能服务器和存储研究院 | 一种实现数据库高效快速备份的方法 |
| CN106844392A (zh) * | 2015-12-07 | 2017-06-13 | 北京航天长峰科技工业集团有限公司 | 一种异构语音数据接入平台 |
| CN108536552A (zh) * | 2018-04-17 | 2018-09-14 | 北京搜狐新媒体信息技术有限公司 | 数据的冗余备份处理方法及装置 |
| CN112925673A (zh) * | 2021-02-18 | 2021-06-08 | 北京九贺科技有限公司 | 一种用于电力监控的大数据存储管理方法和*** |
| CN115599807A (zh) * | 2022-10-28 | 2023-01-13 | 中国农业银行股份有限公司（Cn） | 一种数据存取方法、装置、应用服务器及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117056134A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110022226B (zh) | 一种基于面向对象的数据采集***及采集方法 | |
| CN106682077B (zh) | 一种基于Hadoop技术的海量时序数据存储实现方法 | |
| CN105069703B (zh) | 一种电网海量数据管理方法 | |
| CN106327055B (zh) | 一种基于大数据技术的电力费控方法及*** | |
| CN100595596C (zh) | 电网广域测量***(wams)中动态数据压缩存储方法 | |
| CN102779138B (zh) | 实时数据的硬盘存取方法 | |
| CN112347071B (zh) | 一种配电网云平台数据融合方法及配电网云平台 | |
| CN110609813B (zh) | 一种数据存储***及方法 | |
| CN114647716B (zh) | 一种适用于泛化数据仓库的*** | |
| CN114328688A (zh) | 一种针对电力能源大数据的管控平台 | |
| CN112632127B (zh) | 设备运行实时数据采集及时序的数据处理方法 | |
| CN107798062A (zh) | 一种变电站历史数据统一存储方法和*** | |
| CN103198157B (zh) | 一种大地电场数据的压缩存储处理方法 | |
| CN107330017A (zh) | 一种基于主题实例的电力海量数据存储和查询统计分析方法及其*** | |
| CN105787090A (zh) | 一种电力数据的olap***的索引建立方法和*** | |
| CN117056134B (zh) | 一种快速备份能耗监测***中数据库数据的方法 | |
| CN112181715A (zh) | 基于配网自动化***模型的可视化备份与比对方法 | |
| CN110134690B (zh) | Oracle数据库超大数据快速存储方法及*** | |
| CN108959614A (zh) | 一种快照管理方法、***、装置、设备及可读存储介质 | |
| CN112100214A (zh) | 一种宽频测量数据关联关系分析方法及*** | |
| CN109597575B (zh) | 一种基于hdf5的分块式数据存储及读取方法 | |
| CN116126935A (zh) | 一种试验数据分布式存储***及存储方法 | |
| CN108647243B (zh) | 基于时间序列的工业大数据存储方法 | |
| CN110389939A (zh) | 一种基于NoSQL和分布式文件***的物联网存储*** | |
| CN114138559A (zh) | 一种基于合成技术的快速备份方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |