CN111767338A - 电力***在线超实时仿真的分布式数据存储方法与*** - Google Patents
电力***在线超实时仿真的分布式数据存储方法与*** Download PDFInfo
- Publication number
- CN111767338A CN111767338A CN202010083967.6A CN202010083967A CN111767338A CN 111767338 A CN111767338 A CN 111767338A CN 202010083967 A CN202010083967 A CN 202010083967A CN 111767338 A CN111767338 A CN 111767338A
- Authority
- CN
- China
- Prior art keywords
- data
- data storage
- simulation
- storage
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 114
- 238000004088 simulation Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000003860 storage Methods 0.000 claims abstract description 112
- 238000007726 management method Methods 0.000 claims abstract description 53
- 230000015654 memory Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 9
- 230000002688 persistence Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 230000002085 persistent effect Effects 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 13
- 238000003379 elimination reaction Methods 0.000 description 11
- 230000008030 elimination Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种电力***在线超实时仿真的分布式数据存储方法及***，包括：构建包括元数据节点和数据存储节点的分布式电力***在线超实时仿真***；根据仿真任务的存储资源调度请求和各数据存储节点的可用存储空间，元数据节点分配两个相互独立的数据存储节点分别作为原始存储节点和汇总存储节点；从电网持续周期性采集电网运行的状态数据，并将状态数据发送至原始数据存储节点和数据存储节点，各数据存储节点根据仿真任务和状态数据运行电力***在线超实时仿真，得到局部超实时仿真结果；汇总各数据存储节点的局部仿真结果至汇总存储节点，得到电网的完整超实时仿真结果。本发明可在运行电力***仿真的同时为仿真提供数据存储管理。
Description
技术领域
本发明涉及***仿真中的电力***在线超实时仿真领域，并特别涉及一种基于分布式数据的电力***在线超实时仿真方法与***。
背景技术
电力***在线超实时仿真是指通过SCADA、RTU等在线量测设备从互联大电网持续周期性(以10秒钟为周期)采集电网运行状态数据，通过高速互联网络传输回数据中心，再通过电力***仿真软件***对在线量测数据进行快速计算与分析，进而判断互联大电网当前运行状态的稳定性与安全性，以及对未来一段较短时间(几秒钟内)的运行状态进行精准预测。一般区域性骨干电网每个量测周期产生数百兆字节的量测数据，经过电力***仿真软件***计算和分析将生成吉字节的计算结果数据，而这些数据对互联大电网的分析和管理具有重要的价值，因此需要对这些数据进行高效的存储管理。目前，在电力***在线超实时仿真大数据的存储方面多采用磁盘阵列的方式，而磁盘阵列一般价格较高，且扩展性受限；市场上现有的分布式存储***虽热在本领域有少量的应用，但在存储I/O效率方面存在较大的瓶颈，且通用商用产品一般性价比较低。
面对海量、快速增长的电力***仿真数据，数据存储的规模与成本是需要重点解决的问题之一。传统的分布式存储***为了解决可靠性问题一般通过数据冗余(如多副本、纠删码等技术)来提高数据的存储可靠性，这进一步导致了存储空间效率的降低和存储成本的提高。在电力***在线超实时仿真环境下，除了对存储I/O性能有较高的要求外，在存储空间效率方面也需要重点考虑。在仿真输入、输出数据中包含成千上万个文件，每个文件中存储的数据的内容和价值不尽相同，如有的文件中存储的是相对静态的配置信息，有的文件中存储的是周期性生成的电压、电流、功率等在线量测数据，有的文件中存储的数据需要长时间保存以供后续的分析挖掘，有的文件中存储的数据的可以通过仿真计算重复生成。因此，一般要求对历史数据能够根据不同的价值等级保存不同的时间，如三个月或半年，甚至一年不等。此外，为了使得电力***在线超实时仿真能够持续长期稳定运行，在出现单台服务器故障、单个磁盘故障或磁盘存储空间满等情况下，***能够具备故障隔离和自愈能力，从而确保***能够持续在线运行而不受影响。
市场上现有的分布式存储***在电力***仿真领域的应用较少，一方面是由于其造价较高，维护门槛高；另一方面是因为其I/O吞吐能力难以满足在线超实时仿真的性能要求，往往成为仿真计算的性能瓶颈。这是因为，在电力***仿真软件***计算过程中，会产生大量的中间结果和最终计算结果，而这些数据往往在同一时间段输出，即在短时间内产生较高的I/O负载，现有的分布式存储***一般难以应对这样的应用挑战。此外，独立的分布式存储集群占用大量的机房空间，大幅度增加了机房的能耗。因此，在实际生产中一般很少采用。
发明内容
本发明的目的是解决上述现有分布式存储技术在电力***仿真领域中存在的I/O性能问题和成本代价高问题，提出了一种基于计算-存储耦合架构电力***在线超实时仿真大数据分布式存储和管理的方法及***。
针对现有技术的不足，本发明提出一种电力***在线超实时仿真的分布式数据存储方法，其中包括：
步骤1、构建包括一个元数据节点和多个数据存储节点的分布式电力***在线超实时仿真***；
步骤2、根据仿真任务的存储资源调度请求和各数据存储节点的可用存储空间，该元数据节点分配两个相互独立的数据存储节点分别作为原始存储节点和汇总存储节点；
步骤3、通过在线量测设备从电网持续周期性采集电网运行的状态数据，并将该状态数据发送至该原始数据存储节点和该数据存储节点，各数据存储节点根据该仿真任务和该状态数据运行电力***在线超实时仿真，得到局部超实时仿真结果；
步骤4、汇总各数据存储节点的局部仿真结果至该汇总存储节点，得到电网的完整超实时仿真结果。
所述的电力***在线超实时仿真的分布式数据存储方法，其中该数据存储节点采用分布式消息队列实现对实时性数据的实时传送，采用基于中心化结构的分布式存储***完成对非实时性数据的持久化存储和访问功能。
所述的电力***在线超实时仿真的分布式数据存储方法，其中该数据存储节点间采用TCP协议进行数据交换。
所述的电力***在线超实时仿真的分布式数据存储方法，其中该元数据节点包括元数据管理模块，用于磁盘中数据的淘汰管理和内存中数据的淘汰管理。
所述的电力***在线超实时仿真的分布式数据存储方法，其中该元数据管理模块在收到数据持久化完成的信号后，会更新数据库中相应磁盘的使用空间，当该使用空间大于预设值时，查询数据库表，找出存储时间最早的数据；发送信号给最早数据所在的数据存储节点；数据存储节点收到信号后，按照指令删除相关的数据，并向元数据管理模块发送删除成功指令。
本发明还提出了一种电力***在线超实时仿真的分布式数据存储***，其中包括：
模块1、构建包括一个元数据节点和多个数据存储节点的分布式电力***在线超实时仿真***；
模块2、根据仿真任务的存储资源调度请求和各数据存储节点的可用存储空间，该元数据节点分配两个相互独立的数据存储节点分别作为原始存储节点和汇总存储节点；
模块3、通过在线量测设备从电网持续周期性采集电网运行的状态数据，并将该状态数据发送至该原始数据存储节点和该数据存储节点，各数据存储节点根据该仿真任务和该状态数据运行电力***在线超实时仿真，得到局部超实时仿真结果；
模块4、汇总各数据存储节点的局部仿真结果至该汇总存储节点，得到电网的完整超实时仿真结果。
所述的电力***在线超实时仿真的分布式数据存储***，其中该数据存储节点采用分布式消息队列实现对实时性数据的实时传送，采用基于中心化结构的分布式存储***完成对非实时性数据的持久化存储和访问功能。
所述的电力***在线超实时仿真的分布式数据存储***，其中该数据存储节点间采用TCP协议进行数据交换。
所述的电力***在线超实时仿真的分布式数据存储***，其中该元数据节点包括元数据管理模块，用于磁盘中数据的淘汰管理和内存中数据的淘汰管理。
所述的电力***在线超实时仿真的分布式数据存储***，其中该元数据管理模块在收到数据持久化完成的信号后，会更新数据库中相应磁盘的使用空间，当该使用空间大于预设值时，查询数据库表，找出存储时间最早的数据；发送信号给最早数据所在的数据存储节点；数据存储节点收到信号后，按照指令删除相关的数据，并向元数据管理模块发送删除成功指令。
由以上方案可知，本发明的优点在于：
第一，能够充分利用服务器的计算和存储能力，在运行电力***仿真计算的同时为仿真提供海量数据的存储管理，节约机房空间，降低能源消耗。第二，能够利用内存缓存和局部性原理，大量减少仿真程序运行过程中的存储I/O负载，缩短存储I/O路径，提升仿真程序运行效率。第三，能够按照数据的价值等级定制文件粒度的存储可靠性策略，合理有效利用存储空间，综合考虑数据的价值等级、副本数量、产生时间等指标，动态计算数据淘汰优先级，保证存储***中的数据能够按照合理的规则自动淘汰以提供可用的存储容量，保障电力***仿真的持续在线运行能力。
附图说明
图1为存储***软件架构图；
图2为电力***仿真数据组成图；
图3为分布式存储***部署逻辑图；
图4为数据存储操作工作流程图；
图5为原始数据存储工作流程图；
图6为汇总数据存储工作流程图；
图7为汇总数据存储节点上数据存储状态变化图；
图8为非汇总数据存储节点上数据存储状态变化图。
具体实施方式
为了实现上述技术效果本发明包括以下三个关键点：
关键点1，电力***仿真计算与存储服务共生与资源协同调度技术。技术效果：能够在同一套高性能服务器集群上同时进行仿真计算与数据存储管理，每一台服务器上既运行仿真计算程序，同时又运行存储服务程序。由此能够带来两方面的优势：在经济性方面，能够充分利用服务器的计算和存储能力，减小服务器集群规模，减少机房空间占用和能源消耗；在性能方面，能够提高仿真数据存储I/O的局部性，缩短数据移动路径，提升I/O性能，同时，通过计算与存储资源的协同调度，将仿真程序中负责存储I/O输入/输出功能的进程分散调度到不同的计算节点上运行，分摊每台服务器的I/O负载，避免在少数的服务器上造成I/O热点，影响仿真I/O性能；
关键点2，基于内存的存储I/O加速技术；技术效果：在电力***仿真程序周期性运行过程中，需要周期性地执行读取原始输入数据、配置信息、交换中间结果数据、输出结果数据等磁盘I/O密集型操作，在仿真程序运行时间中占据较大的比例，对仿真程序的性能带来了不可忽视的影响，为了解决这一问题，本方案利用内存文件***作为输入、输出数据的中转缓存层，将原始输入数据和配置信息等临时存储在内存文件***中，供仿真程序调用，仿真程序运行过程中产生的中间结果数据以及计算结果数据等也被写入到内存文件***中，由存储服务异步地将需要持久化的数据写出到本地或其它服务器的磁盘上，从而避免I/O称为仿真程序计算过程的瓶颈。为了保证仿真程序的运行安全和性能，为内存文件***设定了内存占用上限，存储服务负责监控内存文件***的空间占用情况，及时将数据写出到磁盘上，在必要的情况下(如因数据写出到磁盘的延迟较大而导致内存文件***即将达到内存占用的上限时)，将通过一定的策略计算出可以丢弃的数据，从而释放内存空间，确保电力***在线超实时仿真程序的持续稳定运行；
关键点3，以文件为单位的细颗粒度混合可靠性策略与数据淘汰动态优先级机制；技术效果：可以根据电力***仿真数据自身的价值等级设计不同的可靠性保障策略，而这些不同的可靠性保障策略在同一个数据存储管理***中共存，并且可以按需设置和调整。例如，对于仿真原始输入数据，其价值等级较高，为了保障其可靠性，可以采用3副本的方式进行存储，对于仿真计算结果数据，由于其可以根据对应的原始输入数据计算得出，因此，对存储的可靠性要求较低，可以采用单副本的方式进行存储。对于一套特定的电力***仿真平台来说，由于服务器集群的存储空间容量是有限的，能够存储的数据也是有限的，为了能够始终保证较新的仿真数据能够及时、可靠地存储下来，势必需要对***中存储的旧数据进行淘汰。然而，由于不同数据的价值等级、使用需求、使用方式不同，相应的淘汰优先级也不同，例如，仿真输入数据的价值等级较高，在淘汰旧数据以释放更多可用存储空间的时候应尽量保留此类数据，1天内产生的数据由于被访问的概率较高应尽可能保存，等等。为此，通过综合考虑数据的价值等级、副本数量、产生时间三个维度的指标，计算数据淘汰的动态优先级，根据优先级对数据进行淘汰。
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
在线超实时电力***仿真数据分布式存储管理***主要分为三个部分：数据存储层，通信服务层和接口层，如图1所示。
(1)数据存储层
由于需要存储的数据分为两种类型，实时性数据和非实时性数据，因此将对应于两种不同的数据存储服务。对于实时性消息，将采用消息队列实现数据的实时传送，消息队列可以是基于多个存储节点内存的分布式消息队列；对于非实时性消息，将采用基于中心化结构的分布式存储***完成对数据的持久化存储和访问功能。
(2)通信服务层
为保证数据的可靠性，采用TCP协议进行数据之间的交换。
(3)接口层
为了方便人机交互端读取数据，将提供一系列数据存取的接口。
一个电力***仿真作业会包含多个计算任务，记为N个计算任务，计算结果将形成N份简单摘要，N份详细结果，N份最终摘要，N份差异文件，此外，N个任务共享相同的输入数据，如图2所示。
分布式存储***部署逻辑如图3所示，***包括元数据节点和存储节点两部分，元数据的存储基于关系型数据库，如MySQL，为了保证元数据存储管理的可靠性，对元数据存储可采用HA架构，存储节点同时也作为仿真程序运行的计算节点，即存储管理***与仿真计算***运行在同一台物理计算节点上。元数据节点记录的是数据所在存储节点、所在存储节点的磁盘(或存储路径)等元数据信息，同时，也负责调度存储请求，即，元数据节点来决定将数据存储在哪台存储节点上。
分布式存储***的数据存储操作工作流程主要分为以下几个步骤：
1)请求存储资源
仿真计算调度节点向元数据节点发送存储资源调度请求，请求元数据节点为本次仿真计算的数据分配存储空间。元数据节点对存储资源的管理以磁盘为单位，根据存储集群中可用磁盘的当前状态和可用存储空间情况，选择可用空间最多的磁盘。元数据节点在分配存储资源时，要分配两个相互独立的磁盘，一块用于存储汇总数据包，另一块用于存储原始数据包。在选择完成后，元数据管理模块将<汇总数据磁盘ID,任务ID>发送给汇总数据存储节点，同时将<原始数据磁盘ID，任务ID>发送给原始数据存储节点，相关节点收到通知之后，确认自己的角色，并根据磁盘ID确认数据最终持久化的路径，随后进入数据汇总阶段。
2)数据包汇总
由于每个计算节点的内存文件***中都缓存了原始数据的副本，故无需汇总。原始数据存储节点收到通知<汇总数据磁盘ID,任务ID>之后，向主数据节点的元数据管理模块发送确认消息，元数据管理模块将该任务数据在数据表中读取状态设置为ramfs可用状态，之后元数据管理模块同步更新从元数据节点的数据库表。原始数据存储工作流程如图5所示。
汇总数据包的汇总过程如下，如图6所示：
(1)汇总存储节点收到元数据管理模块下发的汇总命令之后，向IO进程所在存储节点发送收集数据包指令；
(2)汇总节点等待回收数据，IO进程所在存储节点发送数据给汇总节点；
(3)汇总节点回收完毕，并向主元数据节点上的元数据管理模块发送汇总完成信号；
(4)元数据管理模块更新该数据为ramfs可用状态，同时同步数据至从元数据节点。
3)数据持久化。
汇总数据存储节点和原始数据存储节点被持久化至指定磁盘目录后，存储节点向主元数据节点更新数据包的可用状态(数据在磁盘中可访问)，同时更新相应磁盘的已使用空间。
为了能够自动维护存储空间的可用性，***提供数据淘汰功能，涉及到两个方面：磁盘中数据的淘汰管理和内存中数据的淘汰管理。为了实现汇总数据的自动合理淘汰，对汇总数据的存储状态进行管理，如图7所示。图8给出了在非汇总数据存储节点上，相关汇总数据的状态变化情况(主要涉及到内存空间的数据淘汰管理)。
磁盘上存储的数据的自动淘汰过程如下：
在数据库中记录了每台节点的磁盘个数，磁盘空间，磁盘已用容量等详细信息。磁盘空间的清理将由元数据管理模块发起。触发元数据管理模块发起数据清理的条件有如下几种策略：
(1)计算每个磁盘的空间利用率，当所有节点磁盘利用率的平均值超过配置的阈值时；
(2)把所有磁盘作为整体，计算整体的磁盘利用率，当利用率超过配置的阈值时；
元数据管理模块在收到数据持久化完成的信号之后，会更新数据库中相应磁盘的使用空间。如果发现达到触发条件，则会依次执行如下步骤：
(1)查询数据库表，找出全局最老N(可配)条数据。
(2)元数据管理模块发送信号给最老数据所在的节点。该信号为<要删除的任务数据ID列表>。
(3)相关节点收到信号后，按照指令删除相关的数据，并向元数据管理模块发送删除成功指令。
(4)元数据管理模块更新数据库表：设置该数据为清理状态，并更新相关磁盘利用率。
(5)同步数据至从元数据节点。
内存中缓存的数据的自动淘汰过程如下：
考虑到***的正常运行，内存文件***的挂载空间占用物理空间的比例将根据配置文件中的配置选项来配置。同时，会有内存文件***清理模块对相关数据进行清理，清理周期为8s(可配)。
内存文件***清理模块的主要功能如下：
(1)记录所有在内存文件***中数据的状态。汇总数据有三种状态：汇总数据接收中、汇总数据持久化中和汇总数据磁盘可用；原始数据有三种状态：原始数据接收中、在RAMFS中、原始数据持久化中和原始数据磁盘可用。(在存储节点上会为每一份数据单独维护一个文件，该文件中保存了相应数据的状态。对该文件进行修改即对数据进行修改/删除操作的时候，需要先对该文件进行加锁，保证修改操作是原子的。)
(2)该模块会对内存文件***空间进行检测，保证内存文件***的使用率(已用空间/总空间)不超过75％(该项可配)。
(3)达到阈值之后，会将最老的汇总数据(已经汇总的数据一定比还未汇总的输出数据老)、最老的原始数据和最老的输出数据直接删除。
以下为与上述方法实施例对应的***实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种电力***在线超实时仿真的分布式数据存储***，其中包括：
模块1、构建包括一个元数据节点和多个数据存储节点的分布式电力***在线超实时仿真***；
模块2、根据仿真任务的存储资源调度请求和各数据存储节点的可用存储空间，该元数据节点分配两个相互独立的数据存储节点分别作为原始存储节点和汇总存储节点；
模块3、通过在线量测设备从电网持续周期性采集电网运行的状态数据，并将该状态数据发送至该原始数据存储节点和该数据存储节点，各数据存储节点根据该仿真任务和该状态数据运行电力***在线超实时仿真，得到局部超实时仿真结果；
模块4、汇总各数据存储节点的局部仿真结果至该汇总存储节点，得到电网的完整超实时仿真结果。
所述的电力***在线超实时仿真的分布式数据存储***，其中该数据存储节点采用分布式消息队列实现对实时性数据的实时传送，采用基于中心化结构的分布式存储***完成对非实时性数据的持久化存储和访问功能。
所述的电力***在线超实时仿真的分布式数据存储***，其中该数据存储节点间采用TCP协议进行数据交换。
所述的电力***在线超实时仿真的分布式数据存储***，其中该元数据节点包括元数据管理模块，用于磁盘中数据的淘汰管理和内存中数据的淘汰管理。
所述的电力***在线超实时仿真的分布式数据存储***，其中该元数据管理模块在收到数据持久化完成的信号后，会更新数据库中相应磁盘的使用空间，当该使用空间大于预设值时，查询数据库表，找出存储时间最早的数据；发送信号给最早数据所在的数据存储节点；数据存储节点收到信号后，按照指令删除相关的数据，并向元数据管理模块发送删除成功指令。
Claims (10)
1.一种电力***在线超实时仿真的分布式数据存储方法，其特征在于，包括：
步骤1、构建包括一个元数据节点和多个数据存储节点的分布式电力***在线超实时仿真***；
步骤2、根据仿真任务的存储资源调度请求和各数据存储节点的可用存储空间，该元数据节点分配两个相互独立的数据存储节点分别作为原始存储节点和汇总存储节点；
步骤3、通过在线量测设备从电网持续周期性采集电网运行的状态数据，并将该状态数据发送至该原始数据存储节点和该数据存储节点，各数据存储节点根据该仿真任务和该状态数据运行电力***在线超实时仿真，得到局部超实时仿真结果；
步骤4、汇总各数据存储节点的局部仿真结果至该汇总存储节点，得到电网的完整超实时仿真结果。
2.如权利要求1所述的电力***在线超实时仿真的分布式数据存储方法，其特征在于，该数据存储节点采用分布式消息队列实现对实时性数据的实时传送，采用基于中心化结构的分布式存储***完成对非实时性数据的持久化存储和访问功能。
3.如权利要求1所述的电力***在线超实时仿真的分布式数据存储方法，其特征在于，该数据存储节点间采用TCP协议进行数据交换。
4.如权利要求1所述的电力***在线超实时仿真的分布式数据存储方法，其特征在于，该元数据节点包括元数据管理模块，用于磁盘中数据的淘汰管理和内存中数据的淘汰管理。
5.如权利要求4所述的电力***在线超实时仿真的分布式数据存储方法，其特征在于，该元数据管理模块在收到数据持久化完成的信号后，会更新数据库中相应磁盘的使用空间，当该使用空间大于预设值时，查询数据库表，找出存储时间最早的数据；发送信号给最早数据所在的数据存储节点；数据存储节点收到信号后，按照指令删除相关的数据，并向元数据管理模块发送删除成功指令。
6.一种电力***在线超实时仿真的分布式数据存储***，其特征在于，包括：
模块1、构建包括一个元数据节点和多个数据存储节点的分布式电力***在线超实时仿真***；
模块2、根据仿真任务的存储资源调度请求和各数据存储节点的可用存储空间，该元数据节点分配两个相互独立的数据存储节点分别作为原始存储节点和汇总存储节点；
模块3、通过在线量测设备从电网持续周期性采集电网运行的状态数据，并将该状态数据发送至该原始数据存储节点和该数据存储节点，各数据存储节点根据该仿真任务和该状态数据运行电力***在线超实时仿真，得到局部超实时仿真结果；
模块4、汇总各数据存储节点的局部仿真结果至该汇总存储节点，得到电网的完整超实时仿真结果。
7.如权利要求6所述的电力***在线超实时仿真的分布式数据存储***，其特征在于，该数据存储节点采用分布式消息队列实现对实时性数据的实时传送，采用基于中心化结构的分布式存储***完成对非实时性数据的持久化存储和访问功能。
8.如权利要求6所述的电力***在线超实时仿真的分布式数据存储***，其特征在于，该数据存储节点间采用TCP协议进行数据交换。
9.如权利要求6所述的电力***在线超实时仿真的分布式数据存储***，其特征在于，该元数据节点包括元数据管理模块，用于磁盘中数据的淘汰管理和内存中数据的淘汰管理。
10.如权利要求9所述的电力***在线超实时仿真的分布式数据存储***，其特征在于，该元数据管理模块在收到数据持久化完成的信号后，会更新数据库中相应磁盘的使用空间，当该使用空间大于预设值时，查询数据库表，找出存储时间最早的数据；发送信号给最早数据所在的数据存储节点；数据存储节点收到信号后，按照指令删除相关的数据，并向元数据管理模块发送删除成功指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010083967.6A CN111767338A (zh) | 2020-02-10 | 2020-02-10 | 电力***在线超实时仿真的分布式数据存储方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010083967.6A CN111767338A (zh) | 2020-02-10 | 2020-02-10 | 电力***在线超实时仿真的分布式数据存储方法与*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767338A true CN111767338A (zh) | 2020-10-13 |
Family
ID=72719045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010083967.6A Pending CN111767338A (zh) | 2020-02-10 | 2020-02-10 | 电力***在线超实时仿真的分布式数据存储方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767338A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115933972A (zh) * | 2022-11-24 | 2023-04-07 | 中国华能集团清洁能源技术研究院有限公司 | 多专业仿真平台的分布式数据存储方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013178528A1 (en) * | 2012-06-01 | 2013-12-05 | Thomson Licensing | Method of data storing and data synchronization in a distributed data storage system |
| CN104516967A (zh) * | 2014-12-25 | 2015-04-15 | 国家电网公司 | 一种电力***海量数据管理***及其使用方法 |
| CN108256263A (zh) * | 2018-02-07 | 2018-07-06 | 中国电力科学研究院有限公司 | 一种电力***混合仿真并行计算***及其任务调度方法 |
| CN109815002A (zh) * | 2017-11-21 | 2019-05-28 | 中国电力科学研究院有限公司 | 一种基于在线仿真的分布式并行计算平台及其方法 |
-
2020
- 2020-02-10 CN CN202010083967.6A patent/CN111767338A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013178528A1 (en) * | 2012-06-01 | 2013-12-05 | Thomson Licensing | Method of data storing and data synchronization in a distributed data storage system |
| CN104516967A (zh) * | 2014-12-25 | 2015-04-15 | 国家电网公司 | 一种电力***海量数据管理***及其使用方法 |
| CN109815002A (zh) * | 2017-11-21 | 2019-05-28 | 中国电力科学研究院有限公司 | 一种基于在线仿真的分布式并行计算平台及其方法 |
| CN108256263A (zh) * | 2018-02-07 | 2018-07-06 | 中国电力科学研究院有限公司 | 一种电力***混合仿真并行计算***及其任务调度方法 |
Non-Patent Citations (1)
| Title |
|---|
| ADNB34G: "大数据分布式存储的部署模式：分离式or超融合", 《HTTP://T.CSDN.CN/UBDWX》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115933972A (zh) * | 2022-11-24 | 2023-04-07 | 中国华能集团清洁能源技术研究院有限公司 | 多专业仿真平台的分布式数据存储方法及*** |
| CN115933972B (zh) * | 2022-11-24 | 2024-05-31 | 中国华能集团清洁能源技术研究院有限公司 | 多专业仿真平台的分布式数据存储方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102882983B (zh) | 一种云存储***中提升并发访问性能的数据快速存储方法 | |
| CN101650741B (zh) | 一种分布式全文检索的索引实时更新的方法和*** | |
| CN104965850B (zh) | 一种基于开源技术的数据库高可用实现方法 | |
| CN101710901B (zh) | 一种具有p2p功能的分布式存储***和方法 | |
| CN103139302A (zh) | 考虑负载均衡的实时副本调度方法 | |
| CN111787055B (zh) | 一种基于Redis且面向事务机制和多数据中心的数据分发方法和*** | |
| CN104202424B (zh) | 一种使用软件架构扩展缓存的方法 | |
| CN113553346B (zh) | 大规模实时数据流一体化处理、转发和存储方法及*** | |
| CN116777182B (zh) | 半导体晶圆制造执行任务派工方法 | |
| CN113377868A (zh) | 一种基于分布式kv数据库的离线存储*** | |
| CN109901948A (zh) | 无共享数据库集群异地双活容灾*** | |
| CN107454171A (zh) | 消息服务***及其实现方法 | |
| CN101330431A (zh) | 一种即时信息存储方法和*** | |
| CN115587118A (zh) | 任务数据的维表关联处理方法及装置、电子设备 | |
| CN103530335A (zh) | 电力计量采集***的入库操作方法及装置 | |
| CN102098170B (zh) | 一种数据采集优化方法及*** | |
| CN107436904B (zh) | 数据获取方法、数据获取设备和计算机可读存储介质 | |
| CN111767338A (zh) | 电力***在线超实时仿真的分布式数据存储方法与*** | |
| CN114610567A (zh) | 容器监控方法、网络设备及存储介质 | |
| CN110515938A (zh) | 基于kafka消息总线的数据汇聚存储方法、设备和存储介质 | |
| CN117271583A (zh) | 优化大数据查询的***及方法 | |
| JPH11143779A (ja) | 仮想記憶装置におけるページング処理システム | |
| CN111367880A (zh) | 一种通用实时数据存储管理***及其实现方法 | |
| CN116775420A (zh) | 基于Flink流计算的信创云平台资源展示和预警方法及*** | |
| CN116226067A (zh) | 日志管理方法、日志管理装置、处理器和日志平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201013 |