CN113342273A - 一种基于缓存的大数据存储方法及*** - Google Patents

一种基于缓存的大数据存储方法及*** Download PDF

Info

Publication number
CN113342273A
CN113342273A CN202110645921.3A CN202110645921A CN113342273A CN 113342273 A CN113342273 A CN 113342273A CN 202110645921 A CN202110645921 A CN 202110645921A CN 113342273 A CN113342273 A CN 113342273A
Authority
CN
China
Prior art keywords
data
time interval
group
cache region
management platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110645921.3A
Other languages
English (en)
Other versions
CN113342273B (zh
Inventor
郝忆冰
李晓磊
郝博森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Cloud Micro Software Co ltd
Original Assignee
Beijing Jiuhe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiuhe Technology Co ltd filed Critical Beijing Jiuhe Technology Co ltd
Priority to CN202110645921.3A priority Critical patent/CN113342273B/zh
Publication of CN113342273A publication Critical patent/CN113342273A/zh
Application granted granted Critical
Publication of CN113342273B publication Critical patent/CN113342273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

本发明提出了一种电力监控***的大数据存储方法及***。所述方法包括：根据电力监控***将采集到的数据发送至数据管理平台；所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控***发送的数据存储至数据管理平台的存储模块中。所述***包括与所述方法步骤对应的模块。

Description

一种基于缓存的大数据存储方法及***
技术领域
本发明提出了一种基于缓存的大数据存储方法，属于数据存储技术领域。
背景技术
在配电技术领域，电力监控***的安全直接关系到电力供应，是人们日常生活和生产正常运行的保障。现有电力监控***，由于存在大量的数据，常常在数据存储过程中，由于同一时刻出现大量数据需要进行存储，导致数据存储效率较低的问题出现，或因存储过程中同一时刻数据量较大，导致数据拥堵，进而造成数据存储失败的情况发生。
发明内容
本发明提供了一种基于缓存的大数据存储方法，用以解决现有电力监控***在大数据存储过程中，数据粗存储效率较低及存储失败率较高的问题：
本发明提出的一种电力监控***的大数据存储方法，所述方法包括：
根据电力监控***将采集到的数据发送至数据管理平台；
所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控***发送的数据存储至数据管理平台的存储模块中。
进一步地，所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控***发送的数据存储至数据管理平台的存储模块中，包括：
所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域；
在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，设置每个数据组的数据发送时间间隔，并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。
进一步地，在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，包括：
根据电力监控***所采集数据的种类，将第一数据缓存区域内的所有数据分为n个数据组，其中，数据组的个数n通过如下公式获取；
Figure BDA0003109175330000011
Figure BDA0003109175330000012
其中，Q表示每个数据组中数据种类的个数；Z表示数据种类的总个数；m表示所述数据管理平台中的数据存储模块的总个数；int()表示取整函数；
电力监控***所采集的数据发送至所述第一数据缓存区域中时，直接将数据直接存入至对应的数据组中。
进一步地，所述设置每个数据组的数据发送时间间隔，包括：
提取数据组的个数n，同时提取所述数据管理平台中的数据存储模块个数m；
利用数据组的个数n和数据存储模块个数m，通过如下公式获取每个数据组对应的数据发送时间间隔：
Figure BDA0003109175330000021
其中，Ti表示第i个数据组的数据发送时间间隔；i表示每个数据组的序号，i＝1,2，……，n；Taj表示第j个数据存储模块的存储一组数据所需的存储时间；Tbmax表示每个数据组内，各数据类型中的数据数据发送时间间隔最大值；Tbmin表示每个数据组内，各数据类型中的数据数据发送时间间隔最小值；Tbt表示每个数据组内的第t个数据类型的数据数据发送时间间隔。
进一步地，所述方法还包括：当所述电力监控***增加数据采集子模块，进而增加了数据采集数量时，将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域，并以增加的数据采集子单元为基础，将存入第二数据缓存区域的数据进行分组，获得多个数据组；
按照如下公式对每个数据组设置数据发送时间间隔，并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中：
Figure BDA0003109175330000022
其中，Tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔；Tamax表示数据存储模块进行单批数据存储时所消耗的时间最大值；Tamin表示数据存储模块进行单批数据存储时所消耗的时间最小值；X表示第二数据缓存区域中每个数据组内包含的数据种类的个数；Tex表示第二数据缓存区域中每个数据组内，第x个数据类型的数据数据发送时间间隔。
一种基于缓存的大数据存储***，所述***包括：
数据发送模块，用于根据电力监控***将采集到的数据发送至数据管理平台；
数据缓存模块，用于所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控***发送的数据存储至数据管理平台的存储模块中。
进一步地，所述数据缓存模块包括：
缓存模块，用于所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域；
分组模块，用于在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，设置每个数据组的数据发送时间间隔，并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。
进一步地，所述分组模块包括：
数据分组模块，用于根据电力监控***所采集数据的种类，将第一数据缓存区域内的所有数据分为n个数据组，其中，数据组的个数n通过如下公式获取；
Figure BDA0003109175330000031
Figure BDA0003109175330000032
其中，Q表示每个数据组中数据种类的个数；Z表示数据种类的总个数；m表示所述数据管理平台中的数据存储模块的总个数；int()表示取整函数；
分组数据发送模块，用于电力监控***所采集的数据发送至所述第一数据缓存区域中时，直接将数据直接存入至对应的数据组中。
进一步地，所述分组模块还包括：
提取模块，用于提取数据组的个数n，同时提取所述数据管理平台中的数据存储模块个数m；
时间间隔获取模块，用于利用数据组的个数n和数据存储模块个数m，通过如下公式获取每个数据组对应的数据发送时间间隔：
Figure BDA0003109175330000033
其中，Ti表示第i个数据组的数据发送时间间隔；i表示每个数据组的序号，i＝1,2，……，n；Taj表示第j个数据存储模块的存储一组数据所需的存储时间；Tbmax表示每个数据组内，各数据类型中的数据数据发送时间间隔最大值；Tbmin表示每个数据组内，各数据类型中的数据数据发送时间间隔最小值；Tbt表示每个数据组内的第t个数据类型的数据数据发送时间间隔。
进一步地，所述***还包括：增加数据处理模块，用于当所述电力监控***增加数据采集子模块，进而增加了数据采集数量时，将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域，并以增加的数据采集子单元为基础，将存入第二数据缓存区域的数据进行分组，获得多个数据组；
其中，所述增加数据处理模块包括：
时间间隔设置模块，用于按照如下公式对每个数据组设置数据发送时间间隔：
Figure BDA0003109175330000041
其中，Tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔；Tamax表示数据存储模块进行单批数据存储时所消耗的时间最大值；Tamin表示数据存储模块进行单批数据存储时所消耗的时间最小值；X表示第二数据缓存区域中每个数据组内包含的数据种类的个数；Tex表示第二数据缓存区域中每个数据组内，第x个数据类型的数据数据发送时间间隔；
第二数据发送模块，用于并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中。
本发明有益效果：
本发明提出的一种基于缓存的大数据存储方法，通过设置缓存区域将电力监控***发送的数据进行缓存，并通过分组错时存储将大数据进行分批存储，有效避免数据同一时刻存储而造成的数据拥堵而造成的数据存储效率降低的问题发生。同时，有效提高了数据存储的效率和数据存储的成功率。
附图说明
图1为本发明所述方法的流程图；
图2为本发明所述***的***框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提出的一种电力监控***的大数据存储方法，如图1所示，所述方法包括：
S1、根据电力监控***将采集到的数据发送至数据管理平台；
S2、所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控***发送的数据存储至数据管理平台的存储模块中。
上述技术方案的效果为：通过设置缓存区域将电力监控***发送的数据进行缓存，并通过分组错时存储将大数据进行分批存储，有效避免数据同一时刻存储而造成的数据拥堵而造成的数据存储效率降低的问题发生。同时，有效提高了数据存储的效率和数据存储的成功率。
本发明的一个实施例，所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控***发送的数据存储至数据管理平台的存储模块中，包括：
S201、所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域；
S202、在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，设置每个数据组的数据发送时间间隔，并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。
其中，在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，包括：
S2021a、根据电力监控***所采集数据的种类，将第一数据缓存区域内的所有数据分为n个数据组，其中，数据组的个数n通过如下公式获取；
Figure BDA0003109175330000051
Figure BDA0003109175330000052
其中，Q表示每个数据组中数据种类的个数；Z表示数据种类的总个数；m表示所述数据管理平台中的数据存储模块的总个数；int()表示取整函数；
S2022a、电力监控***所采集的数据发送至所述第一数据缓存区域中时，直接将数据直接存入至对应的数据组中。
其中，所述设置每个数据组的数据发送时间间隔，包括：
S2021b、提取数据组的个数n，同时提取所述数据管理平台中的数据存储模块个数m；
S2022b、利用数据组的个数n和数据存储模块个数m，通过如下公式获取每个数据组对应的数据发送时间间隔：
Figure BDA0003109175330000061
其中，Ti表示第i个数据组的数据发送时间间隔；i表示每个数据组的序号，i＝1,2，……，n；Taj表示第j个数据存储模块的存储一组数据所需的存储时间；Tbmax表示每个数据组内，各数据类型中的数据数据发送时间间隔最大值；Tbmin表示每个数据组内，各数据类型中的数据数据发送时间间隔最小值；Tbt表示每个数据组内的第t个数据类型的数据数据发送时间间隔。
上述技术方案的效果为：通过上述方式能够使数据分组与数据存储模块的个数匹配度更高，有效将第数据存储模块的容量饱和率。同时，通过上述公式进行的分组，能够有效提高数据分组与数据存储模块数量之间的匹配度和配合度。使数据分组在后续数据存储过程中始终有足够的数据存储模块进行对应存储。另一方面，通过上述公式进行数据发送时间间隔的设置，能够使每个数据分组之间的电力监控数据发送能够完全错时，互补重叠，同时，不会因为其数据发送时间间隔设置过短导致下一批次的在先数据存储的数据与上一批次在后的数据分组未完成数据存储的数据相互重叠导致数据存储模块负荷增大的问题发生。通过发送时间间隔有效控制数据存储模块的数据存储写入过程的负荷量，有效防止写入过程负荷量饱和而造成的数据拥堵，进而提高数据存储的效率和存储成功率。
本发明的一个实施例，所述方法还包括：当所述电力监控***增加数据采集子模块，进而增加了数据采集数量时，将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域，并以增加的数据采集子单元为基础，将存入第二数据缓存区域的数据进行分组，获得多个数据组；
按照如下公式对每个数据组设置数据发送时间间隔，并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中：
Figure BDA0003109175330000062
其中，Tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔；Tamax表示数据存储模块进行单批数据存储时所消耗的时间最大值；Tamin表示数据存储模块进行单批数据存储时所消耗的时间最小值；X表示第二数据缓存区域中每个数据组内包含的数据种类的个数；Tex表示第二数据缓存区域中每个数据组内，第x个数据类型的数据数据发送时间间隔。
上述技术方案的效果为：由于电力监控***会根据实际需求增加数据采集和数据监控项目，因此，为了保证不影响上述数据存储方式，设置了第二数据缓存区域对新增的数据类型和项目进行错时存储，同时，通过上述公式获取的数据发送时间间隔，能够有效保证所有数据分组之间的数据发送均为错时发送，进而记性错时存储，不会造成数据之间的数据发送重叠和相互影响，提高了数据存储效率和数据存储成功率。
本发明实施例提出了一种基于缓存的大数据存储***，如图2所示，所述***包括：
数据发送模块，用于根据电力监控***将采集到的数据发送至数据管理平台；
数据缓存模块，用于所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控***发送的数据存储至数据管理平台的存储模块中。
其中，所述数据缓存模块包括：
缓存模块，用于所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域；
分组模块，用于在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，设置每个数据组的数据发送时间间隔，并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。
其中，所述分组模块包括：
数据分组模块，用于根据电力监控***所采集数据的种类，将第一数据缓存区域内的所有数据分为n个数据组，其中，数据组的个数n通过如下公式获取；
Figure BDA0003109175330000071
Figure BDA0003109175330000072
其中，Q表示每个数据组中数据种类的个数；Z表示数据种类的总个数；m表示所述数据管理平台中的数据存储模块的总个数；int()表示取整函数；
分组数据发送模块，用于电力监控***所采集的数据发送至所述第一数据缓存区域中时，直接将数据直接存入至对应的数据组中。
其中，所述分组模块还包括：
提取模块，用于提取数据组的个数n，同时提取所述数据管理平台中的数据存储模块个数m；
时间间隔获取模块，用于利用数据组的个数n和数据存储模块个数m，通过如下公式获取每个数据组对应的数据发送时间间隔：
Figure BDA0003109175330000081
其中，Ti表示第i个数据组的数据发送时间间隔；i表示每个数据组的序号，i＝1,2，……，n；Taj表示第j个数据存储模块的存储一组数据所需的存储时间；Tbmax表示每个数据组内，各数据类型中的数据数据发送时间间隔最大值；Tbmin表示每个数据组内，各数据类型中的数据数据发送时间间隔最小值；Tbt表示每个数据组内的第t个数据类型的数据数据发送时间间隔。
其中，所述***还包括：增加数据处理模块，用于当所述电力监控***增加数据采集子模块，进而增加了数据采集数量时，将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域，并以增加的数据采集子单元为基础，将存入第二数据缓存区域的数据进行分组，获得多个数据组；
所述增加数据处理模块包括：
时间间隔设置模块，用于按照如下公式对每个数据组设置数据发送时间间隔：
Figure BDA0003109175330000082
其中，Tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔；Tamax表示数据存储模块进行单批数据存储时所消耗的时间最大值；Tamin表示数据存储模块进行单批数据存储时所消耗的时间最小值；X表示第二数据缓存区域中每个数据组内包含的数据种类的个数；Tex表示第二数据缓存区域中每个数据组内，第x个数据类型的数据数据发送时间间隔；
第二数据发送模块，用于并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中。
上述技术方案的效果为：通过设置缓存区域将电力监控***发送的数据进行缓存，并通过分组错时存储将大数据进行分批存储，有效避免数据同一时刻存储而造成的数据拥堵而造成的数据存储效率降低的问题发生。同时，有效提高了数据存储的效率和数据存储的成功率。
通过上述方式能够使数据分组与数据存储模块的个数匹配度更高，有效将第数据存储模块的容量饱和率。同时，通过上述公式进行的分组，能够有效提高数据分组与数据存储模块数量之间的匹配度和配合度。使数据分组在后续数据存储过程中始终有足够的数据存储模块进行对应存储。由于电力监控***会根据实际需求增加数据采集和数据监控项目，因此，为了保证不影响上述数据存储方式，设置了第二数据缓存区域对新增的数据类型和项目进行错时存储，同时，能够有效保证所有数据分组之间的数据发送均为错时发送，进而记性错时存储，不会造成数据之间的数据发送重叠和相互影响，提高了数据存储效率和数据存储成功率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种电力监控***的大数据存储方法，其特征在于，所述方法包括：
根据电力监控***将采集到的数据发送至数据管理平台；
所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控***发送的数据存储至数据管理平台的存储模块中。
2.根据权利要求1所述方法，其特征在于，所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控***发送的数据存储至数据管理平台的存储模块中，包括：
所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域；
在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，设置每个数据组的数据发送时间间隔，并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。
3.根据权利要求2所述方法，其特征在于，在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，包括：
根据电力监控***所采集数据的种类，将第一数据缓存区域内的所有数据分为n个数据组，其中，数据组的个数n通过如下公式获取；
Figure FDA0003109175320000011
Figure FDA0003109175320000012
其中，Q表示每个数据组中数据种类的个数；Z表示数据种类的总个数；m表示所述数据管理平台中的数据存储模块的总个数；int()表示取整函数；
电力监控***所采集的数据发送至所述第一数据缓存区域中时，直接将数据直接存入至对应的数据组中。
4.根据权利要求2所述方法，其特征在于，所述设置每个数据组的数据发送时间间隔，包括：
提取数据组的个数n，同时提取所述数据管理平台中的数据存储模块个数m；
利用数据组的个数n和数据存储模块个数m，通过如下公式获取每个数据组对应的数据发送时间间隔：
Figure FDA0003109175320000013
其中，Ti表示第i个数据组的数据发送时间间隔；i表示每个数据组的序号，i＝1,2，……，n；Taj表示第j个数据存储模块的存储一组数据所需的存储时间；Tbmax表示每个数据组内，各数据类型中的数据数据发送时间间隔最大值；Tbmin表示每个数据组内，各数据类型中的数据数据发送时间间隔最小值；Tbt表示每个数据组内的第t个数据类型的数据数据发送时间间隔。
5.根据权利要求1所述方法，其特征在于，所述方法还包括：当所述电力监控***增加数据采集子模块，进而增加了数据采集数量时，将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域，并以增加的数据采集子单元为基础，将存入第二数据缓存区域的数据进行分组，获得多个数据组；
按照如下公式对每个数据组设置数据发送时间间隔，并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中：
Figure FDA0003109175320000021
其中，Tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔；Tamax表示数据存储模块进行单批数据存储时所消耗的时间最大值；Tamin表示数据存储模块进行单批数据存储时所消耗的时间最小值；X表示第二数据缓存区域中每个数据组内包含的数据种类的个数；Tex表示第二数据缓存区域中每个数据组内，第x个数据类型的数据数据发送时间间隔。
6.一种基于缓存的大数据存储***，其特征在于，所述***包括：
数据发送模块，用于根据电力监控***将采集到的数据发送至数据管理平台；
数据缓存模块，用于所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控***发送的数据存储至数据管理平台的存储模块中。
7.根据权利要求6所述***，其特征在于，所述数据缓存模块包括：
缓存模块，用于所述数据管理平台将所有电力监控***发送的数据存储至第一数据缓存区域；
分组模块，用于在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，设置每个数据组的数据发送时间间隔，并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。
8.根据权利要求7所述***，其特征在于，所述分组模块包括：
数据分组模块，用于根据电力监控***所采集数据的种类，将第一数据缓存区域内的所有数据分为n个数据组，其中，数据组的个数n通过如下公式获取；
Figure FDA0003109175320000031
Figure FDA0003109175320000032
其中，Q表示每个数据组中数据种类的个数；Z表示数据种类的总个数；m表示所述数据管理平台中的数据存储模块的总个数；int()表示取整函数；
分组数据发送模块，用于电力监控***所采集的数据发送至所述第一数据缓存区域中时，直接将数据直接存入至对应的数据组中。
9.根据权利要求7所述***，其特征在于，所述分组模块还包括：
提取模块，用于提取数据组的个数n，同时提取所述数据管理平台中的数据存储模块个数m；
时间间隔获取模块，用于利用数据组的个数n和数据存储模块个数m，通过如下公式获取每个数据组对应的数据发送时间间隔：
Figure FDA0003109175320000033
其中，Ti表示第i个数据组的数据发送时间间隔；i表示每个数据组的序号，i＝1,2，……，n；Taj表示第j个数据存储模块的存储一组数据所需的存储时间；Tbmax表示每个数据组内，各数据类型中的数据数据发送时间间隔最大值；Tbmin表示每个数据组内，各数据类型中的数据数据发送时间间隔最小值；Tbt表示每个数据组内的第t个数据类型的数据数据发送时间间隔。
10.根据权利要求6所述***，其特征在于，所述***还包括：增加数据处理模块，用于当所述电力监控***增加数据采集子模块，进而增加了数据采集数量时，将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域，并以增加的数据采集子单元为基础，将存入第二数据缓存区域的数据进行分组，获得多个数据组；
其中，所述增加数据处理模块包括：
时间间隔设置模块，用于按照如下公式对每个数据组设置数据发送时间间隔：
Figure FDA0003109175320000041
其中，Tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔；Tamax表示数据存储模块进行单批数据存储时所消耗的时间最大值；Tamin表示数据存储模块进行单批数据存储时所消耗的时间最小值；X表示第二数据缓存区域中每个数据组内包含的数据种类的个数；Tex表示第二数据缓存区域中每个数据组内，第x个数据类型的数据数据发送时间间隔；
第二数据发送模块，用于并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中。
CN202110645921.3A 2021-06-09 2021-06-09 一种基于缓存的大数据存储方法及*** Active CN113342273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110645921.3A CN113342273B (zh) 2021-06-09 2021-06-09 一种基于缓存的大数据存储方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110645921.3A CN113342273B (zh) 2021-06-09 2021-06-09 一种基于缓存的大数据存储方法及***

Publications (2)

Publication Number Publication Date
CN113342273A true CN113342273A (zh) 2021-09-03
CN113342273B CN113342273B (zh) 2022-09-09

Family

ID=77475625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110645921.3A Active CN113342273B (zh) 2021-06-09 2021-06-09 一种基于缓存的大数据存储方法及***

Country Status (1)

Country Link
CN (1) CN113342273B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103439590A (zh) * 2013-08-08 2013-12-11 深圳市康必达中创科技有限公司 一种电能监测dsp控制***
CN105471958A (zh) * 2015-08-03 2016-04-06 汉柏科技有限公司 一种物联网数据处理的***及方法
CN109941315A (zh) * 2019-03-29 2019-06-28 上海仁童电子科技有限公司 一种数据处理装置及方法
CN111125094A (zh) * 2019-11-25 2020-05-08 怀化建南电子科技有限公司 基于区块链的电力数据存储***
CN111198918A (zh) * 2020-01-17 2020-05-26 国网福建省电力有限公司 基于大数据平台的数据处理***及链路优化方法
CN112925673A (zh) * 2021-02-18 2021-06-08 北京九贺科技有限公司 一种用于电力监控的大数据存储管理方法和***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103439590A (zh) * 2013-08-08 2013-12-11 深圳市康必达中创科技有限公司 一种电能监测dsp控制***
CN105471958A (zh) * 2015-08-03 2016-04-06 汉柏科技有限公司 一种物联网数据处理的***及方法
CN109941315A (zh) * 2019-03-29 2019-06-28 上海仁童电子科技有限公司 一种数据处理装置及方法
CN111125094A (zh) * 2019-11-25 2020-05-08 怀化建南电子科技有限公司 基于区块链的电力数据存储***
CN111198918A (zh) * 2020-01-17 2020-05-26 国网福建省电力有限公司 基于大数据平台的数据处理***及链路优化方法
CN112925673A (zh) * 2021-02-18 2021-06-08 北京九贺科技有限公司 一种用于电力监控的大数据存储管理方法和***

Also Published As

Publication number Publication date
CN113342273B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN102929961B (zh) 基于构建快速数据分级通道的数据处理方法及其装置
CN105814543A (zh) 用于增加负荷密度和改进能效的功率平衡
CN111600967A (zh) 一种基于访问压力的区块链节点间负载均衡***
CN102681904B (zh) 数据同步调度方法和装置
CN101741885A (zh) 分布式***及分布式***处理任务流的方法
CN112035058B (zh) 云平台存储***
CN111901131A (zh) 一种流量计费的调度方法、存储介质和计算机
CN103634224A (zh) 网络中数据传输的方法和***
CN109785606A (zh) 一种用电信息采集***采集质量分析方法及装置
CN102970244A (zh) 一种多cpu核间负载均衡的网络报文处理方法
CN105573711A (zh) 一种数据缓存方法及装置
CN109165045A (zh) 一种调整服务器的硬件配置的方法和装置
CN113342273B (zh) 一种基于缓存的大数据存储方法及***
CN101022414B (zh) 一种报文转发的方法和装置
CN103248636A (zh) 离线下载的***及方法
EP2477366A1 (en) Data transmission method, apparatus and system
CN105357026A (zh) 一种资源信息收集方法和计算节点
CN102055549B (zh) 一种长期演进***中的速率匹配装置及方法
CN103888372A (zh) 一种流量整形方法和数据处理设备
CN108810074A (zh) 数据传输方法、装置及***、终端
CN111935032B (zh) 一种数据包发送方法及***
CN113344738A (zh) 一种适用于数据密集型监控的访问管理方法和***
CN111291104B (zh) 一种基于异步应答的传输数据的方法及***
CN112529732A (zh) 储能单元充放电控制方法、装置、计算机设备和存储介质
CN103226620B (zh) 一种smc模块状态信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220819

Address after: 6th Floor-2, No. 2, No. 196, Zhongshan 2nd Road, Yuzhong District, Chongqing 400000

Applicant after: Chongqing Cloud Micro Software Co.,Ltd.

Address before: 100080 1505-270, 15th floor, 1 Zhongguancun Street, Haidian District, Beijing

Applicant before: Beijing Jiuhe Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant