CN113778681A - 基于云计算的数据处理方法、装置及存储介质 - Google Patents

基于云计算的数据处理方法、装置及存储介质 Download PDF

Info

Publication number
CN113778681A
CN113778681A CN202111065603.6A CN202111065603A CN113778681A CN 113778681 A CN113778681 A CN 113778681A CN 202111065603 A CN202111065603 A CN 202111065603A CN 113778681 A CN113778681 A CN 113778681A
Authority
CN
China
Prior art keywords
processing
data
task
area
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111065603.6A
Other languages
English (en)
Other versions
CN113778681B (zh
Inventor
施麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202111065603.6A priority Critical patent/CN113778681B/zh
Publication of CN113778681A publication Critical patent/CN113778681A/zh
Application granted granted Critical
Publication of CN113778681B publication Critical patent/CN113778681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供一种基于云计算的数据处理方法、装置及存储介质，包括：总均衡负载装置接收客户端提交的总任务，所述总任务包括处理区域和/或非处理区域的任务数据，对处理区域内的任务数据进行区域标记；总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置，所述第一算法为根据处理区域和/或非处理区域的任务数据的总数量值以及预设值得到相应的处理权重值；子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务；云处理节点对接收到的二级任务并发处理得到处理后的任务数据，将存在区域标记的处理后的任务数据发送至其对应的处理区域处的云处理节点处。

Description

基于云计算的数据处理方法、装置及存储介质
技术领域
本发明涉及云计算技术，尤其涉及一种基于云计算的数据处理方法、装置及存储介质。
背景技术
云计算(英文名：Cloud Computing)是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后通过多部服务器组成的***进行处理和分析这些小程序得到结果并返回给用户。
随着每个公司的迅速发展以及相应的信息化建设，云计算运用越来越广泛，每个公司可能在不同的工作区域内设置不同的数据采集点、数据处理节点，但是在实际的使用过程中，并无法对所有数据处理节点进行有效的数据分发，使得整个云***工作效率较差。
发明内容
本发明实施例提供一种基于云计算的数据处理方法、装置及存储介质，能够适应不同区域处任务数据的变化进行相应的处理，根据不同云处理节点的任务量、工作状态进行任务数据的分发，进行数据的云处理，处理效率较高。
本发明实施例的第一方面，提供一种基于云计算的数据处理方法，根据数据生成设备的分布信息设置多个处理区域，其中每个处理区域内至少设置一个云处理节点，对云处理节点中每个处理单元按照其数据处理的类型进行分类，每个子均衡负载装置分别与不同处理区域内的云处理节点连接，还包括以下步骤：
总均衡负载装置接收客户端提交的总任务，所述总任务包括处理区域和/或非处理区域的任务数据，对处理区域内的任务数据进行区域标记；
总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置，所述第一算法为根据处理区域和/或非处理区域的任务数据的总数量值以及预设值得到相应的处理权重值；
子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务，所述第二算法为基于处理维度对所述一级任务拆分成为至少一个二级任务；
云处理节点对接收到的二级任务并发处理得到处理后的任务数据，将存在区域标记的处理后的任务数据发送至其对应的处理区域处的云处理节点处，云处理节点将任务数据反馈至客户端，将不存在区域标记的任务数据存储至相应类别的数据库并反馈至客户端。
可选地，在第一方面的一种可能实现方式中，总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置包括：
总均衡负载装置接收客户端提交的总任务，所述总任务包括不同时刻所采集的不同区域的任务数据，所述不同区域包括处理区域和/或非处理区域；
通过第一算法包括的以下公式确定每一个处理区域和/或非处理区域的不同处理权重值，
Figure BDA0003256816830000021
其中，Si为第i个处理区域和/或非处理区域的处理权重值，xi为第i个处理区域和/或非处理区域的任务数据的总数量值，xp为第p个处理区域和/或非处理区域的任务数据的总数量值，A为第i个处理区域和/或非处理区域的任务数据的预设值，mt为第i个处理区域和/或非处理区域在第t时刻的任务数据的数量值；
对所述处理权重值进行倒序的排序，得到处理权重值的倒序排序结果；
总均衡负载装置基于所述处理权重值的倒序排序结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置，不同处理区域和/或非处理区域的任务数据为一级任务。
可选地，在第一方面的一种可能实现方式中，总均衡负载装置基于所述处理权重值的倒序排序结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置包括：
负载装置子均衡负载装置获取相应处理区域中相应云处理节点的剩余工作属性数据，所述剩余工作属性数据包括处理器未使用率、缓存未占用率以及内存未使用率；
总均衡负载装置基于所述剩余工作属性数据的数值将所述剩余工作属性数据进行倒序的排序，得到剩余工作属性的倒序排序结果；
将处理权重值的倒序排序结果和剩余工作属性的倒序排序结果一一对应得到对应结果，基于所述对应结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置。
可选地，在第一方面的一种可能实现方式中，负载装置子均衡负载装置获取相应处理区域中相应云处理节点的剩余工作属性数据包括：
通过以下公式计算每个云处理节点的剩余工作属性数据，
Figure BDA0003256816830000031
其中，k为剩余工作属性数据，E为处理器未使用率，V1为处理器未使权重，W为缓存未占用率，V2为缓存未占权重，Y为内存未使用率，V3为内存未使权重，h为第一换算值。
可选地，在第一方面的一种可能实现方式中，子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务包括：
对所述一级任务按照处理维度分类得到至少一个二级任务；
获取不同处理区域内的云处理节点中每个处理单元的类别，将相应类别的二级任务发送至相应类别的处理单元中。
可选地，在第一方面的一种可能实现方式中，云处理节点对接收到的二级任务并发处理后存储至相应类别维度的数据库包括：
每个处理单元对接收到的二级任务进行并发处理得到能源信息表，二级任务至少包括能源的量值信息和采集时刻信息；
将所述能源信息表存储至相应类别的子数据库中，所述数据库包括多个类别的子数据库，每个类别的子数据库与多个同一类别的处理单元连接。
可选地，在第一方面的一种可能实现方式中，根据数据生成设备的分布信息设置多个处理区域包括：
获取数据生成设备的分布图，所述数据生成设备的分布图包括每个区域内分布的数据生成设备；
配置数据生成设备量化阈值，当某一个区域内的数据生成设备实际量化值大于所述数据生成设备量化阈值时，将该区域设置为一个处理区域。
可选地，在第一方面的一种可能实现方式中，还包括：
所述数据生成设备的分布图包括每个区域内分布的数据生成设备的数量和种类，基于不同数据生成设备的种类不同将数据生成设备分为一类设备、二类设备以及三类设备；
通过以下公式计算数据生成设备实际量化值，包括：
Figure BDA0003256816830000032
其中，U为数据生成设备实际量化值，Z1为一类设备的一类权重值，α为第一类设备的数量，Z2为二类设备的一类权重值，β为第二类设备的数量，Z3为三类设备的三类权重值，γ为第三类设备的数量，δ为第二换算值。
本发明实施例的第二方面，提供一种基于云计算的数据处理装置，其特征在于，根据数据生成设备的分布信息设置多个处理区域，其中每个处理区域内至少设置一个云处理节点，对云处理节点中每个处理单元按照其数据处理的类型进行分类，每个子均衡负载装置分别与不同处理区域内的云处理节点连接，还包括以下模块：
接收标记模块，用于使总均衡负载装置接收客户端提交的总任务，所述总任务包括处理区域和/或非处理区域的任务数据，对处理区域内的任务数据进行区域标记；
第一拆分模块，用于使总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置，所述第一算法为根据处理区域和/或非处理区域的任务数据的总数量值以及预设值得到相应的处理权重值；
第二拆分模块，用于使子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务，所述第二算法为基于处理维度对所述一级任务拆分成为至少一个二级任务；
分发存储模块，用于使云处理节点对接收到的二级任务并发处理得到处理后的任务数据，将存在区域标记的处理后的任务数据发送至其对应的处理区域处的云处理节点处，云处理节点将任务数据反馈至客户端，将不存在区域标记的任务数据存储至相应类别的数据库并反馈至客户端。
本发明实施例的第三方面，提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。
本发明提供的一种基于云计算的数据处理方法、装置及存储介质，会根据数据生成设备的分布设置多个云处理节点，通过总均衡负载装置和子均衡负载装置对接收到的总任务进行二级的分发，将相应的二级任务分发至相应的云处理节点、处理单元。本发明在分发过程中，会充分考虑每个云处理节点的工作状态，将相应的二级任务根据云处理节点的工作状态进行分发，保障每个云处理节点都能够在其额定负载进行工作，当其他云处理节点满负荷工作时，每个云处理节点不会存在冗余的情况，提高了***的计算力的利用率，保障了***的鲁棒性。
本发明会根据不同时刻、不同处理区域和/或非处理区域的任务数据的数据量确定其权重，根据数据量的多少确定相应的一级任务的处理权重值，处理权重值既能够反应一级任务中数据量的多少，本发明会将处理权重值最高的一级任务下发至剩余工作属性数据的数值最高的云处理节点中，使得每个云处理节点都能够获得与其处理能力相适应的一级任务，保障了一级任务分配的均衡性、准确性。
本发明在计算剩余工作属性数据时，会充分考虑每个云处理节点的处理器使用率、缓存占用率以及存储使用率，并根据处理器使用率、缓存占用率以及存储使用率三个维度确定每个云处理节点的剩余工作属性数据。使得每个云处理节点的剩余工作属性数据计算准确，提高了整个***的稳定性。
本发明在计算处理区域时，将会根据每个区域内数据生成设备的数量和种类确定该区域是否需要部署云处理节点，使得任务数据的量值较大的地方优先布置云处理节点，提高了任务数据的处理效率。
附图说明
图1为基于云计算的数据处理方法的流程图；
图2为处理区域和非处理区域的示意图；
图3为云架构的第一种实施方式的结构示意图；
图4为云架构的第二种实施方式的结构示意图；
图5为基于云计算的数据处理装置的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供一种基于云计算的数据处理方法，如图1所示，包括：
步骤S110、根据数据生成设备的分布信息设置多个处理区域，其中每个处理区域内至少设置一个云处理节点。以本方法应用于电力领域为例。数据生成设备可以是核电站、风力发电站、水电站、火电站、变电站、供电网络、变电站以及变压器、电压传感器、电压传感器、功率传感器等等，本发明对于数据生成设备的结构不做限定。通过数据生成设备可以对不同维度的电力、能源数据进行采集。
处理区域可以是一个区、一个县、一个镇等等。云处理节点可以包括多个云服务器。分布信息，可以是数据生成设备在每个区、县、镇的分布，例如说A区内具有1个风力发电站、2个变电站，分布信息则为A区内具有的数据生成设备包括1个风力发电站、2个变电站。
在步骤S110中，包括，
获取数据生成设备的分布图，所述数据生成设备的分布图包括每个区域内分布的数据生成设备。本发明会设置分布图，分布图由多个区域构成，多个区域可以是处理区域也可以是非处理区域。分布图可以是包括处理区域和非处理区域的地形图，地形图中的处理区域和非处理区域内都会具有各自相应的数据生成设备。该分布图可以是预先设置的，也可以是基于GIS***实时获取数据生成设备的位置自动得到数据生成设备的分布图。如图2所示处理区域和非处理区域的示意图。
配置数据生成设备量化阈值，当某一个区域内的数据生成设备实际量化值大于所述数据生成设备量化阈值时，将该区域设置为一个处理区域。当一个区域内的数据生成设备较多时，则证明该区域内的能源需求、用能数据较多，将该区域设置为处理区域可以优先、快速的对该区域内的任务数据进行处理。
由于数据生成设备的种类较多，在数据生成设备比对时，不同维度的数据生成设备无法直接比较，例如说一个区域内存在一个核电站，但是其他区域没有核电站，此时无法将这两个、多个区域之间进行比对，所以本发明会设置一个数据生成设备量化阈值，当一个区域内的数据生成设备实际量化值大于该数据生成设备量化阈值时，则证明此时该区域内的任务数据量可能较多，该地需要设置成为处理区域。
由于不同的区域具有不同的数据生成设备，所以本发明需要对不同区域处、不同的数据生成设备进行量化处理得到相应的数据生成设备实际量化值。
在一个可能的实施方式中，还包括：
所述数据生成设备的分布图包括每个区域内分布的数据生成设备的数量和种类，基于不同数据生成设备的种类不同将数据生成设备分为一类设备、二类设备以及三类设备。一类设备可以是核电站、火电站、风力发电站等等。二类设备可以是电网的长度、变电站等等，三类设备可以是变压器、无功补偿装置等等。
配置数据生成设备量化阈值，当某一个区域内的数据生成设备实际量化值大于所述数据生成设备量化阈值时，将该区域设置为一个处理区域包括：
通过以下公式计算数据生成设备实际量化值，包括：
Figure BDA0003256816830000071
其中，U为数据生成设备实际量化值，Z1为一类设备的一类权重值，α为第一类设备的数量，Z2为二类设备的一类权重值，β为第二类设备的数量，Z3为三类设备的三类权重值，γ为第三类设备的数量，δ为第二换算值。
本发明中，可以对一类权重值、二类权重值以及三类权重值提前设置，优选设置为Z1＞Z2＞Z3，例如说Z1为100，Z2为10，Z3为1。本发明在计算数据生成设备实际量化值时，会充分考虑数据生成设备的数量维度和属性维度，得到的数据生成设备实际量化值更加客观、准确。
当某一个区域内的数据生成设备实际量化值大于数据生成设备量化阈值时，将该区域作为处理区域，为该区域配置云处理节点。本发明会间隔一段时间将数据生成设备实际量化值与数据生成设备量化阈值进行比对，与每个区域的数据生成设备建设保持同步，根据每个区域的数据生成设备的建设量、新增量动态设置处理区域，保障任务数据的处理效率。
步骤S120、对云处理节点中每个处理单元按照其数据处理的类型进行分类，构建分布式云架构。如图3所示，每个云处理节点中可能会包括多个处理单元，处理单元可以是一个或多个云服务器。任务数据的种类较多，例如说电压数据、电流数据、功率数据等等，其中每个处理单元可以只针对一种类型的数据进行处理。处理完之后可以由另外一个处理单元对所有处理后的数据进行汇总。
本发明中的云架构，可以是由多个不同类别的处理单元、云服务器构成，每个处理单元、云服务器具有不同的处理功能。
步骤S130、预先构建总均衡负载装置和多个子均衡负载装置，总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置，所述第一算法为根据处理区域和/或非处理区域的任务数据的总数量值以及预设值得到相应的处理权重值。
步骤S140、子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务，所述第二算法为基于处理维度对所述一级任务拆分成为至少一个二级任务。每个子均衡负载装置分别与不同处理区域内的云处理节点连接。
本发明中的时间序列为采集任务数据时的时刻所形成的序列，其可以是一个集合Q(时刻1，时刻t，...，时刻l)。
本发明中，会包括两个级别的均衡负载装置，包括一个总均衡负载装置和多个负载装置子均衡负载装置，每个子均衡负载装置设置于每个处理区域处。
总任务可以是处理区域处所采集的任务数据，也可以是非处理区域处所采集的任务数据。本发明中的云处理节点首先会对相应处理区域内的任务数据进行处理，此时存在两种状态，如果处理区域内的任务数据的量值较少，则此时云处理节点会存在冗余的情况，云处理节点还可以额外处理其他的任务数据。如果处理区域内的任务数据的量值较多，则此时云处理节点可能无法全部处理，则此时会将无法处理的任务数据输出至总均衡负载装置，总均衡负载装置会对其进行相应的分配，将其分配至其他处理区域的云处理节点中进行处理。以此实现任务数据的合理分配。
在一种可能的方式中，本发明中的客户端可以是电脑、手机等装置，也可以是具有数据生成设备。在另外一种可能的方式中，客户端仅为电脑，具有数据生成设备与电脑连接，具有数据生成设备将采集的数据发送至电脑，电脑将所有数据发送至总均衡负载装置。客户端、具有数据生成设备可以是多个。具有数据生成设备可以是电压传感器、电流传感器等等。
总任务可以是所有处理区域和/或非处理区域内的任务数据，一级任务可以是某一个或多个处理区域和/或非处理区域内的任务数据。二级任务是对一级任务中的任务数据进行拆分得到的，每个云处理节点中的处理单元会对二级任务进行处理。
通过以上方式，可以对所有区域的任务数据进行高效、快速的处理，对任务数据的处理时，按照每个处理区域的计算量、每个区域任务数据的数据量进行合理、均衡的分发，保障了本发明提供的技术方案的高效性、稳定性。
在一个可能的实施方式中，步骤S130包括：
总均衡负载装置接收客户端提交的总任务，所述总任务包括处理区域和/或非处理区域的任务数据，对处理区域内的任务数据进行区域标记，所述总任务包括不同时刻所采集的不同区域的任务数据，所述不同区域包括处理区域和/或非处理区域。其中，不同时刻所采集的不同区域的任务数据，可以是在一个时间段内所采集的任务数据。一个时间段可以是1天、1小时、1分钟等等。
在总任务中，会包括所有处理区域和/或非处理区域内的任务数据。当存在某一个处理区域内的任务数据出现在总任务中时，证明该处理区域内任务数据的量值较大，该处理区域配置的云处理节点已经无法满足该时间段的处理需求，所以此时需要其他具有剩余计算力的云处理节点帮忙计算，所以此时会将处理区域内处理不了的资源数据也发送至总均衡负载装置。
总均衡负载装置在接收到的处理区域内的任务数据时会进行相应的标记，例如说处理区域A多余的、无法处理的任务数据既可能标记为A。
通过第一算法包括的以下公式确定每一个处理区域和/或非处理区域的不同处理权重值，
Figure BDA0003256816830000091
其中，Si为第i个处理区域和/或非处理区域的处理权重值，xi为第i个处理区域和/或非处理区域的任务数据的总数量值，xp为第p个处理区域和/或非处理区域的任务数据的总数量值，A为第i个处理区域和/或非处理区域的任务数据的预设值，mt为第i个处理区域和/或非处理区域在第t时刻的任务数据的数量值。本发明在计算每个区域的不同处理权重值时，会充分考虑每个区域在每个时刻的任务数据的数量值，并对一段时间的任务数据的输出量进行加权求，得到某一个区域内任务数据的总数量值。通过
Figure BDA0003256816830000092
结合多个区域，计算每个区域占所有区域的比重得到处理权重值，此时权重值是一个大于0小于1的数值，易于比较。
对所述处理权重值进行倒序的排序，得到处理权重值的倒序排序结果。本发明在得到每个区域的处理权重值后，会根据处理权重值进行倒序的排序，使得数据量较多的任务数据排在前部。
总均衡负载装置基于所述处理权重值的倒序排序结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置，不同处理区域和/或非处理区域的任务数据为一级任务。
本发明会根据任务数据的数量值确定相应的云处理节点，使得计算力较多的云处理节点处理较多的任务数据，实现对任务数据的均衡分发、处理，保障了本发明的处理效率和处理稳定性。
在一个可能的实施方式中，总均衡负载装置基于所述处理权重值的倒序排序结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置包括：
负载装置子均衡负载装置获取相应处理区域中相应云处理节点的剩余工作属性数据，所述剩余工作属性数据包括处理器未使用率、缓存未占用率以及内存未使用率。在实际的工作场景中，云处理节点所处的处理区域内的任务数据较少时，其会出现较多的计算力冗余。剩余工作属性数据即可以看做是计算力冗余的程度，剩余工作属性数据越多，则其计算力冗余的情况越严重。
总均衡负载装置基于所述剩余工作属性数据的数值将所述剩余工作属性数据进行倒序的排序，得到剩余工作属性的倒序排序结果。当剩余工作属性数据的数值越高时，则证明其计算力冗余的情况越严重，其还可以对较多的任务数据进行处理。相反，当剩余工作属性数据的数值越低时，则证明其计算力冗余的情况越少，其还可以对较少的任务数据进行处理。
将处理权重值的倒序排序结果和剩余工作属性的倒序排序结果一一对应得到对应结果，基于所述对应结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置。本发明会对倒序排序结果和剩余工作属性的倒序排序结果进行对应，处理权重值越高，则证明任务数据的量值越大，剩余工作属性的数值越高，则证明其还能够处理的任务数据的量值越多，所以本发明会将处理权重值高的任务数据发送至剩余工作属性高的云处理节点，将处理权重值低的任务数据发送至剩余工作属性低的云处理节点，以此实现一级任务、任务数据的分发。
在一个可能的实施方式中，负载装置子均衡负载装置获取相应处理区域中相应云处理节点的剩余工作属性数据，所述剩余工作属性数据包括剩余的处理器使用率和缓存占用率包括：
通过以下公式计算每个云处理节点的剩余工作属性数据，
Figure BDA0003256816830000101
其中，k为剩余工作属性数据，E为处理器未使用率，V1为处理器未使权重，W为缓存未占用率，V2为缓存未占权重，Y为内存未使用率，V3为内存未使权重，h为第一换算值。
本发明在计算剩余工作属性数据时，会充分考虑云处理节点的处理器维度、缓存维度以及内存维度，针对多个维度的需求，进行剩余工作属性数据的计算。在处理工作中，依靠于处理器进行计算的比重交到，所以优选设置为V1＞V2＞V3。通过以上方式，更能客观的反应出每个云处理节点的剩余工作属性数据，反映出云处理节点还能够处理多少任务数据的趋势。
在一个可能的实施方式中，子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务包括：
对所述一级任务按照处理维度分类得到至少一个二级任务。处理维度可以是电压维度、电流维度、功率维度等等。例如说一级任务中包括电压维度的任务数据、电流维度的任务数据、功率维度的任务数据，本发明中的二级任务只包括电压维度的任务数据、电流维度的任务数据、功率维度的任务数据中的任意一个。处理维度也可以是时间维度，例如说一级任务中的任务数据的时间序列为十分钟，则每一个二级任务可以是每两分钟时间段的任务数据。对于处理维度，本发明不做任何限定。
本发明中的第二算法即时按照处理维度对一级任务进行区分，得到二级任务。
获取不同处理区域内的云处理节点中每个处理单元的类别，将相应类别的二级任务发送至相应类别的处理单元中。本发明中的云处理节点可以是预先设置的，处理单元也可以是预先设置的，处理单元的类别可以与处理维度相对应，例如说电压类别的处理单元、电流类别的处理单元，第一个两分钟的处理单元、第二个两分钟的处理单元等等。
在一个可能的实施方式中，云处理节点对接收到的二级任务并发处理后存储至相应类别维度的数据库包括：
每个处理单元对接收到的二级任务进行并发处理得到能源信息表，二级任务至少包括能源的量值信息和采集时刻信息；
将所述能源信息表存储至相应类别的子数据库中，所述数据库包括多个类别的子数据库，每个类别的子数据库与多个同一类别的处理单元连接。
本发明在对二级任务处理后会生成能源信息表，能源信息表可以包括相应任务数据所对应的处理区域的名称、任务数据采集的时间信息、任务数据的量值信息等等。时刻信息可以是2021年9月3日19:51:56，量值信息可以是10000W、120A等等。
步骤S150、云处理节点对接收到的二级任务并发处理得到处理后的任务数据，将存在区域标记的处理后的任务数据发送至其对应的处理区域处的云处理节点处，云处理节点将任务数据反馈至客户端，将不存在区域标记的任务数据存储至相应类别的数据库并反馈至客户端。本发明在得到二级任务后，会对二级任务进行处理，将二级任务的处理结果存储至数据库，实现对处理后的任务数据进行存储。在得到处理后的任务数据后，会通过有限、无线等方式将任务数据反馈至相应的处理区域、非处理区域的客户端，也可以发送至指定的客户端。
在对二级任务进行处理时，会确定处理时、处理后的任务数据是否存在区域标记，如果存在区域标记，则证明此时处理的任务数据时处理区域发送至总均衡负载处的无法处理的任务数据，所以为了保障每个区域的任务数据能够同时打包存储，本发明会中的所有云处理节点会根据相应的能源标记将处理后的任务数据发送至相应处理区域的云处理节点处，相应处理区域的云处理节点会对自己本身处理的任务数据以及其他云处理节点参与处理的任务数据合并打包，存储至相应类别的数据库中。
为了更好的理解本发明所述的上述技术方案，在一个可能的实施方式中，具有处理区域1、处理区域2，处理区域1内设置有云处理节点A、处理区域2内设置有云处理节点B。处理区域1内的任务数据的量值较大为a1，云处理节点A只能够处理量值为a2的任务数据，此时剩余的云处理节点A无法处理的任务数据量值a3则会发送给总均衡负载，a3＝a1-a2。此时总均衡复杂将所有的总任务进行拆分，对任务数据量值a2的任务数据进行了标记，标记为1A，1A即为对应处理区域1、云处理节点A。例如总均衡负载装置经过上述的步骤将标记为1A的任务数据发送至了云处理节点B，云处理节点B对任务数据处理后会根据标记1A将处理后的任务数据发送至云处理节点B。云处理节点A会将自身对任务数据a1处理后的数据和云处理节点B对任务数据a2处理的数据进行合并打包存储至相应的数据库。在将处理后的任务数据存储至数据库时，可以根据任务数据的种类选择相应种类、维度的数据库。
如图4所示，本发明可以预先设置多个子数据库，子数据库可以是专门存储相应类别的数据，子数据库的类别可以与处理维度相对应，即包括用于存储电压类型的任务数据的数据库、存储电流类型的任务数据的数据库等等。通过以上的方式，可以实现数据的分类存储，降低了后续数据查找时的查询速度。
本发明还提供一种基于云计算的数据处理装置，根据数据生成设备的分布信息设置多个处理区域，其中每个处理区域内至少设置一个云处理节点，对云处理节点中每个处理单元按照其数据处理的类型进行分类，每个子均衡负载装置分别与不同处理区域内的云处理节点连接，如图5所示，还包括以下模块：
接收标记模块，用于使总均衡负载装置接收客户端提交的总任务，所述总任务包括处理区域和/或非处理区域的任务数据，对处理区域内的任务数据进行区域标记；
第一拆分模块，用于使总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置，所述第一算法为根据处理区域和/或非处理区域的任务数据的总数量值以及预设值得到相应的处理权重值；
第二拆分模块，用于使子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务，所述第二算法为基于处理维度对所述一级任务拆分成为至少一个二级任务；
分发存储模块，用于使云处理节点对接收到的二级任务并发处理得到处理后的任务数据，将存在区域标记的处理后的任务数据发送至其对应的处理区域处的云处理节点处，云处理节点将任务数据反馈至客户端，将不存在区域标记的任务数据存储至相应类别的数据库并反馈至客户端。
其中，存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在存储介质中。设备的至少一个处理器可以从存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
在上述终端或者服务器的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.基于云计算的数据处理方法，其特征在于，根据数据生成设备的分布信息设置多个处理区域，其中每个处理区域内至少设置一个云处理节点，对云处理节点中每个处理单元按照其数据处理的类型进行分类，每个子均衡负载装置分别与不同处理区域内的云处理节点连接，还包括以下步骤：
总均衡负载装置接收客户端提交的总任务，所述总任务包括处理区域和/或非处理区域的任务数据，对处理区域内的任务数据进行区域标记；
总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置，所述第一算法为根据处理区域和/或非处理区域的任务数据的总数量值以及预设值得到相应的处理权重值；
子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务，所述第二算法为基于处理维度对所述一级任务拆分成为至少一个二级任务；
云处理节点对接收到的二级任务并发处理得到处理后的任务数据，将存在区域标记的处理后的任务数据发送至其对应的处理区域处的云处理节点处，云处理节点将任务数据反馈至客户端，将不存在区域标记的任务数据存储至相应类别的数据库并反馈至客户端。
2.根据权利要求1所述的基于云计算的数据处理方法，其特征在于，
总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置包括：
总均衡负载装置接收客户端提交的总任务，所述总任务包括不同时刻所采集的不同区域的任务数据，所述不同区域包括处理区域和/或非处理区域；
通过第一算法包括的以下公式确定每一个处理区域和/或非处理区域的不同处理权重值，
Figure FDA0003256816820000011
其中，Si为第i个处理区域和/或非处理区域的处理权重值，xi为第i个处理区域和/或非处理区域的任务数据的总数量值，xp为第p个处理区域和/或非处理区域的任务数据的总数量值，A为第i个处理区域和/或非处理区域的任务数据的预设值，mt为第i个处理区域和/或非处理区域在第t时刻的任务数据的数量值；
对所述处理权重值进行倒序的排序，得到处理权重值的倒序排序结果；
总均衡负载装置基于所述处理权重值的倒序排序结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置，不同处理区域和/或非处理区域的任务数据为一级任务。
3.根据权利要求2所述的基于云计算的数据处理方法，其特征在于，
总均衡负载装置基于所述处理权重值的倒序排序结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置包括：
子均衡负载装置获取相应处理区域中相应云处理节点的剩余工作属性数据，所述剩余工作属性数据包括处理器未使用率、缓存未占用率以及内存未使用率；
总均衡负载装置基于所述剩余工作属性数据的数值将所述剩余工作属性数据进行倒序的排序，得到剩余工作属性的倒序排序结果；
将处理权重值的倒序排序结果和剩余工作属性的倒序排序结果一一对应得到对应结果，基于所述对应结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置。
4.根据权利要求3所述的基于云计算的数据处理方法，其特征在于，
子均衡负载装置获取相应处理区域中相应云处理节点的剩余工作属性数据包括：
通过以下公式计算每个云处理节点的剩余工作属性数据，
Figure FDA0003256816820000021
其中，k为剩余工作属性数据，E为处理器未使用率，V1V1为处理器未使权重，W为缓存未占用率，V2为缓存未占权重，Y为内存未使用率，V3为内存未使权重，h为第一换算值。
5.根据权利要求1所述的基于云计算的数据处理方法，其特征在于，
子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域处的云处理节点分发二级任务包括：
对所述一级任务按照处理维度分类得到至少一个二级任务；
获取不同处理区域内的云处理节点中每个处理单元的类别，将相应类别的二级任务发送至相应类别的处理单元中。
6.根据权利要求5所述的基于云计算的数据处理方法，其特征在于，
云处理节点对接收到的二级任务并发处理后存储至相应类别维度的数据库包括：
每个处理单元对接收到的二级任务进行并发处理得到能源信息表，二级任务至少包括能源的量值信息和采集时刻信息；
将所述能源信息表存储至相应类别的子数据库中，所述数据库包括多个类别的子数据库，每个类别的子数据库与多个同一类别的处理单元连接。
7.根据权利要求1所述的基于云计算的数据处理方法，其特征在于，
根据数据生成设备的分布信息设置多个处理区域包括：
获取数据生成设备的分布图，所述数据生成设备的分布图包括每个区域内分布的数据生成设备；
配置数据生成设备量化阈值，当某一个区域内的数据生成设备实际量化值大于所述数据生成设备量化阈值时，将该区域设置为一个处理区域。
8.根据权利要求7所述的基于云计算的数据处理方法，其特征在于，还包括：
所述数据生成设备的分布图包括每个区域内分布的数据生成设备的数量和种类，基于不同数据生成设备的种类不同将数据生成设备分为一类设备、二类设备以及三类设备；
通过以下公式计算数据生成设备实际量化值，包括：
Figure FDA0003256816820000031
其中，U为数据生成设备实际量化值，Z1为一类设备的一类权重值，α为第一类设备的数量，Z2为二类设备的一类权重值，β为第二类设备的数量，Z3为三类设备的三类权重值，γ为第三类设备的数量，δ为第二换算值。
9.基于云计算的数据处理装置，其特征在于，根据数据生成设备的分布信息设置多个处理区域，其中每个处理区域内至少设置一个云处理节点，对云处理节点中每个处理单元按照其数据处理的类型进行分类，每个子均衡负载装置分别与不同处理区域内的云处理节点连接，还包括以下模块：
接收标记模块，用于使总均衡负载装置接收客户端提交的总任务，所述总任务包括处理区域和/或非处理区域的任务数据，对处理区域内的任务数据进行区域标记；
第一拆分模块，用于使总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置，所述第一算法为根据处理区域和/或非处理区域的任务数据的总数量值以及预设值得到相应的处理权重值；
第二拆分模块，用于使子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务，所述第二算法为基于处理维度对所述一级任务拆分成为至少一个二级任务；
分发存储模块，用于使云处理节点对接收到的二级任务并发处理得到处理后的任务数据，将存在区域标记的处理后的任务数据发送至其对应的处理区域处的云处理节点处，云处理节点将任务数据反馈至客户端，将不存在区域标记的任务数据存储至相应类别的数据库并反馈至客户端。
10.存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现权利要求1至8任一所述的方法。
CN202111065603.6A 2021-09-10 2021-09-10 基于云计算的数据处理方法、装置及存储介质 Active CN113778681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111065603.6A CN113778681B (zh) 2021-09-10 2021-09-10 基于云计算的数据处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111065603.6A CN113778681B (zh) 2021-09-10 2021-09-10 基于云计算的数据处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113778681A true CN113778681A (zh) 2021-12-10
CN113778681B CN113778681B (zh) 2024-05-03

Family

ID=78843008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111065603.6A Active CN113778681B (zh) 2021-09-10 2021-09-10 基于云计算的数据处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113778681B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114357085A (zh) * 2022-03-15 2022-04-15 国网浙江省电力有限公司绍兴供电公司 基于区块链的财务数据存储方法、装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713956A (zh) * 2014-01-06 2014-04-09 山东大学 应用于云计算虚拟化管理环境中的智能加权负载均衡方法
CN105471985A (zh) * 2015-11-23 2016-04-06 北京农业信息技术研究中心 负载均衡方法及云平台计算方法、云平台
WO2016179894A1 (zh) * 2015-05-12 2016-11-17 网宿科技股份有限公司 基于cdn的内容管理***
CN107872539A (zh) * 2017-12-15 2018-04-03 安徽长泰信息安全服务有限公司 一种基于云计算平台的数据处理***及方法
CN110308983A (zh) * 2019-04-19 2019-10-08 中国工商银行股份有限公司 资源负载均衡方法及***、服务节点和客户端
CN111176810A (zh) * 2019-12-19 2020-05-19 胡友彬 基于优先级的气象水文数据处理调度***
CN112596902A (zh) * 2020-12-25 2021-04-02 中科星通(廊坊)信息技术有限公司 基于cpu-gpu协同计算的任务调度方法及装置
CN113296931A (zh) * 2020-07-14 2021-08-24 阿里巴巴集团控股有限公司 一种资源的控制方法、***、计算设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713956A (zh) * 2014-01-06 2014-04-09 山东大学 应用于云计算虚拟化管理环境中的智能加权负载均衡方法
WO2016179894A1 (zh) * 2015-05-12 2016-11-17 网宿科技股份有限公司 基于cdn的内容管理***
CN105471985A (zh) * 2015-11-23 2016-04-06 北京农业信息技术研究中心 负载均衡方法及云平台计算方法、云平台
CN107872539A (zh) * 2017-12-15 2018-04-03 安徽长泰信息安全服务有限公司 一种基于云计算平台的数据处理***及方法
CN110308983A (zh) * 2019-04-19 2019-10-08 中国工商银行股份有限公司 资源负载均衡方法及***、服务节点和客户端
CN111176810A (zh) * 2019-12-19 2020-05-19 胡友彬 基于优先级的气象水文数据处理调度***
CN113296931A (zh) * 2020-07-14 2021-08-24 阿里巴巴集团控股有限公司 一种资源的控制方法、***、计算设备及存储介质
CN112596902A (zh) * 2020-12-25 2021-04-02 中科星通(廊坊)信息技术有限公司 基于cpu-gpu协同计算的任务调度方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SASASE, I: "A load balancing mobility management for multilevel hierarchical mobile IPv6 networks", 14TH IEEE PROCEEDINGS ON PERSONAL, INDOOR AND MOBILE RADIO COMMUNICATIONS, 2003., vol. 1, 7 September 2003 (2003-09-07), pages 460 - 464, XP010681637, DOI: 10.1109/PIMRC.2003.1264314 *
李莉;史国振;耿魁;董秀则;李凤华;: "基于负载均衡的随机作业流密码服务调度算法", 通信学报, no. 06 *
苗秀;俞俊生;刘绍华;陈晓东;: "基于云计算平台的移动IPTV***设计及负载均衡技术研究", 软件, no. 01 *
陈军;卢涵宇;姚丹丹;: "基于处理时间的网络地图云服务调度算法", 计算机测量与控制, no. 07, 25 July 2013 (2013-07-25) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114357085A (zh) * 2022-03-15 2022-04-15 国网浙江省电力有限公司绍兴供电公司 基于区块链的财务数据存储方法、装置及存储介质

Also Published As

Publication number Publication date
CN113778681B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN107947164B (zh) 考虑多重不确定性及相关性的电力***日前鲁棒调度方法
CN113609443B (zh) 基于区块链的碳足迹跟踪处理方法、装置及存储介质
Shayesteh et al. ATC-based system reduction for planning power systems with correlated wind and loads
CN108667005B (zh) 一种计及新能源影响的电网静动态结合脆弱性评估方法
Carvalho et al. Distribution network expansion planning under uncertainty: a hedging algorithm in an evolutionary approach
CN112396462B (zh) 基于Clickhouse的人群圈选方法及装置
CN107248031B (zh) 一种针对负荷曲线峰谷差的快速电力用户分类方法
CN112184490A (zh) 基于物联网的终端数据处理方法及计算机设备
CN113778681A (zh) 基于云计算的数据处理方法、装置及存储介质
CN115576998A (zh) 一种基于多维信息融合的配电网数据整合方法及***
CN117744916A (zh) 储能容量的预测方法、装置、计算机设备及可读存储介质
CN109858667A (zh) 一种基于雷电气候对负荷影响的短期负荷聚类方法
CN106127602B (zh) 一种基于约简离群点算法的窃电辨识方法及装置
CN112328851A (zh) 分布式电源监测方法、装置及电子设备
CN113553362B (zh) 基于共识机制的碳能源消耗监测方法、装置及存储介质
Fu et al. A spatial forecasting method for photovoltaic power generation combined of improved similar historical days and dynamic weights allocation
CN109541397A (zh) 一种主动配电网的相间短路故障定位方法、装置及***
CN111463796B (zh) 一种考虑风电出力的电压稳定性评估方法及装置
CN113612191A (zh) 一种配电网的快速恢复供电方法及装置
Nallagownden et al. A combined-model for uncertain load and optimal configuration of distributed generation in power distribution system
CN112801817A (zh) 一种电能质量数据中心构建方法及其***
CN112085413A (zh) 一种电能质量等级计算方法、终端设备及存储介质
CN118017554B (zh) 一种配电变压器的扩容方法、装置、设备及存储介质
CN117194991B (zh) 基于gpu集群的高维数据推荐***及方法
CN104424274B (zh) 数据处理的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant