CN111124682B - 一种弹性资源分配方法、装置、电子设备和存储介质 - Google Patents
一种弹性资源分配方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111124682B CN111124682B CN201911351966.9A CN201911351966A CN111124682B CN 111124682 B CN111124682 B CN 111124682B CN 201911351966 A CN201911351966 A CN 201911351966A CN 111124682 B CN111124682 B CN 111124682B
- Authority
- CN
- China
- Prior art keywords
- node
- data stream
- sub
- computing
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供了一种弹性资源分配方法、装置、电子设备和存储介质，方法包括：接收节点接收业务***的数据流，并将业务***的数据流发送至计算节点；计算节点接收业务***的数据流，并对业务***的数据流进行处理，获得数据块；计算节点将数据块发送至分流节点；分流节点接收数据块，并对数据块进行分类，至少获得第一分类数据流和第二分类数据流；分流节点通过输出节点将第一分类数据流传输至第一业务平台，并将第二分类数据流传输至第二业务平台。本申请可以将各种不同类型的数据发送至适应的计算节点进行处理；当某个计算子节点的数据处理超过负荷量，可以发送至其他的计算子节点进行处理，以实现计算资源的最高利用率。
Description
技术领域
本申请涉及服务器技术领域，特别是涉及一种弹性资源分配方法、装置、电子设备和存储介质。
背景技术
智慧城市是把新一代信息技术充分运用在城市中的各行各业，并基于知识社会的城市信息化高级形态，实现信息化、工业化，与城镇化深度融合，有助于提高城镇化质量，实现精细化和动态管理，并提升城市管理成效和改善市民生活质量。
智慧城市需要覆盖一个城市中的所有领域，包括城市管理、社会民生、资源环境、产业经济、特色服务等各个领域。目前，各个领域的信息都是分散的，无法实现对一个城市的全方面的信息进行统一管理，而限制各个领域的信息被统一管理的根本原因在于，现有的数据处理资源无法满足各个领域集中后的庞大数据信息的处理需求。
发明内容
本申请提供一种弹性资源分配方法、装置、电子设备和存储介质，以解决上述问题。
本申请第一方面提供了一种弹性资源分配方法，应用于云服务器，所述云服务器包括接收节点、计算节点、分流节点以及输出节点；
所述方法包括：
所述接收节点接收业务***的数据流，并将所述业务***的数据流发送至所述计算节点；其中，业务***的数据流至少包括第一业务***的第一数据流和第二业务***的第二数据流；
所述计算节点接收所述业务***的数据流，并对所述业务***的数据流进行处理，获得数据块；所述计算节点将所述数据块发送至所述分流节点；
所述分流节点接收所述数据块，并对所述数据块进行分类，至少获得第一分类数据流和第二分类数据流；其中，所述第一分类数据流与所述第一业务***的数据流对应，所述第二分类数据流与所述第二业务***的数据流对应；
所述分流节点通过所述输出节点将所述第一分类数据流传输至第一业务平台，并将所述第二分类数据流传输至第二业务平台；其中，所述第一业务平台与所述第一业务***对应，所述第二业务平台与所述第二业务***对应。
进一步地，所述计算节点至少包括第一类计算子节点；
所述计算节点接收所述业务***的数据流，并对所述业务***的数据流进行处理，获得数据块，具体包括：
判断所述第一数据流的数据量是否超过所述第一类计算子节点的第一预设阈值，当所述第一数据流的数据量不超过所述第一类计算子节点的第一预设阈值，所述第一类计算子节点接收所述第一数据流，并对所述第一数据流进行处理，得到数据块。
进一步地，所述计算节点至少还包括第二类计算子节点；
当所述第一数据流的数据量超过所述第一类计算子节点的第一预设阈值，将所述第一数据流分为至少两个第一子数据流，使得任意一个第一子数据流的数据量均小于所述第一类计算子节点的第一预设阈值；
所述第一类计算子节点接收至少一个第一子数据流，并对所述至少一个第一子数据流进行处理，得到数据块；其中，所述第一类计算子节点接收的第一子数据流的总数据量不超过所述第一类计算子节点的第一预设阈值；
判断剩余的第一子数据流的数据量是否超过所述第二类计算子节点的第二预设阈值；其中，剩余的第一子数据流是：所述第一数据流得到的所有第一子数据流中，未被所述第一类计算子节点接收的第一子数据流；
当剩余的第一子数据流的数据量未超过所述第二类计算子节点的第二预设阈值，所述第二类计算子节点接收所述剩余的第一子数据流，并对所述剩余的第一子数据流进行处理，得到数据块。
进一步地，所述云服务器还包括镜像接收节点、镜像计算节点、镜像分流节点以及镜像输出节点；
其中，所述镜像接收节点是由所述接收节点镜像得到的；所述镜像计算节点是由所述计算节点镜像得到的；所述镜像分流节点是由所述分流节点镜像得到的；所述镜像输出节点是由所述输出节点镜像得到的。
进一步地，所述云服务器还包括快照节点，所述快照节点用于针对所述接收节点、所述计算节点、所述分流节点以及所述输出节点实现快照操作。
本申请第二方面提供了一种弹性资源分配装置，包括接收节点、计算节点、分流节点以及输出节点；
所述接收节点包括第一接收模块和第一发送模块，所述第一接收模块用于接收业务***的数据流；所述第一发送模块用于将所述业务***的数据流发送至所述计算节点；其中，业务***的数据流至少包括第一业务***的第一数据流和第二业务***的第二数据流；
所述计算节点包括第二接收模块、处理模块以及第二发送模块，所述第二接收模块用于接收所述业务***的数据流；所述处理模块用于对所述业务***的数据流进行处理，获得数据块；所述第二发送模块用于将所述数据块发送至所述分流节点；
所述分流节点包括第三接收模块、分类模块和第三发送模块，所述第三接收模块用于接收所述数据块；所述分类模块用于对所述数据块进行分类，至少获得第一分类数据流和第二分类数据流；其中，所述第一分类数据流与所述第一业务***的数据流对应，所述第二分类数据流与所述第二业务***的数据流对应；
所述第三发送模块用于通过所述输出节点将所述第一分类数据流传输至第一业务平台，并将所述第二分类数据流传输至第二业务平台；其中，所述第一业务平台与所述第一业务***对应，所述第二业务平台与所述第二业务***对应。
进一步地，所述计算节点至少包括第一类计算子节点；
所述第一类计算子节点包括第一判断子模块和第一处理子模块，所述第一判断子模块用于判断所述第一数据流的数据量是否超过所述第一类计算子节点的第一预设阈值；所述第一处理子模块用于当所述第一数据流的数据量不超过所述第一类计算子节点的第一预设阈值，所述第一类计算子节点接收所述第一数据流，并对所述第一数据流进行处理，得到数据块。
进一步地，所述计算节点至少还包括第二类计算子节点；
所述第一类计算子节点还包括第一划分子模块和第一接收子模块，所述第一划分子模块用于当所述第一数据流的数据量超过所述第一类计算子节点的第一预设阈值，将所述第一数据流分为至少两个第一子数据流，使得任意一个第一子数据流的数据量均小于所述第一类计算子节点的第一预设阈值；
所述第一接收子模块用于接收至少一个第一子数据流；所述第一处理子模块用于对所述至少一个第一子数据流进行处理，得到数据块；其中，所述第一类计算子节点接收的第一子数据流的总数据量不超过所述第一类计算子节点的第一预设阈值；
所述第二类计算子节点包括第二判断子模块、第二接收子模块以及第二处理子模块；所述第二判断子模块用于判断剩余的第一子数据流的数据量是否超过所述第二类计算子节点的第二预设阈值；其中，剩余的第一子数据流是：所述第一数据流得到的所有第一子数据流中，未被所述第一类计算子节点接收的第一子数据流；
所述第二接收子模块用于当剩余的第一子数据流的数据量未超过所述第二类计算子节点的第二预设阈值，所述第二类计算子节点接收所述剩余的第一子数据流；所述第二处理子模块用于对所述剩余的第一子数据流进行处理，得到数据块。
本申请第三方面提供了一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行以实现所述的一种弹性资源分配方法。
本申请第四方面提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行实现所述的一种弹性资源分配方法。
与现有技术相比，本申请包括以下优点：
本申请基于云服务器，利用接收节点面向各个业务***，接收各个业务***发送的数据流，再将数据流发送至计算节点进行处理，计算节点设置了多个计算子节点，可以将各种不同类型的数据发送至适应的计算节点进行处理；当某个计算子节点的数据处理超过负荷量，可以发送至其他的计算子节点进行处理，进而达到快速处理数据以及平衡各个计算子节点的数据处理负荷的目的，以实现计算资源的最高利用率。为了能够将各个业务***处理后的数据进行分类管理，从计算节点输出的数据块发送至分流节点对数据块按照业务***的不同进行分类，再发送至相应的业务平台，以实现各个业务***的统一管理和数据共享。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
为了更清楚地说明本申请各个实施例的技术方案，下面将对本申请各个实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种弹性资源分配方法的步骤流程图；
图2是本申请提供的一种弹性资源分配装置的结构示意图；
图3和图4是本申请对一种弹性资源分配方法进行应用的处理流程图；
图5是本申请提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
智慧城市的目标在于，以数据集中和共享为途径，建设大数据中心，推进技术融合、业务融合、数据融合，实现跨层级、跨地域、跨***、跨部门、跨业务的协同管理和服务。
然而，相关技术中，城市的各个领域的数据较为封闭，例如城市管理、社会民生、资源环境、产业经济、特色服务等各个领域的数据基本都存在在相应的管理单位的内部。由于技术上的原因，各个管理单位内部的数据并不能相互共享，例如，各个管理单位管理的数据种类不一样，导致各个管理单位所采用的***也就不相同；再例如，各个管理单位所管理的数据量本身就很庞大，再想将各个管理单位所管理的数据量进行综合管理，其数据量就更为庞大，且数据种类多种多样，其数据处理过程复杂，相关技术中提出的针对各类数据进行独立计算的方式，无法满足相应的处理要求。
由于智慧城市需要覆盖一个城市中全方面信息，包括城市管理、社会民生、资源环境、产业经济、特色服务等各个领域。目前，各个领域的信息都是分散的，无法实现对一个城市的全方面的信息进行统一管理，而限制各个领域的信息被统一管理的根本原因在于，现有的数据处理资源无法满足各个领域集中后的庞大数据信息的处理需求。
本申请为了解决上述技术问题，提出了如图1所示的一种弹性资源分配方法，应用于如图2所示的云服务器，所述云服务器包括接收节点、计算节点、分流节点以及输出节点；
所述方法包括：
步骤S11，所述接收节点接收业务***的数据流，并将所述业务***的数据流发送至所述计算节点；其中，业务***的数据流至少包括第一业务***的第一数据流和第二业务***的第二数据流；
本申请中的业务***可以包括城市管理、社会民生、资源环境、产业经济、特色服务等各个领域的业务***，具体地，城市管理领域的业务***可以是政务、交通、城管、平安、消防等业务***；社会民生领域的业务***可以是医疗、社区、社保、教育等业务***；资源环境领域的业务***可以是能源、环保、生态等业务***；产业经济领域的业务***可以是旅游、金融、口岸、园区、企业服务等业务***；特色服务领域的业务***可以是城市生态服务平台、博士后管理服务平台、科技企业管理服务平台、自用企业管理平台等业务***。
由于各个业务***相对独立，本申请中的云服务平台的接收节点的数量可以根据接入的业务***的数量进行调整和更改；其中，同一个领域产生的数据可以由一个或多个接收节点进行接收，例如，城市管理领域产生的数据由确定的一个或多个接收节点进行接收，社会民生领域产生的数据则由另外确定的一个或多个接收节点进行接收。再具体地，各个领域所对应的接收节点的数量可以根据该领域产生的数据量进行调整，例如，城市管理领域所对应的接收节点的数量可以根据该领域所产生的数据量进行调整。
同时，接收节点可以根据接收的数据类型的不同进行设置。例如，交通部门所处理的数据类型可能包括文档(例如记录违停、车辆违章的罚单等)、图片(例如车辆违停、车辆违章的图片证据)以及视频(例如车辆闯红灯、行人闯红灯、交通路口的拍摄视频、交警取证视频等)。那么，接收节点就可以根据文档、图片和视频等数据种类的不同，进行调整，可以有效的提高数据传输的数据，也可以实现对数据的初步分类，将初步分类后的数据传输至计算节点，可以计算节点的数据处理做准备，以提高计算节点的处理速度。
步骤S12，所述计算节点接收所述业务***的数据流，并对所述业务***的数据流进行处理，获得数据块；所述计算节点将所述数据块发送至所述分流节点；
为了更好的说明本申请，现提出一个具体示例，以一个确定的应用背景进行说明。
该应用背景具体如下：如图3所示，提供数据的业务***包括城市管理领域的业务***(具体包括政务业务***A1和交通业务***A2)、社会民生领域的业务***(具体包括医疗业务***B1和社保业务***B2)。
接收节点以业务***的种类进行设置，为每个业务***分配一个接收节点(在具体使用时，也可以根据业务***的数据种类进行分配数量不同的接收节点)，即政务业务***A1的数据发送至第一接收节点、交通业务***A2的数据发送至第二接收节点、医疗业务***B1发送至第三接收节点、社保业务***B2发送至第四接收节点。
接收节点将接收的数据都发送至计算节点，为了能够合理的分配计算节点的计算资源，将计算节点分为多个计算子节点。计算子节点的数量可以根据需要处理的业务***的数量和类型，和/或数据的种类，和/或计算总资源进行确定，此处不再赘述。
为了能够合理利用计算节点所提供的计算资源，采取“定向分配方式”，具体地，将计算节点提供的计算总资源以及业务***的数量进行分配，分为多个计算子节点，依据上述的示例，具体可以分为第一类计算子节点、第二类计算子节点、第三类计算子节点、第四类计算子节点，即第一接收节点接收的数据发送至第一类计算子节点进行处理，第二接收节点接收的数据发送至第二类计算子节点进行处理，第三接收节点接收的数据发送至第三类计算子节点进行处理，第四接收节点接收的数据发送至第四类计算子节点进行处理。
即每个业务***所发送的数据由一类计算子节点进行处理，计算子节点可以根据处理的业务***所发送的数据的特点进行具体设定，以提高计算子节点对该业务***所发送的数据的处理速度。
但是，各类计算子节点的计算资源可以相同，也可以不相同；或者说，各个计算子节点的计算能力可以相同，也可以不相同。为了能够提高计算子节点的处理效率，需要判断所述第一数据流的数据量是否超过所述第一类计算子节点的第一预设阈值，当所述第一数据流的数据量不超过所述第一类计算子节点的第一预设阈值，所述第一类计算子节点接收所述第一数据流，并对所述第一数据流进行处理，得到数据块。
具体地，当接收节点发送至计算子节点的数据量没有超过计算子节点的计算能力，则该计算子节点能够很快地对该部分数据进行处理。
但是，当接收节点发送至计算子节点的数据量超过了计算子节点的计算能力之后，则该计算子节点的处理时间较多，甚至可能产生阻塞。同时，当接收节点发送至计算子节点的数据量很小，该计算子节点很快就处理完了，则该计算子节点将会空闲，意味着该部分计算资源被浪费了，利用率不高。
本申请为了解决这个问题，提出了一种“定向和随机分配的组合方式”，具体地，当所述第一数据流的数据量超过所述第一类计算子节点的第一预设阈值，将所述第一数据流分为至少两个第一子数据流，使得任意一个第一子数据流的数据量均小于所述第一类计算子节点的第一预设阈值；
所述第一类计算子节点接收至少一个第一子数据流，并对所述至少一个第一子数据流进行处理，得到数据块；其中，所述第一类计算子节点接收的第一子数据流的总数据量不超过所述第一类计算子节点的第一预设阈值；
判断剩余的第一子数据流的数据量是否超过所述第二类计算子节点的第二预设阈值；其中，剩余的第一子数据流是：所述第一数据流得到的所有第一子数据流中，未被所述第一类计算子节点接收的第一子数据流；
当剩余的第一子数据流的数据量未超过所述第二类计算子节点的第二预设阈值，所述第二类计算子节点接收所述剩余的第一子数据流，并对所述剩余的第一子数据流进行处理，得到数据块。
如图4所示，第一接收节点发送至第一类计算子节点的第一数据流的数据量，在大于第一类计算子节点的第一预设阈值时，则将第一数据流分为两个第一子数据流(在图4中以数据块1和数据块2进行表示)，数据块1按照定向分配方式发送至第一类计算子节点，而数据块2则随机发送给其他的计算子节点进行处理，例如，第二类计算子节点在处理第二接收节点发送的数据之外，还有剩余计算资源对数据块2进行处理，则将数据块2发送至第二类计算子节点，进行处理。
本申请依据接收的数据量以及计算子节点的计算资源，采用定向分配方式以及“定向和随机的配合方式”对数据量进行分配，进而提高计算节点的计算资源的利用率，防止部分计算子节点繁忙，而另外部分计算子节点闲置的情况发生。
步骤S13，所述分流节点接收所述数据块，并对所述数据块进行分类，至少获得第一分类数据流和第二分类数据流；其中，所述第一分类数据流与所述第一业务***的数据流对应，所述第二分类数据流与所述第二业务***的数据流对应；
当采用定向分配方式时，即当第一接收节点的第一数据流只发送至第一类计算子节点时，则第一类计算子节点产生的分类数据流则发送至第一分流节点。
当采用定向和随机的配合方式时，即当第一接收节点的第一数据流的数据量超过了第一类计算子节点时，则将第一数据流分为至少两个第一子数据流(即图3所示的数据块1和数据块2)，数据块1在经过第一类计算子节点处理后得到的是分类数据流1，并将其发送至第一分类节点。数据块2在经过第二类计算子节点的处理后得到的是分类数据流2，分类数据流1和分类数据流2属于同一类的数据(或者说属于同一个数据源)，则第二类计算字节将分类数据流2发送至第一分流节点，分类数据流1和分类数据流2通过第一分流节点汇合，再通过输出节点发送至业务平台。
步骤S14，所述分流节点通过所述输出节点将所述第一分类数据流传输至第一业务平台，并将所述第二分类数据流传输至第二业务平台；其中，所述第一业务平台与所述第一业务***对应，所述第二业务平台与所述第二业务***对应。
其中，输出节点可以根据业务***的数量进行设置，也可以根据所述领域进行设置。如图4所示，本申请优选的是将属于同一领域的数据通过同一输出节点输出至相应的业务平台。其中，图3中的业务总平台是第一业务平台、第二业务平台等的集合。
为了应对设备出现故障，云服务器瘫痪等状况的发生，本申请采用镜像技术构建一个与云服务器相同的镜像云服务器，当云服务器瘫痪时，镜像云服务器能够及时担任云服务器的工作，具体地，所述云服务器还包括镜像接收节点、镜像计算节点、镜像分流节点以及镜像输出节点；镜像云服务器则是由镜像接收节点、镜像计算节点、镜像分流节点以及镜像输出节点构成的。
其中，所述镜像接收节点是由所述接收节点镜像得到的；所述镜像计算节点是由所述计算节点镜像得到的；所述镜像分流节点是由所述分流节点镜像得到的；所述镜像输出节点是由所述输出节点镜像得到的。
所述云服务器还包括快照节点，所述快照节点用于针对所述接收节点、所述计算节点、所述分流节点以及所述输出节点实现快照操作。由于云服务器的数据量庞大，为了应对部分数据丢失的情况，本申请还采用快照方式实现快速数据备份和恢复，具体地，可以按照需求定时进行快照操作。
本申请基于云服务器，利用接收节点面向各个业务***，接收各个业务***发送的数据流，再将数据流发送至计算节点进行处理，计算节点设置了多个计算子节点，可以将各种不同类型的数据发送至适应的计算节点进行处理；当某个计算子节点的数据处理超过负荷量，可以发送至其他的计算子节点进行处理，进而达到快速处理数据以及平衡各个计算子节点的数据处理负荷的目的，以实现计算资源的最高利用率。为了能够将各个业务***处理后的数据进行分类管理，从计算节点输出的数据块发送至分流节点对数据块按照业务***的不同进行分类，再发送至相应的业务平台，以实现各个业务***的统一管理和数据共享。
本申请基于同一技术构思，提出了一种弹性资源分配装置，包括接收节点、计算节点、分流节点以及输出节点；
所述接收节点包括第一接收模块和第一发送模块，所述第一接收模块用于接收业务***的数据流；所述第一发送模块用于将所述业务***的数据流发送至所述计算节点；其中，业务***的数据流至少包括第一业务***的第一数据流和第二业务***的第二数据流；
所述计算节点包括第二接收模块、处理模块以及第二发送模块，所述第二接收模块用于接收所述业务***的数据流；所述处理模块用于对所述业务***的数据流进行处理，获得数据块；所述第二发送模块用于将所述数据块发送至所述分流节点；
所述分流节点包括第三接收模块、分类模块和第三发送模块，所述第三接收模块用于接收所述数据块；所述分类模块用于对所述数据块进行分类，至少获得第一分类数据流和第二分类数据流；其中，所述第一分类数据流与所述第一业务***的数据流对应，所述第二分类数据流与所述第二业务***的数据流对应；
所述第三发送模块用于通过所述输出节点将所述第一分类数据流传输至第一业务平台，并将所述第二分类数据流传输至第二业务平台；其中，所述第一业务平台与所述第一业务***对应，所述第二业务平台与所述第二业务***对应。
具体地，所述计算节点至少包括第一类计算子节点；
所述第一类计算子节点包括第一判断子模块和第一处理子模块，所述第一判断子模块用于判断所述第一数据流的数据量是否超过所述第一类计算子节点的第一预设阈值；所述第一处理子模块用于当所述第一数据流的数据量不超过所述第一类计算子节点的第一预设阈值，所述第一类计算子节点接收所述第一数据流，并对所述第一数据流进行处理，得到数据块。
具体地，所述计算节点至少还包括第二类计算子节点；
所述第一类计算子节点还包括第一划分子模块和第一接收子模块，所述第一划分子模块用于当所述第一数据流的数据量超过所述第一类计算子节点的第一预设阈值，将所述第一数据流分为至少两个第一子数据流，使得任意一个第一子数据流的数据量均小于所述第一类计算子节点的第一预设阈值；
所述第一接收子模块用于接收至少一个第一子数据流；所述第一处理子模块用于对所述至少一个第一子数据流进行处理，得到数据块；其中，所述第一类计算子节点接收的第一子数据流的总数据量不超过所述第一类计算子节点的第一预设阈值；
所述第二类计算子节点包括第二判断子模块、第二接收子模块以及第二处理子模块；所述第二判断子模块用于判断剩余的第一子数据流的数据量是否超过所述第二类计算子节点的第二预设阈值；其中，剩余的第一子数据流是：所述第一数据流得到的所有第一子数据流中，未被所述第一类计算子节点接收的第一子数据流；
所述第二接收子模块用于当剩余的第一子数据流的数据量未超过所述第二类计算子节点的第二预设阈值，所述第二类计算子节点接收所述剩余的第一子数据流；所述第二处理子模块用于对所述剩余的第一子数据流进行处理，得到数据块。
本申请还提供了如图5所示的一种电子设备，包括：
处理器51；
用于存储所述处理器51可执行指令的存储器52；
其中，所述处理器51被配置为执行以实现所述的一种弹性资源分配方法。
本申请还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器51执行时，使得电子设备能够执行实现所述的一种弹性资源分配方法。
对于***实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
以上对本申请所提供的一种弹性资源分配方法、装置、电子设备和存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (6)
1.一种弹性资源分配方法，其特征在于，应用于云服务器，所述云服务器包括接收节点、计算节点、分流节点以及输出节点；
所述方法包括：
所述接收节点接收业务***的数据流，并将所述业务***的数据流发送至所述计算节点；其中，业务***的数据流至少包括第一业务***的第一数据流和第二业务***的第二数据流；
所述计算节点接收所述业务***的数据流，并对所述业务***的数据流进行处理，获得数据块；所述计算节点将所述数据块发送至所述分流节点；
所述分流节点接收所述数据块，并对所述数据块进行分类，至少获得第一分类数据流和第二分类数据流；其中，所述第一分类数据流与所述第一业务***的数据流对应，所述第二分类数据流与所述第二业务***的数据流对应；
所述分流节点通过所述输出节点将所述第一分类数据流传输至第一业务平台，并将所述第二分类数据流传输至第二业务平台；其中，所述第一业务平台与所述第一业务***对应，所述第二业务平台与所述第二业务***对应；
所述接收节点以业务***的种类进行设置，为每个业务***分配一个所述接收节点；
所述计算节点包括与所述接收节点一一对应的多类计算子节点；
所述分流节点包括与所述计算节点一一对应的多个分流节点；
其中，第一接收节点将接收的第一业务***的第一数据流发送至第一类计算子节点，第二接收节点将接收的第二业务***的第二数据流发送至第二类计算子节点；
当所述第一数据流的数据量超过所述第一类计算子节点的第一预设阈值，将所述第一数据流分为至少两个第一子数据流，使得任意一个第一子数据流的数据量均小于所述第一类计算子节点的第一预设阈值；
其中至少一个第一子数据流作为数据块1按照定向分配方式发送至所述第一类计算子节点进行处理，所述第一数据流中未被所述第一类计算子节点接收的第一子数据流作为数据块2随机发送给所述第二类计算子节点进行处理；
数据块1在经过所述第一类计算子节点处理后得到的是分类数据流1，所述第一类计算子节点将分类数据流1发送至第一分流节点；数据块2在经过所述第二类计算子节点的处理后得到的是分类数据流2，所述第二类计算字节将分类数据流2发送至第一分流节点，以使得分类数据流1和分类数据流2通过第一分流节点汇合为所述第一分类数据流，再通过输出节点发送至所述第一业务平台。
2.根据权利要求1所述的方法，其特征在于，所述云服务器还包括镜像接收节点、镜像计算节点、镜像分流节点以及镜像输出节点；
其中，所述镜像接收节点是由所述接收节点镜像得到的；所述镜像计算节点是由所述计算节点镜像得到的；所述镜像分流节点是由所述分流节点镜像得到的；所述镜像输出节点是由所述输出节点镜像得到的。
3.根据权利要求1所述的方法，其特征在于，所述云服务器还包括快照节点，所述快照节点用于针对所述接收节点、所述计算节点、所述分流节点以及所述输出节点实现快照操作。
4.一种弹性资源分配装置，其特征在于，包括接收节点、计算节点、分流节点以及输出节点；
所述接收节点包括第一接收模块和第一发送模块，所述第一接收模块用于接收业务***的数据流；所述第一发送模块用于将所述业务***的数据流发送至所述计算节点；其中，业务***的数据流至少包括第一业务***的第一数据流和第二业务***的第二数据流；
所述计算节点包括第二接收模块、处理模块以及第二发送模块，所述第二接收模块用于接收所述业务***的数据流；所述处理模块用于对所述业务***的数据流进行处理，获得数据块；所述第二发送模块用于将所述数据块发送至所述分流节点；
所述分流节点包括第三接收模块、分类模块和第三发送模块，所述第三接收模块用于接收所述数据块；所述分类模块用于对所述数据块进行分类，至少获得第一分类数据流和第二分类数据流；其中，所述第一分类数据流与所述第一业务***的数据流对应，所述第二分类数据流与所述第二业务***的数据流对应；
所述第三发送模块用于通过所述输出节点将所述第一分类数据流传输至第一业务平台，并将所述第二分类数据流传输至第二业务平台；其中，所述第一业务平台与所述第一业务***对应，所述第二业务平台与所述第二业务***对应；
所述接收节点以业务***的种类进行设置，为每个业务***分配一个所述接收节点；
所述计算节点包括与所述接收节点一一对应的多类计算子节点；
所述分流节点包括与所述计算节点一一对应的多个分流节点；
其中，第一接收节点将接收的第一业务***的第一数据流发送至第一类计算子节点，第二接收节点将接收的第二业务***的第二数据流发送至第二类计算子节点；
当所述第一数据流的数据量超过所述第一类计算子节点的第一预设阈值，将所述第一数据流分为至少两个第一子数据流，使得任意一个第一子数据流的数据量均小于所述第一类计算子节点的第一预设阈值；
其中至少一个第一子数据流作为数据块1按照定向分配方式发送至所述第一类计算子节点进行处理，所述第一数据流中未被所述第一类计算子节点接收的第一子数据流作为数据块2随机发送给所述第二类计算子节点进行处理；
数据块1在经过所述第一类计算子节点处理后得到的是分类数据流1，所述第一类计算子节点将分类数据流1发送至第一分流节点；数据块2在经过所述第二类计算子节点的处理后得到的是分类数据流2，所述第二类计算字节将分类数据流2发送至第一分流节点，以使得分类数据流1和分类数据流2通过第一分流节点汇合为所述第一分类数据流，再通过输出节点发送至所述第一业务平台。
5.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行以实现如权利要求1至3中任一项所述的一种弹性资源分配方法。
6.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行实现如权利要求1至3中任一项所述的一种弹性资源分配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911351966.9A CN111124682B (zh) | 2019-12-24 | 2019-12-24 | 一种弹性资源分配方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911351966.9A CN111124682B (zh) | 2019-12-24 | 2019-12-24 | 一种弹性资源分配方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111124682A CN111124682A (zh) | 2020-05-08 |
| CN111124682B true CN111124682B (zh) | 2021-01-08 |
Family
ID=70502312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911351966.9A Active CN111124682B (zh) | 2019-12-24 | 2019-12-24 | 一种弹性资源分配方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111124682B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800038A (zh) * | 2012-08-13 | 2012-11-28 | 南京鑫三强科技实业有限公司 | 基于物联网与云计算的智慧教育e卡通***平台 |
| CN102891881A (zh) * | 2012-07-09 | 2013-01-23 | 北京中创信测科技股份有限公司 | 一种实现云环境下节点对等均衡的方法 |
| CN103945004A (zh) * | 2014-05-06 | 2014-07-23 | 中国联合网络通信集团有限公司 | 一种数据中心间的数据调度方法及*** |
| CN105023188A (zh) * | 2015-01-07 | 2015-11-04 | 泰华智慧产业集团股份有限公司 | 一种基于云数据的数字化城市管理数据共享*** |
| CN107741955A (zh) * | 2017-09-15 | 2018-02-27 | 平安科技（深圳）有限公司 | 业务数据监控方法、装置、终端设备及存储介质 |
| CN108449324A (zh) * | 2018-02-14 | 2018-08-24 | 北京明朝万达科技股份有限公司 | 一种网间数据的安全交换方法及*** |
| CN109391700A (zh) * | 2018-12-12 | 2019-02-26 | 北京华清信安科技有限公司 | 基于深度流量感知的物联网安全云平台 |
| CN110209492A (zh) * | 2019-03-21 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093306A (zh) * | 2012-12-21 | 2013-05-08 | 大唐软件技术股份有限公司 | 一种业务数据协同处理方法和装置 |
| US10074052B2 (en) * | 2013-01-16 | 2018-09-11 | Tata Consultancy Services Limited | System and method for smart public alerts and notifications |
| CN104424240B (zh) * | 2013-08-27 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 多表关联方法、主服务节点、计算节点及*** |
| CN104820946A (zh) * | 2015-02-05 | 2015-08-05 | 宁夏赛恩科技集团股份有限公司 | 一种面向农业信息一体化的云计算*** |
| KR102470938B1 (ko) * | 2015-10-29 | 2022-11-28 | 삼성전자 주식회사 | 객실 관리 방법 및 장치 |
| CN105389766A (zh) * | 2015-12-17 | 2016-03-09 | 北京中科云集科技有限公司 | 一种基于云平台的智慧城市管理方法及*** |
| CN105825462A (zh) * | 2016-03-07 | 2016-08-03 | 华侨大学 | 基于物联网和云计算的智慧城市信息*** |
| CN108123886A (zh) * | 2016-11-29 | 2018-06-05 | 上海有云信息技术有限公司 | 一种云计算平台的数据转发方法及装置 |
| US10331490B2 (en) * | 2017-11-16 | 2019-06-25 | Sas Institute Inc. | Scalable cloud-based time series analysis |
| CN109117320A (zh) * | 2018-07-05 | 2019-01-01 | 珠海许继芝电网自动化有限公司 | 基于云平台的配电自动化主站故障容灾处理***及方法 |
-
2019
- 2019-12-24 CN CN201911351966.9A patent/CN111124682B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102891881A (zh) * | 2012-07-09 | 2013-01-23 | 北京中创信测科技股份有限公司 | 一种实现云环境下节点对等均衡的方法 |
| CN102800038A (zh) * | 2012-08-13 | 2012-11-28 | 南京鑫三强科技实业有限公司 | 基于物联网与云计算的智慧教育e卡通***平台 |
| CN103945004A (zh) * | 2014-05-06 | 2014-07-23 | 中国联合网络通信集团有限公司 | 一种数据中心间的数据调度方法及*** |
| CN105023188A (zh) * | 2015-01-07 | 2015-11-04 | 泰华智慧产业集团股份有限公司 | 一种基于云数据的数字化城市管理数据共享*** |
| CN107741955A (zh) * | 2017-09-15 | 2018-02-27 | 平安科技（深圳）有限公司 | 业务数据监控方法、装置、终端设备及存储介质 |
| CN108449324A (zh) * | 2018-02-14 | 2018-08-24 | 北京明朝万达科技股份有限公司 | 一种网间数据的安全交换方法及*** |
| CN109391700A (zh) * | 2018-12-12 | 2019-02-26 | 北京华清信安科技有限公司 | 基于深度流量感知的物联网安全云平台 |
| CN110209492A (zh) * | 2019-03-21 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111124682A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110958218B (zh) | 基于多网通信的数据传输方法及相关设备 | |
| CN107104961B (zh) | 基于ZooKeeper的分布式实时视频监控处理*** | |
| WO2018072687A1 (zh) | 一种资源调度的方法、装置和过滤式调度器 | |
| WO2021051714A1 (zh) | 一种fpga云平台加速资源的分配方法与*** | |
| CN111199279A (zh) | 一种警务行业云端边缘计算和人工智能融合方法及装置 | |
| CN109547541B (zh) | 雾计算环境下基于过滤及分配机制的节点低开销协作方法 | |
| CN103444137A (zh) | 优先网络业务 | |
| CN109800261B (zh) | 双数据库连接池的动态控制方法、装置及相关设备 | |
| CN110740293A (zh) | 一种数据传输方法、***、装置及计算机存储介质 | |
| CN102932269A (zh) | 负载均衡的实现方法和装置 | |
| CN116708450A (zh) | 负载均衡方法、装置、电子设备及计算机可读存储介质 | |
| CN111124682B (zh) | 一种弹性资源分配方法、装置、电子设备和存储介质 | |
| US20170141949A1 (en) | Method and apparatus for processing alarm information in cloud computing | |
| CN113835876A (zh) | 一种基于国产cpu和os的人工智能加速卡调度方法及装置 | |
| CN105915910B (zh) | 一种基于云平台的视频转码方法和装置 | |
| CN112202932A (zh) | 一种基于边缘计算的对视频进行结构化分析的方法及装置 | |
| CN116319810A (zh) | 分布式***的流量控制方法、装置、设备、介质及产品 | |
| Woolsey et al. | FLCD: A flexible low complexity design of coded distributed computing | |
| CN113946857B (zh) | 一种基于数据路由的分布式跨链调度方法及装置 | |
| CN111049927B (zh) | 一种文件存储方法、装置、电子设备和存储介质 | |
| CN111125031B (zh) | 一种对象存储方法、装置、电子设备和存储介质 | |
| CN111049929B (zh) | 一种虚拟网络资源服务方法、装置、电子设备和存储介质 | |
| CN113190347A (zh) | 一种边缘云***及任务管理方法 | |
| Wen et al. | An Efficient Data Acquisition System for Large Numbers of Various Vehicle Terminals | |
| Luo et al. | Rinegan: a scalable image processing architecture for large scale surveillance applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |