CN113596146A - 一种基于大数据的资源调度的方法及装置 - Google Patents

一种基于大数据的资源调度的方法及装置 Download PDF

Info

Publication number
CN113596146A
CN113596146A CN202110849911.1A CN202110849911A CN113596146A CN 113596146 A CN113596146 A CN 113596146A CN 202110849911 A CN202110849911 A CN 202110849911A CN 113596146 A CN113596146 A CN 113596146A
Authority
CN
China
Prior art keywords
mec
hot spot
similar
data
mecs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110849911.1A
Other languages
English (en)
Other versions
CN113596146B (zh
Inventor
彭亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Saisheng Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110849911.1A priority Critical patent/CN113596146B/zh
Publication of CN113596146A publication Critical patent/CN113596146A/zh
Application granted granted Critical
Publication of CN113596146B publication Critical patent/CN113596146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请公开了一种基于大数据的资源调度的方法，包括：云服务器将热点数据组分发至多个移动边缘节点MEC；所述多个MEC将所述热点数据组分发至多个移动终端；所述云服务器对所述多个MEC的关键性能指标KPI进行预测，若预测出的第一MEC的KPI不满足质量服务QoS条件，则暂停所述第一MEC的分发操作，并将所述第一MEC存储的热点数据组进行数据***，***为多个子热点数据组；所述第一MEC根据相似度准则确定与所述第一MEC具有相似特征的相似MEC簇群，并将所述多个子热点数据组按照负载均衡策略依次分发至所述相似MEC簇群的不同MEC中，以使所述相似MEC簇群将所述多个子热点数据按照不同路由路径依次分发至多个移动终端中。

Description

一种基于大数据的资源调度的方法及装置
技术领域
本申请涉及信息技术领域，尤其涉及一种基于大数据的资源调度的方法及装置。
背景技术
随着大数据的发展以及推广，大数据面临的挑战和需求日益增多。大数据的云服务器通常具备大数据采集、存储、挖掘和分析等功能，大数据云服务器通过以上功能实现对大数据的有效处理。
然而，云服务器的数据分发和资源调度能力会受到存储空间及网络环境的制约，尤其是对于热点事件的响应，不合理的存储资源和网络环境会对大数据热点内容分发性能带来极大影响。
发明内容
本发明实施例提供一种基于大数据的资源调度的方法，用于解决现有技术中资源调度过程中热点数据内容分发性能不达标的问题。
本发明实施例提供一种基于大数据的资源调度的方法，包括：
云服务器将热点数据组分发至多个移动边缘节点MEC；
所述多个MEC将所述热点数据组分发至多个移动终端；
所述云服务器对所述多个MEC的关键性能指标KPI进行预测，若预测出的第一MEC的KPI不满足质量服务QoS条件，则暂停所述第一MEC的分发操作，并将所述第一MEC存储的热点数据组进行数据***，***为多个子热点数据组；
所述第一MEC根据相似度准则确定与所述第一MEC具有相似特征的相似MEC簇群，并将所述多个子热点数据组按照负载均衡策略依次分发至所述相似MEC簇群的不同MEC中，以使所述相似MEC簇群将所述多个子热点数据按照不同路由路径依次分发至多个移动终端中。
可选地，所述云服务器对所述多个MEC的关键性能指标KPI进行预测，包括：
获取所述MEC的KPI的历史数据，将所述KPI历史数据生成KPI值阵列；
将所述KPI值阵列输入至预测模型中，所述预测模型利用回归算法对所述KPI值阵列进行分析，并输出未来时间点的KPI值。
可选地，所述第一MEC根据相似度准则确定与所述第一MEC具有相似特征的相似MEC簇群，包括：
获取第一MEC的相邻MEC节点的PRB负载率及内容需求水平；
分别设置PRB负载率及内容需求水平的阈值范围，并基于所述阈值范围对所述相邻MEC节点进行筛选，以筛选出所述相似MEC簇群。
可选地，所述第一MEC根据相似度准则确定与所述第一MEC具有相似特征的相似MEC簇群，包括：
获取第一MEC的相邻MEC节点的信噪比SNR；
设置所述SNR的阈值范围，并基于所述阈值范围对所述相邻MEC节点进行筛选，以筛选出所述相似MEC簇群。
可选地，在所述云服务器将热点数据组分发至多个移动边缘节点MEC之前，所述方法还包括：
所述云服务器基于人工智能算法预测热点事件，并生成与所述热点事件对应的热点数据组。
可选地，将所述多个子热点数据组按照负载均衡策略依次分发至所述相似MEC簇群的不同MEC中，包括：
获取所述相似MEC簇群的不同MEC的资源负载率，并对所述资源负载率按照从低到高进行排序；
将所述多个子热点数据组按照数据大小从高到低进行排序；
依次将所述排序后的多个子热点数据组依次发送至所述排序后的相似MEC簇群的不同MEC中，其中，所述多个子热点数据组的数据大小与对应的MEC资源负载率成反比。
可选地，所述相似MEC簇群将所述多个子热点数据按照不同路由路径依次分发至多个移动终端，包括：
所述相似MEC簇群将所述多个子热点数据设置为高优先级，并将所述多个子热点数据设置为确定性业务流量；
所述相似MEC簇群预测未来的非确定性业务流量大小，若预测的非确定性业务流量大小与所述确定性业务流量大小之和超过预设阈值，则将所述子热点数据按照第一路由路径进行发送，将非热点数据按照第二路由路径进行发送，其中，非热点数据对应的业务流量为非确定性业务流量。
可选地，所述相似MEC簇群预测未来的非确定性业务流量大小，包括：
所述相似MEC簇群通过长短时记忆模型LSTM来预测未来的非确定性业务流量大小。
可选地，所述方法还包括：
若所述热点数据组单位时间内的请求量低于热点流量阈值，则所述多云服务器将所述热点数据组对应的热点事件降级为非热点事件，并降低所述热点数据组的优先级；
所述云服务器接收所述多个MEC透发的终端请求消息，并提取所述终端请求消息中不同的标签；
所述云服务器对所述多个标签进行分析，并将单位时间请求量超过所述热点流量阈值的标签定义为热点事件标签；
所述云端中心服务器生成与所述热点事件标签对应的第二热点数据组，并将所述第二热点数据组发送至所述多个MEC。
本发明实施例还包括一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。
本发明实施例提供的方法及装置，在热点数据分发的过程中，为了应对热点数据流量暴涨导致响应不及时的问题，及时对多个MEC的关键性能指标KPI进行预测，若发现KPI不达标则将热点数据组进行分拆后，由多个相邻的MEC分担了热点数据内容分发的任务，有效降低单个MEC的负载率，提升网络资源利用率，提高网络QoS。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为一个实施例中大数据资源调度***架构图；
图2为一个实施例中基于大数据的资源调度的方法流程图；
图3为一个实施例中对子热点数据组进行分发的逻辑示意图；
图4为一个实施例中装置的硬件组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
图1为本发明实施例中大数据资源调度***的架构图。如图1所示，本发明实施例中，包括“云-管-端”的三级结构，其中云为云服务器集群，包含了多个可扩展云服务器，其中，云服务器集群中包含一个中心服务器，定义为云端中心服务器，用于对各个云服务器的存储状态和运行状态进行监控，并基于各个云服务器的状态，动态释放和扩展资源，保证业务的正常运行。云端中心服务器可以是多个云服务器的其中一个，也可以指定为特殊的具备控制策略功能的服务器，可以动态获取热点数据组，并响应该热点数据组的I/O请求。管为边缘层，由多个边缘节点组成，边缘节点离用户侧较近，具备一定的计算及数据处理能力，可以在较短时间内响应用户的查询及数据获取请求。端为终端，由用户进行操控，并生成I/O请求，发送至边缘节点及云端，最终从云端或边缘节点处获取需要的数据。
图2是本发明实施例的一种基于大数据的资源调度的方法流程图，本发明实施例提供的方法，具体为：
S101、云服务器将热点数据组分发至多个移动边缘节点MEC；
热点数据组是对应于热点事件的待分发内容，热点数据组可以是视频、文字及图片等形式，其分别由不同的数据格式组成，并经过编码、解码等步骤形成特定内容的事件数字载体。
热点事件在单位时间内的响应频率较高，例如“热搜”事件，在单位时间内的访问量会达到上百万次，如此高的访问频率需要在较短时间内响应，对云端存储和整个网络而言都是一个挑战。
其中，云服务器可以通过人工智能算法来预测热点事件，并基于预测结果生成与预测结果对应的热点数据组。例如，将一段周期内收集到的事件进行文本解析，解析出热点事件的主题，并建立深度学习模型，将历史记录中不同的主题作为输入样本进行模型训练，训练出主题-标签模型，并基于主题-标签模型输出与主题对应的标签，统计一段时间内具备主题的请求数，若请求数增长率高于第一阈值，则利用主题-标签模型输出与主题对应的标签，并基于对应的标签进行关联热点数据组的检索。
热点事件是随机的，突发的，因此需要将主题与不同标签进行关联，而热点事件的关联和分类，则无法通过人为进行，因此，需要利用深度学习模型进行模型训练，从而确定不同主题与标签的关联性，标签可以是该主题的扩展或类型，标签可以反映出该主题的关注度，因此，需要关注该主题不同标签的累加增长率，可正确反映出该主题的关注度增长率，从而输出正确的热点事件，并以此来生成对应的热点数据组。
S102、所述多个MEC将所述热点数据组分发至多个移动终端；
本发明实施例中，采用了将热点数据组进行复制并分发的方式进行分布式存储，利用MEC响应时间快的特性，将热点数据组预先/预备“下沉”至边缘节点，以在用户终端开始搜寻热点事件内容时，缩短热点事件的响应时间。
S103、所述云服务器对所述多个MEC的关键性能指标KPI进行预测，若预测出的第一MEC的KPI不满足质量服务QoS条件，则暂停所述第一MEC的分发操作，并将所述第一MEC存储的热点数据组进行数据***，***为多个子热点数据组；
在本发明实施例中，可以通过利用与无线电信道相关联的关键指标(例如PRB,CQI,SNR等)度量来预测网络中的吞吐量，在此称为关键性能指标(Key PerformanceIndicator,KPI)。不同的KPI具有不同的测量方式，范围从每秒几次到每几秒一次；KPI的测量频率被称作KPI粒度。
在本发明实施例中，选择KPI以提供关于设备性能和网络性能的数据，若KPI参数达不到某一个标注阈值，则认定该KPI不满足服务质量(Quality Of Service,QoS)，反之则能满足。
在本发明实施例中，云服务器对所述多个MEC的关键性能指标KPI进行预测，具体可以为：
获取所述MEC的KPI的历史数据，将所述KPI历史数据生成KPI值阵列；
对于每个MEC而言，需要按照不同的粒度收集其所选择的历史时间段的KPI数据。其中，“高粒度”KPI可以每秒测量几次，而“低粒度”KPI可以每几秒钟测量一次。
将所述KPI值阵列输入至预测模型中，所述预测模型利用回归算法对所述KPI值阵列进行分析，并输出未来时间点的KPI值。
对历史KPI数据进行汇总，并生成KPI值阵列，并将该KPI值阵列输入至机器学习ML的智能预测模型中。
在本发明实施例中，可以考虑如下ML算法：随机森林(RF)，支持向量机(SVM)，梯度树增强(GB)和神经网络(NN)。其中，RF表示用于回归和分类任务的集成/增强学***均值进行预测来工作。因为每个树是在随机选择的特征子集上构建的，因此该方法可以减少过度拟合。通过考虑决策树的每个分割的特征的随机子集，它们被进一步去相关，使得拟合最小化。因此，本发明实施例优先选择该算法进行KPI的预测。该算法为现有技术，本发明实施例不再累述。
与RF相似，GB也代表一个总体算法，具有迭代地建立模型的思想，其中在每个阶段，增加一个“弱学习者”以改进现有模型。
SVM是基于构造用于做出将不同类别的点分开的决策边界的超平面。为了使分离更容易，可以通过被称作核的适当函数来变换输入特征。对于SVM，参数调谐代表了主要缺点。传统技术，网格搜索可用于自动搜索最优参数，但它耗时长。
多层感知器(MLP)，也称为前馈神经网络，代表深度学习模型。它由多层组成，输入端形成第一层，输出端为最后一层。从每一层，取所有值的线性组合，应用激活函数，并将结果发送到下一层。学习算法的目的是找出在线性组合中使用的适当权重。
若多个MEC中，具备一个MEC(定义为第一MEC)的某一个KPI(例如PRB负载率、CQI、RSRQ)不满足预期条件，则该MEC如果持续地进行内容分发，会导致网络响应时间大大增加，数据分发过程会急剧缓慢。因此，需要将第一MEC的分发操作暂停，并通过其余的MEC分担该分发操作。
在本发明实施例中，第一MEC中保存的热点数据组需要不同的MEC节点代为分发，而由于热点数据组数据量大，如果单单是不同的MEC代为转发同一个热点数据组，也容易出现第一MEC的KPI不达标的现象，因此，本发明创造性地提出了一种数据***的方式，将大容量的数据组切割为不同的小份数据组，并将小份数据组进行分发，会极大地降低网络的拥塞率。
将热点数据组进行数据***，***为多个子热点数据组，可以采用等分的方式，也可以采用非等分的方式，即考虑到不同MEC的资源饱和度，原则上采用资源饱和度高的分配较小数据量的子热点数据组，资源饱和度低的分配较大数据量的子热点数据组的方式。
S104、所述第一MEC根据相似度准则确定与所述第一MEC具有相似特征的相似MEC簇群，并将所述多个子热点数据组按照负载均衡策略依次分发至所述相似MEC簇群的不同MEC中，以使所述相似MEC簇群将所述多个子热点数据按照不同路由路径依次分发至多个移动终端中。
在本发明实施例中，第一MEC根据相似度准则确定与所述第一MEC具有相似特征的相似MEC簇群，具体可以为：
获取第一MEC的相邻MEC节点的PRB负载率及内容需求水平；
分别设置PRB负载率及内容需求水平的阈值范围(例如PRB负载率70％-80％，内容需求5GB-10GB)，并基于所述阈值范围对所述相邻MEC节点进行筛选，以筛选出所述相似MEC簇群。即，将相邻MEC中满足PRB负载率70-80％，且内容需求在5GB-10GB的MEC筛选出来，而过滤掉其他不符合该条件的MEC。通过相似度准则可以筛选出与第一MEC容量或工作效率相似的MEC节点，来代替MEC进行热点数据组的转发。
此外，在另一个实施例中，还可以通过获取第一MEC的相邻MEC节点的信噪比SNR；
设置所述SNR的阈值范围，并基于所述阈值范围对所述相邻MEC节点进行筛选，以筛选出所述相似MEC簇群。
可选地，将所述多个子热点数据组按照负载均衡策略依次分发至所述相似MEC簇群的不同MEC中，具体可以为：
获取所述相似MEC簇群的不同MEC的资源负载率，并对所述资源负载率按照从低到高进行排序；
将所述多个子热点数据组按照数据大小从高到低进行排序；
依次将所述排序后的多个子热点数据组依次发送至所述排序后的相似MEC簇群的不同MEC中，其中，所述多个子热点数据组的数据大小与对应的MEC资源负载率成反比。如图3所示，示例性地，在本发明实施例中，分别由MEC-A,MEC-B,MEC-C,MEC-D和MEC-E五个节点，其资源负载率分别为70％，74％，77％，72％，80％，按照资源负载率从低到高的排序是MEC-A,MEC-D,MEC-B,MEC-C和MEC-E.而此时子热点数据组也同样为5份，记为D1-D5，数据大小分别为1GB,4GB,5GB,2GB,3GB，则按照数据大小从高到低排序后其顺序为D3,D2,D5,D4,D1，则相应地，其分配规则为：D3分配给MEC-A，D2分配给MEC-D，D5分配给MEC-B，D4分配给MEC-C，D1分配给MEC-E.
在本发明实施例中，相似MEC簇群将多个子热点数据按照不同路由路径依次分发至多个移动终端，具体可以为：
相似MEC簇群将多个子热点数据设置为高优先级，并将多个子热点数据设置为确定性业务流量；其中，不同的数据发送有发送优先级的区别，高能级的数据流优先发送，中能级和低能级的数据流等高能级的先发送成功后才能进行发送。而确定性业务则表示在未来一定会发生的数据分发，子热点数据属于其中一种确定性业务，代表在未来该子热点数据确定要发送到不同的移动终端中。相对应地，非确定性业务则是存在着该业务的可能但并不确定。确定性业务的网络流量统称为确定性业务流量，与之对应的非确定性网络流量则称为非确定性业务流量。
相似MEC簇群预测未来的非确定性业务流量大小，若预测的非确定性业务流量大小与确定性业务流量大小之和超过预设阈值，则将子热点数据按照第一路由路径进行发送，将非热点数据按照第二路由路径进行发送，其中，非热点数据对应的业务流量为非确定性业务流量。在本发明实施例中，定义子热点数据是高优先级，则通过高优先级的专用发送路径，即第一路由路径进行发送，而非热点数据是中或低优先级，属于非确定性业务，可以稍微延后或暂停发送，因此，可以通过中或低优先级的第二路由路径进行发送。
其中，相似MEC簇群通过长短时记忆模型LSTM来预测未来的非确定性业务流量大小。长短期记忆(Long short-term memory,LSTM)是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度***问题。相比普通的RNN，LSTM能够在更长的序列中有更好的表现。
LSTM内部主要有三个阶段：
一.忘记阶段，这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会“忘记不重要的，记住重要的”。
二.选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入参数进行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。
三.输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。
其中，采用LSTM进行业务流量预测属于现有技术，本发明对此不再累述。
在本发明实施例中，热点事件具有很强的时效性，随着时间的不同，热点数据组的流量阈值也会发生变化。因此，若热点数据组单位时间内的请求量低于热点流量阈值，则多云服务器将热点数据组对应的热点事件降级为非热点事件，并降低热点数据组的优先级。此时，云服务器可以继续寻找并预测新的热点事件，并生成新的热点数据组(第二热点数据组)，例如：
云服务器接收多个MEC透发的终端请求消息，并提取终端请求消息中不同的标签；
云服务器对多个标签进行分析，并将单位时间请求量超过热点流量阈值的标签定义为热点事件标签；
云端中心服务器生成与热点事件标签对应的第二热点数据组，并将第二热点数据组发送至多个MEC。
本发明实施例提供的方法及装置，在热点数据分发的过程中，为了应对热点数据流量暴涨导致响应不及时的问题，及时对多个MEC的关键性能指标KPI进行预测，若发现KPI不达标则将热点数据组进行分拆后，由多个相邻的MEC分担了热点数据内容分发的任务，有效降低单个MEC的负载率，提升网络资源利用率，提高网络QoS。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述实施例中的方法。
本发明实施例还提供一种装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。
本发明实施例提供的方法及装置，将相邻节点的容器进行评估，并通过QoS预测及二次筛选条件过滤，保证了迁移目标的容器满足数据迁移后的QoS保障，提升了用户体验。
图4为一个实施例中装置的硬件组成示意图。可以理解的是，图4仅仅示出了装置的简化设计。在实际应用中，装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出***、处理器、控制器、存储器等，而所有可以实现本申请实施例的大数据管理方法的装置都在本申请的保护范围之内。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。
输入***用于输入数据和/或信号，以及输出***用于输出数据和/或信号。输出***和输入***可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，***或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程***。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于大数据的资源调度的方法，其特征在于，包括：
云服务器将热点数据组分发至多个移动边缘节点MEC；
所述多个MEC将所述热点数据组分发至多个移动终端；
所述云服务器对所述多个MEC的关键性能指标KPI进行预测，若预测出的第一MEC的KPI不满足质量服务QoS条件，则暂停所述第一MEC的分发操作，并将所述第一MEC存储的热点数据组进行数据***，***为多个子热点数据组；
所述第一MEC根据相似度准则确定与所述第一MEC具有相似特征的相似MEC簇群，并将所述多个子热点数据组按照负载均衡策略依次分发至所述相似MEC簇群的不同MEC中，以使所述相似MEC簇群将所述多个子热点数据按照不同路由路径依次分发至多个移动终端中。
2.根据权利要求1所述的方法，其特征在于，所述云服务器对所述多个MEC的关键性能指标KPI进行预测，包括：
获取所述MEC的KPI的历史数据，将所述KPI历史数据生成KPI值阵列；
将所述KPI值阵列输入至预测模型中，所述预测模型利用回归算法对所述KPI值阵列进行分析，并输出未来时间点的KPI值。
3.根据权利要求1或2所述的方法，其特征在于，所述第一MEC根据相似度准则确定与所述第一MEC具有相似特征的相似MEC簇群，包括：
获取第一MEC的相邻MEC节点的PRB负载率及内容需求水平；
分别设置PRB负载率及内容需求水平的阈值范围，并基于所述阈值范围对所述相邻MEC节点进行筛选，以筛选出所述相似MEC簇群。
4.根据权利要求1或2所述的方法，其特征在于，所述第一MEC根据相似度准则确定与所述第一MEC具有相似特征的相似MEC簇群，包括：
获取第一MEC的相邻MEC节点的信噪比SNR；
设置所述SNR的阈值范围，并基于所述阈值范围对所述相邻MEC节点进行筛选，以筛选出所述相似MEC簇群。
5.根据权利要求1所述的方法，其特征在于，在所述云服务器将热点数据组分发至多个移动边缘节点MEC之前，所述方法还包括：
所述云服务器基于人工智能算法预测热点事件，并生成与所述热点事件对应的热点数据组。
6.根据权利要求1所述的方法，其特征在于，将所述多个子热点数据组按照负载均衡策略依次分发至所述相似MEC簇群的不同MEC中，包括：
获取所述相似MEC簇群的不同MEC的资源负载率，并对所述资源负载率按照从低到高进行排序；
将所述多个子热点数据组按照数据大小从高到低进行排序；
依次将所述排序后的多个子热点数据组依次发送至所述排序后的相似MEC簇群的不同MEC中，其中，所述多个子热点数据组的数据大小与对应的MEC资源负载率成反比。
7.根据权利要求1所述的方法，其特征在于，所述相似MEC簇群将所述多个子热点数据按照不同路由路径依次分发至多个移动终端，包括：
所述相似MEC簇群将所述多个子热点数据设置为高优先级，并将所述多个子热点数据设置为确定性业务流量；
所述相似MEC簇群预测未来的非确定性业务流量大小，若预测的非确定性业务流量大小与所述确定性业务流量大小之和超过预设阈值，则将所述子热点数据按照第一路由路径进行发送，将非热点数据按照第二路由路径进行发送，其中，非热点数据对应的业务流量为非确定性业务流量。
8.根据权利要求7所述的方法，其特征在于，所述相似MEC簇群预测未来的非确定性业务流量大小，包括：
所述相似MEC簇群通过长短时记忆模型LSTM来预测未来的非确定性业务流量大小。
9.根据权利要求7所述的方法，其特征在于，所述方法还包括：
若所述热点数据组单位时间内的请求量低于热点流量阈值，则所述多云服务器将所述热点数据组对应的热点事件降级为非热点事件，并降低所述热点数据组的优先级；
所述云服务器接收所述多个MEC透发的终端请求消息，并提取所述终端请求消息中不同的标签；
所述云服务器对所述多个标签进行分析，并将单位时间请求量超过所述热点流量阈值的标签定义为热点事件标签；
所述云端中心服务器生成与所述热点事件标签对应的第二热点数据组，并将所述第二热点数据组发送至所述多个MEC。
10.一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至9任一项所述的方法。
CN202110849911.1A 2021-07-27 2021-07-27 一种基于大数据的资源调度的方法及装置 Active CN113596146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110849911.1A CN113596146B (zh) 2021-07-27 2021-07-27 一种基于大数据的资源调度的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110849911.1A CN113596146B (zh) 2021-07-27 2021-07-27 一种基于大数据的资源调度的方法及装置

Publications (2)

Publication Number Publication Date
CN113596146A true CN113596146A (zh) 2021-11-02
CN113596146B CN113596146B (zh) 2022-10-04

Family

ID=78250320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110849911.1A Active CN113596146B (zh) 2021-07-27 2021-07-27 一种基于大数据的资源调度的方法及装置

Country Status (1)

Country Link
CN (1) CN113596146B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374617A (zh) * 2021-12-13 2022-04-19 ***数智科技有限公司 一种可用于确定性网络的容错预制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180248939A1 (en) * 2017-02-27 2018-08-30 University Of Electronic Science And Technology Of China Energy-saving deployment method of virtual cdn
CN108833468A (zh) * 2018-04-27 2018-11-16 广州西麦科技股份有限公司 基于移动边缘计算的视频处理方法、装置、设备及介质
CN110602180A (zh) * 2019-08-26 2019-12-20 深圳市赛宇景观设计工程有限公司 一种基于边缘计算的大数据用户行为分析方法及电子设备
CN113014415A (zh) * 2019-12-20 2021-06-22 英特尔公司 边缘计算环境中的端到端服务质量
WO2021140950A1 (ja) * 2020-01-09 2021-07-15 ソニーグループ株式会社 コンテンツ配信システムおよびコンテンツ配信方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180248939A1 (en) * 2017-02-27 2018-08-30 University Of Electronic Science And Technology Of China Energy-saving deployment method of virtual cdn
CN108833468A (zh) * 2018-04-27 2018-11-16 广州西麦科技股份有限公司 基于移动边缘计算的视频处理方法、装置、设备及介质
CN110602180A (zh) * 2019-08-26 2019-12-20 深圳市赛宇景观设计工程有限公司 一种基于边缘计算的大数据用户行为分析方法及电子设备
CN113014415A (zh) * 2019-12-20 2021-06-22 英特尔公司 边缘计算环境中的端到端服务质量
WO2021140950A1 (ja) * 2020-01-09 2021-07-15 ソニーグループ株式会社 コンテンツ配信システムおよびコンテンツ配信方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374617A (zh) * 2021-12-13 2022-04-19 ***数智科技有限公司 一种可用于确定性网络的容错预制方法

Also Published As

Publication number Publication date
CN113596146B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
US11106560B2 (en) Adaptive thresholds for containers
CN112153700B (zh) 一种网络切片资源管理方法及设备
EP3907609A1 (en) Improved quantum ant colony algorithm-based spark platform task scheduling method
CN108833197B (zh) 一种基于云的主动探测方法和探测平台
US8589555B2 (en) Virtualization and consolidation analysis engine for enterprise data centers
Kaur et al. A systematic review on task scheduling in Fog computing: Taxonomy, tools, challenges, and future directions
CN108228347A (zh) 一种任务感知的Docker自适应调度***
KR102245341B1 (ko) 클라우드 엣지 내 워크로드 분산을 위한 예측 모델 적용 방법
US20170331762A1 (en) Virtual resource automatic selection system and method
CN107317764B (zh) 流量负载均衡方法、***、装置和计算机可读存储介质
CN109189578B (zh) 存储服务器分配方法、装置、管理服务器以及存储***
Tripathy et al. State-of-the-art load balancing algorithms for mist-fog-cloud assisted paradigm: A review and future directions
CN113596146B (zh) 一种基于大数据的资源调度的方法及装置
US11799568B2 (en) Systems and methods for optimizing a network based on weather events
CN109815204A (zh) 一种基于拥塞感知的元数据请求分发方法及设备
CN114978913B (zh) 一种基于切链的服务功能链跨域部署方法及***
CN117097026A (zh) 一种基于源网荷储新型电力***运维监控平台的操作方法
US20230094964A1 (en) Dynamic management of locations of modules of a platform hosted by a distributed system
Vieira et al. Dynamic and mobility-aware vnf placement in 5g-edge computing environments
CN108667920B (zh) 一种雾计算环境业务流量加速***及其业务流量加速方法
Naik et al. Developing a cloud computing data center virtual machine consolidation based on multi-objective hybrid fruit-fly cuckoo search algorithm
CN114915633A (zh) 公有云网络中调度用户到网关集群的方法、设备及介质
Jagadish Kumar et al. Cost-efficient resource scheduling in cloud for big data processing using metaheuristic search black widow optimization (MS-BWO) algorithm
CN110099415B (zh) 一种基于流量预测的云无线接入网计算资源分配方法及***
Midya et al. An adaptive resource placement policy by optimizing live VM migration for ITS applications in vehicular cloud network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220127

Address after: 561000 room 17011, unit 1, building C, Jianbo International Plaza, No. 188, Huangguoshu street, Huaxi street, Xixiu District, Anshun City, Guizhou Province

Applicant after: Guizhou Anhe Shengda Enterprise Management Co.,Ltd.

Address before: 518129 Bantian shangpinya garden, Longgang District, Shenzhen City, Guangdong Province

Applicant before: Peng Liang

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220906

Address after: 8th Floor, Building 1, Yard 35, Lugu Road, Shijingshan District, Beijing 100040

Applicant after: Beijing Saisheng Technology Co.,Ltd.

Address before: 561000 room 17011, unit 1, building C, Jianbo International Plaza, No. 188, Huangguoshu street, Huaxi street, Xixiu District, Anshun City, Guizhou Province

Applicant before: Guizhou Anhe Shengda Enterprise Management Co.,Ltd.

GR01 Patent grant
GR01 Patent grant