CN116389491B - 一种云边算力资源自适应计算*** - Google Patents
一种云边算力资源自适应计算*** Download PDFInfo
- Publication number
- CN116389491B CN116389491B CN202310344726.6A CN202310344726A CN116389491B CN 116389491 B CN116389491 B CN 116389491B CN 202310344726 A CN202310344726 A CN 202310344726A CN 116389491 B CN116389491 B CN 116389491B
- Authority
- CN
- China
- Prior art keywords
- resource
- cloud
- node
- adaptive
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002068 genetic effect Effects 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 230000008447 perception Effects 0.000 claims abstract description 10
- 230000006855 networking Effects 0.000 claims abstract description 8
- 230000001133 acceleration Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 claims description 3
- 238000011065 in-situ storage Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 25
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 230000007614 genetic variation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Genetics & Genomics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种云边算力资源自适应计算***,涉及云边算力资源计算技术领域,所述资源网络容器化管理模块包括硬件资源抽象化层、资源容器网络化层和资源协同支撑层,为***提供资源感知支持、任务编排支持、异构资源加速支持和混合负载均衡支持;所述资源智能感知与发现模块基于资源网络化容器管理模块实现节点注册、状态感知和资源监控,形成云边节点资源池,动态更新边端和云端资源分布情况;所述资源自适应协同编排与柔性调度模块在收到协同计算请求后,基于改进遗传算法对所需资源进行估算,以边端和云端资源分布情况作为资源约束进行任务调度与分配,实现资源自适应协同。
Description
技术领域
本发明涉及云边算力资源计算技术领域,更具体的说是涉及一种云边算力资源自适应计算***。
背景技术
云边资源协同中存在的资源异构性高、技术代差大,缺乏标准化的抽象接入框架;边缘资源有限,云端资源相对过剩,全域资源无法统一调度;云边网络环境差异性大,无法满足高实时协同计算业务对网络服务质量的要求等问题。为使效益最大化,云数据中心通常将待计算的云业务分化成多个彼此无关的子模块,并使虚拟服务器上的虚拟计算资源分别映射至各个子模块,待各子模块经过虚拟计算响应后再整体输出虚拟云计算值。然而,云数据中心环境内各物理服务器计算性能的差异特征所引发的虚拟计算资源差异化,导致了云数据中心受理子模块的云计算时间成本不一。并且基于差异特征的虚拟服务器在特定时间内通过映射其虚拟资源来计算一个子模块所引发的损耗代价也不尽相同。显然,云计算提供商获取良好收益的思想是使虚拟服务器为多个不相关的子模块同时提供虚拟计算资源。
相关主流研究在基于遗传算法优势的基础上,即便做出了改进也仅是片面地解决了云任务计算的时效性和资源的均衡性,甚至针对收敛过早的情形也未展开相关探讨,这难以实质性地提高云计算提供商的效益。
因此,提出一种云边算力资源自适应计算***,构建资源网络化容器管理、资源智能感知与发现、资源自适应协同编排与柔性调度、网络智能路由,打破边缘资源约束,优化云边资源配置,实现全域资源协同调度是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种云边算力资源自适应计算***,打破边缘资源约束,优化云边资源配置,实现全域资源协同调度,为了实现上述目的,本发明采用如下技术方案:
一种云边算力资源自适应计算***,包括:资源网络容器化管理模块、资源智能感知与发现模块和资源自适应协同编排与柔性调度模块,其中:
所述资源网络容器化管理模块包括硬件资源抽象化层、资源容器网络化层和资源协同支撑层,为***提供资源感知支持、任务编排支持、异构资源加速支持和混合负载均衡支持;所述资源智能感知与发现模块基于资源网络化容器管理模块实现节点注册、状态感知和资源监控,形成云边节点资源池,动态更新边端和云端资源分布情况;所述资源自适应协同编排与柔性调度模块在收到协同计算请求后,基于改进遗传算法对所需资源进行估算,以边端和云端资源分布情况作为资源约束进行任务调度与分配,实现资源自适应协同。
可选的,所述基于改进遗传算法对所需资源进行估算包括构建云边业务待响应代价函数,将t和p分别表示虚拟服务器v执行子模块m所需的时间成本和损耗代价,将pv表征为v的个体成本,则损耗代价记为p=tpv;
云边业务的子模块规模为x,第c个云边业务中的子模块m的数据长度为t=Lcm/Cv,虚拟服务器规模为y,第v个虚拟服务器所能提供的虚拟计算能力为Cv,1≤m≤x、1≤v≤y,虚拟服务器承载云边业务的成本为pvt,虚拟服务器v的承载能力为zv,云边业务在虚拟服务器上的承载时延tmv为Lcm/zv,云边业务受理时长为云边业务待响应代价函数为/>
可选的,包括受理云边业务计算的损耗代价普适性目标函数值和种群个体损耗代价成反比,所述损耗代价普适性目标函数值为
***受理云边业务的最大时长为TH,受理云边业务计算的时间成本普适性目标函数为:其中,/>表示待计算的云边业务征用虚拟计算资源的程度。
可选的,所述基于改进遗传算法对所需资源进行估算的具体步骤为:所述资源自适应协同编排与柔性调度模块任意产生N个初代个体种群并分析算法的迭代计算频率是否已到极限,若达到极限则就地筛选出最优值;若未达到极限则参照函数和/>淘汰普适性值较大的前3%个体,再将紧随其后的5%个体选作次代种群个体,采用轮询算法筛选余下的个体,提取出最优质的个体作为次代。
可选的,所述硬件资源抽象化层基于Overlay映射工具和虚拟化框架映射工具,实现异构资源的可编程逻辑架构和异构资源虚拟化;资源网络容器化层基于Kubernetes+Docker的云容器网络框架,利用Docker的容器化能力实现云端、边端的抽象硬件的资源容器化处理;资源协同支撑层提供容器管理能力包括容器管理、容器编排、API网关服务、容器负载均衡和资源监控,为资源感知和资源编排调度提供支撑。
可选的,所述资源智能感知与发现模块基于定时状态更新实现状态感知或主动向云边节点请求资源信息,包括节点类型、资源总量、资源利用率、任务运行情况和任务所占资源;
当节点作为目标节点被请求资源而无任何响应或节点向所述资源自适应协同编排与柔性调度模块请求注销时,***将该节点从资源池移除。
可选的,所述以边端和云端资源分布情况作为资源约束进行任务调度与分配,实现资源自适应协同的具体步骤为:
所述资源自适应协同编排与柔性调度模块在收到请求后,以节点资源管理池的动态分布信息作为资源约束,以任务的时延、截止时间、能耗、特征和用户体验作为分配目标,对单一任务分配、多任务分配和节点任务处理优先级进行求解,并根据任务和资源特征切分任务并分配到目标节点,生成资源预约队列、数据任务队列、计算任务队列和I/O任务队列,确定任务卸载时间和卸载策略,并向目标节点申请资源。
可选的,包括网络智能路由,所述网络智能路由自动部署在边及云端,对网络链路的延时、丢包率等数据实时感知,当网络链路异常时会择优选择最佳路线。
可选的,包括边端及云端接口模块,所述边端及云端模块提供调用接口,第三方服务平台可通过接口接入云边算力资源自适应计算***。
可选的,包括标准资源协同调用接口,所述标准资源协同调用接口包括节点注册、节点注销、节点状态上报、节点资源上报、节点状态查询、节点资源请求、节点任务上报标准资源协同调用接口。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种云边算力资源自适应计算***,具有如下有益效果:
本发明所述资源网络化容器管理模块提供统一硬件抽象能力,网络化容器管理能力,上层应用可以用一点接入、一次适配、一致体验的方式来使用云端和边端异构资源,简化上层开发难度,实现更优的兼容性;资源智能感知与发现模块提供标准化云端和边端资源发现、接入和监测能力,实时感知资源节点的健康状况、资源利用率、任务运行情况,形成智能资源池,为资源自适应协同编排提供依据;资源自适应协同编排与柔性调度模块整合边端及云端资源,支持全局资源调度,使得资源可以按照数据、模型和应用的资源需求,或灵活的自定义的策略,结合节点资源特征,基于异构资源协同加速技术,实现多节点动态切换,克服边缘资源受限,有效提升资源利用率。
本发明根据普适性评估机制、优胜劣汰机制和择优变异机制提升了子代个体的遗传质量,使子代个体的普适性函数值具有良好的全局性。在部署海量业务的虚拟云计算时,可有效地降低云数据中心的损耗代价,压缩云计算时间成本。通过规划效益模型,从成本代价角度出发介入云数据中心环境受理海量云业务计算的过程性管理。在充分沿用经典算法的基础上引入普适性等一系列评估策略来甄别虚拟云计算的精度,同时持续性地降低虚拟云计算的复杂度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的结构示意图。
图2为本发明提供的资源网络化容器管理模块结构示意图。
图3为本发明提供的资源智能感知与发现模块结构示意图。
图4为本发明提供的资源自适应协同编排与柔性调度模块结构示意图。
图5为本发明提供的网络智能路由结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种云边算力资源自适应计算***,包括:资源网络容器化管理模块、资源智能感知与发现模块和资源自适应协同编排与柔性调度模块,其中:
所述资源网络容器化管理模块包括硬件资源抽象化层、资源容器网络化层和资源协同支撑层,为***提供资源感知支持、任务编排支持、异构资源加速支持和混合负载均衡支持;所述资源智能感知与发现模块基于资源网络化容器管理模块实现节点注册、状态感知和资源监控,形成云边节点资源池,动态更新边端和云端资源分布情况;所述资源自适应协同编排与柔性调度模块在收到协同计算请求后,基于改进遗传算法对所需资源进行估算,以边端和云端资源分布情况作为资源约束进行任务调度与分配,实现资源自适应协同。
进一步的,在实施例1中,一种云边算力资源自适应计算***,如图1所示,包括云边资源自适应协同计算***将建设资源网络容器化管理、资源智能感知与发现、资源自适应协同编排与柔性调度、网络智能路由等功能,为云端和边端***平台提供资源协同调度服务,为上层数据协同、模型协同、服务协同提供自适应资源支撑;
资源网络化容器管理提供统一硬件抽象能力,网络化容器管理能力,上层应用可以用一点接入、一次适配、一致体验的方式来使用云端和边端异构资源,简化上层开发难度,实现更优的兼容性;
资源智能感知与发现提供标准化云端和边端资源发现、接入和监测能力,实时感知资源节点的健康状况、资源利用率、任务运行情况,形成智能资源池,为资源自适应协同编排提供依据;
资源自适应协同编排与柔性调度整合边端及云端资源,支持全局资源调度,使得资源可以按照数据、模型和应用的资源需求,或灵活的自定义的策略,结合节点资源特征,基于异构资源协同加速技术,实现多节点动态切换,克服边缘资源受限,有效提升资源利用率。
进一步的,在实施例2中,一种资源网络化容器管理模块,如图2所示,资源网络化容器管理模块通过包含硬件资源抽象化层、资源容器网络化层,和资源协同支撑层。其中,硬件资源抽象化层基于Overlay映射工具和虚拟化框架映射工具,实现异构资源的可编程逻辑架构和异构资源虚拟化。资源网络容器化层基于Kubernetes+Docker的云容器网络框架,利用Docker的容器化能力实现云端、边端的抽象硬件的资源容器化处理,构建云边容器统一管理的云容器网络;
基于对云边异构资源的硬件虚拟化、网络容器化,资源协同支撑层提供容器管理能力:如容器管理、容器编排、API网关服务、容器负载均衡、资源监控等,有效提高硬件资源开发效率,提升资源逻辑利用率,便于资源大规模分布式部署运维,优化云边资源管理的一致性体验,为资源感知和资源编排调度提供支撑。
进一步的,在实施例3中,一种资源智能感知与发现模块,如图3所示,资源智能感知与发现模块基于资源网络化容器管理,实现节点注册、状态感知和资源监控,形成云边节点资源池,动态更新边端和云端资源分布情况,为资源自适应协同编排和柔性调度提供依据;
边端和云端节点基于统一容器监控代理接口,向云边智能协同***进行节点注册,***进行列表对比后,将节点相关信息新增或更新至资源池;
***基于定时状态更新实现状态感知,***亦可主动向云边节点请求资源信息,包括节点类型、资源总量、资源利用率、任务运行情况和任务所占资源。而为节约云端和边端***与协同***交互过程中的网络带宽,***支持用户自定义状态更新策略。在极端情况下,支持云边节点不定时更新节点状态,当该节点作为目标节点被请求资源而无任何响应,或节点向协同***请求注销时,***将该节点从资源池移除。
进一步的,在实施例4中,一种资源自适应协同编排与柔性调度模块,如图4所示,资源自适应协同编排与柔性调度模块基于资源约束下的任务调度与分配,实现资源自适应协同;
智能协同服务层在收到数据协同、模型协同和服务协同的协同计算请求后,对数据作业、模型训练作业和服务运行所需资源进行估算,并向网络化容器资源管理层请求资源。同时,部分云端和边端节点也可向资源管理层直接请求资源;
所述基于改进遗传算法对所需资源进行估算的具体步骤为:所述基于改进遗传算法对所需资源进行估算包括构建云边业务待响应代价函数,将t和p分别表示虚拟服务器v执行子模块m所需的时间成本和损耗代价,将pv表征为v的个体成本,则损耗代价记为p=tpv;
云边业务的子模块规模为x,第c个云边业务中的子模块m的数据长度为Lcm,t=Lcm/Cv,虚拟服务器规模为y,第v个虚拟服务器所能提供的虚拟计算能力为Cv,1≤m≤x,1≤v≤y,时间成本t=Lcm/Cv,虚拟服务器承载云边业务的成本为pvt,承载时延为tcv,虚拟服务器v的承载能力为zv,云边业务在虚拟服务器上的承载时延tmv为Lcm/zv,云边业务受理时长为云边业务待响应代价函数为/>
受理云边业务计算的损耗代价普适性目标函数值和种群个体损耗代价成反比,所述损耗代价普适性目标函数值
***受理云边业务的最大时长为TH,受理云边业务计算的时间成本普适性目标函数为:其中,/>表示待计算的云边业务征用虚拟计算资源的程度;
所述资源自适应协同编排与柔性调度模块任意产生N个初代个体种群并分析算法的迭代计算频率是否已到极限,若达到极限则就地筛选出最优值;若未达到极限则参照函数和/>淘汰普适性值较大的前3%个体,再将紧随其后的5%个体选作次代种群个体,采用轮询算法筛选余下的个体,提取出最优质的个体作为次代;
通过交叉目标旨在使种群中任意两个个体通过换位方式得到新生代。针对所提取出的个体参照函数和ojx=o1随机进行交叉,再参照函数和oby=o3执行基因变异,其中两个个体在种群内的普适性为A1、A2、Am,平均普适性和最大普适性分别为A和AH,个体常态交叉率设为o1、o3,个体自适应交叉率设为o2、o4,两个个体启动交叉的几率记作ojx。由此生成全新的更优质个体,真正实现优胜劣汰。最后,对比两个参量收敛门限pth和/>值的关系,验证选中的个体是否满足云计算服务提供商的效益要求,若仍然不满足,则继续分析算法的迭代计算频率是否已到极限,直至搜索到全局最优解再输出。
异构加速包含GPU、ASIC、FPGA、CPU和DSP等高性能处理器,根据模型复杂度选取计算资源,计算高阶运算、数值符号运算和迭代运算,加速求解过程;
模块在收到请求后,以节点资源管理池的动态分布信息作为资源约束,以任务的时延、截止时间、能耗、特征和用户体验作为分配目标,对单一任务分配、多任务分配和节点任务处理优先级进行求解,并根据任务和资源特征切分任务并分配到目标节点,生成资源预约队列、数据任务队列、计算任务队列和I/O任务队列,确定任务卸载时间和卸载策略,并向目标节点申请资源。云端和边端抽象节点可根据自身资源使用情况,向协同***反馈任务申请状态;
资源自适应协同编排与柔性调度模块提供云边资源编排调度能力,实现应用的多节点部署和动态切换。
进一步的,所述资源自适应协同编排与柔性调度模块接收云边数据实时协同传算交互***、机理模型按需云边协同训练***和跨云边的一体化协同服务标准控制台等终端的资源请求。
进一步的,在实施例5中,一种网络智能路由模块,如图5所示,云边智能协同***对接入的边端和云端的网络链路自动监测,在边端及云端会自动部署网关代理,实现对网络链路的延时、丢包率等数据实时感知,当网络链路异常时会择优选择最佳路线,保障云边通信,同时与数据调度器及模型调度器同步网络链路状态,实现动态调整数据和模型传送拓扑。
进一步的,在实施例6中,一种边端、云端的资源接口,***提供节点注册、节点注销、节点状态上报、节点资源上报、节点任务上报等标准资源协同调用接口,第三方服务平台可通过接口向云边智能协同管理注册资源节点,向协同***同步节点资源状态,实现资源动态感知与发现;同时***提供节点状态查询、节点资源请求等标准接口,结合资源自适应协同编排调度模块,实现资源智能协同。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种云边算力资源自适应计算***,其特征在于,包括:资源网络容器化管理模块、资源智能感知与发现模块和资源自适应协同编排与柔性调度模块,其中:
所述资源网络容器化管理模块包括硬件资源抽象化层、资源容器网络化层和资源协同支撑层,为***提供资源感知支持、任务编排支持、异构资源加速支持和混合负载均衡支持;所述资源智能感知与发现模块基于资源网络容器化管理模块实现节点注册、状态感知和资源监控,形成云边节点资源池,动态更新边端和云端资源分布情况;所述资源自适应协同编排与柔性调度模块在收到协同计算请求后,基于改进遗传算法对所需资源进行估算,以边端和云端资源分布情况作为资源约束进行任务调度与分配,实现资源自适应协同;
所述基于改进遗传算法对所需资源进行估算包括构建云边业务待响应代价函数,将t和p分别表示虚拟服务器v执行子模块m所需的时间成本和损耗代价,将pv表征为v的个体成本,则损耗代价记为p=tpv;
云边业务的子模块规模为x,第c个云边业务中的子模块m的数据长度为Lcm,虚拟服务器规模为y,第v个虚拟服务器所能提供的虚拟计算能力为Cv,1≤m≤x,1≤v≤y,时间成本t=Lcm/Cv虚拟服,务器承载云边业务的成本为pvt,承载时延为tcv,虚拟服务器v的承载能力为zv,云边业务在虚拟服务器上的承载时延tmv为Lcm/zv,云边业务受理时长为云边业务待响应代价函数为/>
包括受理云边业务计算的损耗代价普适性目标函数值和云边业务待响应代价函数成反比,所述损耗代价普适性目标函数值为
***受理云边业务的最大时长为TH,受理云边业务计算的时间成本普适性目标函数为:其中,/>表示待计算的云边业务征用虚拟计算资源的程度;
所述基于改进遗传算法对所需资源进行估算的具体步骤为:
所述资源自适应协同编排与柔性调度模块任意产生N个初代个体种群并分析算法的迭代计算频率是否已到极限,若达到极限则就地筛选出最优值;若未达到极限则参照函数和/>淘汰普适性值较大的前3%个体,再将紧随其后的5%个体选作次代种群个体,采用轮询算法筛选余下的个体,提取出最优质的个体作为次代。
2.根据权利要求1所述的一种云边算力资源自适应计算***,其特征在于,所述硬件资源抽象化层基于Overlay映射工具和虚拟化框架映射工具,实现异构资源的可编程逻辑架构和异构资源虚拟化;资源网络容器化层基于Kubernetes+Docker的云容器网络框架,利用Docker的容器化能力实现云端、边端的抽象硬件的资源容器化处理;资源协同支撑层提供容器管理能力包括容器管理、容器编排、API网关服务、容器负载均衡和资源监控,为资源感知和资源编排调度提供支撑。
3.根据权利要求1所述的一种云边算力资源自适应计算***,其特征在于,
所述资源智能感知与发现模块基于定时状态更新实现状态感知或主动向云边节点请求资源信息,包括节点类型、资源总量、资源利用率、任务运行情况和任务所占资源;
当节点作为目标节点被请求资源而无任何响应或节点向所述资源自适应协同编排与柔性调度模块请求注销时,***将该节点从资源池移除。
4.根据权利要求1所述的一种云边算力资源自适应计算***,其特征在于,
所述以边端和云端资源分布情况作为资源约束进行任务调度与分配,实现资源自适应协同的具体步骤为:
所述资源自适应协同编排与柔性调度模块在收到请求后,以节点资源管理池的动态分布信息作为资源约束,以任务的时延、截止时间、能耗、特征和用户体验作为分配目标,对单一任务分配、多任务分配和节点任务处理优先级进行求解,根据任务和资源特征切分任务并分配到目标节点,生成资源预约队列、数据任务队列、计算任务队列和I/O任务队列,确定任务卸载时间和卸载策略,并向目标节点申请资源。
5.根据权利要求1所述的一种云边算力资源自适应计算***,其特征在于,包括网络智能路由,所述网络智能路由自动部署在边端及云端,对网络链路的延时、丢包率数据实时感知,当网络链路异常时会择优选择最佳路线。
6.根据权利要求1所述的一种云边算力资源自适应计算***,其特征在于,包括边端及云端接口模块,所述边端及云端接口模块提供调用接口,第三方服务平台可通过接口接入云边算力资源自适应计算***。
7.根据权利要求1所述的一种云边算力资源自适应计算***,其特征在于,包括标准资源协同调用接口,所述标准资源协同调用接口包括节点注册、节点注销、节点状态上报、节点资源上报、节点状态查询、节点资源请求、节点任务上报标准资源协同调用接口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310344726.6A CN116389491B (zh) | 2023-04-03 | 2023-04-03 | 一种云边算力资源自适应计算*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310344726.6A CN116389491B (zh) | 2023-04-03 | 2023-04-03 | 一种云边算力资源自适应计算*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116389491A CN116389491A (zh) | 2023-07-04 |
CN116389491B true CN116389491B (zh) | 2023-11-07 |
Family
ID=86972655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310344726.6A Active CN116389491B (zh) | 2023-04-03 | 2023-04-03 | 一种云边算力资源自适应计算*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116389491B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116627618B (zh) * | 2023-07-21 | 2023-09-19 | 北京万界数据科技有限责任公司 | 一种计算资源预调度方法及*** |
CN116887357B (zh) * | 2023-09-08 | 2023-12-19 | 山东海博科技信息***股份有限公司 | 基于人工智能的计算平台管理*** |
CN116996518B (zh) * | 2023-09-26 | 2023-12-26 | 北京邮电大学 | 一种多级异构算力网络调度方法、装置、***及存储介质 |
CN117762631B (zh) * | 2023-12-26 | 2024-06-25 | 浙江仙宫云科技有限公司 | 一种多云场景算力网格化方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111258716A (zh) * | 2020-01-14 | 2020-06-09 | 钛链智云(厦门)信息科技有限公司 | 一种基于容器云平台的边缘机器学习***及其方法 |
CN113703984A (zh) * | 2021-09-02 | 2021-11-26 | 同济大学 | 5g云边协同场景下基于soa架构的云任务优化策略方法 |
CN114971574A (zh) * | 2022-06-14 | 2022-08-30 | 北京航天长峰科技工业集团有限公司 | 基于云边协同的多模态信息复合感知与融合架构及方法 |
WO2022252496A1 (zh) * | 2021-06-01 | 2022-12-08 | 苏州路之遥科技股份有限公司 | 软件定义云边协同网络能耗优化方法和*** |
CN115858108A (zh) * | 2022-10-14 | 2023-03-28 | 成都信息工程大学 | 一种基于Kubeedge边缘计算框架构建的云边协同*** |
CN115866040A (zh) * | 2022-11-22 | 2023-03-28 | 浙江省公众信息产业有限公司 | 云边协同的自感知资源分配方法和装置 |
-
2023
- 2023-04-03 CN CN202310344726.6A patent/CN116389491B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111258716A (zh) * | 2020-01-14 | 2020-06-09 | 钛链智云(厦门)信息科技有限公司 | 一种基于容器云平台的边缘机器学习***及其方法 |
WO2022252496A1 (zh) * | 2021-06-01 | 2022-12-08 | 苏州路之遥科技股份有限公司 | 软件定义云边协同网络能耗优化方法和*** |
CN113703984A (zh) * | 2021-09-02 | 2021-11-26 | 同济大学 | 5g云边协同场景下基于soa架构的云任务优化策略方法 |
CN114971574A (zh) * | 2022-06-14 | 2022-08-30 | 北京航天长峰科技工业集团有限公司 | 基于云边协同的多模态信息复合感知与融合架构及方法 |
CN115858108A (zh) * | 2022-10-14 | 2023-03-28 | 成都信息工程大学 | 一种基于Kubeedge边缘计算框架构建的云边协同*** |
CN115866040A (zh) * | 2022-11-22 | 2023-03-28 | 浙江省公众信息产业有限公司 | 云边协同的自感知资源分配方法和装置 |
Non-Patent Citations (1)
Title |
---|
面向边缘计算的制造资源感知接入与智能网关技术研究;邹萍;张华;马凯蒂;程仕通;;计算机集成制造***(01);第40-48页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116389491A (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116389491B (zh) | 一种云边算力资源自适应计算*** | |
CN113079218B (zh) | 一种面向服务的算力网络***、工作方法及存储介质 | |
Belgaum et al. | A systematic review of load balancing techniques in software-defined networking | |
Zhang et al. | Online adaptive interference-aware VNF deployment and migration for 5G network slice | |
US11570262B2 (en) | Methods, systems, and computer readable media for rank processing for network function selection | |
CN113448721A (zh) | 算力处理的网络***及算力处理方法 | |
Hu et al. | BalanceFlow: Controller load balancing for OpenFlow networks | |
CN107733689A (zh) | 基于优先级的动态加权轮询调度策略方法 | |
CN113709048A (zh) | 一种路由信息的发送、接收方法、网元及节点设备 | |
Chiti et al. | Virtual functions placement with time constraints in fog computing: A matching theory perspective | |
CN102035737A (zh) | 一种基于认知网络的自适应负载均衡方法和装置 | |
CN113810205B (zh) | 服务算力信息的上报、接收方法、服务器及数据中心网关 | |
Bu et al. | Enabling adaptive routing service customization via the integration of SDN and NFV | |
CN107846371B (zh) | 一种多媒体业务QoE资源分配方法 | |
Ibrahim et al. | A multi-objective routing mechanism for energy management optimization in SDN multi-control architecture | |
Lei et al. | Computing power network: an interworking architecture of computing and network based on IP extension | |
Kang et al. | Application of adaptive load balancing algorithm based on minimum traffic in cloud computing architecture | |
CN109600760A (zh) | 网络管理方法、设备及*** | |
Zhang et al. | Cost efficient and low-latency network service chain deployment across multiple domains for SDN | |
KR20130060350A (ko) | Atca-기반 장비에서 통신 트래픽을 스케줄링하기 위한 방법 및 장치 | |
Raith et al. | Mobility-aware serverless function adaptations across the edge-cloud continuum | |
CN116684418B (zh) | 基于算力服务网关的算力编排调度方法、算力网络及装置 | |
CN113032146A (zh) | 一种面向多接入边缘计算环境的健壮***供应方法 | |
Zhang et al. | Dynamic network service deployment across multiple SDN domains | |
CN108933737A (zh) | 负载均衡方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |