CN114422349A - 基于云边端协同的深度学习模型训练和推理架构部署方法 - Google Patents
基于云边端协同的深度学习模型训练和推理架构部署方法 Download PDFInfo
- Publication number
- CN114422349A CN114422349A CN202210323840.6A CN202210323840A CN114422349A CN 114422349 A CN114422349 A CN 114422349A CN 202210323840 A CN202210323840 A CN 202210323840A CN 114422349 A CN114422349 A CN 114422349A
- Authority
- CN
- China
- Prior art keywords
- edge
- edge server
- server
- resource cost
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
- H04L41/0826—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network costs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/101—Server selection for load balancing based on network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1021—Server selection for load balancing based on client or server locations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/502—Proximity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5021—Priority
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Algebra (AREA)
- Computer Hardware Design (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了基于云边端协同的深度学习模型训练和推理架构部署方法,基于云服务器、边缘服务器、物理终端,边缘服务器搭载训练模块、推理模块、态势感知中心;态势感知中心包括用于感知边缘服务器的计算资源、与边缘服务器间的带宽占用情况和物理距离计算的边缘服务器计算能力感知模块,以及用于感知边缘服务器与云服务器间的带宽占用情况、物理距离计算以及感知云服务器的计算资源的云服务器计算能力感知模块,训练模块和推理模块进行资源成本计算以决定架构部署。本发明充分调动了网络边缘侧的计算能力,同时为边缘侧赋予了智能决策能力,为边缘操作***在边缘侧的成功部署和对海量、复杂任务的时效计算给出了解决办法。
Description
技术领域
本发明涉及物联网操作***技术领域,具体涉及基于云边端协同的深度学习模型训练和推理架构部署方法。
背景技术
区别于传统的嵌入式***、物联网操作***等,边缘操作***旨在向下管理异构的计算资源,向上处理海量的异构数据及应用负载。同时针对云集中式计算模型导致的不可预测时延、带宽资源消耗高、隐私泄露等问题,边缘操作***通过将计算能力下沉到网络边缘侧,将计算任务同样卸载到网络边缘侧,实现低延迟、高能效的数据处理,再加以AI算法的能力驱动,进而在边缘侧实现海量数据的智能处理。
受限于边缘侧有限的计算资源,只能为部分AI算法提供能力支撑,无法保障AI算法在操作***层面的执行效率,当前的边缘操作***仍以云集中式计算模型为计算范式,仅仅赋予边缘侧低级的数据筛选能力,没有充分考虑物理终端、边缘服务器和云服务器的协作能力。
鉴于此,本发明提出一种面向边缘操作***的运算加速方法,将AI模型的训练、推理和部署同以边缘服务器为主体的“物理终端-边缘服务器-云服务器”协作机制充分结合,实现海量、复杂任务的时效计算。
发明内容
本发明的目的:在于提供基于云边端协同的深度学习模型训练和推理架构部署方法,充分结合“物理终端-边缘服务器-云服务器”协作机制,实现海量、复杂任务的时效计算。
为实现以上功能,本发明设计基于云边端协同的深度学习模型训练和推理架构部署方法,预设区域内设有一个云服务器,云服务器的通信范围内至少设有两个边缘服务器,各边缘服务器的通信范围内至少设有一个物理终端,各边缘服务器与其通信范围内的各物理终端之间的距离小于边缘服务器与云服务器之间的距离;其中,各边缘服务器搭载训练模块、推理模块、态势感知中心。
其中,态势感知中心包括边缘服务器计算能力感知模块、云服务器计算能力感知
模块,针对云服务器的通信范围内任意一个边缘服务器i,边缘服务器i的边缘服务器计算
能力感知模块用于获取在边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器的计算资源使用情况、带宽占用情况、物理距离,以及边缘服务器i自身计
算资源闲置率,其中m为边缘服务器i通信范围内与其距离小于预设距离的各边缘服务
器的编号,,n为边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
总数;云服务器计算能力感知模块用于获取边缘服务器i所在的预设区域的云服务器的计
算资源使用情况、带宽占用情况、物理距离。
边缘服务器i中的边缘服务器计算能力感知模块以预设周期获取自身计算资源闲
置率,当边缘服务器i的自身计算资源闲置率大于或等于预设上限值时,按如下步骤
S1-步骤S5获得使计算资源成本最小的资源成本模型,并依据该资源成本模型选择和部署
对应的架构,完成深度学习模型的训练。
S1: 边缘服务器i通知其通信范围内的各物理终端收集计算数据,并对计算数据进行初步筛选,将初步筛选后的计算数据上传至边缘服务器i。
S2: 边缘服务器i针对收到的计算数据进行再次筛选,确定经过再次筛选后的计
算数据的数据量d,同时基于边缘服务器计算能力感知模块、云服务器计算能力感知模块,
计算边缘服务器i的自身计算资源闲置率、边缘服务器i所在的预设区域的云服务器的
计算资源使用情况、边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器的
计算资源使用情况、带宽占用情况、物理距离、边缘服务器i所在的预设区域
的云服务器的带宽占用情况、物理距离。
其中,第三资源成本模型对应云训练架构,云训练架构包括云服务器;
S5:基于经过边缘服务器i筛选后的各计算数据的参与训练,获得深度学习模型,将该深度学习模型存储至云服务器、以及边缘服务器i中,完成架构选择和部署。
作为本发明的一种优选技术方案:当物理终端向其通信范围内的边缘服务器i发出计算请求,并上传计算任务时,按如下步骤S11-步骤S14完成架构选择和部署:
S11:物理终端将位置信息发送至边缘服务器i,并对计算数据进行初步筛选,物理终端将经过筛选的计算数据传送至边缘服务器i。
S12:边缘服务器i接收来自物理终端的计算数据并进行再次筛选,确定再次筛选
后的数据量d,边缘服务器i的边缘服务器计算能力感知模块、云服务器计算能力感知模块
计算,其中D为存储在边缘服务器i中的深度学习
模型的数据量。
S14:边缘服务器i的推理模块计算各资源成本模型的计算资源成本,并对
计算资源成本进行比较,选取计算资源成本最小的资源成本模型,并以该资源成本
模型所对应的架构进行部署,根据边缘服务器i选定的架构,云服务器选择将部分或全部深
度学习模型卸载到边缘服务器i上,同时缓存一份深度学习模型于当前边缘服务器i的推理
模块中,若计算资源成本相同,则按边边协同推理架构、边云协同推理架构优先级
顺序进行选取。
作为本发明的一种优选技术方案:针对位置移动至边缘服务器i通信范围以外的物理终端,当物理终端向其通信范围内的边缘服务器发出计算请求,并上传计算任务时,按如下步骤S21-步骤S24完成架构选择和部署。
S23:将步骤S22所获得的传送至边缘服务器的推理模块,同时边缘服务器向云服务器发出请求,并获取存储在云服务器中的资
源成本模型的数据量D,基于近端策略优化算法,以为输入,
以所对应的计算资源成本为输出,构建第六资源成本模型如下式:
S24:边缘服务器的推理模块计算各资源成本模型的计算资源成本,
并对计算资源成本进行比较,选取计算资源成本最小的资源成本模型,并以该资
源成本模型所对应的架构进行部署,根据边缘服务器选定的架构,云服务器选择将部分
或全部深度学习模型卸载到边缘服务器上,同时缓存一份深度学习模型于当前边缘服
务器的推理模块中,若计算资源成本相同,则按边边协同推理架构、边云协同
推理架构优先级顺序进行选取。
有益效果:相对于现有技术,本发明的优点包括:
1.给出了多种深度学习模型的训练和推理模型架构,同时给出了以包含带宽占用量、计算资源占用量、物理距离、计算数据量和模型数据量在内的资源成本模型来决定训练和推理模型的架构选择和部署方法,以实现海量、复杂任务的时效计算。
2.多种训练和推理模型架构充分调动网络边缘侧的计算能力,同时为边缘侧赋予智能决策能力,为边缘操作***在边缘侧的成功部署和对边缘侧的进一步开发提供计算范式。
3.计算数据在物理终端和边缘服务器上进行两次数据筛选的方法,可进一步减轻边缘侧的计算压力。
4.本发明提供的训练模型更新方法可利用边缘服务器对自身计算资源的自感知来自动实现,无须工作人员手工更新,智能化程度更高。
附图说明
图1是根据本发明实施例提供的技术原理图;
图2是根据本发明实施例提供的训练模型部署的流程图;
图3是根据本发明实施例提供的训练模型架构图;
图4是根据本发明实施例提供的推理模型部署的流程图;
图5是根据本发明实施例提供的推理模型架构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。参照图1,本发明实施例提供的基于云边端协同的深度学习模型训练和推理架构部署方法,预设区域内设有一个云服务器,云服务器的通信范围内至少设有两个边缘服务器,各边缘服务器分管其所属的通信范围,各边缘服务器的通信范围内至少设有一个物理终端,物理终端发出的服务请求由该通信范围内的边缘服务器负责应答;各边缘服务器与其通信范围内的各物理终端之间的距离小于边缘服务器与云服务器之间的距离;边缘操作***运行在以上云服务器、边缘服务器和物理终端上,其中,各边缘服务器搭载训练模块、推理模块、态势感知中心。
其中,态势感知中心包括边缘服务器计算能力感知模块、云服务器计算能力感知
模块,针对云服务器的通信范围内任意一个边缘服务器i,边缘服务器i的边缘服务器计算
能力感知模块用于获取在边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器的计算资源使用情况、带宽占用情况、物理距离,以及边缘服务器i自身计
算资源闲置率,其中m为边缘服务器i通信范围内与其距离小于预设距离的各边缘服务
器的编号,,n为边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
总数;云服务器计算能力感知模块用于获取边缘服务器i所在的预设区域的云服务器的计
算资源使用情况、带宽占用情况、物理距离。
边缘服务器i中的边缘服务器计算能力感知模块以预设周期获取自身计算资源闲
置率,当边缘服务器i的自身计算资源闲置率大于或等于预设上限值时,在一个实施
例中,当边缘服务器i的自身计算资源闲置率大于或等于百分之y时,参照图2,按如下步
骤S1-步骤S5获得使计算资源成本最小的资源成本模型,并依据该资源成本模型选择和部
署对应的架构,完成深度学习模型的训练。
S1: 边缘服务器i通知其通信范围内的各物理终端收集计算数据,并对计算数据进行初步筛选,将初步筛选后的计算数据上传至边缘服务器i。
S2: 边缘服务器i针对收到的计算数据进行再次筛选,确定经过再次筛选后的计
算数据的数据量d,同时基于边缘服务器计算能力感知模块、云服务器计算能力感知模块,
计算边缘服务器i的自身计算资源闲置率、边缘服务器i所在的预设区域的云服务器的
计算资源使用情况、边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器的
计算资源使用情况、带宽占用情况、物理距离、边缘服务器i所在的预设区域
的云服务器的带宽占用情况、物理距离。
S5:基于经过边缘服务器i筛选后的各计算数据的参与训练,获得深度学习模型,将该深度学习模型存储至云服务器、以及边缘服务器i中,完成架构选择和部署。
本发明实施例提供的基于云边端协同的深度学习模型训练和推理架构部署方法,当物理终端向其通信范围内的边缘服务器i发出计算请求,并上传计算任务时,参照图4,按如下步骤S11-步骤S14完成架构选择和部署。
S11:物理终端将位置信息发送至边缘服务器i,并对计算数据进行初步筛选,物理终端将经过筛选的计算数据传送至边缘服务器i。
S12:边缘服务器i接收来自物理终端的计算数据并进行再次筛选,确定再次筛选
后的数据量d,边缘服务器i的边缘服务器计算能力感知模块、云服务器计算能力感知模块
计算,其中D为存储在边缘服务器i中的深度学习
模型的数据量。
S14:边缘服务器i的推理模块计算各资源成本模型的计算资源成本,并对
计算资源成本进行比较,选取计算资源成本最小的资源成本模型,并以该资源成本
模型所对应的架构进行部署,根据边缘服务器i选定的架构,云服务器选择将部分或全部深
度学习模型卸载到边缘服务器i上,同时缓存一份深度学习模型于当前边缘服务器i的推理
模块中,若计算资源成本相同,则按边边协同推理架构、边云协同推理架构优先级
顺序进行选取。
本发明实施例提供的基于云边端协同的深度学习模型训练和推理架构部署方法,若物理终端的空间位置发生较大移动,则针对位置移动至边缘服务器i通信范围以外的物理终端,当物理终端向其通信范围内的边缘服务器发出计算请求,并上传计算任务时,按如下步骤S21-步骤S24完成架构选择和部署。
S23:参照图5,将步骤S22所获得的传送至边
缘服务器的推理模块,同时边缘服务器向云服务器发出请求,并获取存储在云服务
器中的资源成本模型的数据量D,基于近端策略优化算法,以
为输入,以所对应的计算资源成本为输出,构建第六资源成本模型如下式:
S24:边缘服务器的推理模块计算各资源成本模型的计算资源成本,并对
计算资源成本进行比较,选取计算资源成本最小的资源成本模型,并以该资源成
本模型所对应的架构进行部署,根据边缘服务器选定的架构,云服务器选择将部分或全
部深度学习模型卸载到边缘服务器上,同时缓存一份深度学习模型于当前边缘服务器的推理模块中,若计算资源成本相同,则按边边协同推理架构、边云协同推理
架构优先级顺序进行选取。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (4)
1.基于云边端协同的深度学习模型训练和推理架构部署方法,其特征在于,预设区域内设有一个云服务器,云服务器的通信范围内至少设有两个边缘服务器,各边缘服务器的通信范围内至少设有一个物理终端,各边缘服务器与其通信范围内的各物理终端之间的距离小于边缘服务器与云服务器之间的距离;其中,各边缘服务器搭载训练模块、推理模块、态势感知中心;
其中,态势感知中心包括边缘服务器计算能力感知模块、云服务器计算能力感知模块,
针对云服务器的通信范围内任意一个边缘服务器i,边缘服务器i的边缘服务器计算能力感
知模块用于获取在边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器的
计算资源使用情况、带宽占用情况、物理距离,以及边缘服务器i自身计算资
源闲置率,其中m为边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器的
编号,, n为边缘服务器i通信范围内与其距离小于预设距离的边缘服务器总
数;云服务器计算能力感知模块用于获取边缘服务器i所在的预设区域的云服务器的计算
资源使用情况、带宽占用情况、物理距离;
边缘服务器i中的边缘服务器计算能力感知模块以预设周期获取自身计算资源闲置率,当边缘服务器i的自身计算资源闲置率大于或等于预设上限值时,按如下步骤S1-
步骤S5获得使计算资源成本最小的资源成本模型,并依据该资源成本模型选择和部署对应
的架构,完成深度学习模型的训练;
S1: 边缘服务器i通知其通信范围内的各物理终端收集计算数据,并对计算数据进行初步筛选,将初步筛选后的计算数据上传至边缘服务器i;
S2: 边缘服务器i针对收到的计算数据进行再次筛选,确定经过再次筛选后的计算数
据的数据量d,同时基于边缘服务器计算能力感知模块、云服务器计算能力感知模块,计算
边缘服务器i的自身计算资源闲置率、边缘服务器i所在的预设区域的云服务器的计算
资源使用情况、边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器的计算
资源使用情况、带宽占用情况、物理距离、边缘服务器i所在的预设区域的云
服务器的带宽占用情况、物理距离;
其中,第三资源成本模型对应云训练架构,云训练架构包括云服务器;
S5:基于经过边缘服务器i筛选后的各计算数据的参与训练,获得深度学习模型,将该深度学习模型存储至云服务器、以及边缘服务器i中,完成架构选择和部署。
3.根据权利要求1所述的基于云边端协同的深度学习模型训练和推理架构部署方法,其特征在于,当物理终端向其通信范围内的边缘服务器i发出计算请求,并上传计算任务时,按如下步骤S11-步骤S14完成架构选择和部署:
S11:物理终端将位置信息发送至边缘服务器i,并对计算数据进行初步筛选,物理终端将经过筛选的计算数据传送至边缘服务器i;
S12:边缘服务器i接收来自物理终端的计算数据并进行再次筛选,确定再次筛选后的
数据量d,边缘服务器i的边缘服务器计算能力感知模块、云服务器计算能力感知模块计算,其中D为存储在边缘服务器i中的深度学习模型
的数据量;
4.根据权利要求1所述的基于云边端协同的深度学习模型训练和推理架构部署方法,其特征在于,针对位置移动至边缘服务器i通信范围以外的物理终端,当物理终端向其通信范围内的边缘服务器发出计算请求,并上传计算任务时,按如下步骤S21-步骤S24完成架构选择和部署:
S23:将步骤S22所获得的传送至边缘服务器
的推理模块,同时边缘服务器向云服务器发出请求,并获取存储在云服务器中的资源成
本模型的数据量D,基于近端策略优化算法,以为输入,以所
对应的计算资源成本为输出,构建第六资源成本模型如下式:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210323840.6A CN114422349B (zh) | 2022-03-30 | 2022-03-30 | 基于云边端协同的深度学习模型训练和推理架构部署方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210323840.6A CN114422349B (zh) | 2022-03-30 | 2022-03-30 | 基于云边端协同的深度学习模型训练和推理架构部署方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114422349A true CN114422349A (zh) | 2022-04-29 |
CN114422349B CN114422349B (zh) | 2022-06-10 |
Family
ID=81262769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210323840.6A Active CN114422349B (zh) | 2022-03-30 | 2022-03-30 | 基于云边端协同的深度学习模型训练和推理架构部署方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114422349B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115408163A (zh) * | 2022-10-31 | 2022-11-29 | 广东电网有限责任公司佛山供电局 | 一种基于批处理动态调节的模型推理调度方法及*** |
CN115562760A (zh) * | 2022-11-22 | 2023-01-03 | 南京邮电大学 | 基于边缘计算节点打分表的深度学习模型分层卸载方法 |
CN117114113A (zh) * | 2023-10-24 | 2023-11-24 | 南京邮电大学 | 一种基于排队论的协同推理加速方法 |
WO2024032121A1 (zh) * | 2022-08-11 | 2024-02-15 | 南京邮电大学 | 一种基于云边端协同的深度学习模型推理加速方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110968426A (zh) * | 2019-11-29 | 2020-04-07 | 西安交通大学 | 一种基于在线学习的边云协同k均值聚类的模型优化方法 |
CN111835827A (zh) * | 2020-06-11 | 2020-10-27 | 北京邮电大学 | 物联网边缘计算任务卸载方法及*** |
CN112287990A (zh) * | 2020-10-23 | 2021-01-29 | 杭州卷积云科技有限公司 | 一种基于在线学习的边云协同支持向量机的模型优化方法 |
-
2022
- 2022-03-30 CN CN202210323840.6A patent/CN114422349B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110968426A (zh) * | 2019-11-29 | 2020-04-07 | 西安交通大学 | 一种基于在线学习的边云协同k均值聚类的模型优化方法 |
CN111835827A (zh) * | 2020-06-11 | 2020-10-27 | 北京邮电大学 | 物联网边缘计算任务卸载方法及*** |
CN112287990A (zh) * | 2020-10-23 | 2021-01-29 | 杭州卷积云科技有限公司 | 一种基于在线学习的边云协同支持向量机的模型优化方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024032121A1 (zh) * | 2022-08-11 | 2024-02-15 | 南京邮电大学 | 一种基于云边端协同的深度学习模型推理加速方法 |
CN115408163A (zh) * | 2022-10-31 | 2022-11-29 | 广东电网有限责任公司佛山供电局 | 一种基于批处理动态调节的模型推理调度方法及*** |
CN115562760A (zh) * | 2022-11-22 | 2023-01-03 | 南京邮电大学 | 基于边缘计算节点打分表的深度学习模型分层卸载方法 |
CN115562760B (zh) * | 2022-11-22 | 2023-05-30 | 南京邮电大学 | 基于边缘计算节点打分表的深度学习模型分层卸载方法 |
CN117114113A (zh) * | 2023-10-24 | 2023-11-24 | 南京邮电大学 | 一种基于排队论的协同推理加速方法 |
CN117114113B (zh) * | 2023-10-24 | 2023-12-29 | 南京邮电大学 | 一种基于排队论的协同推理加速方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114422349B (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114422349B (zh) | 基于云边端协同的深度学习模型训练和推理架构部署方法 | |
CN107871164B (zh) | 一种雾计算环境个性化深度学习方法 | |
Peng et al. | Deep reinforcement learning based resource management for multi-access edge computing in vehicular networks | |
Sun et al. | Autonomous resource slicing for virtualized vehicular networks with D2D communications based on deep reinforcement learning | |
CN110234127B (zh) | 一种基于sdn的雾网络任务卸载方法 | |
CN112188442A (zh) | 基于移动边缘计算的车联网数据驱动任务卸载***和方法 | |
CN109947545A (zh) | 一种基于用户移动性的任务卸载及迁移的决策方法 | |
WO2023040022A1 (zh) | 一种在随机网络中基于算网协同的分布式计算卸载方法 | |
CN108111335B (zh) | 一种调度和链接虚拟网络功能的方法及*** | |
Nguyen et al. | DRL‐based intelligent resource allocation for diverse QoS in 5G and toward 6G vehicular networks: a comprehensive survey | |
Munir et al. | Intelligent service fulfillment for software defined networks in smart city | |
CN114745383A (zh) | 一种移动边缘计算辅助多层联邦学习方法 | |
CN114650228B (zh) | 一种异构网络中基于计算卸载的联邦学习调度方法 | |
EP4024212B1 (en) | Method for scheduling inference workloads on edge network resources | |
CN113132497B (zh) | 一种移动边缘运算的负载平衡和调度方法 | |
CN116455768B (zh) | 面向全局时延优化的云边端协同cnn推理方法及*** | |
CN112540845A (zh) | 一种基于移动边缘计算的协作***及方法 | |
CN113918240A (zh) | 任务卸载方法及装置 | |
Lan et al. | Deep reinforcement learning for computation offloading and caching in fog-based vehicular networks | |
Zheng et al. | Learning based task offloading in digital twin empowered internet of vehicles | |
CN116916386A (zh) | 一种考虑用户竞争和负载的大模型辅助边缘任务卸载方法 | |
CN117114113B (zh) | 一种基于排队论的协同推理加速方法 | |
Yao et al. | Energy-aware task allocation for mobile IoT by online reinforcement learning | |
CN110764833B (zh) | 一种基于边缘计算的任务卸载方法、装置及*** | |
CN114615705B (zh) | 一种基于5g网络下单用户资源分配策略方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |