CN114422349A - 基于云边端协同的深度学习模型训练和推理架构部署方法 - Google Patents

基于云边端协同的深度学习模型训练和推理架构部署方法 Download PDF

Info

Publication number
CN114422349A
CN114422349A CN202210323840.6A CN202210323840A CN114422349A CN 114422349 A CN114422349 A CN 114422349A CN 202210323840 A CN202210323840 A CN 202210323840A CN 114422349 A CN114422349 A CN 114422349A
Authority
CN
China
Prior art keywords
edge
edge server
server
resource cost
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210323840.6A
Other languages
English (en)
Other versions
CN114422349B (zh
Inventor
郭永安
周金粮
王宇翱
钱琪杰
孙洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210323840.6A priority Critical patent/CN114422349B/zh
Publication of CN114422349A publication Critical patent/CN114422349A/zh
Application granted granted Critical
Publication of CN114422349B publication Critical patent/CN114422349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0826—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network costs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/101—Server selection for load balancing based on network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1021—Server selection for load balancing based on client or server locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Computer Hardware Design (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了基于云边端协同的深度学习模型训练和推理架构部署方法，基于云服务器、边缘服务器、物理终端，边缘服务器搭载训练模块、推理模块、态势感知中心；态势感知中心包括用于感知边缘服务器的计算资源、与边缘服务器间的带宽占用情况和物理距离计算的边缘服务器计算能力感知模块，以及用于感知边缘服务器与云服务器间的带宽占用情况、物理距离计算以及感知云服务器的计算资源的云服务器计算能力感知模块，训练模块和推理模块进行资源成本计算以决定架构部署。本发明充分调动了网络边缘侧的计算能力，同时为边缘侧赋予了智能决策能力，为边缘操作***在边缘侧的成功部署和对海量、复杂任务的时效计算给出了解决办法。

Description

基于云边端协同的深度学习模型训练和推理架构部署方法
技术领域
本发明涉及物联网操作***技术领域，具体涉及基于云边端协同的深度学习模型训练和推理架构部署方法。
背景技术
区别于传统的嵌入式***、物联网操作***等，边缘操作***旨在向下管理异构的计算资源，向上处理海量的异构数据及应用负载。同时针对云集中式计算模型导致的不可预测时延、带宽资源消耗高、隐私泄露等问题，边缘操作***通过将计算能力下沉到网络边缘侧，将计算任务同样卸载到网络边缘侧，实现低延迟、高能效的数据处理，再加以AI算法的能力驱动，进而在边缘侧实现海量数据的智能处理。
受限于边缘侧有限的计算资源，只能为部分AI算法提供能力支撑，无法保障AI算法在操作***层面的执行效率，当前的边缘操作***仍以云集中式计算模型为计算范式，仅仅赋予边缘侧低级的数据筛选能力，没有充分考虑物理终端、边缘服务器和云服务器的协作能力。
鉴于此，本发明提出一种面向边缘操作***的运算加速方法，将AI模型的训练、推理和部署同以边缘服务器为主体的“物理终端-边缘服务器-云服务器”协作机制充分结合，实现海量、复杂任务的时效计算。
发明内容
本发明的目的：在于提供基于云边端协同的深度学习模型训练和推理架构部署方法，充分结合“物理终端-边缘服务器-云服务器”协作机制，实现海量、复杂任务的时效计算。
为实现以上功能，本发明设计基于云边端协同的深度学习模型训练和推理架构部署方法，预设区域内设有一个云服务器，云服务器的通信范围内至少设有两个边缘服务器，各边缘服务器的通信范围内至少设有一个物理终端，各边缘服务器与其通信范围内的各物理终端之间的距离小于边缘服务器与云服务器之间的距离；其中，各边缘服务器搭载训练模块、推理模块、态势感知中心。
其中，态势感知中心包括边缘服务器计算能力感知模块、云服务器计算能力感知 模块，针对云服务器的通信范围内任意一个边缘服务器i，边缘服务器i的边缘服务器计算 能力感知模块用于获取在边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器
Figure 327984DEST_PATH_IMAGE001
的计算资源使用情况
Figure 41862DEST_PATH_IMAGE002
、带宽占用情况
Figure 480321DEST_PATH_IMAGE003
、物理距离
Figure 406689DEST_PATH_IMAGE004
，以及边缘服务器i自身计 算资源闲置率
Figure 627586DEST_PATH_IMAGE005
，其中m为边缘服务器i通信范围内与其距离小于预设距离的各边缘服务 器的编号，
Figure 715628DEST_PATH_IMAGE006
，n为边缘服务器i通信范围内与其距离小于预设距离的边缘服务器 总数；云服务器计算能力感知模块用于获取边缘服务器i所在的预设区域的云服务器的计 算资源使用情况
Figure 638453DEST_PATH_IMAGE007
、带宽占用情况
Figure 368512DEST_PATH_IMAGE008
、物理距离
Figure 302970DEST_PATH_IMAGE009
。
边缘服务器i中的边缘服务器计算能力感知模块以预设周期获取自身计算资源闲 置率
Figure 437279DEST_PATH_IMAGE005
，当边缘服务器i的自身计算资源闲置率
Figure 722767DEST_PATH_IMAGE005
大于或等于预设上限值时，按如下步骤 S1-步骤S5获得使计算资源成本最小的资源成本模型，并依据该资源成本模型选择和部署 对应的架构，完成深度学习模型的训练。
S1: 边缘服务器i通知其通信范围内的各物理终端收集计算数据，并对计算数据进行初步筛选，将初步筛选后的计算数据上传至边缘服务器i。
S2: 边缘服务器i针对收到的计算数据进行再次筛选，确定经过再次筛选后的计 算数据的数据量d，同时基于边缘服务器计算能力感知模块、云服务器计算能力感知模块， 计算边缘服务器i的自身计算资源闲置率
Figure 725358DEST_PATH_IMAGE005
、边缘服务器i所在的预设区域的云服务器的 计算资源使用情况
Figure 904535DEST_PATH_IMAGE010
、边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器的 计算资源使用情况
Figure 599959DEST_PATH_IMAGE002
、带宽占用情况
Figure 107163DEST_PATH_IMAGE003
、物理距离
Figure 523232DEST_PATH_IMAGE004
、边缘服务器i所在的预设区域 的云服务器的带宽占用情况
Figure 697862DEST_PATH_IMAGE008
、物理距离
Figure 688820DEST_PATH_IMAGE009
。
S3:将步骤S2所获取的
Figure 683321DEST_PATH_IMAGE011
传送至边缘服务 器i的训练模块，基于近端策略优化算法，以
Figure 27715DEST_PATH_IMAGE012
为输入，以所对应的计算资 源成本
Figure 932217DEST_PATH_IMAGE013
为输出，构建第一资源成本模型如下式：
Figure 969443DEST_PATH_IMAGE014
其中，第一资源成本模型对应边边协同训练架构，边边协同训练架构包括边缘服 务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 185661DEST_PATH_IMAGE001
。
基于近端策略优化算法，以
Figure 715169DEST_PATH_IMAGE015
为输入，以所对应的计 算资源成本
Figure 333233DEST_PATH_IMAGE016
为输出，构建第二资源成本模型如下式：
Figure 806939DEST_PATH_IMAGE017
其中，第二资源成本模型对应边云协同训练架构，边云协同训练架构包括云服务 器、边缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 385819DEST_PATH_IMAGE001
。
基于近端策略优化算法，以
Figure 72016DEST_PATH_IMAGE018
为输入，以所对应的计算资源成本
Figure 810164DEST_PATH_IMAGE019
为 输出，构建第三资源成本模型如下式：
Figure 579406DEST_PATH_IMAGE020
其中，第三资源成本模型对应云训练架构，云训练架构包括云服务器；
式中：
Figure 770216DEST_PATH_IMAGE021
表示近端策略优化算法计算。
S4:基于步骤S3中所获得的各资源成本模型的计算资源成本
Figure 260103DEST_PATH_IMAGE022
，边缘 服务器i的训练模块对计算资源成本
Figure 728125DEST_PATH_IMAGE022
进行比较，选择计算资源成本最小的资 源成本模型所对应的架构进行部署，并进行深度学习模型训练。
S5:基于经过边缘服务器i筛选后的各计算数据的参与训练，获得深度学习模型，将该深度学习模型存储至云服务器、以及边缘服务器i中，完成架构选择和部署。
作为本发明的一种优选技术方案：步骤S4中训练模块对各资源成本模型的计算资 源成本
Figure 278055DEST_PATH_IMAGE022
进行比较，若出现计算资源成本相同的情况，则以边边协同训练架构、 边云协同训练架构、云训练架构优先级顺序进行选取。
作为本发明的一种优选技术方案：当物理终端向其通信范围内的边缘服务器i发出计算请求，并上传计算任务时，按如下步骤S11-步骤S14完成架构选择和部署：
S11:物理终端将位置信息发送至边缘服务器i，并对计算数据进行初步筛选，物理终端将经过筛选的计算数据传送至边缘服务器i。
S12:边缘服务器i接收来自物理终端的计算数据并进行再次筛选，确定再次筛选 后的数据量d，边缘服务器i的边缘服务器计算能力感知模块、云服务器计算能力感知模块 计算
Figure 956161DEST_PATH_IMAGE023
，其中D为存储在边缘服务器i中的深度学习 模型的数据量。
S13:将步骤S12所获得的
Figure 249739DEST_PATH_IMAGE024
传送至边缘服 务器i的推理模块，基于近端策略优化算法，以
Figure 87114DEST_PATH_IMAGE025
为输入，以所 对应的计算资源成本
Figure 542366DEST_PATH_IMAGE026
为输出，构建第四资源成本模型如下式：
Figure 707768DEST_PATH_IMAGE027
其中，第四资源成本模型对应边边协同推理架构，边边协同推理架构包括边缘服 务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 414824DEST_PATH_IMAGE001
。
基于近端策略优化算法，以
Figure 247651DEST_PATH_IMAGE028
为输 入，以所对应的计算资源成本
Figure 873804DEST_PATH_IMAGE029
为输出，构建第五资源成本模型如下式：
Figure 916715DEST_PATH_IMAGE030
其中，第五资源成本模型对应边云协同推理架构，边云协同推理架构包括云服务 器、边缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 552096DEST_PATH_IMAGE001
；
式中，
Figure 708271DEST_PATH_IMAGE031
表示近端策略优化算法计算。
S14:边缘服务器i的推理模块计算各资源成本模型的计算资源成本
Figure 646271DEST_PATH_IMAGE032
，并对 计算资源成本
Figure 786265DEST_PATH_IMAGE032
进行比较，选取计算资源成本最小的资源成本模型，并以该资源成本 模型所对应的架构进行部署，根据边缘服务器i选定的架构，云服务器选择将部分或全部深 度学习模型卸载到边缘服务器i上，同时缓存一份深度学习模型于当前边缘服务器i的推理 模块中，若计算资源成本
Figure 225337DEST_PATH_IMAGE032
相同，则按边边协同推理架构、边云协同推理架构优先级 顺序进行选取。
作为本发明的一种优选技术方案：针对位置移动至边缘服务器i通信范围以外的物理终端，当物理终端向其通信范围内的边缘服务器发出计算请求，并上传计算任务时，按如下步骤S21-步骤S24完成架构选择和部署。
S21:物理终端将位置信息发送至其所属通信范围内的边缘服务器
Figure 629161DEST_PATH_IMAGE033
，并对计算 数据进行初步筛选，将经过筛选的计算数据传送至其所属通信范围内的边缘服务器
Figure 128276DEST_PATH_IMAGE001
。
S22:边缘服务器
Figure 489987DEST_PATH_IMAGE001
接收来自物理终端的计算数据并进行再次筛选，确定再次筛 选后的数据量d，边缘服务器
Figure 342536DEST_PATH_IMAGE001
的边缘服务器计算能力感知模块、云服务器计算能力感知 模块计算
Figure 473303DEST_PATH_IMAGE034
。
S23:将步骤S22所获得的
Figure 143319DEST_PATH_IMAGE035
传送至边缘服务器
Figure 116960DEST_PATH_IMAGE001
的推理模块，同时边缘服务器
Figure 632255DEST_PATH_IMAGE001
向云服务器发出请求，并获取存储在云服务器中的资 源成本模型的数据量D，基于近端策略优化算法，以
Figure 883108DEST_PATH_IMAGE036
为输入， 以所对应的计算资源成本
Figure 599391DEST_PATH_IMAGE037
为输出，构建第六资源成本模型如下式：
Figure 935695DEST_PATH_IMAGE038
其中，第六资源成本模型对应边边协同推理架构，边边协同推理架构包括边缘服 务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 254680DEST_PATH_IMAGE001
。
基于近端策略优化算法，以
Figure 750253DEST_PATH_IMAGE039
为输 入，以所对应的计算资源成本
Figure 496492DEST_PATH_IMAGE040
为输出，构建第七资源成本模型如下式：
Figure 54512DEST_PATH_IMAGE041
其中，第七资源成本模型对应边云协同推理架构，边云协同推理架构包括云服务 器、边缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 318134DEST_PATH_IMAGE001
；式中，
Figure 278000DEST_PATH_IMAGE042
表示近端策略优化算法计算。
S24:边缘服务器
Figure 195140DEST_PATH_IMAGE001
的推理模块计算各资源成本模型的计算资源成本
Figure 896249DEST_PATH_IMAGE043
， 并对计算资源成本
Figure 557038DEST_PATH_IMAGE044
进行比较，选取计算资源成本最小的资源成本模型，并以该资 源成本模型所对应的架构进行部署，根据边缘服务器
Figure 371410DEST_PATH_IMAGE001
选定的架构，云服务器选择将部分 或全部深度学习模型卸载到边缘服务器
Figure 865976DEST_PATH_IMAGE001
上，同时缓存一份深度学习模型于当前边缘服 务器
Figure 398589DEST_PATH_IMAGE001
的推理模块中，若计算资源成本
Figure 863068DEST_PATH_IMAGE043
相同，则按边边协同推理架构、边云协同 推理架构优先级顺序进行选取。
有益效果：相对于现有技术，本发明的优点包括：
1.给出了多种深度学习模型的训练和推理模型架构，同时给出了以包含带宽占用量、计算资源占用量、物理距离、计算数据量和模型数据量在内的资源成本模型来决定训练和推理模型的架构选择和部署方法，以实现海量、复杂任务的时效计算。
2.多种训练和推理模型架构充分调动网络边缘侧的计算能力，同时为边缘侧赋予智能决策能力，为边缘操作***在边缘侧的成功部署和对边缘侧的进一步开发提供计算范式。
3.计算数据在物理终端和边缘服务器上进行两次数据筛选的方法，可进一步减轻边缘侧的计算压力。
4.本发明提供的训练模型更新方法可利用边缘服务器对自身计算资源的自感知来自动实现，无须工作人员手工更新，智能化程度更高。
附图说明
图1是根据本发明实施例提供的技术原理图；
图2是根据本发明实施例提供的训练模型部署的流程图；
图3是根据本发明实施例提供的训练模型架构图；
图4是根据本发明实施例提供的推理模型部署的流程图；
图5是根据本发明实施例提供的推理模型架构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。参照图1，本发明实施例提供的基于云边端协同的深度学习模型训练和推理架构部署方法，预设区域内设有一个云服务器，云服务器的通信范围内至少设有两个边缘服务器，各边缘服务器分管其所属的通信范围，各边缘服务器的通信范围内至少设有一个物理终端，物理终端发出的服务请求由该通信范围内的边缘服务器负责应答；各边缘服务器与其通信范围内的各物理终端之间的距离小于边缘服务器与云服务器之间的距离；边缘操作***运行在以上云服务器、边缘服务器和物理终端上，其中，各边缘服务器搭载训练模块、推理模块、态势感知中心。
其中，态势感知中心包括边缘服务器计算能力感知模块、云服务器计算能力感知 模块，针对云服务器的通信范围内任意一个边缘服务器i，边缘服务器i的边缘服务器计算 能力感知模块用于获取在边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器
Figure 531947DEST_PATH_IMAGE001
的计算资源使用情况
Figure 449612DEST_PATH_IMAGE002
、带宽占用情况
Figure 469520DEST_PATH_IMAGE003
、物理距离
Figure 472111DEST_PATH_IMAGE004
，以及边缘服务器i自身计 算资源闲置率
Figure 402021DEST_PATH_IMAGE005
，其中m为边缘服务器i通信范围内与其距离小于预设距离的各边缘服务 器的编号，
Figure 97445DEST_PATH_IMAGE045
，n为边缘服务器i通信范围内与其距离小于预设距离的边缘服务器 总数；云服务器计算能力感知模块用于获取边缘服务器i所在的预设区域的云服务器的计 算资源使用情况
Figure 339070DEST_PATH_IMAGE007
、带宽占用情况
Figure 535565DEST_PATH_IMAGE008
、物理距离
Figure 444616DEST_PATH_IMAGE009
。
边缘服务器i中的边缘服务器计算能力感知模块以预设周期获取自身计算资源闲 置率
Figure 45361DEST_PATH_IMAGE005
，当边缘服务器i的自身计算资源闲置率
Figure 915228DEST_PATH_IMAGE005
大于或等于预设上限值时，在一个实施 例中，当边缘服务器i的自身计算资源闲置率
Figure 525201DEST_PATH_IMAGE005
大于或等于百分之y时，参照图2，按如下步 骤S1-步骤S5获得使计算资源成本最小的资源成本模型，并依据该资源成本模型选择和部 署对应的架构，完成深度学习模型的训练。
S1: 边缘服务器i通知其通信范围内的各物理终端收集计算数据，并对计算数据进行初步筛选，将初步筛选后的计算数据上传至边缘服务器i。
S2: 边缘服务器i针对收到的计算数据进行再次筛选，确定经过再次筛选后的计 算数据的数据量d，同时基于边缘服务器计算能力感知模块、云服务器计算能力感知模块， 计算边缘服务器i的自身计算资源闲置率
Figure 288758DEST_PATH_IMAGE005
、边缘服务器i所在的预设区域的云服务器的 计算资源使用情况
Figure 185038DEST_PATH_IMAGE010
、边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器的 计算资源使用情况
Figure 666835DEST_PATH_IMAGE002
、带宽占用情况
Figure 80499DEST_PATH_IMAGE003
、物理距离
Figure 573929DEST_PATH_IMAGE004
、边缘服务器i所在的预设区域 的云服务器的带宽占用情况
Figure 782056DEST_PATH_IMAGE008
、物理距离
Figure 751149DEST_PATH_IMAGE009
。
S3:参照图3，将步骤S2所获取的
Figure 561979DEST_PATH_IMAGE011
传送至 边缘服务器i的训练模块，基于近端策略优化算法，以
Figure 300128DEST_PATH_IMAGE012
为输入，以所对应 的计算资源成本
Figure 679157DEST_PATH_IMAGE013
为输出，构建第一资源成本模型如下式：
Figure 745333DEST_PATH_IMAGE014
其中，第一资源成本模型对应边边协同训练架构，边边协同训练架构包括边缘服 务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 235220DEST_PATH_IMAGE001
。
基于近端策略优化算法，以
Figure 93455DEST_PATH_IMAGE015
为输入，以所对应的计 算资源成本
Figure 770948DEST_PATH_IMAGE016
为输出，构建第二资源成本模型如下式：
Figure 449054DEST_PATH_IMAGE046
其中，第二资源成本模型对应边云协同训练架构，边云协同训练架构包括云服务 器、边缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 742632DEST_PATH_IMAGE001
。
基于近端策略优化算法，以
Figure 65160DEST_PATH_IMAGE018
为输入，以所对应的计算资源成本
Figure 785992DEST_PATH_IMAGE019
为 输出，构建第三资源成本模型如下式：
Figure 951394DEST_PATH_IMAGE020
其中，第三资源成本模型对应云训练架构，云训练架构包括云服务器；式中：
Figure 173296DEST_PATH_IMAGE021
表示近端策略优化算法计算。
S4:基于步骤S3中所获得的各资源成本模型的计算资源成本
Figure 474965DEST_PATH_IMAGE022
，边缘 服务器i的训练模块对计算资源成本
Figure 366697DEST_PATH_IMAGE022
进行比较，选择计算资源成本最小的资 源成本模型所对应的架构进行部署，并进行深度学习模型训练。
步骤S4中训练模块对各资源成本模型的计算资源成本
Figure 160341DEST_PATH_IMAGE022
进行比较，若 出现计算资源成本相同的情况，则以边边协同训练架构、边云协同训练架构、云训练架构优 先级顺序进行选取。
S5:基于经过边缘服务器i筛选后的各计算数据的参与训练，获得深度学习模型，将该深度学习模型存储至云服务器、以及边缘服务器i中，完成架构选择和部署。
本发明实施例提供的基于云边端协同的深度学习模型训练和推理架构部署方法，当物理终端向其通信范围内的边缘服务器i发出计算请求，并上传计算任务时，参照图4，按如下步骤S11-步骤S14完成架构选择和部署。
S11:物理终端将位置信息发送至边缘服务器i，并对计算数据进行初步筛选，物理终端将经过筛选的计算数据传送至边缘服务器i。
S12:边缘服务器i接收来自物理终端的计算数据并进行再次筛选，确定再次筛选 后的数据量d，边缘服务器i的边缘服务器计算能力感知模块、云服务器计算能力感知模块 计算
Figure 530143DEST_PATH_IMAGE024
，其中D为存储在边缘服务器i中的深度学习 模型的数据量。
S13:参照图5，将步骤S12所获得的
Figure 951897DEST_PATH_IMAGE024
传送 至边缘服务器i的推理模块，基于近端策略优化算法，以
Figure 404744DEST_PATH_IMAGE025
为 输入，以所对应的计算资源成本
Figure 279159DEST_PATH_IMAGE026
为输出，构建第四资源成本模型如下式：
Figure 718230DEST_PATH_IMAGE047
其中，第四资源成本模型对应边边协同推理架构，边边协同推理架构包括边缘服 务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 135436DEST_PATH_IMAGE001
。
基于近端策略优化算法，以
Figure 368971DEST_PATH_IMAGE028
为输 入，以所对应的计算资源成本
Figure 730683DEST_PATH_IMAGE029
为输出，构建第五资源成本模型如下式：
Figure 832500DEST_PATH_IMAGE030
其中，第五资源成本模型对应边云协同推理架构，边云协同推理架构包括云服务 器、边缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 228846DEST_PATH_IMAGE001
；式中，
Figure 633283DEST_PATH_IMAGE031
表示近端策略优化算法计算。
S14:边缘服务器i的推理模块计算各资源成本模型的计算资源成本
Figure 482290DEST_PATH_IMAGE032
，并对 计算资源成本
Figure 138530DEST_PATH_IMAGE032
进行比较，选取计算资源成本最小的资源成本模型，并以该资源成本 模型所对应的架构进行部署，根据边缘服务器i选定的架构，云服务器选择将部分或全部深 度学习模型卸载到边缘服务器i上，同时缓存一份深度学习模型于当前边缘服务器i的推理 模块中，若计算资源成本
Figure 389383DEST_PATH_IMAGE032
相同，则按边边协同推理架构、边云协同推理架构优先级 顺序进行选取。
本发明实施例提供的基于云边端协同的深度学习模型训练和推理架构部署方法，若物理终端的空间位置发生较大移动，则针对位置移动至边缘服务器i通信范围以外的物理终端，当物理终端向其通信范围内的边缘服务器发出计算请求，并上传计算任务时，按如下步骤S21-步骤S24完成架构选择和部署。
S21:物理终端将位置信息发送至其所属通信范围内的边缘服务器
Figure 964721DEST_PATH_IMAGE001
，并对计算 数据进行初步筛选，将经过筛选的计算数据传送至其所属通信范围内的边缘服务器
Figure 705886DEST_PATH_IMAGE001
。
S22:边缘服务器
Figure 24872DEST_PATH_IMAGE001
接收来自物理终端的计算数据并进行再次筛选，确定再次筛 选后的数据量d，边缘服务器
Figure 130231DEST_PATH_IMAGE001
的边缘服务器计算能力感知模块、云服务器计算能力感知 模块计算
Figure 751836DEST_PATH_IMAGE035
。
S23:参照图5，将步骤S22所获得的
Figure 575436DEST_PATH_IMAGE035
传送至边 缘服务器
Figure 698112DEST_PATH_IMAGE001
的推理模块，同时边缘服务器
Figure 782612DEST_PATH_IMAGE001
向云服务器发出请求，并获取存储在云服务 器中的资源成本模型的数据量D，基于近端策略优化算法，以
Figure 699752DEST_PATH_IMAGE036
为输入，以所对应的计算资源成本
Figure 276227DEST_PATH_IMAGE037
为输出，构建第六资源成本模型如下式：
Figure 812382DEST_PATH_IMAGE038
其中，第六资源成本模型对应边边协同推理架构，边边协同推理架构包括边缘服 务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 626754DEST_PATH_IMAGE001
。
基于近端策略优化算法，以
Figure 980375DEST_PATH_IMAGE039
为输 入，以所对应的计算资源成本
Figure 903201DEST_PATH_IMAGE040
为输出，构建第七资源成本模型如下式：
Figure 102101DEST_PATH_IMAGE048
其中，第七资源成本模型对应边云协同推理架构，边云协同推理架构包括云服务 器、边缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 36559DEST_PATH_IMAGE001
；式中，
Figure 561081DEST_PATH_IMAGE042
表示近端策略优化算法计算。
S24:边缘服务器的推理模块计算各资源成本模型的计算资源成本
Figure 456356DEST_PATH_IMAGE049
，并对 计算资源成本
Figure 724526DEST_PATH_IMAGE044
进行比较，选取计算资源成本最小的资源成本模型，并以该资源成 本模型所对应的架构进行部署，根据边缘服务器
Figure 513491DEST_PATH_IMAGE001
选定的架构，云服务器选择将部分或全 部深度学习模型卸载到边缘服务器
Figure 333548DEST_PATH_IMAGE001
上，同时缓存一份深度学习模型于当前边缘服务器
Figure 840753DEST_PATH_IMAGE001
的推理模块中，若计算资源成本
Figure 647035DEST_PATH_IMAGE043
相同，则按边边协同推理架构、边云协同推理 架构优先级顺序进行选取。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.基于云边端协同的深度学习模型训练和推理架构部署方法，其特征在于，预设区域内设有一个云服务器，云服务器的通信范围内至少设有两个边缘服务器，各边缘服务器的通信范围内至少设有一个物理终端，各边缘服务器与其通信范围内的各物理终端之间的距离小于边缘服务器与云服务器之间的距离；其中，各边缘服务器搭载训练模块、推理模块、态势感知中心；
其中，态势感知中心包括边缘服务器计算能力感知模块、云服务器计算能力感知模块， 针对云服务器的通信范围内任意一个边缘服务器i，边缘服务器i的边缘服务器计算能力感 知模块用于获取在边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器
Figure DEST_PATH_IMAGE001
的 计算资源使用情况
Figure DEST_PATH_IMAGE002
、带宽占用情况
Figure DEST_PATH_IMAGE003
、物理距离
Figure DEST_PATH_IMAGE004
，以及边缘服务器i自身计算资 源闲置率
Figure DEST_PATH_IMAGE005
，其中m为边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器的 编号，
Figure DEST_PATH_IMAGE006
， n为边缘服务器i通信范围内与其距离小于预设距离的边缘服务器总 数；云服务器计算能力感知模块用于获取边缘服务器i所在的预设区域的云服务器的计算 资源使用情况
Figure DEST_PATH_IMAGE007
、带宽占用情况
Figure DEST_PATH_IMAGE008
、物理距离
Figure DEST_PATH_IMAGE009
；
边缘服务器i中的边缘服务器计算能力感知模块以预设周期获取自身计算资源闲置率
Figure 725369DEST_PATH_IMAGE005
，当边缘服务器i的自身计算资源闲置率
Figure 704826DEST_PATH_IMAGE005
大于或等于预设上限值时，按如下步骤S1- 步骤S5获得使计算资源成本最小的资源成本模型，并依据该资源成本模型选择和部署对应 的架构，完成深度学习模型的训练；
S1: 边缘服务器i通知其通信范围内的各物理终端收集计算数据，并对计算数据进行初步筛选，将初步筛选后的计算数据上传至边缘服务器i；
S2: 边缘服务器i针对收到的计算数据进行再次筛选，确定经过再次筛选后的计算数 据的数据量d，同时基于边缘服务器计算能力感知模块、云服务器计算能力感知模块，计算 边缘服务器i的自身计算资源闲置率
Figure 484563DEST_PATH_IMAGE005
、边缘服务器i所在的预设区域的云服务器的计算 资源使用情况
Figure DEST_PATH_IMAGE010
、边缘服务器i通信范围内与其距离小于预设距离的各边缘服务器的计算 资源使用情况
Figure 942089DEST_PATH_IMAGE002
、带宽占用情况
Figure 756462DEST_PATH_IMAGE003
、物理距离
Figure DEST_PATH_IMAGE011
、边缘服务器i所在的预设区域的云 服务器的带宽占用情况
Figure 641241DEST_PATH_IMAGE008
、物理距离
Figure 908274DEST_PATH_IMAGE009
；
S3:将步骤S2所获取的
Figure DEST_PATH_IMAGE012
传送至边缘服务器i 的训练模块，基于近端策略优化算法，以
Figure DEST_PATH_IMAGE013
为输入，以所对应的计算资源 成本
Figure DEST_PATH_IMAGE014
为输出，构建第一资源成本模型如下式：
Figure DEST_PATH_IMAGE015
其中，第一资源成本模型对应边边协同训练架构，边边协同训练架构包括边缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 231808DEST_PATH_IMAGE001
；
基于近端策略优化算法，以
Figure DEST_PATH_IMAGE016
为输入，以所对应的计算资 源成本
Figure DEST_PATH_IMAGE017
为输出，构建第二资源成本模型如下式：
Figure DEST_PATH_IMAGE018
其中，第二资源成本模型对应边云协同训练架构，边云协同训练架构包括云服务器、边 缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 963004DEST_PATH_IMAGE001
；
基于近端策略优化算法，以
Figure DEST_PATH_IMAGE019
为输入，以所对应的计算资源成本
Figure DEST_PATH_IMAGE020
为输 出，构建第三资源成本模型如下式：
Figure DEST_PATH_IMAGE021
其中，第三资源成本模型对应云训练架构，云训练架构包括云服务器；
式中：
Figure DEST_PATH_IMAGE022
表示近端策略优化算法计算；
S4:基于步骤S3中所获得的各资源成本模型的计算资源成本
Figure DEST_PATH_IMAGE023
，边缘服务器i的训练模块对计算资源成本
Figure 143318DEST_PATH_IMAGE023
进行比较，选择计算资源成本最小的资源成本 模型所对应的架构进行部署，并进行深度学习模型训练；
S5:基于经过边缘服务器i筛选后的各计算数据的参与训练，获得深度学习模型，将该深度学习模型存储至云服务器、以及边缘服务器i中，完成架构选择和部署。
2.根据权利要求1所述的基于云边端协同的深度学习模型训练和推理架构部署方法， 其特征在于，步骤S4中训练模块对各资源成本模型的计算资源成本
Figure 897648DEST_PATH_IMAGE023
进行比 较，若出现计算资源成本相同的情况，则以边边协同训练架构、边云协同训练架构、云训练 架构优先级顺序进行选取。
3.根据权利要求1所述的基于云边端协同的深度学习模型训练和推理架构部署方法，其特征在于，当物理终端向其通信范围内的边缘服务器i发出计算请求，并上传计算任务时，按如下步骤S11-步骤S14完成架构选择和部署：
S11:物理终端将位置信息发送至边缘服务器i，并对计算数据进行初步筛选，物理终端将经过筛选的计算数据传送至边缘服务器i；
S12:边缘服务器i接收来自物理终端的计算数据并进行再次筛选，确定再次筛选后的 数据量d,边缘服务器i的边缘服务器计算能力感知模块、云服务器计算能力感知模块计算
Figure DEST_PATH_IMAGE024
，其中D为存储在边缘服务器i中的深度学习模型 的数据量；
S13:将步骤S12所获得的
Figure DEST_PATH_IMAGE025
传送至边缘服务器i的推理模块，基于近端策略优化算法，以
Figure DEST_PATH_IMAGE026
为输入，以所对应 的计算资源成本
Figure DEST_PATH_IMAGE027
为输出，构建第四资源成本模型如下式：
Figure DEST_PATH_IMAGE028
其中，第四资源成本模型对应边边协同推理架构，边边协同推理架构包括边缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 759293DEST_PATH_IMAGE001
；
基于近端策略优化算法，以
Figure DEST_PATH_IMAGE029
为输入，以所 对应的计算资源成本
Figure DEST_PATH_IMAGE030
为输出，构建第五资源成本模型如下式：
Figure DEST_PATH_IMAGE031
其中，第五资源成本模型对应边云协同推理架构，边云协同推理架构包括云服务器、边 缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 344995DEST_PATH_IMAGE001
；
式中，
Figure DEST_PATH_IMAGE032
表示近端策略优化算法计算；
S14:边缘服务器i的推理模块计算各资源成本模型的计算资源成本
Figure DEST_PATH_IMAGE033
，并对计算 资源成本
Figure 843016DEST_PATH_IMAGE033
进行比较，选取计算资源成本最小的资源成本模型，并以该资源成本模型 所对应的架构进行部署，根据边缘服务器i选定的架构，云服务器选择将部分或全部深度学 习模型卸载到边缘服务器i上，同时缓存一份深度学习模型于当前边缘服务器i的推理模块 中，若计算资源成本
Figure 146958DEST_PATH_IMAGE033
相同，则按边边协同推理架构、边云协同推理架构优先级顺序 进行选取。
4.根据权利要求1所述的基于云边端协同的深度学习模型训练和推理架构部署方法，其特征在于，针对位置移动至边缘服务器i通信范围以外的物理终端，当物理终端向其通信范围内的边缘服务器发出计算请求，并上传计算任务时，按如下步骤S21-步骤S24完成架构选择和部署：
S21:物理终端将位置信息发送至其所属通信范围内的边缘服务器
Figure 422082DEST_PATH_IMAGE001
，并对计算数据 进行初步筛选，将经过筛选的计算数据传送至其所属通信范围内的边缘服务器
Figure 65553DEST_PATH_IMAGE001
；
S22:边缘服务器
Figure 463036DEST_PATH_IMAGE001
接收来自物理终端的计算数据并进行再次筛选，确定再次筛选后 的数据量d，边缘服务器
Figure 191958DEST_PATH_IMAGE001
的边缘服务器计算能力感知模块、云服务器计算能力感知模块 计算
Figure DEST_PATH_IMAGE034
；
S23:将步骤S22所获得的
Figure 333089DEST_PATH_IMAGE034
传送至边缘服务器
Figure 831067DEST_PATH_IMAGE001
的推理模块，同时边缘服务器
Figure 665030DEST_PATH_IMAGE001
向云服务器发出请求，并获取存储在云服务器中的资源成 本模型的数据量D，基于近端策略优化算法，以
Figure DEST_PATH_IMAGE035
为输入，以所 对应的计算资源成本
Figure DEST_PATH_IMAGE036
为输出，构建第六资源成本模型如下式：
Figure DEST_PATH_IMAGE037
其中，第六资源成本模型对应边边协同推理架构，边边协同推理架构包括边缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 677986DEST_PATH_IMAGE001
；
基于近端策略优化算法，以
Figure DEST_PATH_IMAGE038
为输入，以所 对应的计算资源成本
Figure DEST_PATH_IMAGE039
为输出，构建第七资源成本模型如下式：
Figure DEST_PATH_IMAGE040
其中，第七资源成本模型对应边云协同推理架构，边云协同推理架构包括云服务器、边 缘服务器i、边缘服务器i通信范围内与其距离小于预设距离的边缘服务器
Figure 685125DEST_PATH_IMAGE001
；
式中，
Figure DEST_PATH_IMAGE041
表示近端策略优化算法计算；
S24:边缘服务器
Figure 37609DEST_PATH_IMAGE001
的推理模块计算各资源成本模型的计算资源成本
Figure DEST_PATH_IMAGE042
并对计 算资源成本
Figure 42474DEST_PATH_IMAGE042
进行比较，选取计算资源成本最小的资源成本模型，并以该资源成本 模型所对应的架构进行部署，根据边缘服务器
Figure 480408DEST_PATH_IMAGE001
选定的架构，云服务器选择将部分或全部 深度学习模型卸载到边缘服务器
Figure 963342DEST_PATH_IMAGE001
上，同时缓存一份深度学习模型于当前边缘服务器
Figure 435912DEST_PATH_IMAGE001
的推理模块中，若计算资源成本
Figure 549362DEST_PATH_IMAGE042
相同，则按边边协同推理架构、边云协同推理 架构优先级顺序进行选取。
CN202210323840.6A 2022-03-30 2022-03-30 基于云边端协同的深度学习模型训练和推理架构部署方法 Active CN114422349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210323840.6A CN114422349B (zh) 2022-03-30 2022-03-30 基于云边端协同的深度学习模型训练和推理架构部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210323840.6A CN114422349B (zh) 2022-03-30 2022-03-30 基于云边端协同的深度学习模型训练和推理架构部署方法

Publications (2)

Publication Number Publication Date
CN114422349A true CN114422349A (zh) 2022-04-29
CN114422349B CN114422349B (zh) 2022-06-10

Family

ID=81262769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210323840.6A Active CN114422349B (zh) 2022-03-30 2022-03-30 基于云边端协同的深度学习模型训练和推理架构部署方法

Country Status (1)

Country Link
CN (1) CN114422349B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115408163A (zh) * 2022-10-31 2022-11-29 广东电网有限责任公司佛山供电局 一种基于批处理动态调节的模型推理调度方法及***
CN115562760A (zh) * 2022-11-22 2023-01-03 南京邮电大学 基于边缘计算节点打分表的深度学习模型分层卸载方法
CN117114113A (zh) * 2023-10-24 2023-11-24 南京邮电大学 一种基于排队论的协同推理加速方法
WO2024032121A1 (zh) * 2022-08-11 2024-02-15 南京邮电大学 一种基于云边端协同的深度学习模型推理加速方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968426A (zh) * 2019-11-29 2020-04-07 西安交通大学 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN111835827A (zh) * 2020-06-11 2020-10-27 北京邮电大学 物联网边缘计算任务卸载方法及***
CN112287990A (zh) * 2020-10-23 2021-01-29 杭州卷积云科技有限公司 一种基于在线学习的边云协同支持向量机的模型优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968426A (zh) * 2019-11-29 2020-04-07 西安交通大学 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN111835827A (zh) * 2020-06-11 2020-10-27 北京邮电大学 物联网边缘计算任务卸载方法及***
CN112287990A (zh) * 2020-10-23 2021-01-29 杭州卷积云科技有限公司 一种基于在线学习的边云协同支持向量机的模型优化方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032121A1 (zh) * 2022-08-11 2024-02-15 南京邮电大学 一种基于云边端协同的深度学习模型推理加速方法
CN115408163A (zh) * 2022-10-31 2022-11-29 广东电网有限责任公司佛山供电局 一种基于批处理动态调节的模型推理调度方法及***
CN115562760A (zh) * 2022-11-22 2023-01-03 南京邮电大学 基于边缘计算节点打分表的深度学习模型分层卸载方法
CN115562760B (zh) * 2022-11-22 2023-05-30 南京邮电大学 基于边缘计算节点打分表的深度学习模型分层卸载方法
CN117114113A (zh) * 2023-10-24 2023-11-24 南京邮电大学 一种基于排队论的协同推理加速方法
CN117114113B (zh) * 2023-10-24 2023-12-29 南京邮电大学 一种基于排队论的协同推理加速方法

Also Published As

Publication number Publication date
CN114422349B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN114422349B (zh) 基于云边端协同的深度学习模型训练和推理架构部署方法
CN107871164B (zh) 一种雾计算环境个性化深度学习方法
Peng et al. Deep reinforcement learning based resource management for multi-access edge computing in vehicular networks
Sun et al. Autonomous resource slicing for virtualized vehicular networks with D2D communications based on deep reinforcement learning
CN110234127B (zh) 一种基于sdn的雾网络任务卸载方法
CN112188442A (zh) 基于移动边缘计算的车联网数据驱动任务卸载***和方法
CN109947545A (zh) 一种基于用户移动性的任务卸载及迁移的决策方法
WO2023040022A1 (zh) 一种在随机网络中基于算网协同的分布式计算卸载方法
CN108111335B (zh) 一种调度和链接虚拟网络功能的方法及***
Nguyen et al. DRL‐based intelligent resource allocation for diverse QoS in 5G and toward 6G vehicular networks: a comprehensive survey
Munir et al. Intelligent service fulfillment for software defined networks in smart city
CN114745383A (zh) 一种移动边缘计算辅助多层联邦学习方法
CN114650228B (zh) 一种异构网络中基于计算卸载的联邦学习调度方法
EP4024212B1 (en) Method for scheduling inference workloads on edge network resources
CN113132497B (zh) 一种移动边缘运算的负载平衡和调度方法
CN116455768B (zh) 面向全局时延优化的云边端协同cnn推理方法及***
CN112540845A (zh) 一种基于移动边缘计算的协作***及方法
CN113918240A (zh) 任务卸载方法及装置
Lan et al. Deep reinforcement learning for computation offloading and caching in fog-based vehicular networks
Zheng et al. Learning based task offloading in digital twin empowered internet of vehicles
CN116916386A (zh) 一种考虑用户竞争和负载的大模型辅助边缘任务卸载方法
CN117114113B (zh) 一种基于排队论的协同推理加速方法
Yao et al. Energy-aware task allocation for mobile IoT by online reinforcement learning
CN110764833B (zh) 一种基于边缘计算的任务卸载方法、装置及***
CN114615705B (zh) 一种基于5g网络下单用户资源分配策略方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant