CN117596605A - 一种面向智能应用的确定性网络架构及其工作方法 - Google Patents

一种面向智能应用的确定性网络架构及其工作方法 Download PDF

Info

Publication number
CN117596605A
CN117596605A CN202410069439.3A CN202410069439A CN117596605A CN 117596605 A CN117596605 A CN 117596605A CN 202410069439 A CN202410069439 A CN 202410069439A CN 117596605 A CN117596605 A CN 117596605A
Authority
CN
China
Prior art keywords
resource
computing
domain
task
scheme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410069439.3A
Other languages
English (en)
Other versions
CN117596605B (zh
Inventor
张维庭
唐念
孙童
杨冬
任家栋
郭瑞彬
张宏科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202410069439.3A priority Critical patent/CN117596605B/zh
Publication of CN117596605A publication Critical patent/CN117596605A/zh
Application granted granted Critical
Publication of CN117596605B publication Critical patent/CN117596605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/12—Wireless traffic scheduling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种面向智能应用的确定性网络架构及其工作方法，涉及通信网络技术领域，通用服务层获取智能应用的大模型在训练阶段、部署阶段或推理阶段生成的计算任务的任务参数；映射适配层基于任务参数确定资源编排方案，并基于资源编排方案确定传输调度方案，资源编排方案包括用于完成计算任务的目标计算域以及目标计算域分配给计算任务的计算资源、存储资源和通信资源，传输调度方案包括将计算任务传输至目标计算域的时隙和通信资源；融合网络层基于传输调度方案将计算任务传输至目标计算域，将通信资源和计算资源相融合，以支持大模型的协同调度，同步设计资源编排方案和传输调度方案，避免新的数据流量使传输调度变得复杂的问题。

Description

一种面向智能应用的确定性网络架构及其工作方法
技术领域
本发明涉及通信网络技术领域，特别是涉及一种面向智能应用的确定性网络架构及其工作方法。
背景技术
目前，智能应用（也称人工智能应用）在各个领域显示出显著的优势，大型人工智能模型（也称大模型）是支撑智能应用运行的重要部件，比如，大模型使用深度学习技术，能够准确地理解和处理人类的语言、图像和视频；大模型通过分析大规模数据，提取个性化信息，为用户提供不受领域限制的定制服务；大模型可实现全面的网络监控和管理，从而提高网络的可靠性以及故障检测和预测能力。
但是，大模型由于其独特的特性，在无线网络中广泛部署和应用面临着许多挑战。第一，大模型的构建一般由训练、部署和推理三个阶段组成，每个阶段不仅需要通信资源，还需要计算资源，以支持大模型的协同调度。第二，大模型在不同阶段产生不同的数据流量，为了避免大模型的数据流量传输不连续性和不一致性导致模型性能下降，在大模型的每个阶段都应考虑确定性传输，虽然时间敏感网络TSN和确定性网络DetNet可以在保证有界延迟、抖动和丢包的情况下实现确定性数据传输，但新的数据流量使传输调度变得复杂。
针对上述挑战，迫切需要设计一个通信和计算融合的网络架构来支持未来无线网络中新兴的大模型。
发明内容
本发明的目的是提供一种面向智能应用的确定性网络架构及其工作方法，将通信资源和计算资源相融合，以支持大模型的协同调度，同步设计资源编排方案和传输调度方案，避免新的数据流量使传输调度变得复杂的问题。
为实现上述目的，本发明提供了如下方案。
一种面向智能应用的确定性网络架构，包括：通用服务层，用于获取智能应用的大模型在训练阶段、部署阶段或推理阶段生成的计算任务的任务参数；所述任务参数包括数据量、传输速度、传输时间、计算资源需求和通信资源需求；映射适配层，用于基于所述任务参数确定资源编排方案，并基于所述资源编排方案确定传输调度方案；所述资源编排方案包括用于完成所述计算任务的目标计算域以及所述目标计算域分配给所述计算任务的计算资源、存储资源和通信资源；所述传输调度方案包括将所述计算任务传输至所述目标计算域的时隙和通信资源；融合网络层，用于基于所述传输调度方案将所述计算任务传输至所述目标计算域。
在一些实施例中，所述通用服务层包括一个计算服务器和多个域服务器，以完成大模型的分布式训练；所述计算服务器用于接收来自各个所述域服务器的更新后的模型参数，得到全局模型参数；所述域服务器用于接收所述全局模型参数，并对大模型进行局部训练，得到更新后的模型参数。
在一些实施例中，所述映射适配层包括多个域服务控制器和一个计算服务控制器；每一所述域服务控制器对应一计算域；所述域服务控制器用于获取所述计算域的资源参数，并基于所述任务参数和所述计算域的资源参数确定资源方案；所述资源参数包括计算资源、存储资源和通信资源；所述资源方案包括所述计算域是否用于完成所述计算任务以及所述计算域分配给所述计算任务的计算资源、存储资源和通信资源；所有所述资源方案组成资源编排方案；所述计算服务控制器用于获取所述融合网络层的通信资源，并基于所述资源编排方案和所述融合网络层的通信资源确定传输调度方案。
在一些实施例中，所述域服务控制器上部署有基于MAPPO的资源编排算法；所述计算服务控制器上部署有基于D3QN的端到端传输调度算法。
在一些实施例中，所述融合网络层包括依次连接的时间敏感网络和融合5G技术的确定性网络；所述时间敏感网络的交换机或所述融合5G技术的确定性网络的路由器中部署有时间感知整形器、循环队列转发或基于信用的整形器。
一种上述的一种面向智能应用的确定性网络架构的工作方法，包括：通用服务层获取智能应用的大模型在训练阶段、部署阶段或推理阶段生成的计算任务的任务参数；所述任务参数包括数据量、传输速度、传输时间、计算资源需求和通信资源需求；映射适配层基于所述任务参数确定资源编排方案，并基于所述资源编排方案确定传输调度方案；所述资源编排方案包括用于完成所述计算任务的目标计算域以及所述目标计算域分配给所述计算任务的计算资源、存储资源和通信资源；所述传输调度方案包括将所述计算任务传输至所述目标计算域的时隙和通信资源；融合网络层基于所述传输调度方案将所述计算任务传输至所述目标计算域。
在一些实施例中，映射适配层基于所述任务参数确定资源编排方案，并基于所述资源编排方案确定传输调度方案，具体包括：映射适配层的每一域服务控制器获取计算域的资源参数，并以所述任务参数和所述计算域的资源参数作为输入，利用基于MAPPO的资源编排算法确定资源方案；所述资源参数包括计算资源、存储资源和通信资源；所述资源方案包括所述计算域是否用于完成所述计算任务以及所述计算域分配给所述计算任务的计算资源、存储资源和通信资源；所有所述资源方案组成资源编排方案；映射适配层的计算服务控制器获取所述融合网络层的通信资源，并以所述资源编排方案和所述融合网络层的通信资源作为输入，利用基于D3QN的端到端传输调度算法确定传输调度方案。
在一些实施例中，以所述任务参数和所述计算域的资源参数作为输入，利用基于MAPPO的资源编排算法确定资源方案，具体包括：基于所述任务参数和所述计算域的资源参数生成第一状态信息；所述第一状态信息包括计算任务的可接受的延迟和计算资源需求以及所述计算域的资源参数；基于所述第一状态信息确定资源方案。
在一些实施例中，以所述资源编排方案和所述融合网络层的通信资源作为输入，利用基于D3QN的端到端传输调度算法确定传输调度方案，具体包括：基于所述资源编排方案和所述融合网络层的通信资源生成第二状态信息；所述第二状态信息包括计算任务的源地址、目的地址和可接受的延迟以及TSN链路容量和5G链路容量；基于所述第二状态信息确定传输调度方案。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明用于提供一种面向智能应用的确定性网络架构及其工作方法，该确定性网络架构包括：通用服务层，用于获取智能应用的大模型在训练阶段、部署阶段或推理阶段生成的计算任务的任务参数，任务参数包括数据量、传输速度、传输时间、计算资源需求和通信资源需求；映射适配层，用于基于任务参数确定资源编排方案，并基于资源编排方案确定传输调度方案，资源编排方案包括用于完成计算任务的目标计算域以及目标计算域分配给计算任务的计算资源、存储资源和通信资源，传输调度方案包括将计算任务传输至目标计算域的时隙和通信资源；融合网络层，用于基于传输调度方案将计算任务传输至目标计算域，将通信资源和计算资源相融合，以支持大模型的协同调度，同步设计资源编排方案和传输调度方案，避免新的数据流量使传输调度变得复杂的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1所提供的确定性网络架构的结构示意图。
图2为本发明实施例1所提供的基于MAPPO的资源编排算法的方法流程图。
图3为本发明实施例1所提供的基于D3QN的端到端传输调度算法的方法流程图。
图4为本发明实施例2所提供的确定性网络架构的工作方法的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种面向智能应用的确定性网络架构及其工作方法，将通信资源和计算资源相融合，以支持大模型的协同调度，同步设计资源编排方案和传输调度方案，避免新的数据流量使传输调度变得复杂的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：本实施例用于提供一种面向智能应用的确定性网络架构，如图1所示，包括：通用服务层，映射适配层和融合网络层。
通用服务层，用于获取智能应用的大模型在训练阶段、部署阶段或推理阶段生成的计算任务的任务参数；所述任务参数包括数据量、传输速度、传输时间、计算资源需求和通信资源需求。
映射适配层，用于基于任务参数确定资源编排方案，并基于资源编排方案确定传输调度方案；所述资源编排方案包括用于完成计算任务的目标计算域以及目标计算域分配给计算任务的计算资源、存储资源和通信资源；所述传输调度方案包括将计算任务传输至目标计算域的时隙和通信资源。
融合网络层，用于基于传输调度方案将计算任务传输至目标计算域。
本实施例中，大模型可为大型AI模型，大模型的训练、部署和推理均在通用服务层上完成，在大模型的训练、部署和推理的过程中，会生成很多计算任务，比如，在训练阶段，大模型对输入参数进行处理，得到输出值，会生成一个计算任务；基于输出值和真实值对大模型的模型参数进行更新，会生成一个计算任务；在部署阶段，大模型被加载到生产环境中，要将大模型封装成二进制文本文件，会生成一个计算任务；对大模型进行初始化，涉及从存储介质中读取模型参数，并将其加载到内存中，会产生一个计算任务；在推理阶段，训练好的大模型对输入参数进行处理，得到预测值，会生成一个计算任务，上述三个阶段生成的所有计算任务均需要通过本实施例所设计的确定性网络架构传输至目标计算域进行处理。
本实施例的通用服务层用于实现大模型在训练、部署、推理三阶段生成的计算任务的描述和表示，具体是当大模型在训练阶段、部署阶段或推理阶段生成计算任务后，通用服务层对生成的计算任务进行描述，以对生成的计算任务进行表示，得到生成的计算任务的任务参数，后续基于该任务参数进行资源编排和传输调度，将生成的计算任务传输至目标计算域。其中，大模型的训练阶段、部署阶段和推理阶段所生成的计算任务都属于模型参数传输任务，所有计算任务均可用模型参数的数据量、传输速度、传输时间和成本来描述和表示，数据量包括数据的维数和总字节数，传输速度为每秒传输的字节数或位数，传输时间为数据量与传输速度的比值，成本包括网络成本和带宽成本，网络成本即为计算资源需求（即为了完成该计算任务需要耗费多少计算资源），带宽成本即为通信资源需求（即为了传输该计算任务需要耗费多少通信资源），故每一计算任务的任务参数均包括数据量、传输速度、传输时间、计算资源需求和通信资源需求。基于此，可以准确获取计算任务的规模、需求和成本，以进一步进行相应的资源编排和传输调度。
具体的，通用服务层上部署有一个计算服务器(computing server，CS)和多个域服务器(domain server，DS)，以支持大模型的高效分布式训练，即本实施例的通用服务层包括一个计算服务器和多个域服务器，以完成大模型的分布式训练，计算服务器用于接收来自各个域服务器的更新后的模型参数，得到全局模型参数；域服务器用于接收全局模型参数，并对大模型进行局部训练，得到更新后的模型参数。更为具体的，在训练过程中，计算服务器和域服务器迭代工作，在第一次迭代时，计算服务器根据大模型的训练任务要求初始化模型参数，得到全局模型参数；域服务器从计算服务器处获取全局模型参数，并对大模型进行局部训练，进一步更新大模型的模型参数，得到更新后的模型参数；在后续迭代时，计算服务器汇总来自分布式的各个域服务器的更新后的模型参数，根据来自各个域服务器的更新后的模型参数确定全局模型参数，采用设置权重的方式来更新全局模型参数，具体设置来自各个域服务器的更新后的模型参数的权重，依据权重对来自各个域服务器的更新后的模型参数进行加权求和，得到全局模型参数；域服务器从计算服务器处获取全局模型参数，并对大模型进行局部训练，进一步更新大模型的模型参数，得到更新后的模型参数；直至迭代完成。通过获取这些模型参数，通用服务层生成计算任务的任务参数，后续映射适配层即可进行相应的资源编排和传输调度。
本实施例的映射适配层用于通过通信和计算的融合，实现动态的资源编排和传输调度，在满足计算任务多样化需求的同时，支持大模型的训练、部署和推理三个阶段。
具体的，映射适配层部署有多个域服务控制器(domain service controller，DSC)和一个计算服务控制器(computing service controller，CSC)。每一DSC均对应一个计算域，其可称为DSC的本地计算域，在对计算任务进行定量描述的基础上，每一DSC均从相应的本地计算域聚合资源信息并执行资源编排决策。同时，CSC执行传输调度决策，实现跨地理分散计算域的资源协同管理，以满足计算任务的多样化需求。
更为具体的，映射适配层包括多个域服务控制器和一个计算服务控制器。一个域服务控制器对应一个计算域，域服务控制器用于获取其所对应的计算域的资源参数，并基于任务参数和该计算域的资源参数确定资源方案，资源参数包括计算资源、存储资源和通信资源，资源方案包括该计算域是否用于完成该计算任务以及该计算域分配给该计算任务的计算资源、存储资源和通信资源；所有域服务控制器确定的资源方案组成资源编排方案，则资源编排方案包括用于完成计算任务的目标计算域以及目标计算域分配给计算任务的计算资源、存储资源和通信资源，需要说明的是，若资源方案中指出该计算域用于完成该计算任务，则该计算域即为该计算任务的目标计算域。计算服务控制器用于获取融合网络层的通信资源，并基于资源编排方案和融合网络层的通信资源确定传输调度方案，传输调度方案包括将计算任务传输至目标计算域的时隙和通信资源。
优选的，每一域服务控制器上部署有基于MAPPO（Multi-agent Proximal PolicyOptimization，多智能体近端策略优化）的资源编排算法，基于MAPPO的资源编排算法负责在逻辑层面，根据计算任务的特点（即计算任务的任务参数）和计算域的负载（即计算域的资源参数）选择一定的目标计算域来支持计算任务的处理，并提供目标计算域的识别信息（即目标计算域的IP地址和目标计算域分配给计算任务的计算资源、存储资源和通信资源，目标计算域的IP地址也即目标计算域上部署的目标服务器的IP地址），则域服务控制器以任务参数和计算域的资源参数作为输入，采用基于MAPPO的资源编排算法确定资源方案，以进一步确定资源编排方案。
计算服务控制器上部署有基于D3QN（Dueling Double Deep Q-network，双深度Q网络）的端到端传输调度算法，基于D3QN的端到端传输调度算法结合融合网络层的当前链路状况（即融合网络层的通信资源），根据目标计算域的IP地址确定传输路径，确保数据包确定地到达目标计算域，则计算服务控制器以资源编排方案和融合网络层的通信资源作为输入，采用基于D3QN的端到端传输调度算法确定传输调度方案。调用基于D3QN的端到端传输调度算法，通过动态控制计算任务的传输顺序，实现计算任务的智能灵活调度，以使大模型的计算任务可以优先满足确定性需求，从而实现计算任务的低延迟、高可靠性传输。
在确定资源编排方案和传输调度方案后，计算任务的相关信息(即计算任务的数据、计算任务的任务参数和目标计算域的识别信息)被打包成数据包并在网络上传输，传输至目标计算域，目标计算域接收数据包并执行计算任务，执行结果通过相同的网络路径返回给任务发起者。
本实施例的融合网络层为整个确定性网络架构提供稳定、确定的网络环境，该融合网络层用于根据映射适配层的资源编排方案和传输调度方案，将计算任务确定性地传输到指定的目标计算域，满足有界延迟、有界抖动和有界丢包的服务需求。
具体的，本实施例的融合网络层采用时间敏感网络(time-sensitivenetworking，TSN)、确定性网络（deterministic networking，DetNet）和5G技术的融合网络架构，以支持无线和有线确定性传输。对于一个计算任务，利用上述融合网络层去实现它的确定性传输，计算任务首先在局域网内传输，经过TSN交换机传到DetNet里面，这一过程使用的是有线传输（使用路由器进行转发），计算任务可能离数据中心（即计算域的集合）比较远，则需要从DetNet传输到基站，基站再传给数据中心，这一过程使用的是无线传输，从而实现无线和有线确定性传输。TSN可以保证局域网内所有设备按照相同的调度列表发送和接收数据包，从而保证数据包的传输延迟是可预测的。DetNet允许将特定资源(如带宽和队列)分配给广域网中的关键流量(如时间敏感流)，从而减少延迟并提高可靠性。5G技术通过使用更高的频带、更多的天线和先进的调制技术，提供高带宽和大容量的数据传输能力。上述三种技术相结合，以满足大模型服务的严格要求。
本实施例还在TSN的交换机或DetNet的路由器中部署确定性传输机制，确定性传输机制为时间感知整形器TAS、循环队列转发CQF或基于信用的整形器CBS。循环队列转发用于构建传输排队模型，实现任务的优先级传输，CQF由一个循环定时器和两个传输队列组成，队列状态(即打开或关闭)可以根据奇偶校验时隙进行切换。对于每个时隙，一个队列可以发送数据包，另一个队列可以接收数据包。通过调整报文队列，可以保证数据包在传输过程中的时延。
更为具体的，本实施例的融合网络层包括依次连接的时间敏感网络和融合5G技术的确定性网络，融合5G技术的确定性网络是指利用5G技术的更高的频带、更多的天线和先进的调制技术替换确定性网络中原本的频带、天线和调制技术。其中，时间敏感网络的交换机或融合5G技术的确定性网络的路由器中部署有时间感知整形器、循环队列转发或基于信用的整形器。利用5G技术提供高带宽、大容量的数据传输能力，共同满足计算任务的确定性传输需求。
大模型由于其独特的特性，在无线网络中广泛部署和应用面临着许多挑战，挑战还包括构建大模型需要边缘计算、云计算和网络内计算的协同，以支持对计算资源有更高需求的大模型服务。本实施例在通用服务层上部署了计算服务器CS和多个域服务器DS，CS在云端，即云计算，DS是边缘服务器，理解为边缘计算，在利用融合网络层对计算任务进行传输转发的时候，利用计算赋能的路由器处理小的计算任务，可被理解为网络内计算，从而可实现边缘计算、云计算和网络内计算的协同。
本实施例根据所设计的确定性网络架构每一层的需求，提供了基于深度强化学习（deep reinforcement learning，DRL)的跨域计算资源编排和确定性传输算法，包括：动态资源感知、基于MAPPO的资源编排算法和基于D3QN的端到端传输调度算法。动态资源感知用于获取和分析底层异构资源信息，实现对通信资源和计算资源的感知，实时感知复杂网络环境下计算资源和通信资源的可用容量的动态变化，以保证通信计算一体化网络能够获得准确的资源信息，构建一个支持资源编排和传输调度协同的匹配***，从而完成域服务控制器获取计算域的资源参数以及计算服务控制器获取融合网络层的通信资源的过程，基于MAPPO的资源编排算法用于完成域服务控制器生成资源编排方案的过程，基于D3QN的端到端传输调度算法用于完成计算服务控制器生成传输调度方案的过程。
具体的，动态资源感知包括信息采集和特征分析。
信息采集：CSC从融合网络层中实时感知网络资源信息，包括链路容量（即链路带宽）。DSC从部署在多个计算域的服务器上实时感知各种资源信息，包括CPU频率、网络带宽、可用资源、剩余能源、利用价格等，CPU频率属于计算资源，网络带宽属于通信资源，本实施例用CPU频率来表示服务器总的计算资源，对于一个服务器来讲，它可能在执行别的计算任务，占用了一部分计算资源，所以可用资源是指该服务器剩余可以用的计算资源，故可用资源属于计算资源，剩余能源指的是服务器的电池电量，是否可以支撑下一个计算任务，利用价格指的是部署该服务器的成本。
特征分析：CSC通过长期统计特征分析，从感知的网络资源信息中提取资源特征(如CPU或GPU)，得到融合网络层的通信资源，并实时监控(如状态、负载、可用性)，以对融合网络层的通信资源进行更新。DSC通过长期统计特征分析，从感知的各种资源信息中提取资源特征(如CPU或GPU)，得到计算域的资源参数，并实时监控(如状态、负载、可用性)，以对计算域的资源参数进行更新。特征分析过程属于现有成熟技术，在此不再赘述。
基于MAPPO的资源编排算法部署在DSC，DSC利用基于MAPPO的资源编排算法，根据资源特性与任务需求的动态匹配，选择最优的资源供给，制定并执行资源编排，以进行自动决策，生成资源方案，同时通过持续学习逐步提高资源编排能力，优化资源分配效率，以进行持续优化。具体的，基于MAPPO的资源编排算法包括：在每一DSC部署一个学习代理，多个学习代理共同感知当前网络环境的资源状态，通过学习代理之间的迭代交互，获得全局最优的资源编排方案，学习代理之间通过迭代交互，采用协同学习的方式，共同优化资源编排方案，学习代理之间共享彼此的决策信息，学习代理之间定期进行全局信息的共享和汇总，以了解其他学习代理的决策和资源方案。通过多次迭代，学习代理逐渐调整其局部策略，试图达到全局最优的资源编排。其中，每个学习代理观察当前资源状态，将多维资源分配给相应的计算任务，通过参与者决策，例如，应该调度到哪个计算域以及该计算域中使用了多少资源，得到资源方案，并执行资源方案来处理计算任务，根据整体资源利用率获得奖励，其中更合理地利用分散计算资源的资源方案获得的奖励更高，利用奖励来对学习代理的网络参数进行更新，以进行优化。
更为具体的，如图2所示，基于MAPPO的资源编排算法包括如下步骤。
（1）部署学习代理。
在每一DSC部署一个学习代理，感知当前网络环境的资源状态。
（2）学习代理观察当前资源状态。
学习代理通过观察当前资源状态可得知由DSC的聚合信息组成的环境状况，采用多智能体学习框架，其中每个DSC可以视为单个智能体，当前资源状态可以定义为，/>是DSCm感知到的状态信息，也即第一状态信息，为由所有DSC组成的集合，cm，om和bm分别表示第m个计算域（即第m个DSC对应的计算域）的计算资源、存储资源和通信资源，ti和ei分别表示第i个计算任务可接受的延迟和所需的计算资源(例如处理器内核的数量)，计算任务的时延信息是通过流表预先配置的，I为所有计算任务的集合。
（3）DSC对计算任务的资源编排进行决策。
将决策定义为，其中，/>表示DSCm的调度决策，即是否将计算任务调度到计算域m，/>表示资源分配决策，am,i和dm,i即为DSCm的资源方案，其中，pm,i，gm,i和nm,i分别表示计算域m分配给计算任务i的计算资源、存储资源和通信资源。
（4）获得奖励并评估资源编排方案。
学习代理从集成网络环境中获得奖励，分别评估其在特定状态下的资源编排方案。本实施例中，奖励函数用于指导DSCm计算资源方案的优化，以计算域整体资源利用率最大化为目标，奖励函数定义为，其中，/>，/>和um分别是第m个计算域的目标资源利用率和实际资源利用率。目标资源利用率是人为设定的，实际资源利用率是计算任务所需要的资源/可用的资源，具体的，/>。
基于D3QN的端到端传输调度算法部署在CSC，CSC利用基于D3QN的端到端传输调度算法，根据资源特性与任务需求的动态匹配，选择最优的资源供给，制定并执行传输调度方案，以进行自动决策，同时通过持续学习逐步提高资源调度能力，优化资源分配效率，以进行持续优化。具体的，基于D3QN的端到端传输调度算法包括：采用集中式学习架构在CSC部署学习代理，学习代理感知确定性网络环境下TSN交换机和通信链路资源的状态，并获取计算任务的源地址和目的地址，进行任务传输调度决策(如CQF队列选择和频谱资源分配)，根据***成本获得奖励，其中满足时延、抖动和丢包等确定性要求的传输调度方案将获得更高的奖励，根据奖励来更新学习代理的网络参数，以进行优化。
更为具体的，如图3所示，基于D3QN的端到端传输调度算法包括如下步骤。
（1）部署学习代理。
采用集中式学习架构，在CSC部署学习代理，感知确定性网络环境下TSN交换机和通信链路资源的状态。
（2）学习代理观察当前网络状态。
当前网络状态可以定义为，其中，/>是CSC在时隙k中感知到的状态信息，也即第二状态信息，/>为时隙的集合；CTSN为TSN链路容量，C5G为5G链路容量，/>，/>和Ti分别表示第i个计算任务的源地址、目的地址和可接受的延迟。
（3）CSC进行任务传输调度决策。
CSC对计算任务的确定性传输调度和路径优化的决策可以定义为，其中，/>是CQF的队列状态，如果qk,i=0，则第一个CQF队列在时隙k中关闭，即停止发送，否则qk,i=1，/>为当前时隙分配的5G频谱资源量，bmin和bmax分别为5G频谱资源量的下限和上限。
（4）根据***成本获得奖励。
奖励函数指导CSC中确定性传输调度的策略优化，奖励函数定义为，其中，其中，D为数据包大小，B为重传占用的带宽资源，/>和/>分别为权重因子。D和B在数据包传输中就可以确定，数据包大小就在数据包包头。
本实施例公开了一种面向智能应用的确定性网络架构，该确定性网络架构是一种算网融合架构，包括面向智能应用的新型网络架构以及基于深度强化学习的资源编排和确定性传输调度算法，在对计算任务进行定量描述的基础上，通过资源编排和传输调度，以将大模型在三个阶段产生的不同计算任务，通过适当的传输路径，传输到相应的目标计算域进行处理，以实现在保证有限延迟、抖动和数据包丢失的同时又可有效地支持跨生命周期的大模型服务。
利用通信和计算融合的思想提出了一种面向智能应用的新型网络架构，以支持大模型服务的低延迟要求，该架构包括通用服务层，映射适配层，融合网络层三个层次，层次间相互协同实现大模型参数传输、网络和计算映射以及确定性通信的传输调度。即面向智能应用的新型网络架构包括：通用服务层、映射适配层以及融合网络层，通用服务层实现大模型在训练、部署、推理三阶段生成的计算任务描述和表示，映射适配层将通信和计算进行融合，实现动态的资源编排和传输调度，融合网络层根据映射适配层的资源编排和传输调度策略，将计算任务确定性地传输到指定计算域，满足有界延迟、抖动和丢包的服务需求。上述提供的面向智能应用的新型网络架构，使各层各功能具备独立或协同的确定性保障能力，通过通用服务层、映射适配层与融合网络层三个层次间的需求传递、信息共享，充分利用了通信和计算的协同作用，提高计算效率，保证传输延迟，实现了网络内外计算资源的统一管理和协同调度，促进了大型人工智能模型的构建和应用。
基于深度强化学习的资源编排和确定性传输调度算法包括：动态资源感知、基于MAPPO的资源编排算法与基于D3QN的端到端传输调度算法，本实施例提供的基于DRL的跨域计算资源编排和确定性传输算法服务于上述三层网络架构，跨域计算资源编排算法解决了大模型不同阶段的资源编排问题，通过代理间的分布式学习和战略协作，可以根据不同阶段的需求动态优化计算域中的计算资源分配，保证了训练、部署和推理的高效运行。确定性传输调度算法实现了对于时间敏感和关键的数据处理任务的高效传输调度，保证了计算任务的低延迟、高可靠性传输。
本实施例提供的新型网络架构以及资源编排和确定性传输调度算法，提高了计算效率，保证了传输延迟并实现了网络内外计算资源的统一管理和协同调度，有效促进大模型的构建和应用。
实施例2：本实施例用于提供一种实施例1所述的一种面向智能应用的确定性网络架构的工作方法，如图4所示，包括以下步骤。
S1：通用服务层获取智能应用的大模型在训练阶段、部署阶段或推理阶段生成的计算任务的任务参数；所述任务参数包括数据量、传输速度、传输时间、计算资源需求和通信资源需求。
S2：映射适配层基于所述任务参数确定资源编排方案，并基于所述资源编排方案确定传输调度方案；所述资源编排方案包括用于完成所述计算任务的目标计算域以及所述目标计算域分配给所述计算任务的计算资源、存储资源和通信资源；所述传输调度方案包括将所述计算任务传输至所述目标计算域的时隙和通信资源。
S3：融合网络层基于所述传输调度方案将所述计算任务传输至所述目标计算域。
其中，映射适配层基于所述任务参数确定资源编排方案，并基于所述资源编排方案确定传输调度方案，具体包括以下步骤。
映射适配层的每一域服务控制器获取一计算域的资源参数，并以所述任务参数和计算域的资源参数作为输入，利用基于MAPPO的资源编排算法确定资源方案；所述资源参数包括计算资源、存储资源和通信资源；所述资源方案包括所述计算域是否用于完成所述计算任务以及所述计算域分配给所述计算任务的计算资源、存储资源和通信资源；所有域服务控制器确定的资源方案组成资源编排方案。
映射适配层的计算服务控制器获取所述融合网络层的通信资源，并以所述资源编排方案和所述融合网络层的通信资源作为输入，利用基于D3QN的端到端传输调度算法确定传输调度方案。
其中，以所述任务参数和计算域的资源参数作为输入，利用基于MAPPO的资源编排算法确定资源方案，具体包括以下步骤。
基于所述任务参数和计算域的资源参数生成第一状态信息；所述第一状态信息包括计算任务的可接受的延迟和计算资源需求以及计算域的资源参数。
基于所述第一状态信息确定资源方案。
其中，以所述资源编排方案和所述融合网络层的通信资源作为输入，利用基于D3QN的端到端传输调度算法确定传输调度方案，具体包括以下步骤。
基于所述资源编排方案和所述融合网络层的通信资源生成第二状态信息；所述第二状态信息包括计算任务的源地址、目的地址和可接受的延迟以及TSN链路容量和5G链路容量。
基于所述第二状态信息确定传输调度方案。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种面向智能应用的确定性网络架构，其特征在于，包括：
通用服务层，用于获取智能应用的大模型在训练阶段、部署阶段或推理阶段生成的计算任务的任务参数；所述任务参数包括数据量、传输速度、传输时间、计算资源需求和通信资源需求；
映射适配层，用于基于所述任务参数确定资源编排方案，并基于所述资源编排方案确定传输调度方案；所述资源编排方案包括用于完成所述计算任务的目标计算域以及所述目标计算域分配给所述计算任务的计算资源、存储资源和通信资源；所述传输调度方案包括将所述计算任务传输至所述目标计算域的时隙和通信资源；
融合网络层，用于基于所述传输调度方案将所述计算任务传输至所述目标计算域。
2.根据权利要求1所述的一种面向智能应用的确定性网络架构，其特征在于，所述通用服务层包括一个计算服务器和多个域服务器，以完成大模型的分布式训练；
所述计算服务器用于接收来自各个所述域服务器的更新后的模型参数，得到全局模型参数；
所述域服务器用于接收所述全局模型参数，并对大模型进行局部训练，得到更新后的模型参数。
3.根据权利要求1所述的一种面向智能应用的确定性网络架构，其特征在于，所述映射适配层包括多个域服务控制器和一个计算服务控制器；每一所述域服务控制器对应一计算域；
所述域服务控制器用于获取所述计算域的资源参数，并基于所述任务参数和所述计算域的资源参数确定资源方案；所述资源参数包括计算资源、存储资源和通信资源；所述资源方案包括所述计算域是否用于完成所述计算任务以及所述计算域分配给所述计算任务的计算资源、存储资源和通信资源；所有所述资源方案组成资源编排方案；
所述计算服务控制器用于获取所述融合网络层的通信资源，并基于所述资源编排方案和所述融合网络层的通信资源确定传输调度方案。
4.根据权利要求3所述的一种面向智能应用的确定性网络架构，其特征在于，所述域服务控制器上部署有基于MAPPO的资源编排算法；所述计算服务控制器上部署有基于D3QN的端到端传输调度算法。
5.根据权利要求1所述的一种面向智能应用的确定性网络架构，其特征在于，所述融合网络层包括依次连接的时间敏感网络和融合5G技术的确定性网络；所述时间敏感网络的交换机或所述融合5G技术的确定性网络的路由器中部署有时间感知整形器、循环队列转发或基于信用的整形器。
6.一种权利要求1-5任一项所述的一种面向智能应用的确定性网络架构的工作方法，其特征在于，包括：
通用服务层获取智能应用的大模型在训练阶段、部署阶段或推理阶段生成的计算任务的任务参数；所述任务参数包括数据量、传输速度、传输时间、计算资源需求和通信资源需求；
映射适配层基于所述任务参数确定资源编排方案，并基于所述资源编排方案确定传输调度方案；所述资源编排方案包括用于完成所述计算任务的目标计算域以及所述目标计算域分配给所述计算任务的计算资源、存储资源和通信资源；所述传输调度方案包括将所述计算任务传输至所述目标计算域的时隙和通信资源；
融合网络层基于所述传输调度方案将所述计算任务传输至所述目标计算域。
7.根据权利要求6所述的一种面向智能应用的确定性网络架构的工作方法，其特征在于，映射适配层基于所述任务参数确定资源编排方案，并基于所述资源编排方案确定传输调度方案，具体包括：
映射适配层的每一域服务控制器获取计算域的资源参数，并以所述任务参数和所述计算域的资源参数作为输入，利用基于MAPPO的资源编排算法确定资源方案；所述资源参数包括计算资源、存储资源和通信资源；所述资源方案包括所述计算域是否用于完成所述计算任务以及所述计算域分配给所述计算任务的计算资源、存储资源和通信资源；所有所述资源方案组成资源编排方案；
映射适配层的计算服务控制器获取所述融合网络层的通信资源，并以所述资源编排方案和所述融合网络层的通信资源作为输入，利用基于D3QN的端到端传输调度算法确定传输调度方案。
8.根据权利要求7所述的一种面向智能应用的确定性网络架构的工作方法，其特征在于，以所述任务参数和所述计算域的资源参数作为输入，利用基于MAPPO的资源编排算法确定资源方案，具体包括：
基于所述任务参数和所述计算域的资源参数生成第一状态信息；所述第一状态信息包括计算任务的可接受的延迟和计算资源需求以及所述计算域的资源参数；
基于所述第一状态信息确定资源方案。
9.根据权利要求7所述的一种面向智能应用的确定性网络架构的工作方法，其特征在于，以所述资源编排方案和所述融合网络层的通信资源作为输入，利用基于D3QN的端到端传输调度算法确定传输调度方案，具体包括：
基于所述资源编排方案和所述融合网络层的通信资源生成第二状态信息；所述第二状态信息包括计算任务的源地址、目的地址和可接受的延迟以及TSN链路容量和5G链路容量；
基于所述第二状态信息确定传输调度方案。
CN202410069439.3A 2024-01-18 2024-01-18 一种面向智能应用的确定性网络架构及其工作方法 Active CN117596605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410069439.3A CN117596605B (zh) 2024-01-18 2024-01-18 一种面向智能应用的确定性网络架构及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410069439.3A CN117596605B (zh) 2024-01-18 2024-01-18 一种面向智能应用的确定性网络架构及其工作方法

Publications (2)

Publication Number Publication Date
CN117596605A true CN117596605A (zh) 2024-02-23
CN117596605B CN117596605B (zh) 2024-04-12

Family

ID=89913639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410069439.3A Active CN117596605B (zh) 2024-01-18 2024-01-18 一种面向智能应用的确定性网络架构及其工作方法

Country Status (1)

Country Link
CN (1) CN117596605B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118018382A (zh) * 2024-04-09 2024-05-10 南京航空航天大学 大规模广域开放网络中分布式确定性控制器协同管理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278708A (zh) * 2022-07-25 2022-11-01 中国电子科技集团公司第五十四研究所 一种面向联邦学习的移动边缘计算资源管理方法
CN116089079A (zh) * 2023-01-03 2023-05-09 哈尔滨暖一杯茶科技有限公司 一种基于大数据的计算机资源分配管理***及方法
CN116204327A (zh) * 2023-05-06 2023-06-02 阿里巴巴（中国）有限公司 分布式***通信调度方法及分布式机器学习***
CN117176655A (zh) * 2023-09-26 2023-12-05 重庆大学 面向工业互联网的5g和tsn协同流调度***及方法
CN117311973A (zh) * 2023-10-10 2023-12-29 中国电信股份有限公司 计算设备调度方法、装置、非易失性存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278708A (zh) * 2022-07-25 2022-11-01 中国电子科技集团公司第五十四研究所 一种面向联邦学习的移动边缘计算资源管理方法
CN116089079A (zh) * 2023-01-03 2023-05-09 哈尔滨暖一杯茶科技有限公司 一种基于大数据的计算机资源分配管理***及方法
CN116204327A (zh) * 2023-05-06 2023-06-02 阿里巴巴（中国）有限公司 分布式***通信调度方法及分布式机器学习***
CN117176655A (zh) * 2023-09-26 2023-12-05 重庆大学 面向工业互联网的5g和tsn协同流调度***及方法
CN117311973A (zh) * 2023-10-10 2023-12-29 中国电信股份有限公司 计算设备调度方法、装置、非易失性存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONG YANG等: "DetFed: Dynamic Resource Scheduling for Deterministic Federated Learning over Time-sensitive Networks", IEEE TRANSACTIONS ON MOBILE COMPUTING, 7 August 2023 (2023-08-07), pages 1 - 17 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118018382A (zh) * 2024-04-09 2024-05-10 南京航空航天大学 大规模广域开放网络中分布式确定性控制器协同管理方法

Also Published As

Publication number Publication date
CN117596605B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
Sun et al. Dynamic reservation and deep reinforcement learning based autonomous resource slicing for virtualized radio access networks
Ascigil et al. On uncoordinated service placement in edge-clouds
Hu et al. BalanceFlow: Controller load balancing for OpenFlow networks
Tayyaba et al. Resource allocation in SDN based 5G cellular networks
Qiu et al. A novel QoS-enabled load scheduling algorithm based on reinforcement learning in software-defined energy internet
CN117596605B (zh) 一种面向智能应用的确定性网络架构及其工作方法
JP2018508137A (ja) Ｓｄｔがｎｆｖ及びｓｄｎと連携するためのシステム及び方法
CN111953510A (zh) 一种基于强化学习的智能电网切片无线资源分配方法及***
Zhou et al. Learning from peers: Deep transfer reinforcement learning for joint radio and cache resource allocation in 5G RAN slicing
Zhou et al. Automatic network slicing for IoT in smart city
Ndiaye et al. SDNMM—A generic SDN-based modular management system for wireless sensor networks
Qadeer et al. Flow-level dynamic bandwidth allocation in SDN-enabled edge cloud using heuristic reinforcement learning
Wang et al. A survey on resource scheduling for data transfers in inter-datacenter WANs
Lehong et al. A survey of LoRaWAN adaptive data rate algorithms for possible optimization
Abusubaih Intelligent wireless networks: challenges and future research topics
Celsi et al. A Q-Learning based approach to Quality of Experience control in cognitive Future Internet networks
Ferrús Ferré et al. Machine learning-assisted cross-slice radio resource optimization: Implementation framework and algorithmic solution
Alipio et al. SDN-enabled value-based traffic management mechanism in resource-constrained sensor devices
Wu et al. QoS provisioning in space information networks: Applications, challenges, architectures, and solutions
Raftopoulos et al. DRL-based Latency-Aware Network Slicing in O-RAN with Time-Varying SLAs
CN115225512A (zh) 基于节点负载预测的多域服务链主动重构机制
Javadi et al. A multi-path cognitive resource management mechanism for QoS provisioning in wireless mesh networks
Lin et al. Zero-Touch Network on Industrial IoT: An End-to-End Machine Learning Approach
Shillingford et al. A framework for route configurability in power-constrained wireless mesh networks
Sedaghat et al. R2T-DSDN: reliable real-time distributed controller-based SDN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant