CN115604119A - 网络切片配置方法及装置、计算机可存储介质 - Google Patents

Abstract

本公开涉及网络切片配置方法及装置、计算机可存储介质，涉及通信技术领域。网络切片配置方法包括：接收用于请求配置网络切片的切片请求信息；根据所述切片请求信息和基站的网络状态，利用深度强化学习模型，以网络切片的切片质量满足质量条件为目标，确定目标切片分配方案；执行所述目标切片分配方案，完成网络切片配置。根据本公开，可以提高网络切片的可靠性，防止网络过载。

Description

网络切片配置方法及装置、计算机可存储介质

技术领域

本公开涉及通信技术领域，特别涉及网络切片配置方法及装置、计算机可存储介质。

背景技术

伴随着云网融合技术的深入，核心网功能单元已经开始逐步云化，利用通用设备替代专用网络设备的研究也在稳步推进。面向未来网络业务多样化、内生设计和开放生态的需求，网络智能化是重要的网络演进路线。网络切片作为5G网络的重要组成部分，也得到了很多的关注。

相关技术中，根据用户的请求，分辨出与用户所请求的网络切片，以完成相应的配置下发，实现切片功能。

发明内容

相关技术中，缺少智能化的因素，容易导致切片后的网络出现过载或者可靠性降低等问题。例如，仅依据用户的请求进行网络切片配置，可能会出现一个网络切片同时支撑多个同一类型的业务的情况。由于对业务无法做到准确的动态信息的获取，会导致切片能提供的带宽小于当前切片上运行的业务的总带宽，同时大量的业务会造成业务在切片节点上的排队和竞争现象，间接会造成可靠性的下降。

针对上述技术问题，本公开提出了一种解决方案，可以提高网络切片的可靠性，防止网络过载。

根据本公开的第一方面，提供了一种网络切片配置方法，包括：接收用于请求配置网络切片的切片请求信息；根据所述切片请求信息和基站的网络状态，利用深度强化学习模型，以网络切片的切片质量满足质量条件为目标，确定目标切片分配方案；执行所述目标切片分配方案，完成网络切片配置。

在一些实施例中，所述网络切片的切片质量采用质量评估值表示，所述深度强化学习模型的奖励值根据网络切片的质量评估值的累积值确定，所述深度强化学习模型的动作包括目标切片分配方案，所述深度强化学习模型的状态包括基站的网络状态。

在一些实施例中，网络切片配置方法，还包括：根据基站的网络状态，确定用于评估网络切片的切片质量的至少一个评估参数的参数值，每个评估参数对应一个参数权重，该参数权重表征所述每个评估参数在评估网络切片的切片质量过程中的重要程度；根据至少一个参数值及其对应的参数权重，确定网络切片的质量评估值。

在一些实施例中，网络切片配置方法，还包括：构建第一模糊矩阵，所述第一模糊矩阵中的第i行第j列的元素值表征第i个评估参数相对于第j个评估参数的重要程度；对于每个评估参数，根据所述第一模糊矩阵，确定所述每个评估参数相对于其他评估参数的重要程度的和，作为所述每个评估参数相对于其他评估参数的复合重要程度；根据所述每个评估参数相对于其他评估参数的复合重要程度，构建第二模糊矩阵，所述第二模糊矩阵中的第i行第j列的元素根据第i个评估参数所对应的复合重要程度与第j个评估参数所对应的复合重要程度的差值确定；根据所述第二模糊矩阵，确定每个评估参数的参数权重。

在一些实施例中，第二模糊矩阵中的第i行第j列的元素为

其中，r_i表示第i个评估参数相对于其他评估参数的复合重要程度，r_j表示第j个评估参数相对于其他评估参数的复合重要程度，n为第二模糊矩阵的维度。

在一些实施例中，确定每个评估参数的参数权重包括：确定第i个评估参数的参数权重为

在一些实施例中，每个评估参数的参数权重为用户预先配置的值。

在一些实施例中，所述至少一个评估参数包括网络负载、网络抖动、网络时延、网络拥塞、网络切片的可靠性和业务参数中的至少一种。

在一些实施例中，确定网络切片的质量评估值包括：利用至少一个参数权重，对所述至少一个参数值进行加权操作，得到网络切片的质量评估值。

在一些实施例中，所述质量条件包括所述累积值最大。

根据本公开第二方面，提供了一种网络切片配置装置，包括：接收模块，被配置为接收用于请求配置网络切片的切片请求信息；确定模块，被配置为根据所述切片请求信息和基站的网络状态，利用深度强化学习模型，以网络切片的切片质量满足质量条件为目标，确定目标切片分配方案；执行模块，被配置为执行所述目标切片分配方案，完成网络切片配置。

根据本公开第三方面，提供了一种网络切片配置装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行上述任一实施例所述的网络切片配置方法。

根据本公开的第四方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任一实施例所述的网络切片配置方法。

在上述实施例中，可以提高网络切片的可靠性，防止网络过载。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1是示出根据本公开一些实施例的网络切片配置方法的流程图；

图2是示出根据本公开一些实施例的网络切片配置方法的流程示意图；

图3是示出根据本公开一些实施例的网络切片配置装置的框图；

图4是示出根据本公开另一些实施例的网络切片配置装置的框图；

图5是示出用于实现本公开一些实施例的计算机***的框图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1是示出根据本公开一些实施例的网络切片配置方法的流程图。

如图1所示，网络切片配置方法包括：步骤S110，接收用于请求配置网络切片的切片请求信息；步骤S120，根据所述切片请求信息和基站的网络状态，利用深度强化学习模型，以网络切片的切片质量满足质量条件为目标，确定目标切片分配方案；和步骤S130，执行所述目标切片分配方案，完成网络切片配置。

在上述实施例中，在切片配置过程中考虑基站的网络状态，并利用深度强化学习模型，将分配切片的问题转换为马尔可夫决策问题，以网络切片的切片质量满足质量条件为目标进行切片配置，从而可以实现智能化的动态切片配置，使得在当前网络情况下可以为用户提供尽可能好的服务质量，提高网络切片的可靠性，防止网络过载，可以保证切片的质量，并提高用户体验。网络切片的按需定制、快速部署和动态保障的属性，支撑了多种新型应用场景的落地。

在步骤S110中，接收用于请求配置网络切片的切片请求信息。例如，切片的请求信息或数据包括请求切片的业务类型(视频业务或语音业务)、业务请求网络带宽、网络抖动、链路可靠性等参数。

在步骤S120中，根据所述切片请求信息和基站的网络状态，利用深度强化学***均吞吐量、PDU(Protocol Data Unit，协议数据单元)会话请求建立数量、PDU会话请求建立成功数量。

在一些实施例中，目标切片分配方案包括接入业务所用时隙、预留PRB资源的资源量、所选择的链路和节点等。

在一些实施例中，网络切片的切片质量采用质量评估值表示，所述深度强化学习模型的奖励值根据网络切片的质量评估值的累积值确定，所述深度强化学习模型的动作包括目标切片分配方案，所述深度强化学习模型的状态(即状态参数)包括基站的网络状态。例如，所述质量条件包括所述累积值最大。以质量评估值表示为E为例，深度强化学习模型的回报函数表示为reward＝∑E，即E的累积值。

对于深度强化学习模型，训练过程如下：

首先，基站预先分配资源到用户，并按照调度需求形成配置参数，调度完成后计算当前网络切片质量E，并获取当前的网络状态作为初始的状态s。

其次，根据DQN算法进行迭代的训练，迭代的过程中均会完成下述过程：首先根据DQN的策略随机选择一个切片分配策略，之后执行该切片分配策略，然后计算出切片质量E，再次更新当前的网络状态，作为下一个状态s'。DQN训练的四要素分别为s、a、s'和r，其中，a为当前的动作，即为当前的分配策略，r是奖励值(E的累积值)。

例如，当采用RIC实现该过程中，需要分配足够的计算和存储资源，首先需要建立动作a的集合。例如，设置动作a有三种方案(a1，a2，a3)，根据所选择的质量评估方案分别计算在当前网络状态s(网络状态s可以为当前网络的带宽、传输时延等数据)的条件下，动作分别是a1、a2、a3时的奖励值r。然后，更新当前的网络状态为s'，继续计算在s'下，动作集合a中的各个动作的奖励，并计算累积奖励rt。rt的计算方法为上一次策略的奖励与接下来策略奖励相加。

强化学习的训练过程包括了四个参数，s、a、s'和r，s和s'是当前环境的状态，即RAN当时的网络状态、s和s'的区别是s是切片请求到来之前的网络状态，s'是切片请求到来之后的网络状态。在请求被接受的情况下，RAN当前的状态必然会发生变化。a是一个动作集合，表示了一个切片请求到达后所有的网络切片策略，r是在当前状态s下选择动作集合a中某一动作后的收益，也就是奖励r。训练的过程就是在当前状态s下，随机选择动作a，计算出来奖励r1，在下一时刻状态变成s'后继续随机选择动作a，得到奖励r2，一直持续到不能再接收切片请求后，计算累计奖励r，即所有r的累和。该过程就是不断的去尝试，找到在当前状态下的应当选择的累积奖励最高的动作。强化学习模型的输入就是切片请求(包括带宽、时延等要求)，其输出参数是某个RAN节点和针对这个RAN节点的PRB分配。

然后，经过预先设置的迭代次数(如10000次)，训练出性能较好的神经网络。

最后，根据训练出的DQN模型，得到切片质量较高的分配策略并生成相应的切片配置。

在一些实施例中，网络切片的质量评估值通过如下方式确定。

首先，根据基站的网络状态，确定用于评估网络切片的切片质量的至少一个评估参数的参数值。每个评估参数对应一个参数权重，该参数权重表征所述每个评估参数在评估网络切片的切片质量过程中的重要程度。在一些实施例中，至少一个评估参数包括网络负载、网络抖动、网络时延、网络拥塞、网络切片的可靠性和业务参数中的至少一种。

在一些实施例中，基站的网络状态为RAN(Radio Access Network，无线接入网)的网络状态。例如，采用O-RAN(开放式无线电接入网，Open Radio Access Network)中的RIC(RAN Intelligent Controller，近实时无线接入网智能控制器)作为网络控制器，则需要通过E2接口采集RAN侧当前的状态信息。

在一些实施例中，对于网络负载L，可以预先设置物理网络负载阈值，若新切片加入并映射到物理网络中，会造成所映射域内(例如接入网)的物理网络的网络负载值超过物理网络负载阈值，则L为1。若网络负载值低于物理网络负载阈值，则L为0。例如，预设置的物理网络负载阈值为80％。

在一些实施例中，对于网络抖动J，在新切片加入后，如果映射到物理网络中，会造成所映射域内(例如接入网)物理网络的抖动超过了正常的阈值，则J＝0；若抖动仍然在正常范围内，J＝1。针对抖动的测量能够在网络切片映射物理后，进而运行一段时间后进行评估。

在一些实施例中，对于网络时延T，若因新切片的引入，会造成所映射域内(例如接入网)物理网络中引入了新的时延，若在新引入切片后的时延超出业务需求的时延，则T＝0；若未超出业务需求时延，则T＝1。

在一些实施例中，对于网络拥塞N，若新切片在映射时，若大量的数据涌入物理网络导致网络传输出现了拥塞，则N＝0；若网络依然正常，未出现拥塞，则N＝1。

在一些实施例中，对于可靠性R，新切片在被引入物理网络后，评估其在生命周期内的可靠性参数，若符合可靠性的要求，则R＝1；未能满足可靠性需求的话，R＝0。

在一些实施例中，对于其他代表业务属性的参数B，如引入切片后进行视频传输时，对图像的PSNR等参数的要求满足参数的需求B＝1，未满足时，B＝0。

然后，根据至少一个参数值及其对应的参数权重，确定网络切片的质量评估值。例如，利用至少一个参数权重，对所述至少一个参数值进行加权操作，得到网络切片的质量评估值。

在一些实施例中，在使用上述评估参数评估网络切片的质量E(质量评估值)的时候，可以选择一个或者多个评估参数进行评估。评估表达式例如为E＝w₁×L+w₂×J+w₃×T+…),其中N为所选择评估参数的数量，w₁、w₂、w₃,…分为别评估参数的权重系数，权重系数越大，表示该系数越重要，反之依然。例如，一项网络切片中选择了L、J、T三个评估参数，则E＝w₁×L+w₂×J+w3×T。

在一些实施例中，参数权重通过如下方式确定。

首先，构建第一模糊矩阵，所述第一模糊矩阵中的第i行第j列的元素值表征第i个评估参数相对于第j个评估参数的重要程度。例如，i和j均为大于或等于0的整数。例如，构建第一模糊矩阵A＝(a_ij)_n×n,其中0≤a_ij≤1，a_ii＝1且a_ij+a_ji＝1，矩阵A的数值如下表1，其中，a_ij表示第i个元素和第j个元素间的重要性关系。

例如，第一模糊矩阵A的元素值可以通过表1确定。

表1第一模糊矩阵A的元素值

标度	说明
		0.5	两个元素同等重要
0.6	一个元素比另一个元素稍微重要
		0.7	一个元素比另一个元素明显重要
0.8	一个元素比另一个元素重要的多
		0.9	一个元素比另一个元素重要的多

例如，选择L、J、T为评估参数，a₁₁＝a₂₂＝a₃₃＝1。若L比J明显重要，则a₁₂＝0.7且a₂₁＝1-0.7＝0.3。若L比T重要的多，则a₁₃＝0.8且a₃₁＝1-0.8＝0.2。若J和T同等重要，则a₂₃＝0.5且a₃₂＝1-0.5＝0.5。这种情况下，第一模糊矩阵A表示为：

其次，对于每个评估参数，根据所述第一模糊矩阵，确定所述每个评估参数相对于其他评估参数的重要程度的和，作为所述每个评估参数相对于其他评估参数的复合重要程度。例如，对于第一模糊矩阵A，第i个评估参数相对于其他所有评估参数的重要程度之和表示为

然后，根据所述每个评估参数相对于其他评估参数的复合重要程度，构建第二模糊矩阵。所述第二模糊矩阵中的第i行第j列的元素根据第i个评估参数所对应的复合重要程度与第j个评估参数所对应的复合重要程度的差值确定。例如，第二模糊矩阵表示为B＝(b_ij)_n×n。

在一些实施例中，第二模糊矩阵中的第i行第j列的元素通过矩阵变换表示为

其中，r_i表示第i个评估参数相对于其他评估参数的复合重要程度，r_j表示第j个评估参数相对于其他评估参数的复合重要程度，n为第二模糊矩阵的维度，也是评估参数的总数量。

最后，根据所述第二模糊矩阵，确定每个评估参数的参数权重。在一些实施例中，确定第i个评估参数的参数权重为

各个评估参数的参数权重构成权重向量w＝(w₁,w₂,…,w_n)。

在上述实施例中，通过层次分析法的模糊矩阵消除主观因素对配置方案的影响，进一步提高网络切片的可靠性，防止网络过载。

在一些实施例中，每个评估参数的参数权重也可以为用户预先配置的值。例如，对于存在i个评估参数的情况，w₁+w₂+…+w_i＝1。

在步骤S130中，执行所述目标切片分配方案，完成网络切片配置。

图2是示出根据本公开一些实施例的网络切片配置方法的流程示意图。

如图2所示，网络切片控制单元接收来自UE的切片请求信息(即UE请求收集)并进行收集评估参数和基站侧网络的网络状态。在完成收集过程后，构建网络数据集。利用所构建的网络数据集进行DQN模型训练。训练完成后，安装DQN模型到网络切片控制单元，用于推理。

在网络切片控制单元接收来自UE的新的切片请求的情况下，从基站侧网络获取当前网络状态，并根据UE请求、当前网络状态评估处高奖励值的切片配置参数，最后将配置参数下发到基站侧网络执行。

图3是示出根据本公开一些实施例的网络切片配置装置的框图。

如图3所示，网络切片配置装置3包括接收模块31、确定模块32和执行模块33。

接收模块31被配置为接收用于请求配置网络切片的切片请求信息，例如执行如图1所示的步骤S110。

确定模块32被配置为根据所述切片请求信息和基站的网络状态，利用深度强化学习模型，以网络切片的切片质量满足质量条件为目标，确定目标切片分配方案，例如执行如图1所示的步骤S120。

执行模块33被配置为执行所述目标切片分配方案，完成网络切片配置，例如执行如图1所示的步骤S130。

图4是示出根据本公开另一些实施例的网络切片配置装置的框图。

如图4所示，网络切片配置装置4包括存储器41；以及耦接至该存储器41的处理器42。存储器41用于存储执行网络切片配置方法对应实施例的指令。处理器42被配置为基于存储在存储器41中的指令，执行本公开中任意一些实施例中的网络切片配置方法。

图5是示出用于实现本公开一些实施例的计算机***的框图。

如图5所示，计算机***50可以通用计算设备的形式表现。计算机***50包括存储器510、处理器520和连接不同***组件的总线500。

存储器510例如可以包括***存储器、非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序(Boot Loader)以及其他程序等。***存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行网络切片配置方法中的至少一种的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。

处理器520可以用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。

总线500可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、***组件互连(PCI)总线。

计算机***50还可以包括输入输出接口530、网络接口540、存储接口550等。这些接口530、540、550以及存储器510和处理器520之间可以通过总线500连接。输入输出接口530可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口540为各种联网设备提供连接接口。存储接口550为软盘、U盘、SD卡等外部存储设备提供连接接口。

这里，参照根据本公开实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个框以及各框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可提供到通用计算机、专用计算机或其他可编程装置的处理器，以产生一个机器，使得通过处理器执行指令产生实现在流程图和/或框图中一个或多个框中指定的功能的装置。

这些计算机可读程序指令也可存储在计算机可读存储器中，这些指令使得计算机以特定方式工作，从而产生一个制造品，包括实现在流程图和/或框图中一个或多个框中指定的功能的指令。

本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

通过上述实施例中的网络切片配置方法及装置、计算机可存储介质，可以提高网络切片的可靠性，防止网络过载。

至此，已经详细描述了根据本公开的网络切片配置方法及装置、计算机可存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

Claims (13)

1.一种网络切片配置方法，包括：

接收用于请求配置网络切片的切片请求信息；

根据所述切片请求信息和基站的网络状态，利用深度强化学习模型，以网络切片的切片质量满足质量条件为目标，确定目标切片分配方案；

执行所述目标切片分配方案，完成网络切片配置。

2.根据权利要求1所述的网络切片配置方法，其中，所述网络切片的切片质量采用质量评估值表示，所述深度强化学习模型的奖励值根据网络切片的质量评估值的累积值确定，所述深度强化学习模型的动作包括目标切片分配方案，所述深度强化学习模型的状态包括基站的网络状态。

3.根据权利要求2所述的网络切片配置方法，还包括：

根据基站的网络状态，确定用于评估网络切片的切片质量的至少一个评估参数的参数值，每个评估参数对应一个参数权重，该参数权重表征所述每个评估参数在评估网络切片的切片质量过程中的重要程度；

根据至少一个参数值及其对应的参数权重，确定网络切片的质量评估值。

4.根据权利要求3所述的网络切片配置方法，还包括：

构建第一模糊矩阵，所述第一模糊矩阵中的第i行第j列的元素值表征第i个评估参数相对于第j个评估参数的重要程度；

对于每个评估参数，根据所述第一模糊矩阵，确定所述每个评估参数相对于其他评估参数的重要程度的和，作为所述每个评估参数相对于其他评估参数的复合重要程度；

根据所述每个评估参数相对于其他评估参数的复合重要程度，构建第二模糊矩阵，所述第二模糊矩阵中的第i行第j列的元素根据第i个评估参数所对应的复合重要程度与第j个评估参数所对应的复合重要程度的差值确定；

根据所述第二模糊矩阵，确定每个评估参数的参数权重。

5.根据权利要求4所述的网络切片配置方法，其中，第二模糊矩阵中的第i行第j列的元素为

其中，r_i表示第i个评估参数相对于其他评估参数的复合重要程度，r_j表示第j个评估参数相对于其他评估参数的复合重要程度，n为第二模糊矩阵的维度。

6.根据权利要求5所述的网络切片配置方法，其中，确定每个评估参数的参数权重包括：

确定第i个评估参数的参数权重为

7.根据权利要求3所述的网络切片配置方法，其中，每个评估参数的参数权重为用户预先配置的值。

8.根据权利要求3所述的网络切片配置方法，其中，所述至少一个评估参数包括网络负载、网络抖动、网络时延、网络拥塞、网络切片的可靠性和业务参数中的至少一种。

9.根据权利要求3所述的网络切片配置方法，其中，确定网络切片的质量评估值包括：

利用至少一个参数权重，对所述至少一个参数值进行加权操作，得到网络切片的质量评估值。

10.根据权利要求2所述的网络切片配置方法，其中，所述质量条件包括所述累积值最大。

11.一种网络切片配置装置，包括：

接收模块，被配置为接收用于请求配置网络切片的切片请求信息；

确定模块，被配置为根据所述切片请求信息和基站的网络状态，利用深度强化学习模型，以网络切片的切片质量满足质量条件为目标，确定目标切片分配方案；

执行模块，被配置为执行所述目标切片分配方案，完成网络切片配置。

12.一种网络切片配置装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如权利要求1至10任一项所述的网络切片配置方法。

13.一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求1至10任一项所述的网络切片配置方法。

Images