CN110855468B - 报文发送方法及装置 - Google Patents

Abstract

本申请公开了报文发送方法及装置，涉及云上网络领域，有助于提高云上网络***中客户端虚拟机的IO性能。该方法包括：获取N个CPU缓存和SOC缓存中的报文存储情况；若报文存储情况是N个CPU缓存中的M个CPU缓存中均存储有报文，且SOC缓存中存储有报文，带宽分配装置发送M个CPU缓存中存储的报文至网卡；当M个CPU缓存中存储的报文都发送完之后，再发送SOC缓存中存储的报文至网卡；其中，1≤M≤N，M是整数；或者若报文存储情况是N个CPU缓存中的M个CPU缓存中均存储有报文，但SOC缓存中没有存储报文，带宽分配装置发送M个CPU缓存中存储的报文至网卡。

Description

报文发送方法及装置

技术领域

本申请涉及云上网络(openvswitch，OVS)或(elastic volume service，EVS)领域，尤其涉及报文发送方法及装置。

背景技术

云上网络***中，通常，一个主机上运行多个虚拟机。使用网络流表可以加快网络响应速度，通常情况下网络流表的创建、刷新、查找由主机中的中央处理器(centralprocessing unit，CPU)处理，然而，由于网络流表的刷新、查找都比较频繁，且流表数据量巨大，因此会造成网络流表的刷新、查找都会消耗大量的CPU资源。

目前，针对网络流表的刷新、查找会消耗大量的CPU资源的问题，引入了异构***级芯片(system on chip，SOC)卸载方案。SOC卸载方案下的云上网络***如图1所示，该云上网络***包括：两个CPU(如CPU0和CPU1)，SOC，总线设备(如I/O通道、内存、显卡、声卡、硬盘控制器、硬盘等)和网卡等。这些器件(或设备)之间的连接关系如图1所示。该卸载方案的设计思路是将X16的网卡物理的划分成2个X8接口。一个X8接口用于SOC创建、刷新、查找网络流表，从而降低CPU资源的消耗。另一个X8接口用于CPU的报文传输。但是，此方案中，原本X16带宽的网卡最终只能使用X8的带宽用于CPU的报文传输，这会导致连接至CPU的虚拟机的IO性能变差，从而导致用户体验差。

发明内容

本申请的实施例提供报文发送方法及装置，有助于提高云上网络***中客户端虚拟机的IO性能。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供一种报文发送方法，应用于云上网络***，该云上网络***包含N个中央处理器CPU、片上***SOC、网卡和带宽分配装置，该带宽分配装置分别连接N个CPU、SOC和网卡；该带宽分配装置包括：N个CPU缓存和SOC缓存；一个CPU缓存用于缓存一个CPU发送给带宽分配装置的报文，SOC缓存用于缓存SOC发送给该带宽分配装置的报文；N是正整数；该方法包括：带宽分配装置获取N个CPU缓存和SOC缓存中的报文存储情况；如果该报文存储情况包括N个CPU缓存中的M个CPU缓存中均存储有报文，且SOC缓存中存储有报文，则该带宽分配装置发送M个CPU缓存中存储的报文至网卡；当M个CPU缓存中存储的报文都发送完之后，再发送该SOC缓存中存储的报文至该网卡；其中，1≤M≤N，M是整数；如果报文存储情况包括N个CPU缓存中的M个CPU缓存中均存储有报文，但SOC缓存中没有存储报文，则带宽分配装置发送M个CPU缓存中存储的报文至网卡。这样，带宽分配装置可以优先保证CPU缓存中存储的报文被发送至网卡，避免了由于SOC占用网卡带宽而致使CPU的虚拟机I/O性能差的问题。

在一种可能的设计中，该带宽分配装置发送M个CPU缓存中存储的报文至网卡包括：该带宽分配装置采用第m概率发送该M个CPU缓存中的第m个CPU缓存中存储的报文至该网卡，其中，1≤m≤M；m是整数；第1概率到第M概率之和为1。其中，第m概率是M个CPU缓存中的第m个CPU缓存的概率，第m个CPU缓存的概率是在一次带宽分配装置发送报文的过程中第m个CPU缓存中存储的报文被发送的概率。任意两个CPU缓存的概率可以相同或不同。任意一个CPU缓存的概率可以是用户配置或者SOC指示的。在一种实现方式中，任意一个CPU缓存的概率由用户预先配置在带宽分配装置中。在另一种实现方式中，SOC提前将用户预先配置的任意一个CPU缓存的概率发送给带宽分配装置。可选的，对于每个CPU缓存来说，其概率配置好之后是可以修改的，如SOC可以根据用户的指示修改该CPU缓存的概率，并下发修改后的该CPU缓存的概率给带宽分配装置。这样，就可以按照实际需求设置CPU缓存的概率，使得CPU缓存中存储的报文可以优先被发送至网卡。提升CPU的虚拟机的I/O性能。

在另一种可能的设计中，带宽分配装置采用第m概率发送M个CPU缓存中的第m个CPU缓存中存储的报文至该网卡，包括：该带宽分配装置根据选择算法，从该M个CPU缓存中存储有未发送的报文的CPU缓存中选择一个CPU缓存作为目标CPU缓存，并发送该目标CPU缓存中的报文，直至将该M个CPU缓存中的报文发送完；其中，该选择算法是使得发送该第m个CPU缓存中存储的报文的概率为该第m概率的选择算法。该选择算法可以是基于权重和优先级的仲裁算法。这样，使用特定概率发送CPU缓存中存储的报文，能够保障各个CPU缓存中存储的数据都能被按照特定概率发送至网卡，提升了CPU的虚拟机的I/O性能。

在另一种可能的设计中，带宽分配装置预存有M个CPU中的第一CPU的多个资源中每个资源的第一CPU域属性信息与SOC域属性信息之间的对应关系；其中，每个资源指SOC分配给第一CPU的虚拟资源或物理资源，该属性信息包括地址或总线设备功能标识BDF；该方法还包括：该带宽分配装置根据多个资源中每个资源的第一CPU域属性信息与SOC域属性信息之间的对应关系，确定与第一报文中携带的第一CPU域中的属性信息对应的SOC域中的属性信息；其中，第一报文是第一CPU缓存中的任意一个报文；将第一报文中携带的第一CPU域的属性信息替换为与第一报文中携带的第一CPU域的属性信息对应的SOC域中的属性信息，得到第二报文；该带宽分配装置发送M个CPU缓存中存储的报文至网卡包括：该带宽分配装置发送第二报文至网卡。这样，可以在CPU缓存与SOC缓存共享一个网卡时，解决网卡虚拟资源和物理资源的地址冲突，CPU缓存与SOC缓存共享一个网卡，提升了CPU的虚拟机的I/O性能。

在另一种可能的设计中报文发送方法还包括：该带宽分配装置接收SOC发送的第一资源的SOC域的属性信息，其中该第一资源包括分配给第一CPU的虚拟资源或物理资源；该带宽分配装置接收第一CPU发送的第一资源的第一CPU域的属性信息；该带宽分配装置建立第一资源的SOC域的属性信息与该第一资源的第一CPU域的属性信息之间的对应关系。这样，可以在CPU缓存与SOC缓存共享一个网卡时，解决网卡虚拟资源和物理资源的地址冲突，并将CPU域的属性信息与SOC域的属性信息联系起来，CPU缓存与SOC缓存共享一个网卡，提升了CPU的虚拟机的I/O性能。

在另一种可能的设计中，该方法还包括：如果报文存储情况包括N个CPU缓存中的每个CPU缓存中都没有存储报文，且SOC缓存中存储有报文时，则发送该SOC缓存中存储的报文至网卡。这样，SOC可以在CPU缓存没有存储报文的情况下使用网卡发送报文，实现流表的创建、刷新和查找等动作。提高了网卡的使用效率。

第二方面，提供了一种报文发送方法，应用于云上网络***，该云上网络***包含N个中央处理器CPU、片上***SOC、网卡和带宽分配装置，该带宽分配装置分别连接该N个CPU、该SOC和该网卡；该带宽分配装置包括：N个CPU缓存和SOC缓存；一个CPU缓存用于缓存一个CPU发送给该带宽分配装置的报文，该SOC缓存用于缓存该SOC发送给该带宽分配装置的报文；该N是正整数；该方法包括：该SOC枚举该网卡上的虚拟资源和物理资源；并获取该虚拟资源的属性信息和该物理资源的属性信息；该属性信息包括SOC域的地址或SOC域的总线设备功能标识BDF；该SOC发送该虚拟资源和该物理资源的属性信息至该带宽分配装置；其中，该物理资源的属性信息用于该带宽分配装置建立该物理资源在SOC域的属性信息与该物理资源在CPU域的属性信息之间的对应关系；该虚拟资源用于该带宽分配装置建立该虚拟资源在SOC域的属性信息与该虚拟资源在CPU域的属性信息之间的对应关系；该对应关系用于该带宽分配装置将CPU发送的报文发送至该网卡。这样，SOC不但能够进行资源的分配，而且实现了网卡资源被CPU和SOC共享。这有助于提升CPU上虚拟机的I/O性能。

第三方面，提供了一种带宽分配装置，该带宽分配装置可用于执行上述第一方面的任一种可能的设计提供的任一种方法，示例的，该带宽分配装置可以是芯片或设备等。

在一种可能的设计中，可以根据上述第一方面或第一方面的任一种可能的设计提供的方法对该装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理块中。

在一种可能的设计中，该装置可以包括处理器、存储器和收发器。收发器可以用于报文的接收和发送。存储器用于存储计算机程序。处理器用于调用该计算机程序，以执行第一方面和第一方面的任一种可能的设计提供的任一种方法。该收发器可以是芯片上的引脚或一块电路。

第四方面，提供了一种片上***SOC，该片上***可用于执行上述第二方面的任一种可能的设计提供的任一种方法。

第五方面，提供了一种计算机可读存储介质，如计算机非瞬态的可读存储介质。其上储存有计算机程序(或指令)，当该计算机程序(或指令)在计算机上运行时，使得该计算机执行上述第一方面或第一方面的任一种可能的设计提供的任一种方法。

第六方面，提供了一种计算机可读存储介质，如计算机非瞬态的可读存储介质。其上储存有计算机程序(或指令)，当该计算机程序(或指令)在计算机上运行时，使得该计算机执行上述第二方面或第二方面的任一种可能的设计提供的任一种方法。

第七方面，提供了一种计算机程序产品，当其在计算机上运行时，使得第一方面或第一方面的任一种可能的设计提供的任一种方法被执行。

第八方面，提供了一种计算机程序产品，当其在计算机上运行时，使得第二方面或第二方面的任一种可能的设计提供的任一种方法被执行。

第九方面，提供了一种云上网络***，包括：多个CPU、SOC和带宽分配装置，该带宽分配装置可以是上述第三方面提供的任意一种带宽分配装置，SOC可以是第四方面提供的片上***。

第十方面，一种芯片，包括处理器和接口，该处理器用于调用存储器中存储的代码，以执行上述第一方面的任一种可能的设计提供的任一种方法；或者执行上述第二方面的任一种可能的设计提供的任一种方法。

在一种可能的设计中，可以根据上述第二方面提供的方法对该芯片进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理块中。

在一种可能的设计中，该芯片可以包括处理器、存储器和收发器。收发器可以用于报文的接收和发送。存储器用于存储计算机程序。处理器用于调用该计算机程序，以执行第二方面提供的任一种方法。该收发器可以是芯片上的引脚或一块电路。

可以理解的是，上述提供的任一种带宽分配装置、计算机存储介质或计算机程序产品等均可以应用于上文所提供的对应的方法，因此，其所能达到的有益效果可参考对应的方法中的有益效果，此处不再赘述。

附图说明

图1为本申请背景技术中异构SOC网络***结构示意图；

图2为本申请实施例提供的技术方案所适用的一种云上网络***的架构示意图；

图3为本申请实施例提供的技术方案所适用的一种带宽分配装置的结构示意图；

图4为本申请实施例提供的技术方案所适用的一种云上网络***中的资源分配方法的交互示意图；

图5为本申请实施例提供的技术方案所适用的一种云上网络***中的报文发送方法的交互示意图；

图6为本申请实施例提供的技术方案所适用的一种云上网络***中的带宽分配装置智能分配网卡带宽的一种报文发送方法示意图；

图7为本申请实施例提供的一种带宽分配装置的结构示意图；

图8为本申请实施例提供的一种片上***SOC的结构示意图。

具体实施方式

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例中，“至少一个”是指一个或多个。“多个”是指两个或两个以上。

在本申请实施例中，“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

如图2所示，为本申请实施例提供的一种云上网络***的架构示意图。图2所示的云上网络***包括基板管理控制器(baseboard management controller，BMC)100，一个或多个CPU101(图2中是以包括CPU0和CPU1为例进行说明的)，SOC102，带宽分配装置103，以及网卡104等。

基板管理控制器100，可用于云上网络***状态监视、启动、重启、重新供电、断电等底板控制。

CPU101，可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。每个CPU101上可以部署一个或多个虚拟机。

SOC102，可以指一个或多个设备、有专用目标的集成电路、和/或用于处理数据(例如计算机程序指令)的处理核。SOC102可以用于SOC上电后对虚拟资源和物理资源进行枚举，并将枚举到的虚拟资源和物理资源分配给云上网络***中的各CPU和SOC本身。作为一个示例，SOC102还可以用于创建、刷新、查找网络流表等。

带宽分配装置103用于在云上网络***启动配置过程中接收SOC发送的分配给每个CPU的虚拟资源和物理资源的属性信息，生成虚拟资源和物理资源的镜像文件。并且，还用于在网络***启动配置过程结束之后，获取各CPU缓存和SOC缓存中的报文存储情况，并根据报文存储情况发送报文至网卡。可选的，带宽分配装置103还用于建立分配各CPU的资源在各自CPU域下的资源(包括虚拟资源和物理资源)的属性信息与该资源在SOC域下的属性信息的对应关系；以及，在云上网络***启动配置完成之后，分别接收各CPU和SOC发送的报文至相应的CPU缓存和SOC缓存，将来自CPU的报文中携带的CPU域的属性信息替换为SOC域的属性信息等。

网卡104，可以为网络接口板又称为通信适配器或网络适配器(network adapter)或网络接口卡(network interface card，NIC)，是一个半自治单元，包括存储器和处理器。通过总线与带宽分配装置103相连接。

需要说明的是，在SOC卸载方案下的云上网络***中，由于SOC102查询流表的报文处理中匹配步骤多延时大，相对于CPU101的报文处理较慢且与CPU101访问网卡的路径不同，因此，在本申请的实施例中，可以认为CPU101通过快速路径访问网卡，SOC102通过慢速路径访问网卡，例如，网络流表的查找流程包括如下步骤：SOC102从网卡接收客户端虚拟机发送的报文，并解析该报文的头部信息，生成上送消息，该上送消息中包含该报文的头部信息；然后根据该上送消息中携带的报文头部信息查找网络流表，找到该报文的精确流表即该报文精确的转发路径，将该精确流表存储至自身的网络流表中并按照该精确流表转发该报文。随后，若SOC接收到与此报文具有相同头部信息的报文，则直接查找自身存储的网络流表中的该精确流表，并按照该精确流表转发报文，以提高报文的处理速度。

如图3所示，为本申请实施例提供的一种带宽分配装置103的结构示意图。该带宽分配装置103可以用于执行本申请实施例提供的带宽分配方法，该带宽分配装置103可以包括至少一个处理器201，通信线路202，存储器203，通信接口204以及路由器205。

处理器201可以是一个微处理器，特定应用集成电路(application-specificintegrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路202可包括一通路，在上述组件(如至少一个处理器201，通信线路202，存储器203以及路由器205)之间传送信息。

存储器203可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器203可以是独立存在，通过通信线路202与处理器201相连接。存储器203也可以和处理器201集成在一起。本申请实施例提供的存储器203通常可以具有非易失性。其中，存储器203用于存储执行本申请方案的计算机指令，并由处理器201来控制执行。处理器201用于执行存储器203中存储的计算机指令，从而实现本申请下述实施例提供的方法。存储器203中为来源不同的报文划分了不同的缓存，示例性的，来源为CPU0的报文存储在CPU0缓存，来源为CPU1的报文存储在CPU1缓存，来源为SOC的报文存储在SOC缓存。

通信接口204，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如广域网(wide area network，WAN)，局域网(local area networks，LAN)等。

路由器205，是一个包括一个上行端口和两个下行端口的迷你路由器，可以用于链路的扩展，通过通信线路202与路由器205相连接，以实现报文路由功能，支持基于地址和基于BDF两种路由方式。

可选的，本申请实施例中的计算机指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，带宽分配装置103可以包括多个处理器，这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

本申请中的云上网络***在报文发送之前，需要先完成启动配置过程。

如图4所示，为本申请实施例提供的一种云上网络***的启动配置过程的流程示意图。示例性的，本实施例可以应用于图2所示的***架构，本实施例中的SOC、CPU0、CPU1、带宽分配装置和网卡可以分别对应于图2中的SOC102、CPU0、CPU1、带宽分配装置103和网卡104。图4所示的方法可以包括以下步骤：

S201：基板管理控制器接收用户指令。

S202：基板管理控制器根据用户的指令发送指示消息至SOC，该指示消息用于指示SOC启动并枚举。

S203：SOC根据该指示消息启动并枚举，然后获取枚举到的虚拟资源的属性信息和物理资源的属性信息。

具体的，SOC根据该指示信息启动，并在启动之后枚举云上网络***中的虚拟资源(如所有虚拟资源)，枚举云上网络***中的物理资源(如所有物理资源)。

具体的，枚举的过程可以包括:SOC读取该SOC中的基地址寄存器(base addressregister，BAR)的容量并统一编址，读取虚拟资源和物理资源并对读取的虚拟资源和物理资源进行配置等一系列动作。本申请对此枚举过程不作限定。

每一个虚拟资源或物理资源配置完成之后都有一个唯一标识符与之对应，这个标识符可以是BDF，BDF是总线设备功能标识。每一个虚拟资源或物理资源都有一个唯一的地址与之对应，该地址可以是总线地址，根据地址总线的位数不同该总线地址可以是64位、32位或者48位等。

在一个示例中，为了描述方便，以下对枚举到的虚拟资源和物理资源进行编号，其中，VF表示虚拟资源，PF表示物理资源。SOC枚举到的虚拟资源和物理资源如下表1所示：

表1

需要说明的是，每个VF对应的PF是固定的，表1中同一行的PF和VF之间具有对应关系。表1中仅罗列了一个示例中SOC枚举到的物理资源和虚拟资源，例如，SOC枚举到的物理资源为PF0，与该物理资源PF0对应的虚拟资源包括：VF01，VF02，VF03，VF04，VF05，VF06，VF07，VF08。表2至表6与此类似，下文不再赘述。

可以理解的是，如图1所示的***架构中，也存在SOC枚举，但是此步骤中，SOC枚举与如图1所示的架构中的SOC枚举的内容不同，本申请中SOC枚举网卡的所有虚拟资源和物理资源，而背景技术中SOC只枚举物理划分给SOC的虚拟资源和物理资源。

在一个示例中，虚拟资源的属性信息包括该虚拟资源的BDF，物理资源的属性信息包括物理资源的BDF。在另一个示例中，虚拟资源的属性信息包括该虚拟资源的地址，物理资源的属性信息包括物理资源的地址。在另一个示例中，虚拟资源的属性信息包括该虚拟资源的BDF和地址，物理资源的属性信息包括该物理资源的BDF和地址。下文中的具体示例均是以此处的最后一个示例为例进行说明的。

S204：SOC分别给CPU(如云上网络***中的每个CPU)和SOC分配枚举到的虚拟资源和物理资源。

本申请实施例对S204的具体实现方式不进行限定。

在一种实现方式中，SOC根据规则(例如，平均分配规则)给每个CPU和SOC分配枚举到的虚拟资源和物理资源。这样，可以实现云上网络***的自动化运维。

在另一种实现方式中，SOC可以包括用于管理虚拟资源和物理资源的应用，该应用可以接收用户指令，该指令用于为每个CPU和SOC分配虚拟资源和物理资源；SOC可以基于该应用所接收到的指令，给每个和SOC分配枚举到的虚拟资源和物理资源。比如，直接按照该指令所指示的分配方案或按照对该指令所指示的分配方案进行调整后的方案，给每个CPU和SOC分配枚举到的虚拟资源和物理资源。

SOC分配给每个CPU的资源(包括虚拟资源和/或物理资源)的总量可以相同或不同。SOC分配给自身和任一CPU的资源(包括虚拟资源和/或物理资源)的总量可以相同或不同。同一资源(包括虚拟资源或物理资源)通常只能被分配给SOC和每个CPU的其中之一。下文中均是以SOC分配给每个CPU资源的总量是相同的为例进行说明的。

以下，以云上网络***中的CPU为CPU0和CPU1为例，对SOC分配资源进行说明：

基于表1，SOC为CPU0分配的虚拟资源和物理资源可以如下表2所示：

表2

基于表1，SOC为CPU1分配的虚拟资源和物理资源可以如下表3所示：

表3

基于表1，SOC为SOC自身分配的虚拟资源和物理资源可以如下表4所示：

表4

S205：SOC将分配给CPU(如每个CPU)的虚拟资源的属性信息和物理资源的属性信息发送给带宽分配装置。

S206：带宽分配装置根据接收到的分配给CPU(如每个CPU)的虚拟资源的属性信息，生成该CPU的虚拟资源的镜像文件(即镜像虚拟资源)，虚拟资源的镜像文件包括该虚拟资源挂载在哪个物理资源上，虚拟资源的标识信息等。根据接收到的分配给该CPU的物理资源的属性信息，生成该CPU的物理资源的镜像文件(即镜像物理资源)，物理资源的镜像文件包括该物理资源上挂载有哪些虚拟资源，该物理资源的标识信息等。

需要说明的是，对于每个CPU来说，带宽分配装置所生成的该CPU的镜像虚拟资源和镜像物理资源通常需要重新进行编号。并且，为不同CPU的镜像虚拟资源和镜像物理资源的编号可以相同或不同。以下进行举例说明：

基于表2，带宽分配装置生成的CPU0的镜像虚拟资源和镜像物理资源可以如表5所示：

表5

基于表3，带宽分配装置生成的CPU1的镜像虚拟资源和镜像物理资源可以如表6所示：

表6

S207：带宽分配装置发送用于通知镜像文件生成完毕的通知消息至SOC。

S208：SOC发送消息至基板控制器，该消息用于通知基板管理控制器SOC启动且枚举完毕。

至此，SOC的启动配置过程完成。

S209：基板管理控制器接收到SOC发送的该通知消息后，发送指示消息至CPU(如每个CPU)，该指示消息用于指示该CPU启动并枚举。

S210：CPU(如每个CPU)根据该指示消息的指示启动并枚举。具体的，CPU根据该指示信息启动，并在启动之后枚举SOC分配给该CPU的虚拟资源(如所有虚拟资源)，枚举SOC分配给该CPU的物理资源(如所有物理资源)。

具体的，CPU枚举的过程可以包括:CPU读取该CPU的基地址寄存器的容量并统一编址，读取带宽分配装置生成的该CPU的镜像虚拟资源和镜像物理资源，并对读取的镜像虚拟资源和镜像物理资源进行配置等一系列动作。本申请对此枚举过程不作限定。

对于任意一个CPU来说，配置完成之后，会为该CPU的镜像虚拟资源和镜像物理资源分配该CPU域中的地址和该CPU域中的BDF，以下简称CPU域地址和CPU域BDF。

配置完成后，CPU的镜像虚拟资源的属性信息可以包括该镜像虚拟资源的该CPU域地址和该CPU域BDF；CPU的镜像物理资源的属性信息可以包括该镜像物理资源的该CPU域地址和该CPU域BDF。

S211：对于每一个CPU来说，将该CPU枚举完成后的镜像虚拟资源的属性信息和镜像物理资源的属性信息发送给带宽分配装置。

S212：对于每个CPU来说，带宽分配装置根据该CPU的虚拟资源的属性信息和该虚拟资源所生成的镜像虚拟资源的属性信息，以及该CPU的物理资源的属性信息和该物理资源所生成的镜像物理资源的属性信息，建立属性信息映射关系。

以云上网络***包括CPU0和CPU1为例，带宽分配装置可以根据CPU0的虚拟资源的属性信息和CPU0的镜像虚拟资源的属性信息，以及CPU0的物理资源的属性信息和CPU0的镜像物理资源的属性信息建立第一属性信息映射关系；并根据CPU1的虚拟资源的属性信息和CPU1的镜像虚拟资源的属性信息，以及CPU1的物理资源的属性信息和CPU1的镜像物理资源的属性信息建立第二属性信息映射关系。

其中，本申请实施例对属性信息映射关系(如第一属性信息映射关系和第二属性信息映射关系)的具体体现形式不进行限定，例如，可以是表格、公式或if else语句等形式。下文中均以该映射关系体现为映射表为例进行说明。该情况下，第一属性信息映射关系可以被标记为第一属性信息映射表，第二属性信息映射关系可以被标记为第二属性信息映射表。

第一属性信息映射表，为CPU0域的属性信息与SOC域的属性信息的对应关系表。例如：假设一个虚拟资源在CPU0域中的标识为VF01，该虚拟资源在CPU0域中的属性信息为(BDF3，ADDRESS3)，该虚拟资源在SOC域中的标识为VF21，该虚拟资源在SOC域中的属性信息为(BDF23，ADDRESS23)；那么在第一属性信息映射表中BDF3与BDF23一一对应，ADDRESS3与ADDRESS23一一对应。

第二属性信息映射表，为CPU1域的属性信息与SOC域的属性信息的对应关系表。例如：一个虚拟资源在CPU1域中的标识为CF01，该虚拟资源在CPU1域中的属性信息为(BDF3，ADDRESS3)，该虚拟资源在SOC域的标识为VF51；该虚拟资源在SOC域中的属性信息为(BDF53，ADDRESS53)；那么在第二属性信息映射表中BDF3与BDF53一一对应，ADDRESS3与ADDRESS53一一对应。

基于S203中的示例，第一属性信息映射表中的部分物理资源和虚拟资源的属性对应关系可以如下表7所示：

表7

CPU0域BDF	SOC域BDF	CPU0域地址	SOC域地址
				BDF0(PF0)	BDF02(PF2)	address0(PF0)	address02(PF2)
BDF1(PF1)	BDF13(PF3)	address1(PF1)	address13(PF3)
				BDF2(PF2)	BDF24(PF4)	address2(PF2)	address24(PF4)
BDF3(VF01)	BDF23(VF21)	address3(VF01)	address23(VF21)

其中，表7中的“BDF0(PF0)、BDF02(PF2)、address0(PF0)和address02(PF2)”分别表示：物理资源PF0在CPU0域的BDF为BDF0，该物理资源在CPU0域的地址为address0,该物理资源PF0在SOC域中的标识为PF2；该物理资源在SOC域中的BDF为BDF02，该物理资源在SOC域中的地址为address02。其他示例不再一一列举。

基于S203中的示例，第二属性信息映射表中的部分物理资源和虚拟资源的对应关系可以如下表8所示：

表8

CPU0域BDF	SOC域BDF	CPU0域地址	SOC域地址
				BDF0(PF0)	BDF05(PF5)	address0(PF0)	address05(PF5)
BDF1(PF1)	BDF16(PF6)	address1(PF1)	address16(PF6)
				BDF2(PF2)	BDF27(PF7)	address2(PF2)	address27(PF7)
BDF3(VF01)	BDF33(VF31)	address3(VF01)	address33(VF31)

可以理解的是，在本申请实施例提供的技术方案中，由于CPU0、CPU1和SOC共享一个网卡。CPU(如CPU0和CPU1)枚举时读取的是镜像虚拟资源和镜像物理资源，配置的也是镜像虚拟资源和镜像物理资源，在CPU(如CPU0和CPU1)枚举后该CPU的镜像虚拟资源的属性信息与真实的该虚拟资源的属性信息不一样，且在CPU枚举后的物理资源的属性信息与真实的该物理资源的属性信息也不一样。SOC枚举的时候直接枚举网卡的所有虚拟资源和物理资源，SOC枚举虚拟资源得到的属性信息是真实的该虚拟资源的属性信息，且SOC枚举物理资源得到的属性信息是真实的该物理资源的属性信息。一般情况下，报文中会携带指示该报文要发送到的目的地的属性信息。当CPU0或者CPU1发送报文时，该报文中携带的属性信息是镜像虚拟资源的属性信息或镜像物理资源的属性信息。而镜像虚拟资源和镜像物理资源都在带宽分配装置中，因此，并不能使报文发送到真实的目的地，而是发送到带宽分配装置。示例性的，CPU0发送的报文中携带的属性信息为CPU0域BDF或CPU0域地址。因此，需要分别建立第一属性信息映射表和第二属性信息映射表，以进行CPU报文中携带的属性信息的转换。

需要说明的是，以上是以云上网络***包含两个CPU和一个SOC为例进行说明的，在实际应用的过程中，可以云上网络***可以只包含一个CPU，也可以包含两个以上CPU，SOC可以根据云上网络***具体包含的CPU对枚举到的虚拟资源和物理资源进行分配。带宽分配装置根据分配的虚拟资源和物理资源的属性信息为每个CPU建立镜像虚拟资源文件和镜像物理资源文件，并为每个CPU建立分配给该CPU的虚拟资源与SOC中虚拟资源的属性信息的映射关系，建立分配给该CPU的物理资源与SOC中物理资源的属性信息的映射关系。

以上报文发送方法的前置步骤。当云上网络***完成了如S201至S212的启动配置过程后，云上网络***中就可以支持部署虚拟机。需要说明的是，云上网络***中的每个CPU(如CPU0或CPU1)上都可以分别部署一个或多个虚拟机，也可以在一个CPU上部署虚拟机，也可以在多个CPU上部署虚拟机，实际应用的时候根据需要进行虚拟机的部署。本申请对此不进行限定，图5以CPU0和CPU1都部署了多个虚拟机为例进行报文的发送。

本申请进行报文发送的方法可以包括以下步骤：

S301：每个CPU(如CPU0或CPU1)和SOC分别接收用户的指令。

具体的，当每个CPU(如CPU0或CPU1)上部署的虚拟机中的任意一个虚拟机接收到用户指令时，部署该虚拟机的CPU都会接收到该指令。

S302：每个CPU(如CPU0或CPU1)和SOC根据该用户指令发送报文至带宽分配装置。

需要说明的是，每个CPU(如CPU0或CPU1)和SOC发送报文至带宽分配装置可以是并行进行的。当然本申请实施例不限于此。发送的报文可以是PCIE报文。

另外需要说明的是，对于云上网络***中的SOC和每个CPU来说，当具有报文发送需求时，将该报文发送至带宽分配装置。上述S301～S302仅为一个示例，其不对本申请实施例中带宽分配装置接收报文的具体实现方式构成限定。并且，在实际实现时，在一个时间段内，可能存在云上网络***中的SOC和所有CPU中的一个或多个具有报文发送需求，也可能存在云上网络***中的SOC和所有CPU均没有报文发送需求。

S303：带宽分配装置分别接收来自每个CPU(如CPU0或CPU1)和SOC发送的报文，并将所接收到的报文存储至对应的缓存。

示例性的，带宽分配装置接收CPU0发送的报文，并将该报文存储至CPU0缓存；带宽分配装置接收CPU1发送的报文，并将该报文存储至CPU1缓存；带宽分配装置接收SOC发送的报文，并将该报文存储至SOC缓存。

S304:对于CPU缓存(如CPU0缓存或CPU1缓存)中的报文来说，带宽分配装置根据报文存储的缓存不同查找不同的属性信息映射关系，以将该报文中携带的属性信息中的CPU域(包括CPU0域或CPU1域)的属性信息替换为属性信息映射关系中该CPU域的属性信息对应的SOC域的属性信息，从而得到新报文。

其中，当该报文中携带的属性信息为CPU域地址时，将该CPU域地址替换为SOC域地址；当该报文中携带的属性信息为CPU域BDF时，将该CPU域BDF替换为SOC域BDF。

示例性的，对于CPU0缓存中存储的报文来说，带宽分配装置在第一属性信息映射关系中查找该报文头域中携带的属性信息对应的SOC域下的属性信息，并将该报文头域中的属性信息替换为所查找到的SOC域下的属性信息，以得到新报文。

对于CPU1缓存中存储的报文来说，带宽分配装置在第二属性信息映射关系中查该报文头域中携带的属性信息对应的SOC域下的属性信息，并将该报文头域中的属性信息替换为所查找到的SOC域下的属性信息，以得到新报文。

具体的，CPU缓存(包括CPU0域和CPU1域)中存储的报文可以是mem报文，IO报文，cfg报文和msg报文中的一种或多种。

需要说明的是，S304可以在S303中将报文存入缓存之前执行，也可以在报文存入缓存之后执行，本申请对此不做限定。

S305：带宽分配装置获取每个CPU缓存(如CPU0缓存和CPU1缓存)和SOC缓存中的报文存储情况。

可选的，带宽分配装置周期性判断每个CPU缓存(如CPU0缓存和CPU1缓存)和SOC缓存中是否存储有未发送的报文，并根据每个CPU缓存(如CPU0缓存和CPU1缓存)和SOC缓存中的判断结果获取报文存储情况。其中，未发送的报文指已经完成步骤S304中的属性信息替换的报文且没有发送到网卡的报文。下文中的未发送的报文也是指同样的意思。

以云上网络***中包括的CPU为CPU0和CPU1为例，报文存储情况可以包括：

情况1：CPU0缓存存储有未发送的报文、CPU1缓存存储有未发送的报文、SOC缓存存储有未发送的报文；

情况2：CPU0缓存存储有未发送的报文、CPU1缓存存储有未发送的报文、SOC缓存没有存储未发送的报文；

情况3：CPU0缓存存储有未发送的报文、CPU1缓存没有未发送的存储报文、SOC缓存没有存储未发送的报文；

情况4：CPU0缓存没有存储未发送的报文、CPU1缓存没有存储未发送的报文、SOC缓存没有存储未发送的报文；

情况5：CPU0缓存存储有未发送的报文、CPU1缓存没有存储未发送的报文、SOC缓存存储有未发送的报文；

情况6：CPU0缓存没有存储未发送的报文、CPU1缓存存储有未发送的报文、SOC缓存存储有未发送的报文；

情况7：CPU0缓存没有存储未发送的报文、CPU1缓存存储有未发送的报文、SOC缓存没有存储未发送的报文；

情况8：CPU0缓存没有存储未发送的报文、CPU1缓存没有存储未发送的报文、SOC缓存存储有未发送的报文。

可扩展的，以云上网络***中包括N个CPU为例，报文存储情况可以包括以下情况一至情况四：

情况一、云上网络***中的N个CPU缓存中的M个CPU缓存中均存储有报文，且SOC缓存中存储有报文其中，1≤M≤N，M和N是整数。例如，上述情况1、5、6。

情况二、云上网络***中的N个CPU缓存中的M个CPU缓存中均存储有报文，但SOC缓存中没有存储报文。例如，上述情况2、3、7。

情况三、云上网络***中的N个CPU缓存中的每个CPU缓存中都没有存储报文，且SOC缓存中存储有报文。例如，上述情况8。

情况四、云上网络***中的SOC缓存，以及N个CPU缓存中的每个CPU缓存中都没有存储报文。例如，上述情况4。

以云上网络***中的CPU为CPU0和CPU1为例，如果CPU0缓存的概率配置为任意一个百分数P，其中，0≤P≤1，那么，CPU1缓存的概率为1-P。CPU0缓存的概率和CPU1缓存的概率可以相等也可以不相等。示例的，当二者不相等时，CPU0缓存的概率和CPU1缓存的概率可以分别为60％和40％等。

S306：带宽分配装置基于获取的每个CPU缓存(如：CPU0缓存或CPU1缓存)和SOC缓存中的报文存储情况，发送报文(具体可以是未发送的报文)至网卡。具体的：

一、当报文存储情况为上述情况一时，带宽分配装置优先发送该M个CPU缓存中存储的报文，M个CPU缓存中存储的报文都发送完之后，再发送SOC缓存中存储的报文。

可选的，当M≥2时，带宽分配装置发送该M个CPU缓存中存储的报文可以包括：获取该M个CPU中的每个CPU缓存的概率；采用第m概率发送M个CPU缓存中的第m个CPU缓存中存储的报文，其中，1≤m≤M；m是整数。第m概率是第m个CPU缓存的概率，且第一概率到第M概率之和为1。

其中，CPU缓存的概率，是指带宽分配装置在一次报文的发送过程中，发送该CPU缓存中存储的报文的概率。任意两个CPU缓存的概率可以相同或不同。任意一个CPU缓存的概率可以是用户配置或者SOC指示的。在一种实现方式中，任意一个CPU缓存的概率由用户预先配置在带宽分配装置中。在另一种实现方式中，SOC提前将用户预先配置的任意一个CPU缓存的概率发送给带宽分配装置。可选的，对于每个CPU缓存来说，其概率配置好之后是可以修改的，如SOC可以根据用户的指示修改该CPU缓存的概率，并下发修改后的该CPU缓存的概率给带宽分配装置。

本申请实施例对带宽分配装置如何根据该M个CPU缓存中每个CPU缓存的概率发送该M个CPU缓存中的报文的具体实现方式不进行限定。例如：

在一种实现方式中，带宽分配装置根据选择算法，从该M个CPU缓存中存储有未发送的报文的CPU缓存中选择一个CPU缓存作为目标CPU缓存，并发送所述目标CPU缓存中的一个报文；以此类推，直至将该M个CPU缓存中的报文发送完；其中，该选择算法是使得发送第m个CPU缓存中存储的报文的概率为第m概率的选择算法。

例如，该选择算法可以是基于权重或者优先级的仲裁算法等。为了方便描述，以云上网络***中的CPU为CPU0和CPU1为例，当获取的报文存储情况是上述情况1时，以CPU0缓存和CPU1缓存的概率均为50％为例，对随机数选择算法进行说明：假设CPU0缓存的概率为50％，对应的取值范围为[1,50]；CPU1缓存的概率为50％，对应的取值范围为[51,100]；带宽分配装置一个随机数，该随机数是1～100中的任意一个整数。当该随机数属于[1,50]时，将CPU0作为目标COU缓存；当该随机数属于[51,100]时，将CPU1作为目标CPU缓存。然后，发送目标CPU缓存中存储的a个报文。其中，a是大于或等于1的整数。依此类推，直至发送完该M个CPU缓存中所存储的所有报文为止。

可以理解的是，当CPU0缓存的概率与CPU1缓存的概率不相等时，这两个CPU缓存对应的取值范围不均分；例如，当CPU0缓存的概率和CPU1缓存的概率分别为60％和40％时，若以生成的随机数的范围仍是1～100中的整数，则CPU0缓存所对应的取值范围可以是[1,60]中的整数；CPU1缓存所对应的取值范围可以是[61,100]中的整数。其他示例不再一一列举。并且，可扩展地，该方法也可以适用于三个或三个以上CPU缓存的场景。

另外，以当获取的报文存储情况是上述情况1，且CPU0缓存和CPU1缓存的概率均为50％为例：

可选的，在一个周期内，带宽分配装置n次发送CPU0缓存中存储的报文至网卡，n次发送CPU1缓存中存储的报文至网卡。依此类推，直至发送完该M个CPU缓存中所存储的所有报文为止。其中，n为正整数。

在一个示例中，连续m次发送CPU0缓存中存储的报文至网卡之后，连续m次发送CPU1缓存中存储的报文至网卡，依次类推，直至发送完该M个CPU缓存中所存储的所有报文为止。m为大于等于2的整数，且小于一个阈值。可以理解的是，一个周期的时间越长，在整个周期内带宽分配装置发送CPU0缓存中存储的报文至网卡的概率越接近于50％；带宽分配装置发送CPU1缓存中存储的报文至网卡的概率也越接近于50％。

在另一个示例中，顺序循环发送CPU0和CPU1缓存中存储的报文至网卡，前后两个报文分别来自不同的CPU缓存。例如，前一次发送CPU0缓存中存储的报文，那么接下来则发送CPU1缓存中存储的报文，再接下来发送CPU0缓存中存储的报文，再发送CPU1缓存中存储的报文，以此类推，直至CPU0缓存和CPU1缓存中存储的报文都发送完毕。

需要说明的是，如果一个CPU缓存的概率是a，则在一个周期内，带宽分配装置发送该CPU缓存中存储的报文的时间占整个周期的百分比是a。0≤a≤1。

可选的，当M＝1时，带宽分配装置发送该M个CPU缓存中存储的报文可以包括：直接发送该CPU缓存中存储的报文。该情况下，带宽分配装置发送该CPU缓存中报文的概率是100％。

例如，当获取的报文存储情况是情况5时，带宽分配装置采用100％的概率发送CPU0缓存中存储的报文至网卡，直至CPU0缓存中存储的所有报文发送完成后，带宽分配装置采用100％的概率发送SOC缓存中存储的报文至网卡。

又如，当获取的报文存储情况是情况6时，带宽分配装置采用100％的概率发送CPU1缓存中存储的报文至网卡，直至CPU1缓存中存储的所有报文发送完成后，带宽分配装置采用100％的概率发送SOC缓存中存储的报文至网卡。

需要说明的是，如果在一个周期的一半时间内CPU0缓存中不存在报文时，则发送SOC缓存中存储的报文至网卡，那么，整个周期中发送CPU0缓存中存储的报文的时间占整个周期的50％。如果在一个周期内CPU0缓存中都存储有报文时，则CPU0缓存中存储的报文有100％的概率被发送至网卡。

本申请保护优先发送CPU(包括CPU0和CPU1)缓存中存储的报文。对于带宽分配装置来说各个CPU会被公平对待。以上例子中只是本申请中可能遇到的一部分情况，其他由于各个缓存(包括CPU缓存和SOC缓存)中的数据量本身造成的一个周期内带宽分配装置发送CPU缓存中存储的报文的时间占整个周期的百分比的不同，都在本申请的保护范围之内。

二，当报文存储情况为上述情况二时，带宽分配装置发送该M个CPU缓存中存储的报文。

可选的，当M≥2时，带宽分配装置可以使用如情况一中M≥2时同样的方式发送M个CPU缓存中存储的报文。

可选的，当M＝1时，带宽分配装置采用100％的概率发送存储有报文的CPU缓存中存储的报文。例如，当获取的报文存储情况是情况3时，带宽分配装置采用100％的概率发送CPU0缓存中存储的报文。又如，当获取的报文存储情况是情况7时，带宽分配装置采用100％的概率发送CPU1缓存中存储的报文。

三，当报文存储情况为上述情况三时，带宽分配装置采用100％的概率发送SOC缓存中存储的报文。

四，当报文存储情况为上述情况四时，带宽分配装置不发送报文。例如，上述情况4。

本实施例中的步骤S305-S306带宽分配装置根据获取的CPU0缓存、CPU1缓存和SOC缓存中的报文存储情况管理报文发送的具体流程，以及使用此方法发送报文时CPU0和CPU1可以达到的峰值带宽情况如图6中所示，其中，峰值带宽表示单位时间内CPU能发送的报文数量的最大值。图6中以网卡带宽总量为×16为例。

其中，当获取的报文存储情况是情况1或2时，CPU0和CPU1能使用的峰值带宽分别为×8。

当获取的报文存储情况是情况3、7、8中的任意一种时，CPU0和CPU1能使用的峰值带宽分别为×16。

当获取的报文存储情况是情况5或6时，CPU0和CPU1能使用的峰值带宽分别为×16。

上文中均以优先发送CPU缓存中存储的报文为例，实际使用时，也可以根据需要，综合为CPU缓存中存储的报文和SOC缓存中存储的报文分配概率值。综合分配时，假设分配给各个CPU缓存中存储的报文的概率之和为Q，则分配给SOC缓存中存储的报文的概率就为1-Q，且0≤Q≤1。如果获取的报文存储情况为上述情况一时，带宽分配装置按照概率发送该M个CPU缓存中存储的报文和SOC缓存中存储的报文。

可选的，当M≥2时，带宽分配装置发送该M个CPU缓存中存储的报文和SOC缓存中存储的报文可以包括：获取该M个CPU中的每个CPU缓存的概率和SOC缓存的概率；采用第m概率发送M个CPU缓存中的第m个CPU缓存中存储的报文，其中，1≤m≤M；m是整数。第m概率是第m个CPU缓存的概率，且第一概率到第M概率之和为Q。例如：为CPU缓存中存储的报文分配的概率之和为80％，为SOC分配的概率为20％。

同样的，任意一个CPU缓存的概率和SOC缓存的概率可以是用户配置或者SOC指示的。在一种实现方式中，任意一个CPU缓存的概率和SOC缓存的概率由用户预先配置在带宽分配装置中。在另一种实现方式中，SOC提前将用户预先配置的任意一个CPU缓存的概率和SOC缓存的概率发送给带宽分配装置。可选的，对于每个CPU缓存来说，其概率配置好之后是可以修改的，如SOC可以根据用户的指示修改该CPU缓存的概率，并下发修改后的该CPU缓存的概率给带宽分配装置。

上文实施例中由于加入了带宽分配装置，由各个CPU和SOC发出的报文都统一发送至带宽分配装置的对应缓存。再由带宽分配装置根据各个缓存中的报文存储情况发送各个缓存中存储的报文，以达到动态智能分割网卡的物理带宽的效果，这有助于提高了I/O性能，从而提高了用户体验。示例性的，SOC可以用来执行网络流表的创建、刷新、查找。因此，本申请实施例提供的技术方案，有助于在解决网络流表的创建、刷新、查找消耗CPU资源大的问题的同时，提高I/O性能，从而提高了用户体验。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的方法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对带宽分配装置进行功能模块的分配，例如可以对应各个功能分配各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的分配是示意性的，仅仅为一种逻辑功能分配，实际实现时可以有另外的划分方式。

如图7所示，为本申请实施例提供的一种带宽分配装置的结构示意图。该带宽分配装置103可以用于执行上文中任意一个实施例(如图4～图6所示的任一实施例)中带宽分配装置所执行的功能。带宽分配装置103可以包括：存储模块1030、处理模块1031和收发模块1032。其中，存储模块1030分别与处理模块1031和收发模块1032相连；收发模块1032，用于实现报文的路由；该模块支持基于地址路由和基于BDF路由两种路由方式，SOC发送给网卡的config_read或config_write报文都需要经过该收发模块，网卡回响应给SOC的完成报文也需要经过该收发模块。

存储模块1030，包括N个中央处理器CPU缓存和片上***SOC缓存；一个CPU缓存用于缓存一个CPU发送给带宽分配装置的报文，SOC缓存用于缓存SOC发送给带宽分配装置的报文；N是正整数；处理模块1031，用于获取N个CPU缓存和SOC缓存中的报文存储情况；结合图5，处理模块1031可以用于执行S304-S305。收发模块1032，用于如果报文存储情况包括N个CPU缓存中的M个CPU缓存中均存储有报文，且SOC缓存中存储有报文，则发送M个CPU缓存中存储的报文至网卡；当M个CPU缓存中存储的报文都发送完之后，再发送SOC缓存中存储的报文至网卡；其中，1≤M≤N，M是整数；或者，如果报文存储情况包括N个CPU缓存中的M个CPU缓存中均存储有报文，但SOC缓存中没有存储报文，则发送M个CPU缓存中存储的报文至网卡。例如，结合图5，收发模块1032可以用于执行S306的发送步骤。

可选的，当M大于等于2时收发模块1032具体用于：采用第m概率发送M个CPU缓存中的第m个CPU缓存中存储的报文至网卡，其中，1≤m≤M；m是整数；第一概率到第M概率之和为1。例如，结合图6，收发模块1032可以用于执行S306的发送步骤。

可选的，处理模块1031具体用于根据选择算法，从M个CPU缓存中存储有未发送的报文的CPU缓存中选择一个CPU缓存作为目标CPU缓存，收发模块1032用于发送目标CPU缓存中的报文，直至将M个CPU缓存中的报文发送完；其中，选择算法是使得发送第m个CPU缓存中存储的报文的概率为第m概率的选择算法。例如，结合图6，收发模块1032可以用于执行S306的发送步骤。

可选的，存储模块1030用于存储M个CPU中的第一CPU的多个资源中每个资源的第一CPU域属性信息与SOC域属性信息之间的对应关系；其中，资源为SOC分配给第一CPU的虚拟资源或物理资源，属性信息包括地址或总线设备功能标识BDF。处理模块1031具体用于根据多个资源中每个资源的第一CPU域属性信息与SOC域属性信息之间的对应关系，确定与第一报文中携带的第一CPU域中的属性信息对应的SOC域中的属性信息；其中，第一报文是第一CPU缓存中的任意一个报文；并将第一报文中携带的第一CPU域的属性信息替换为与第一报文中携带的第一CPU域的属性信息对应的SOC域中的属性信息，得到第二报文。例如，结合图5，处理模块1031可以用于执行S304。收发模块1032用于发送M个CPU缓存中存储的报文至网卡包括：收发模块1032用于发送第二报文至网卡。例如，结合图6，收发模块1032可以用于执行S306的发送步骤。

可选的，收发模块1032用于接收SOC发送的第一资源的SOC域的属性信息，其中第一资源包括分配给第一CPU的虚拟资源或物理资源。收发模块1032用于接收第一CPU发送的第一资源的第一CPU域的属性信息。例如，结合图4，收发模块1032可以用于执行S211中的接收步骤。处理模块1031用于建立第一资源的SOC域的属性信息与第一资源的第一CPU域的属性信息之间的对应关系。例如，结合图4，处理模块1031可以用于执行S206和S212。

可选的，如果报文存储情况包括N个CPU缓存中的每个CPU缓存中都没有存储报文，且SOC缓存中存储有报文时，则收发模块1032用于发送SOC缓存中存储的报文至网卡。例如，结合图6，收发模块1032可以用于执行S306中的情况8。

在一个示例中，参见图3，上述收发模块1032和处理模块1031均可以由图3中的处理器201调用存储器203中存储的计算机程序实现。收发模块1032可以包含图3中的路由器205和通信接口204，其中，路由器205可以是一个虚拟交换机或虚拟网络交换机(virtualswitch,vSwitch)或者迷你交换机，该路由器205的结构可以为一个上行口两个下行口的1up-2dp结构。

关于上述可选方式的具体描述参见前述的方法实施例，此处不再赘述。此外，上述提供的任一种带宽分配装置103的解释以及有益效果的描述均可参考上述对应的方法实施例，不再赘述。

如图8所示，为本申请实施例提供的一种片上***SOC的结构示意图。该片上***SOC80可以用于执行上文中任意一个实施例(如图4～图5所示的任一实施例)中SOC所执行的功能。片上***SOC80可以包括：处理模块801、存储模块802和收发模块803。其中，存储模块802分别与处理模块801和收发模块803相连。

处理模块801，用于枚举网卡上的虚拟资源和物理资源；并获取该虚拟资源的属性信息和该物理资源的属性信息；该属性信息包括SOC域的地址或SOC域的总线设备功能标识BDF。

收发模块803，用于发送虚拟资源和物理资源的属性信息至带宽分配装置；其中，物理资源的属性信息用于带宽分配装置建立该物理资源在SOC域的属性信息与该物理资源在CPU域的属性信息之间的对应关系；虚拟资源用于该带宽分配装置建立虚拟资源在SOC域的属性信息与该虚拟资源在CPU域的属性信息之间的对应关系。报文的发送和接收。例如，结合图4，处理模块801可以用于执行S203至S204。收发模块803可以用于执行S202和S207中的接收步骤，执行S205中的发送步骤。结合图5，收发模块803可以用于执行S301中接收步骤和S302中的发送步骤。

可选的，处理模块801还用于流表的创建、刷新和查找。

关于上述可选方式的具体描述参见前述的方法实施例，此处不再赘述。此外，上述提供的任一种片上***SOC80的解释以及有益效果的描述均可参考上述对应的方法实施例，不再赘述。

需要说明的是，上文中所描述的处理器可以通过硬件来实现也可以通过软件来实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等。当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现。该存储器可以集成在处理器中，也可以位于处理器之外，独立存在。

本申请实施例还提供了一种网络带宽处理***，包括上文中提供的CPU和上文中提供的SOC和带宽分配装置和网卡。关于带宽分配装置所执行的步骤可以参考上文，此处不再赘述。

本申请实施例还提供了一种芯片。该芯片中集成了用于实现上述带宽分配装置或SOC的功能的电路和一个或者多个接口。可选的，该芯片支持的功能可以包括基于图4图5所述的实施例中的处理动作，此处不再赘述。本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可通过程序来指令相关的硬件完成。所述的程序可以存储于一种计算机可读存储介质中。上述提到的存储介质可以是只读存储器，随机接入存储器等。上述处理单元或处理器可以是中央处理器，通用处理器、特定集成电路(application specificintegrated circuit，ASIC)、微处理器(digital signal processor，DSP)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。

本申请实施例还提供了一种包含指令的计算机程序产品，当该指令在计算机上运行时，使得计算机执行上述实施例中的任意一种方法。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solidstate disk，SSD))等。

应注意，本申请实施例提供的上述用于存储计算机指令或者计算机程序的器件，例如但不限于，上述存储器、计算机可读存储介质和通信芯片等，均具有非易失性(non-transitory)。

在实施所要求保护的本申请过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本申请进行了描述，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。

Claims (16)

1.一种报文发送方法，其特征在于，应用于云上网络***，所述云上网络***包含N个中央处理器CPU、片上***SOC、网卡和带宽分配装置，所述带宽分配装置分别连接所述N个CPU、所述SOC和所述网卡；所述带宽分配装置包括：N个CPU缓存和SOC缓存；一个CPU缓存用于缓存一个CPU发送给所述带宽分配装置的报文，所述SOC缓存用于缓存所述SOC发送给所述带宽分配装置的报文；所述N是正整数；所述方法包括：

所述带宽分配装置获取所述N个CPU缓存和所述SOC缓存中的报文存储情况；

如果所述报文存储情况包括所述N个CPU缓存中的M个CPU缓存中均存储有报文，且所述SOC缓存中存储有报文，则所述带宽分配装置发送所述M个CPU缓存中存储的报文至所述网卡；当所述M个CPU缓存中存储的报文都发送完之后，再发送所述SOC缓存中存储的报文至所述网卡；其中，1≤M≤N，所述M是整数；

或者，如果所述报文存储情况包括所述N个CPU缓存中的M个CPU缓存中均存储有报文，但所述SOC缓存中没有存储报文，则所述带宽分配装置发送所述M个CPU缓存中存储的报文至所述网卡。

2.根据权利要求1所述的方法，其特征在于，所述M大于等于2；所述带宽分配装置发送所述M个CPU缓存中存储的报文至所述网卡包括：

所述带宽分配装置采用第m概率发送所述M个CPU缓存中的第m个CPU缓存中存储的报文至所述网卡，其中，1≤m≤M；所述m是整数；第一概率到第M概率之和为1。

3.根据权利要求2所述的方法，所述带宽分配装置采用第m概率发送所述M个CPU缓存中的第m个CPU缓存中存储的报文至所述网卡，包括：

所述带宽分配装置根据选择算法，从所述M个CPU缓存中存储有未发送的报文的CPU缓存中选择一个CPU缓存作为目标CPU缓存，并发送所述目标CPU缓存中的报文，直至将所述M个CPU缓存中的报文发送完；其中，所述选择算法是使得发送所述第m个CPU缓存中存储的报文的概率为所述第m概率的选择算法。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述带宽分配装置预存有所述M个CPU中的第一CPU的多个资源中每个资源的第一CPU域属性信息与SOC域属性信息之间的对应关系；所述资源为所述SOC分配给所述第一CPU的虚拟资源或物理资源，所述第一CPU域属性信息包括地址或总线设备功能标识BDF，所述SOC域属性信息包括地址或总线设备功能标识BDF；所述方法还包括：

所述带宽分配装置根据所述多个资源中每个资源的第一CPU域属性信息与SOC域属性信息之间的对应关系，确定与第一报文中携带的所述第一CPU域中的属性信息对应的所述SOC域中的属性信息；其中，所述第一报文是第一CPU缓存中的任意一个报文；

所述带宽分配装置将所述第一报文中携带的所述第一CPU域的属性信息替换为所述第一报文中携带的所述第一CPU域的属性信息对应的所述SOC域中的属性信息，得到第二报文；

所述带宽分配装置发送所述M个CPU缓存中存储的报文至所述网卡包括：

所述带宽分配装置发送所述第二报文至所述网卡。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

所述带宽分配装置接收所述SOC发送的第一资源的SOC域的属性信息，其中所述第一资源包括分配给所述第一CPU的虚拟资源或物理资源；

所述带宽分配装置接收所述第一CPU发送的所述第一资源的第一CPU域的属性信息；

所述带宽分配装置建立所述第一资源的SOC域的属性信息与所述第一资源的第一CPU域的属性信息之间的对应关系。

6.根据权利要求1-3、5任一项所述的方法，其特征在于，所述方法还包括：

如果所述报文存储情况包括所述N个CPU缓存中的每个CPU缓存中都没有存储报文，且所述SOC缓存中存储有报文时，则发送所述SOC缓存中存储的报文至所述网卡。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

如果所述报文存储情况包括所述N个CPU缓存中的每个CPU缓存中都没有存储报文，且所述SOC缓存中存储有报文时，则发送所述SOC缓存中存储的报文至所述网卡。

8.一种带宽分配装置，其特征在于，所述带宽分配装置包括：

存储模块，包括N个中央处理器CPU缓存和片上***SOC缓存；一个CPU缓存用于缓存一个CPU发送给所述带宽分配装置的报文，所述SOC缓存用于缓存所述SOC发送给所述带宽分配装置的报文；所述N是正整数；

处理模块，用于获取所述N个CPU缓存和所述SOC缓存中的报文存储情况；

收发模块，用于如果所述报文存储情况包括所述N个CPU缓存中的M个CPU缓存中均存储有报文，且所述SOC缓存中存储有报文，则发送所述M个CPU缓存中存储的报文至网卡；当所述M个CPU缓存中存储的报文都发送完之后，再发送所述SOC缓存中存储的报文至所述网卡；其中，1≤M≤N，所述M是整数；或者，如果所述报文存储情况包括所述N个CPU缓存中的M个CPU缓存中均存储有报文，但所述SOC缓存中没有存储报文，则发送所述M个CPU缓存中存储的报文至所述网卡。

9.根据权利要求8所述的带宽分配装置，其特征在于，所述M大于等于2；

所述收发模块具体用于：采用第m概率发送所述M个CPU缓存中的第m个CPU缓存中存储的报文至所述网卡，其中，1≤m≤M；所述m是整数；第一概率到第M概率之和为1。

10.根据权利要求9所述的带宽分配装置，其特征在于，

所述处理模块具体用于：根据选择算法，从所述M个CPU缓存中存储有未发送的报文的CPU缓存中选择一个CPU缓存作为目标CPU缓存，并由所述收发模块发送所述目标CPU缓存中的报文，直至将所述M个CPU缓存中的报文发送完；其中，所述选择算法是使得发送所述第m个CPU缓存中存储的报文的概率为所述第m概率的选择算法。

11.根据权利要求8-10任一项所述的带宽分配装置，其特征在于，所述存储模块还用于存储所述M个CPU中的第一CPU的多个资源中每个资源的第一CPU域属性信息与SOC域属性信息之间的对应关系；所述资源为所述SOC分配给所述第一CPU的虚拟资源或物理资源，所述第一CPU域属性信息包括地址或总线设备功能标识BDF,所述SOC域属性信息包括地址或总线设备功能标识BDF；

所述处理模块还用于：根据所述多个资源中每个资源的第一CPU域属性信息与SOC域属性信息之间的对应关系，确定与第一报文中携带的所述第一CPU域中的属性信息对应的所述SOC域中的属性信息；其中，所述第一报文是第一CPU缓存中的任意一个报文；并将所述第一报文中携带的所述第一CPU域的属性信息替换为所述第一报文中携带的所述第一CPU域的属性信息对应的所述SOC域中的属性信息，得到第二报文；

所述收发模块具体用于：发送所述第二报文至所述网卡。

12.根据权利要求11所述的带宽分配装置，其特征在于，

所述收发模块还用于：接收所述SOC发送的第一资源的SOC域的属性信息，其中所述第一资源包括分配给所述第一CPU的虚拟资源或物理资源；接收所述第一CPU发送的所述第一资源的第一CPU域的属性信息；

所述处理模块还用于：建立所述第一资源的SOC域的属性信息与所述第一资源的第一CPU域的属性信息之间的对应关系。

13.根据权利要求8-10、12任一项所述的带宽分配装置，其特征在于，所述收发模块还用于：

如果所述报文存储情况包括所述N个CPU缓存中的每个CPU缓存中都没有存储报文，且所述SOC缓存中存储有报文时，则发送所述SOC缓存中存储的报文至所述网卡。

14.根据权利要求11所述的带宽分配装置，其特征在于，所述收发模块还用于：

如果所述报文存储情况包括所述N个CPU缓存中的每个CPU缓存中都没有存储报文，且所述SOC缓存中存储有报文时，则发送所述SOC缓存中存储的报文至所述网卡。

15.一种带宽分配装置，其特征在于，包括：存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行权利要求1至7任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至7任一项所述的方法。

Images