CN110995598B - 一种变长报文数据处理方法和调度装置 - Google Patents

Abstract

本发明提供了一种变长报文数据处理方法和调度装置，属于数据通信的高速传输领域。其中，本发明所述数据处理方法包括以下步骤：接收变长报文并进行存储；根据变长报文携带的地址类型信息查询路由并获取输出端口信息；根据调度装置的调度策略，实现对应端口调度；进行数据交换。所述交换装置根据变长报文的输入端口和类型以及目的端口执行报文缓存和排序以及交换复制操作；所述变长报文在平面内采用共享缓存存储和虚拟输出队列模式，缓存空间根据可变端口数量进行调整。本发明能够根据交换装置的端口设置，实现单播、多播变长报文的有序无阻塞交换。

Description

一种变长报文数据处理方法和调度装置

技术领域

本发明属于数据通信的高速传输领域，具体涉及一种变长报文数据处理方法和调度装置。

背景技术

PCIE(Peripheral Component Interconnect Express)是一种高速串行计算机扩展总线标准，旨在替代旧的PCI，PCI-X和AGP总线标准。典型PCIE的拓扑结构包括四个功能类型，根联合体(Root Complex)、交换器(Switch)、端点(Endpoints)和桥(bridge)。在PCIeSwitch等变长报文交换领域，变长报文数据交换主要涉及到存储和控制信息交换，包括数据存储交换，流量管理和协议相关的排序等。在报文数据存储方面，主要采用cross-bar或者Share-memory的形式来进行存储，调度方式根据存储形式的不同来进行调度。cross-bar存储模式，需要为每个输入输出组合设置一个单独的缓存节点，缓存节点位宽和深度以及数量固定，需要根据线速要求和存储延时等计算缓存节点深度，对于变长报文和可变端口数量的交换来说，cross-bar模式存在比率非常高的存储资源浪费；share-memory模式，缓存的利用率相对于cross-bar模式有很大的提高，但是共享缓存需要对多端口并行数据进行RR(或者WRR)或TDM调度，需要提高***时钟频率或者内部data-path的位宽来满足线速要求。

综上所述，可变端口(端口数量和端口数据速率均可改变)的变长报文交换，需要在满足线速要求的下，提高缓存资源利用率，尤其在asic设计中节省面积和功耗。

发明内容

针对现有技术中所存在的问题，本发明的目的在于提供了一种变长报文交换处理方法和调度装置，以提高在可变端口和端口速率的场景下变长报文缓存和总线资源的利用率，保证线速，避免缓存读写冲突，满足PCIe排序规则。

为达到上述目的，本发明一方面是提供了一种变长报文数据处理方法，包括以下步骤：接收不定长数据报文并进行存储；根据变长数据报文的地址信息查询路由并获取端口信息；根据调度装置的调度策略，实现对应端口调度；进行数据交换。

进一步地，所述端口内划分多个处理平面，处理平面之间独立进行报文处理；端口数目根据报文数据量确定，支持源端口和目的端口矩阵式交换。

本发明另一方面提供了一种变长报文数据存储方法，包括以下步骤：依据报文的输入端口将报文存储至输入端口对应的共享缓存；检查端口数量和端口数据速率以及位宽；对缓存地址进行分组；选择变长报文存储地址；对变长报文进行数据存储。

进一步地，所述共享缓存大小由使能端口数据速率决定，且为正比变化关系；所述共享缓存地址包括逻辑地址和物理地址，物理地址和逻辑分组编号组成逻辑地址。

进一步地，预先确定所述端口数量、端口数据速率和位宽。

进一步地，所述分组包括物理地址和逻辑地址之间的互相转换。

进一步地，所述进行变长报文存储时，按照最小数据单元存储，一个物理或者逻辑地址对应多个最小数据单元且每个最小数据单元长度和数量固定；最小数据单元，其长度和数量由管理开销及共享缓存利用率确定。

进一步地，所述进行变长报文存储时，共享缓存的一个逻辑或者物理存储地址有一个或者多个报文存储；一个报文存储在多个物理或者逻辑地址单元；变长报文读取和写入时的地址由虚拟输出队列输出。

本发明再一方面提供了一种变长报文数据调度装置，包括：调度key生成模块、调度key队列管理模块和调度key排序模块，其中，调度key生成模块，用于封装报文类型和长度、sop/eop以及PCIe排序所需关键特征、报文进入交换装置时间，形成调度key；调度key队列管理模块，用于与虚拟输出队列结合进行队列调度；调度key排序模块，用于调度key排序和比较，包括调度key排序和比较单元和调度key的cache单元。

进一步地，所述调度key队列管理模块的工作过程为：报文依据类型和地址字段查询路由表，获取出向端口；调度key获取对应出向端口的虚拟输出队列的状态；若虚拟输出队列为空，则将调度key写入虚拟输出队列头部cache；否则写入虚拟输出队列。

进一步地，所述调度key排序模块的调度key排序和比较单元，其工作过程为：根据参与排序和比较的虚拟输出队列数目设置内部比较节点node和内部比较级别stage；抽取调度key在虚拟输出队列队首的key，写入输入侧node；输入侧node与PCIe排序规则进行比较；若适用PCIe排序规则，最终输出排序和比较结果，得到虚拟队列编号，反馈给缓存和虚拟队列管理，实现报文数据的输出和转发。

进一步地，所述调度key排序和比较单元中的内部比较节点node，其工作过程为：判断已存储的调度key和调度key是否被反压的信息；竞争成功的调度key，如果下一级node为空或者下一级node竞争成功，转发到下一级node，同时本node接收上一级的排序结果，否则停留在本级node，同时上一级的相关排序结果不可更新到本级，继续保留；竞争失败的调度key，停留在本级的node，同时上一级的相关排序结果不可更新到本级，继续保留。

进一步地，所述排序和比较单元中，内部比较级别stage中的node数目为2ⁱ个，i＝0,1,2，…，n为stage的级数。

进一步地，所述排序和比较单元中stage级数和node数量由参与排序和比较的队列数量决定。

进一步地，所述调度key的cache单元，在调度队列组织形式发生变化以及多平面plane之内调度以及多平面之间调度时设置，cache单元作为排序和比较单元之间的缓冲，用于调节时序，流水操作。

根据本发明的还一方面，提供了一种电子设备，包括中央处理器以及存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行上述变长报文数据处理方法。

根据本发明的第五方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令在由处理器执行时实现上述变长报文数据处理方法。

本发明的效果在于，采用本发明所述的一种变长报文交换处理方法和调度装置，具有以下显著的技术效果：

(1)能够根据可变端口来进行变长报文的共享存储和虚拟输出队列管理，调度装置实现变长报文按照排序规则和严格的时间顺序有序转发；

(2)大规模数据存储采用共享缓存，调度key采用多级组织排序和比较，加入流控以及共享缓存状态的反馈以及逆向调度网络传递，节省缓存资源，保证缓存利用率，避免共享缓存读写口冲突，保证了数据转发顺序和数据转发速率；

(3)能够在完成变长数据报文处理的同时，实现各芯片或者装置间灵活的联接关系以及良好的资源利用以及数据转发效果。。

附图说明

图1是本发明所述一种变长报文数据处理方法流程图；

图2是本发明所述一种变长报文数据存储方法流程图；

图3为本发明实施例的变长存储模式示意图；

图4是本发明所述一种变长报文数据调度装置示意；

图5为本发明实施例的调度策略在进行调度key排序的示意图；

图6是本发明实施例使用的现有技术cross-bar模式进行存储的原理示意图；

图7为本发明实施例使用的现有技术中的share-memory模式进行存储的原理示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步描述。

为使本发明实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明所述一种变长报文数据处理方法流程图。该方法步骤包括：

S101：接收不定长数据报文并进行存储，接收来自上游或者下游芯片控制器的报文数据，包括单播和多播报文。

S102：根据变长数据报文的地址信息查询路由并获取端口信息。在一个实施例中，报文携带报文头和payload，报文头中包括报文的长度、类型以及地址等字段。将报文头中的报文类型以及地址字段提取出来，发送到路由模块，路由模块反馈出端口和复制信息；根据共享缓存的最小数据单元，将报文头和payload组合在一起然后切分为对等的数据片段，同时申请空闲地址；申请空闲地址，根据交换装置的有效端口设置以及端口速率设置，将共享缓存的各个分组平均分给端口，例如1个16G的端口和2个8G的端口分别获取2/1/1个group的缓存资源；空闲地址来自group内的物理memory单元，根据逻辑分组的编号，组合为逻辑地址；

S103：根据调度装置的调度策略，实现对应端口调度。在一个实施例中，等待路由结果返回，同时生成调度key。交换装置设置计数器，以***时钟周期计数，计满翻转，报文进入交换装置的当前计数作为时钟周期标识，写入调度key，除此之外，调度key还包括报文长度、sop/eop，扇出标识、目的端口标识、报文类型以及报文应用于PCIe排序规则的ID。

报文路由结果返回，将报文存储地址加入对应的虚拟VOQ队列。

新生成的报文调度key，根据对应的虚拟VOQ队列的队首cache和队列深度，选择将调度key写入队列还是直接写入队首cache。

输入侧排序和调度，根据先入报文先出和PCIE特定的排序规则，选择输入侧向concentration模块转发的报文所属队列。

调度模块分多级，输入侧调度/Concentration调度和输出侧调度，每一级调度的调度key和调度stage以及node都不同。调度属于控制平面功能。

输入侧排序和调度以及Concentration调度共同协作，选择输入侧输出虚拟队列号，向输入侧队列链表管理模块申请出队，输入侧队列链表管理模块根据虚拟队列号以及报文长度，实施出队操作，取队列链表的链表header地址，经过逻辑->物理转换，定位到物理memory，将物理地址作为读memory索引，读取memory数据。

输入侧Memory数据读取完毕之后，根据报文的sop标识，分离报文头，将报文头和payload作为单独的数据bus发送到Concentration模块。

Concentration模块收到所述报文头和payload之后，将其map到报文输出端口对应的输出侧缓存。输出侧缓存处理数据的方式与输入侧相同。

控制平面，主要包括所述调度和排序模块，分为输入侧调度/Concentration调度和输出侧调度，排序和比较单元共用，依据不同的队列输入和cache完成不同成员的比较。

输入侧调度模块，分为两级比较，两级cache。第1级cache的调度key来自输入侧虚拟输出队列，第1级排序和比较单元的输入node即为第1级cache的调度key。第1级调度按照出向端口和报文类型分为独立的排序比较平面，参与调度的成员为同源端口的报文。经过调度key的时钟标识比较以及WRR或者RR调度后选择出每种类型的调度结果，进入第2级cache，第2级cache的调度key输入第2级调度，第2级调度进行加入PCIe排序规则的比较。排序和比较模块的node，当最后一级stage的比较有效，输入侧的key即可进入最后一级stagenode，即可向前抽取cache内的调度key，cache即可向虚拟输出队列请求新的报文调度key。

Consecration调度同样分两级，原理相同，将目的和源端口冲突在本级避免。

输出侧调度只有一级调度和一级cache，在出向端口内进行，加入PCIe排序规则。

S104：进行数据交换。

图2示出本发明所述一种变长报文数据存储方法流程图。方法步骤如下：

S201：依据报文的输入端口将报文存储至输入端口对应的共享缓存；

S202：检查端口数量和端口数据速率以及位宽；

S203：对缓存地址进行分组；选择变长报文存储地址；

S204：对变长报文进行数据存储。

在一个实施例中，所述交换装置端口数量和端口数据速率均可配置变化，在专用集成电路ASIC设置缓存与端口的逻辑对应关系时，缓存资源对应使能端口的数据速率，数据速率越大，动态分配的缓存资源越多。所述缓存资源对应逻辑地址和物理地址，物理地址和逻辑分组编号组成逻辑地址，存储地址控制管理使用逻辑地址。所述分组拆分为物理地址与逻辑地址间的相互转换。

所述变长报文的存储，按照最小数据单元data_unit存储，一个物理或者逻辑地址对应多个data_unit，一个物理地址或者逻辑地址对应的data_unit的长度和数量固定。所述最小数据单元可以是最小报文长度，也可以再细分，细分data_unit宽度越小，缓存利用率越高。本发明设置data_unit长度和数量，综合考虑缓存利用率以及data_unit管理开销。

所述变长报文存储，使用虚拟输出队列VOQ链表管理其存储地址；共享缓存的一个逻辑或者物理存储地址可以有一个或者多个报文存储；一个报文可以存储在多个物理或者逻辑地址单元。变长报文读取和写入时的地址由虚拟输出队列VOQ链表控制单元输出。

图3示出了本发明实施例的变长存储模式示意图，所述变长报文数据的存储可采用所述共享缓存方式管理。

为了实现变长报文无阻塞存储转发，图4示出了本发明所述一种变长报文数据调度装置，以满足线速要求、避免读冲突、满足PCIe排序规则。

该装置包括：

报文调度key生成模块310：报文类型和长度、sop/eop以及PCIe排序所需关键特征、报文进入交换装置的时间封装为报文key。

报文调度key队列管理模块320：所述报文key按照VOQ虚拟队列参与调度，所述报文依据所述报文类型和地址字段查询路由表，获取出向端口。报文key获取对应出向端口的虚拟输出队列的状态，虚拟输出队列为空，向后直接将报文key写入虚拟输出队列头部cache；否则写入虚拟输出队列。

调度key排序模块330：包括调度key的排序和比较单元331和调度key的cache单元332。图5为本发明实施例的调度策略在进行调度key排序的示意图，下面以此实施例阐释调度排序工作原理。

所述调度key的排序和比较单元331，根据参与排序和比较的虚拟队列数设置内部比较级别stage和内部比较节点node。抽取调度Key的虚拟输出队列队首的key，写入所述调度和比较单元的输入侧node，输入侧node经过多级比较，适用PCIe排序规则，最终输出排序和比较结果，得到虚拟队列编号，反馈给缓存和虚拟队列管理，实现报文数据的输出和转发。

所述排序和比较单元的node，存储调度key和调度key是否被反压的信息；竞争成功的调度key，如果下一级node为空或者下一级node竞争成功，转发到下一级node，同时本node可以接收上一级的排序结果，否则停留在本级node，同时上一级的相关排序结果不可更新到本级，继续保留；竞争失败的调度key，停留在本级的node，同时上一级的相关排序结果不可更新到本级，继续保留。

所述排序和比较单元，stage0只有一个node，stage1只有2个node，stage2只有4个node，依次类推，参与排序和比较的队列数量决定排序和比较单元的stage级数和node数量。

所述排序和比较单元，接收反压信息以及端口Busy状态的控制，在每一级stage之间连续传递，不可越级。所述排序和比较单元的stage0的node0，代表排序结果，接收反压和不可出队的控制信号，逐级反馈到虚拟输出队列也就是排序和比较单元的输入侧。

所述调度key的cache单元，在调度队列组织形式发生变化以及多平面(plane)之内调度以及多平面之间调度时设置，cache单元作为排序和比较单元之间的缓冲，用于调节时序，流水操作，方便进行冲突避免逻辑的处理。

所述调度装置，结合了排序比较单元和cache单元332，方便地在数据处理的各个模块之间进行流水线调度key比较，虚拟队列组织形式的变化和各级排序和比较之间由cache隔离，功能独立；同时cache单元使应用PCIe排序规则、WRR/SP等调度规则以及主动流控规则等变得十分方便。

本领域技术人员应该明白，本发明所述的方法和装置并不限于具体实施方式中所述的实施例，上面的具体描述只是为了解释本发明的目的，并非用于限制本发明。本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围，本发明的保护范围由权利要求及其等同物限定。

Claims (17)

1.一种变长报文数据处理方法，其特征在于，包括以下步骤：

接收变长报文并进行存储；根据变长报文的地址信息查询路由并获取转发输出端口信息；根据调度装置的调度策略，实现报文向对应输出端口的调度；进行数据交换；端口数目根据报文数据量确定，支持源端口和目的端口矩阵式报文交换。

2.根据权利要求1所述的一种变长报文数据处理方法，其特征在于，所述端口数目根据报文数据量确定，支持源端口和目的端口矩阵式报文交换；端口内划分多个处理平面，处理平面之间独立进行报文处理。

3.根据权利要求1所述的一种变长报文数据处理方法，其特征在于，所述接收变长报文并进行存储，包括以下步骤：

依据报文的输入端口将报文存储至输入端口对应的共享缓存；检查端口数量和端口数据速率以及位宽；对缓存地址进行分组；选择变长报文存储地址；对变长报文进行数据存储。

4.如权利要求3所述的一种变长报文数据处理方法，其特征在于，所述共享缓存大小由使能端口数据速率决定，且为正比变化关系；所述共享缓存地址包括逻辑地址和物理地址，物理地址和逻辑分组编号组成逻辑地址。

5.如权利要求3所述的一种变长报文数据处理方法，其特征在于，预先确定所述端口数量、端口数据速率和位宽。

6.如权利要求3所述的一种变长报文数据处理方法，其特征在于，所述分组包括物理地址和逻辑地址之间的互相转换。

7.如权利要求3所述的一种变长报文数据处理方法，其特征在于，所述进行变长报文存储时，按照最小数据单元存储，一个物理或者逻辑地址对应多个最小数据单元且每个最小数据单元长度和数量固定；最小数据单元，其长度和数量由管理开销及共享缓存利用率确定。

8.如权利要求3-7中任一项所述的一种变长报文数据处理方法，其特征在于，所述进行变长报文存储时，共享缓存的一个逻辑或者物理存储地址有一个或者多个报文存储；一个报文存储在多个物理或者逻辑地址单元；变长报文读取和写入时的地址由虚拟输出队列输出。

9.一种变长报文数据调度装置，用于调度根据权利要求1-8任一项所述的方法处理的报文数据，其特征在于，包括：调度key生成模块、调度key队列管理模块和调度key排序模块，其中，

调度key生成模块，用于封装报文类型和长度、sop/eop以及PCIe排序所需关键特征、报文进入交换装置时间，形成调度key；

调度key队列管理模块，用于与虚拟输出队列结合进行队列调度；

调度key排序模块，用于调度key排序和比较，包括调度key排序和比较单元和调度key的cache单元。

10.如权利要求9所述的一种变长报文数据调度装置，其特征在于，所述调度key队列管理模块的工作过程为：

报文依据类型和地址字段查询路由表，获取出向端口；

调度key获取对应出向端口的虚拟输出队列的状态；

若虚拟输出队列为空，则将调度key写入虚拟输出队列头部cache；否则写入虚拟输出队列。

11.如权利要求9所述的一种变长报文数据调度装置，其特征在于，所述调度key排序模块的调度key排序和比较单元，其工作过程为：

根据参与排序和比较的虚拟输出队列数目设置内部比较节点node和内部比较级别stage；

抽取调度key在虚拟输出队列队首的key，写入输入侧node；

输入侧node与PCIe排序规则进行比较；

若适用PCIe排序规则，最终输出排序和比较结果，得到虚拟队列编号，反馈给缓存和虚拟队列管理，实现报文数据的输出和转发。

12.如权利要求11所述的一种变长报文数据调度装置，其特征在于，所述调度key排序和比较单元中的内部比较节点node，其工作过程为：

判断已存储的调度key和调度key是否被反压的信息；

竞争成功的调度key，如果下一级node为空或者下一级node竞争成功，转发到下一级node，同时本node接收上一级的排序结果；否则，停留在本级node，同时上一级的相关排序结果不可更新到本级，继续保留；

竞争失败的调度key，停留在本级的node，同时上一级的相关排序结果不可更新到本级，继续保留。

13.如权利要求11所述的一种变长报文数据调度装置，其特征在于，所述排序和比较单元中，内部比较级别stage中的node数目为2ⁱ个，i＝0,1,2，…，n是stage的级数。

14.如权利要求11-13任一项所述的一种变长报文数据调度装置，其特征在于，所述排序和比较单元中stage级数和node数量由参与排序和比较的队列数量确定。

15.如权利要求14所述的一种变长报文数据调度装置，其特征在于，所述调度key的cache单元，在调度队列组织形式发生变化以及多平面plane之内调度以及多平面之间调度时设置，cache单元作为排序和比较单元之间的缓冲，用于调节时序，流水操作。

16.一种电子设备，包括中央处理器以及存储计算机可执行指令的存储器，其特征在于，所述计算机可执行指令在被执行时使所述处理器执行根据权利要求1-8中任一项所述的方法。

17.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，其特征在于，当所述一个或多个程序被处理器执行时，实现权利要求1-8中任一项所述的方法。

Images