CN103546394B - 一种通信装置 - Google Patents

Abstract

本发明提供一种通信装置，包括CPU，第一逻辑器件、第二逻辑器件、PCIE Switch和业务接口卡。第一逻辑器件和第二逻辑器件都包括缓存单元和解析单元。第一逻辑器件接收到CPU发送的报文后，剥离控制信息，将数据信息存在第一缓存区域，并解析控制信息构造对应的BD。第一缓存区域存满时，将第一缓存区域中的数据信息以及对应的BD发送到第二逻辑器件。第二逻辑器件接收到数据信息后，根据BD将数据信息还原一个或多个数据报文由业务接口卡发送；发送完成后，回复一个确认BD报文给第一逻辑器件。本发明减少了TLP报文的数量，提升了PCIE总线的有效数据带宽。

Description

一种通信装置

技术领域

本发明涉及通信技术，尤其涉及一种通信装置。

背景技术

当前，为了支持网络的普及以及多样化的应用，通信设备的高速、高效、可扩展性越来越受人们关注。由于总线以良好的兼容性、传输速度快等特点，很好的满足了用户多样化的需求。其中PCI-Express(以下简称PCIE)总线技术能够提供极高的带宽来满足***的需求，从而被人们广泛应用。但是PCIE总线的有效带宽利用率比较低，达不到更高的传输速率。

常见的PCIE总线结构如图1所示，CPU芯片通过内部集成一个根控制器RootComplex或者外接一个Root Complex，经过一片或者多片交换芯片PCIE Switch，既可以和多个PCIE Endpoint终端设备相连，也可以和多个传统的PCI/PCI-X接口的设备相连，为用户扩展出丰富的业务接口。CPU和PCIE终端设备之间的数据交互通过PCIE规范所规定的TLP报文来进行。如图2所示，一个TLP报文的控制信息开销是24字节。比如，CPU向某一个PCIE设备写4个字节的数据，最终在PCIE总线上传输的就会是一个28字节的TLP报文，其中，真正的有效数据是图2所示的Data部分，仅仅4字节。由此可见，当CPU和PCIE设备之间存在这种频繁的零碎的数据交互时，PCIE的带宽利用率则会降低，因为TLP控制信息的开销占了很大部分的带宽。

通常，人们将CPU芯片集成了一个PCIE控制器作为Root Complex，直接和一个PCIESwitch的上游口Up Stream相连。PCIE Switch还出多个下游口Down Stream，每个DownStream可以接一块具有PCIE接口的业务接口卡。结构框图如图3所示：CPU和具体的业务接口卡之间以BD的方式实现报文的接收和发送。BD的内容如图4所示，每个BD8字节。本文中，统一把CPU向业务接口卡的报文传递方向称之为下行，把业务接口卡到CPU的报文传递方向称之为上行。

CPU在接收上行报文之前将自身接收缓存对应的所有BD发送给业务接口卡，当接收上行报文时：业务接口卡收到一个报文，向CPU发送一个上行的TLP报文，以64字节报文为例，TLP报文总长度为24＋64＝88字节；业务接口卡向CPU写一个报文对应的BD，对应着一个上行的TLP报文，TLP报文总长度为24＋8＝32字节；之后，CPU回应业务接口卡一个空闲BD，对应着一个下行的TLP报文24＋8＝32字节。

当发送下行报文时：CPU向接口卡写一个非空闲的BD，CPU发出一个下行的TLP报文，数据总长度为24＋8＝32字节；接口卡解析出这个BD的报文地址和长度信息，向CPU发起读请求，对应着一个上行的TLP报文，24字节；CPU响应这个读请求返回报文数据，对应着一个下行的TLP报文，TLP报文总长度为24+64=88字节；接口卡发送完报文后向CPU写一个发送完成BD，对应着一个上行的TLP报文，TLP报文总长度为24＋8＝32字节。

以上面所述的一次64字节报文的收发流程为例，真正的有效数据带宽是上行和下行各64字节，共消耗下行带宽152字节，上行带宽176字节，为了便于计算，将上行带宽也略算成152字节，则有效数据带宽只占到总带宽的64/152=42%。

由此可见，即便是一条5G×4Lane的PCIE链路，它的物理总带宽有20G，经过10b/8b解码后的真实物理带宽是16G。但是当传输64字节这样的小报文时，只能达到6.72G bps的速率。无法支持8Gbps或者10Gbps速率级别的接口的线速转发。

发明内容

有鉴于此，本发明提供一种通信装置，包括CPU，所述装置进一步包括第一逻辑器件、第二逻辑器件、PCIE Switch和业务接口卡，其中所述第二逻辑器件在业务接口卡上，第一逻辑器件通过点对点的总线与CPU连接，第一逻辑器件和第二逻辑器件通过PCIE Switch相连接，第一逻辑器件和第二逻辑器件都包括缓存单元和解析单元，其中第一逻辑器件的缓存单元包括第一缓存区域和第二缓存区域；第一逻辑器件的缓存单元接收到CPU发送的下行数据报文后，剥离控制信息，将数据信息存在第一缓存区域，解析单元解析控制信息，构造对应的下行发送缓存描述符BD存入缓存单元的第二缓存区域；第一缓存区域存满时，将第一缓存区域中的数据信息发送到第二逻辑器件的缓存单元，并将数据信息对应的下行发送BD通过BD报文发送到第二逻辑器件的缓存单元，其中，所述BD报文包含一个以上BD；第二逻辑器件的缓存单元接收到数据信息后，根据下行发送BD报文的BD信息将数据信息还原一个或多个数据报文由业务接口卡发送；发送完成后，回复一个确认BD报文给第一逻辑器件，其中，所述确认BD报文包含针对所述一个以上BD的确认BD。

附图说明

图1是一种通信装置的逻辑结构图；

图2是TLP报文的结构示意图；

图3是另一种通信装置的逻辑结构图；

图4是BD的内容示意图；

图5是本发明实施例一种通信装置的逻辑结构图；

图6是本发明实施例另一种通信装置的逻辑结构图；

图7是本发明实施例又一种通信装置的逻辑结构图。

具体实施方式

为了解决这个问题，本发明实施例提供了一种通信装置。请参考图5，本发明实施例提供一种通信装置，包括CPU11、第一逻辑器件12、PCIESwitch13、第二逻辑器件14和业务接口卡15。其中第一逻辑器件12通过点对点的总线与CPU11连接，第二逻辑器件14在业务接口卡15上，第一逻辑器件12和第二逻辑器件14分别通过PCIE总线与PCIE Switch13上的UpStream和Down Stream相连接，第一逻辑器件12包括解析单元121和缓存单元122，其中所述缓存单元包括第一缓存区域1221和第二缓存区域1222。第二逻辑器件包括解析单元141和缓存单元142。

第一逻辑器件12与CPU11之间是通过点对点的总线如SPI4（System PacketInterface Level4）相连，其特点在于双方无需寻址操作即可将数据报文传输到对端。所述数据报文是以数据流的形式传输的，数据报文的控制信息（如报文长度、SOP/EOP标识及VALID标识）包含在在数据流的报头SOP/报尾EOP指示中。

在下行报文的处理上，当第一逻辑器件12的缓存单元122接收到CPU11发送的下行数据报文，由于第一逻辑器件12和第二逻辑器件14是通过PCIE总线相连的，其传输的数据报文承载在TLP报文。所述数据报文传输时还需要BD报文来描述数据报文的控制信息。如果要将数据报文发送给第二逻辑器件14，那么需要数据报文对应的BD报文。因此第一逻辑器件12先从数据报文的报头SOP/报尾EOP指示中剥离所述数据报文的控制信息（如报文长度、SOP/EOP标识及VALID标识），然后将数据信息存在第一缓存区域1221，解析单元121解析所述的控制信息，如报文长度、SOP/EOP标识及VALID标识信息，根据解析得到的控制信息构造对应的下行发送BD存入缓存单元122的第二缓存区域1222。

当第一缓存区域1221存满时，将第一缓存区域1221中的数据信息发送到第二逻辑器件14的缓存单元142，并将数据信息对应的下行发送BD通过BD报文发送到第二逻辑器件14的缓存单元142。

值得注意的是：所述BD报文包含所述第一缓存区域1221中的所有数据信息对应的BD，由于第一缓存区域1221至少能容纳一个数据信息，则对应的一个BD报文中也包含一个以上的BD。例如CPU向第一逻辑器件12下发三个数据报文并缓存于第一缓存区域1221，对应着第一逻辑器件12会构造三个下行发送BD，每个BD为8字节，当此时第一缓存区域1221存满时，通过一个BD报文发送出去，则发送所述三个数据报文的BD共需要8×3+24=48字节。但现有技术中通常是发送三个BD报文，则需要（8+24）×3=96字节。由此可见仅在BD报文的发送上，本发明就可以提升百分之五十的有效带宽利用率。

第二逻辑器件14的缓存单元142接收到数据信息后，根据下行发送BD报文的BD信息（其中包括，报文长度、SOP/EOP标识及VALID标识信息）将数据信息还原成一个或多个数据报文，所述的还原通常是先根据BD信息中的报文长度和SOP/EOP标识将数据信息进行切分，得到每个数据报文。然后由业务接口卡15发送出去。发送完成后，第二逻辑器件14回复一个确认BD报文给第一逻辑器件，其中，所述确认BD报文包含针对所述一个以上BD的确认BD。

由此可见，通过第一逻辑器件12的缓存单元122，实现PCIE总线上TLP报文的满载传输。减少了下行TLP报文的数量，提升了PCIE总线的有效数据带宽。

在本发明实施例中，所述的逻辑器件可以是由多个元件组成来实现逻辑功能的，也可以是可编程的逻辑器件，本实施例中以现场可编程门阵列FPGA为例进行说明，则第一逻辑器件为FPGA1，第二逻辑器件为FPGA2。FPGA1、2通常内置随机存储器RAM块或是外接RAM块来实现缓存报文。由于FPGA1连接CPU，收发的报文比较多，需要较大的缓存单元，因此，FPGA1通常会外接一些容量较大的RAM作为它的缓存单元。但FPGA2服务于业务接口卡，相对业务量较小，为了节省成本FPGA2可能只内置一个较小的RAM，当然，FPGA2也可以内置一个较大RAM。因此针对FPGA2的RAM容量的大小，FPGA1向FPGA2发送报文的方式也有些不同，一般分为主从方式和对等方式。

对于FPGA1，2缓存差别比较大的情况，通常采用主从方式，具体为，缓存空间大的FPGA1为主，缓存空间小的FPGA2为从。由于FPGA2不具备足够大的缓存空间，无法存储大量数据信息，所以只能从FPGA1的缓存中读数据。其具体实施方式为：当FPGA1的第一缓存区域存满时，先将与RAM1对应的BD报文发给FPGA2，FPGA2根据BD信息向FPGA1的RAM1发出读请求，FPGA1响应读请求返回对应的RAM1的数据信息。

对于FPGA1，2缓存差别比较小的情况，通常采用对等方式，具体为，当FPGA1的RAM1存满时，将RAM1的数据信息通过PCIE总线写到FPGA2RAM中，并将数据信息对应的BD报文发送给FPGA2。该方式相比于主从方式要更加方便，由于省去了读请求的过程，使信息传输更加快速。

请参考图6，本发明实施例提供另一种通信装置，包括CPU21、第一逻辑器件22、PCIE Switch23、第二逻辑器件24和业务接口卡25。其中第一逻辑器件22通过点对点的总线与CPU21连接，第二逻辑器件24在业务接口卡25上，第一逻辑器件22和第二逻辑器件24分别通过PCIE总线与PCIE Switch23上的Up Stream和Down Stream相连接，第一逻辑器件22包括解析单元221和缓存单元222，第二逻辑器件包括解析单元241和缓存单元242。其中所述的缓存单元242包括第四缓存区域2421和第五缓存区域2422。

在对上行数据的处理上，第二逻辑器件24的缓存单元242接收到业务接口卡25发送的上行数据报文后，先剥离控制信息，将数据信息放入第四缓存区域2421，解析单元241解析控制信息后，构造上行发送BD存入第五缓存区域2422，第四缓存区域2421存满时，将第四缓存区域2421中的数据信息及对应的上行发送BD通过BD报文发送到第一逻辑器件22的缓存单元222，其中，所述BD报文包含一个以上BD。

第一逻辑器件22的缓存单元222接收到数据信息后，根据上行发送BD信息将数据信息还原成一个或多个数据报文，发送给CPU21。

在本实施例中，通过第二逻辑器件24的缓存单元242将，实现了PCIE总线上TLP报文的满载传输，减少了上行TLP报文的数量，提升了PCIE总线的有效数据带宽。

请参考图7，本发明实施例提供又一种通信装置，包括CPU31、第一逻辑器件32、PCIE Switch33、第二逻辑器件34和业务接口卡35。其中第一逻辑器件32通过点对点的总线与CPU31连接，第二逻辑器件34在业务接口卡35上，第一逻辑器件32和第二逻辑器件34分别通过PCIE总线与PCIE Switch33上的Up Stream和Down Stream相连接，第一逻辑器件32包括解析单元321和缓存单元322，其中所述缓存单元包括第一缓存区域3221和第二缓存区域3222。第二逻辑器件包括解析单元341和缓存单元342。其中所述的缓存单元342包括第四缓存区域3421和第五缓存区域3422。

所述第一逻辑器件32进一步还包括第三缓存区域3223,并与第一缓存区域3221互为备用，所述第一逻辑器件32将收到的数据信息存入第一缓存区域3221,当第一缓存区域3221存满时，则将剩余的数据信息存储到第三缓存区域3223，并进一步存储后续的报文，当第一缓存区域3221中的数据信息发送出去后做为第三缓存区域3223的备用缓存区域，二者交替互为备份。

所述第二逻辑器34件进一步还包括第六缓存区域3423,并与第四缓存区域3421互为备用，所述第二逻辑器34件将收到的数据信息存入第四缓存区域3421,当第四缓存区域3421存满时，将剩余的数据信息存储到第六缓存区域3423，并进一步存储后续的报文，当第四缓存区域3421中的数据信息发送出去后做为第六缓存区域3423的备用缓存区域，二者交替互为备份。

假设在***初始化时，PCIE总线上一个TLP的最大有效载荷Pay load size（TLPsize）为256字节，最大传输单元MTU为1500字节，根据向上取整的公式：

((MTU+TLP size-1)/TLP size)×TLP size，计算出第一逻辑器件32的第一缓存区域3221的大小为1536字节。

假设CPU31发出第一个数据流为512字节，第一逻辑器件32把数据信息存入第一缓存区域3221，未存满，并构造其对应的下行发送BD报文存入第二缓存区域3222，PCIE总线上不发起任何操作；

CPU发出第二个数据流为512字节，第一逻辑器件32把数据信息继续存入第一缓存区域3221，未存满（此时为1024字节），并构造其对应的下行发送BD继续存入第二缓存区域3222，PCIE总线上仍然不操作；

CPU发出第三个数据流为1024字节，第一逻辑器件32把数据信息继续存入第一缓存区域3221，并构造其对应的下行发送BD存入第二缓存区域3222。此时第一缓存区域3221存满则第一逻辑器件32把第一缓存区域3221的前两个报文和第三个报文的前512字节发出；然后PCIE总线上再发出一个TLP报文，包含前两个数据信息对应的下行发送BD。另外，第一逻辑器件把第三个数据流剩余的512字节存在第三缓存区域3223并构造其对应的下行发送BD存入第二缓存区域3222，如果第一逻辑器件32不再接收到新的报文，则将第三缓存区域3223中的512字节的数据信息构建一个TLP报文与其对应的BD报文一起发送出去。第二逻辑器件34收到TLP报文后，把数据报文存入缓存单元342根据下行发送BD切割数据，每还原完一个数据报文，启动接口发送给业务接口卡35。

为了保证数据报文及时传输，可以分别针对缓存单元中存放数据信息的缓存区域，如图7中，第一缓存区域3221、第三缓存区域3223、第四缓存区域3421和第六缓存区域3423这类的数据缓存区域设置一个定时器。当所述数据缓存区域开始收到数据的时候启动一个定时器，定时器的时长为N个***时钟周期。如果在定时器超时前，缓存区域的数据存满，则将缓存区域的数据以及对应的BD报文发送出去，并删除定时器；如果在定时器超时时，缓存区域还未存满，则也启动PCIE总线把缓存区域的中数据以及对应的BD发出，然后删除定时器。

其中，所述定时器的时长为缓存区域的大小与PCIE总线的发送速率的比值，并且为时钟周期的N倍，N为整数。N的计算满足如下原则：

N/Sysclock Frequency>RAM size/Line Rate，也就是说，当数据流的发送速率低于一般线速时，PCIE总线上相应的对有效带宽利用率的要求也降低了，这个时候可以采用原有的方式在PCIE总线上传输，即允许一个TLP报文携带的报文小于TLP size。这样的设置使得该装置可以根据通信***的实际情况来调整数据传输方式，从而实现各种情况下的高效传输。

按照本发明实施例的方案在PCIE总线上传输64字节小包的性能：

发送方向，每发送24个报文（26×64＝1536，组成一个RAM块，对应1536/256＝6个TLP size），下行产生6个TLP报文；然后24个下行发送BD产生一个TLP报文；下行报文长度1536字节，下行数据总长度6×（256＋24）＋（24×8＋24）＝1896字节，相应的，确认BD报文占用上行带宽24×8＋24＝216字节；

接收方向，类似的，上行报文每1536字节占用上行带宽1896字节；

最终，64字节小包传输时PCIE总线的有效数据带宽利用率为：1536/（1896+216)＝72％。相比于原方案，对于一个20G带宽的PCIE总线，小包传输性能能从6.72G提升到11.6G。

由此可见，通过带RAM块的FPGA，把地址上不连续的数据流转换成地址上连续的数据流，实现PCIE总线上TLP报文的满载传输。减少了TLP报文的数量，提升了PCIE总线的有效数据带宽。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种通信装置，包括CPU，其特征在于：所述装置进一步包括第一逻辑器件、第二逻辑器件、PCIE Switch和业务接口卡，其中所述第二逻辑器件在业务接口卡上，第一逻辑器件通过点对点的总线与CPU连接，第一逻辑器件和第二逻辑器件通过PCIE Switch相连接，第一逻辑器件和第二逻辑器件都包括缓存单元和解析单元，其中第一逻辑器件的缓存单元包括第一缓存区域和第二缓存区域；

第一逻辑器件的缓存单元接收到CPU发送的下行数据报文后，剥离控制信息，将数据信息存在第一缓存区域，解析单元解析控制信息，构造对应的下行发送缓存描述符BD存入缓存单元的第二缓存区域；第一缓存区域存满时，将第一缓存区域中的数据信息发送到第二逻辑器件的缓存单元，并将数据信息对应的下行发送BD通过BD报文发送到第二逻辑器件的缓存单元，其中，所述BD报文包含一个以上BD；

第二逻辑器件的缓存单元接收到数据信息后，根据下行发送BD报文的BD信息将数据信息还原为一个或多个数据报文，由业务接口卡发送；发送完成后，回复一个确认BD报文给第一逻辑器件，其中，所述确认BD报文包含针对所述一个以上BD的确认BD。

2.如权利要求1所述的通信装置，其特征在于，第一缓存区域存满时，将第一缓存区域中的数据信息以及对应的下行发送BD报文发送到第二逻辑器件的缓存单元具体包括，所述第一逻辑器件将第一缓存区域的数据信息写到第二逻辑器件的缓存单元，并将数据信息对应的下行发送BD通过BD报文发送给第二逻辑器件的缓存单元。

3.如权利要求1所述的通信装置，其特征在于，第一缓存区域存满时，将第一缓存区域中的数据信息以及对应的下行发送BD报文发送到第二逻辑器件的缓存单元具体包括，所述第一逻辑器件将与第一缓存区域数据信息对应的下行发送BD通过BD报文发给第二逻辑器件的缓存单元，第二逻辑器件根据BD向第一逻辑器件发读请求，第一逻辑器件响应读请求将第一缓存区域的对应数据信息发送给第二逻辑器件的缓存单元。

4.如权利要求1所述的通信装置，其特征在于，所述数据报文的控制信息包含在报头SOP/报尾EOP指示中。

5.如权利要求1所述的通信装置，其特征在于，所述第二逻辑器件的缓存单元包括第四缓存区域和第五缓存区域，当所述第二逻辑器件接收到业务接口卡发送的上行数据报文后，剥离控制信息，将数据信息放入第四缓存区域，解析单元解析控制信息，构造上行发送BD存入第五缓存区域，第四缓存区域存满时，将第四缓存区域中的数据信息及对应的上行发送BD通过BD报文发送到第一逻辑器件的缓存单元，其中，所述BD报文包含一个以上BD；

第一逻辑器件的缓存单元接收到数据信息后，根据下行发送BD信息将数据信息还原成一个或多个数据报文，发送给CPU。

6.如权利要求1所述的通信装置，其特征在于，所述第一逻辑器件进一步还包括第三缓存区域,并与第一缓存区域互为备用，所述第一逻辑器件将收到的数据信息存入第一缓存区域,当第一缓存区域已经存满时，将后续数据信息存储在第三缓存区域，当第一缓存区域中的数据信息发送出去后做为第三缓存区域的备用缓存区域。

7.如权利要求5所述的通信装置，其特征在于，所述第二逻辑器件进一步还包括第六缓存区域,并与第四缓存区域互为备用，所述第二逻辑器件将收到的数据信息存入第四缓存区域,当第四缓存区域已经存满时，将后续数据信息存储在第六缓存区域，当第四缓存区域中的数据信息发送出去后做为第六缓存区域的备用缓存区域。

8.如权利要求1至7任一所述的通信装置，其特征在于，当数据缓存区域中开始存入数据信息时，启动定时器，当该缓存区域存满或定时器超时，将该缓存区域的数据信息及数据信息对应的下行发送BD通过BD报文发送出去并删除定时器。

9.如权利要求8所述的通信装置，其特征在于，所述定时器的时长为数据缓存区域的大小与PCIE总线的发送速率的比值向上取整个时钟周期。