CN103618618A - 基于分布式pcie***的线卡故障恢复方法及相关设备 - Google Patents

Abstract

本发明公开了一种基于分布式PCIE***的线卡故障恢复方法、装置及线卡，该方法包括：所述分布式PCIE***中的故障线卡自动重启后，关闭所述故障线卡上的PCIE端口，以通知所述分布式PCIE***中与所述故障线卡连接的交换芯片丢弃目的地址为所述故障线卡的地址的数据；获取预先保存的所述故障线卡的PCIE配置信息后，根据获取的PCIE配置信息进行配置；开启所述PCIE端口，以通知所述交换芯片恢复发送目的地址为所述故障线卡的地址的数据。该方案可以有效避免整个PCIE***发生拥塞，节省了主控卡的软件资源。

Description

基于分布式PCIE***的线卡故障恢复方法及相关设备

技术领域

本发明涉及通信技术领域，尤指一种基于分布式快速外设部件互联（Peripheral Component Interconnect Express，PCIE）***的线卡故障恢复方法、装置及线卡。

背景技术

PCIE总线是应用于通信***中各组件之间传输数据的高性能总线。在PCIE***中采用点对点连接方式，每一对互连的组件之间都拥有独立的PCIE总线，各组件之间并发进行数据传输互不影响。由于采用点对点的互连技术，通过PCIE交换芯片（Switch，SW）还可以灵活扩展PCIE***的拓扑结构。

PCIE***一般包括根组件（Root Complex，RC）、PCIE SW和端点（EndPoint，EP）。RC一般集成在中央处理器（Central Processing Unit，CPU）中，除了通常的数据传输功能外，还可以实现对整个PCIE***进行扫描、配置、管理等等功能。PCIE SW至少包含两个以上的端口，允许数据从一个端口传输到另一个端口，它的主要功能是扩展PCIE***的拓扑。EP是各种集成了PCIE端口的设备，EP可以通过PCIE总线实现和其他的EP或RC之间的数据传输。如图1所示为一个简单的PCIE***的结构。

下面介绍PCIE***的几个特性。

第一是扫描，在PCIE***刚上电时，RC看不到PCIE***上的其他组件，因此必须进行扫描。扫描时，RC会发出特定报文，接收到该特定报文的组件会向RC发送响应报文，RC接收到响应报文后就确认该组件存在。扫描完成后，RC就可以确认整个PCIE***存在的组件及其连接方式等信息。

第二是配置，在扫描完成后，RC还需要对PCIE***里的各个组件进行配置，配置的目的是为了合理设置各组件里的寄存器，使整个PCIE***可以进行正常的数据传输。例如，RC要对各个EP内部的基址寄存器进行设置，而基址寄存器存储的是RC分配给各个EP的内存空间，EP就是根据基址寄存器里的内容，来判断是否应该接收出现在PCIE总线上数据。

第三是流控，PCIE***是一种可靠的数据传输***，所有的数据传输都必须遵守基于信用点的流控来保证数据在PCIE***里不被随意丢弃。信用点是和可发送的数据相对应的，信用点多，则表示可发送的数据多，反之，则表示可发送的数据少。假设组件A和组件B为PCIE***中的两个组件，组件A向组件B发送报文的基本原理如图2所示。

首先组件B会根据自己内部空闲缓冲区的大小，定期发送携带信用点信息的报文给组件A，组件A收到后会更新自己的信用池。组件A向组件B发送报文前，要先查询自身的信用池，判断是否有足够的信用点，若信用点足够，则向组件B发送报文，同时信用池内的信用点就会相应的减少；若信用点不够，则不能向设备B发送报文。由于组件内的信用池反映的是对端组件空闲缓冲区的大小，从而保证只有对端组件的空闲缓冲区足够大时，才能向对端组件发送报文，避免对端组件因为缓冲区不足而发生丢包，保证数据传输的可靠性。

一般情况下，RC集成在CPU内部，有独立的软件***，PCIE SW以芯片的形式存在，EP的形式比较灵活，可以是没有独立运行软件***的一般接口芯片，也可以是有独立运行软件***并集成了EP功能的CPU。若EP的形式是后者，则PCIE***拥有至少两个CPU和软件***，这样的PCIE***称为分布式PCIE***。在分布式PCIE***中，RC所在的板卡称为主控卡，EP所在的板卡称为线卡，如图3所示是拥有三个CPU的分布式PCIE***。

目前，随着网络通信技术的快速发展，分布式PCIE***应用在越来越多的网络设备中，特别是要求高性能和强大处理能力的核心网络设备。

分布式PCIE***由于存在多个CPU，处理性能很高，而可靠性却比较差。因为每个CPU有自己的软件***，很容易因为软件方面的原因出现故障，例如当软件陷入死循环、出现跑飞等等情况时都会出现故障，线卡检测到自己的CPU故障后，会重启CPU，该CPU所在的线卡上的配置信息全部丢失，无法继续正常传输数据。线卡要想恢复正常的传输数据，需要在主控卡检测到线卡发生故障、并对其重新进行扫描和配置后才行。由于从线卡发生故障到主控卡检测出线卡发生故障并重新进行扫描和配置需要一段比较长的时间，这段时间内有可能因为故障线卡触发整个PCIE***发生拥塞，进而影响其他正常线卡的数据传输；并且，在故障恢复的过程中需要主控卡重新进行扫描和配置，还会浪费主控卡的软件资源。

发明内容

本发明实施例提供一种基于分布式PCIE***的线卡故障恢复方法、装置及线卡，用以解决现有的基于分布式PCIE***对故障线卡进行恢复的过程中，可能触发整个PCIE***发生拥塞、进而影响其他正常线卡的数据传输，以及浪费主控卡的软件资源的问题。

因此，根据本发明实施例，提供一种基于分布式PCIE***的线卡故障恢复方法，包括：

所述分布式PCIE***中的故障线卡自动重启后，关闭所述故障线卡上的PCIE端口，以通知所述分布式PCIE***中与所述故障线卡连接的交换芯片丢弃目的地址为所述故障线卡的地址的数据；

获取预先保存的所述故障线卡的PCIE配置信息后，根据获取的PCIE配置信息进行配置；

开启所述PCIE端口，以通知所述交换芯片恢复发送目的地址为所述故障线卡的地址的数据。

具体的，预先保存所述故障线卡的PCIE配置信息，具体包括：

所述故障线卡发生故障之前，在存储器中保存所述PCIE配置信息。

具体的，获取预先保存的所述故障线卡的PCIE配置信息，具体包括：

从所述存储器中获取所述PCIE配置信息。

具体的，所述存储器为非易失存储器。

还提供一种基于分布式PCIE***的线卡故障恢复装置，包括：

关闭单元，用于自身所在的所述分布式PCIE***中的故障线卡自动重启后，关闭所述故障线卡上的PCIE端口，以通知所述分布式PCIE***中所述故障线卡连接的交换芯片丢弃目的地址为所述故障线卡的地址的数据；

配置单元，用于获取预先保存的所述故障线卡的PCIE配置信息后，根据获取的PCIE配置信息进行配置；

开启单元，用于开启所述PCIE端口，以通知所述交换芯片恢复发送目的地址为所述故障线卡的地址的数据。

具体的，所述配置单元，用于预先保存所述故障线卡的PCIE配置信息，具体用于：

在所述故障线卡发生故障之前，在存储器中保存所述PCIE配置信息。

具体的，所述配置单元，用于获取预先保存的所述故障线卡的PCIE配置信息，具体用于：

从所述存储器中获取所述PCIE配置信息。

具体的，所述存储器为非易失存储器。

还提供一种线卡，包括上述基于分布式PCIE***的线卡故障恢复装置。

本发明实施例提供的基于分布式PCIE***的线卡故障恢复方法、装置及线卡，由于在线卡故障前保存了PCIE配置信息，从而可以保证线卡发生故障并自动重启后，自身可以进行配置，并通过关闭和开启PCIE端口来实现通知分布式PCIE***中与故障线卡连接的交换芯片丢弃还是恢复发送目的地址为故障线卡的地址的数据，在故障恢复的过程中可以有效避免整个PCIE***发生拥塞，进而保证其他正常线卡的数据传输；并且，故障恢复过程无需主控卡的参与就可以完成，节省了主控卡的软件资源。

附图说明

图1为现有技术PCIE***的结构示意图；

图2为现有技术中组件A和组件B之间基于信用点传输数据的示意图；

图3为现有技术中分布式PCIE***的结构示意图；

图4为现有技术中基于图3的两条数据流的示意图；

图5为本发明实施例中基于分布式***的线卡故障恢复方法的流程图；

图6为本发明实施例中基于分布式***的线卡故障恢复装置的结构示意图。

具体实施方式

针对现有的基于分布式PCIE***对故障线卡进行恢复的过程中，可能触发整个PCIE***发生拥塞、进而影响其他正常线卡的数据传输，以及浪费主控卡的软件资源的问题。发明人进行了认真的研究发现：

如图4所示，假设有两条数据流，分别为线卡1到线卡2的数据流1和线卡1到主控卡的数据流2，分布式PCIE***正常运行时，这两条数据流可以正常传输。当线卡2发生故障并自动重启后，线卡2内的配置寄存器会被复位，原来的PCIE配置信息丢失，线卡2无法再正常接收数据。

由于其他线卡无法得知线卡2已经故障，所以还会继续向线卡2发送数据。线卡1会继续通过PCIE SW的端口2和端口3向线卡2发送数据，由于线卡2无法正常接收数据，数据会积累在线卡2的空闲缓冲区里，从而耗尽线卡2的空闲缓冲区，导致PCIE SW的端口3里的信用池被耗尽，端口3无法继续向线卡2发送数据。

当线卡1继续通过PCIE SW的端口2向线卡2发送数据，由于数据无法从PCIE SW的端口3发出，数据会积累在PCIE SW的端口2的空闲缓冲区中，最终导致端口2的空闲缓冲区被耗尽，线卡1的信用池也被耗尽，线卡1无法再向PCIE SW的端口2发送数据。

因为线卡1无法向PCIE SW的端口2发送数据，导致数据流2也出现断流，数据都堆积在交换芯片中，这时分布式PCIE***就发生了拥塞，拥塞发生后，线卡1虽然是正常线卡，但是仍然无法进行正常的数据传输。

为了减少误判，主控卡在线卡2发生故障后一段较长的时间内才能检测到线卡2发生故障，并会对线卡2重新进行扫描和配置，线卡2故障恢复后，拥塞才能逐渐解除，整个分布式PCIE***恢复正常。

基于上述分析，本发明实施例提供一种基于分布式PCIE***的线卡故障恢复方法，该方法的流程如图5所示，执行步骤如下：

S50：分布式PCIE***中的故障线卡自动重启后，关闭故障线卡上的PCIE端口，以通知分布式PCIE***中与故障线卡连接的交换芯片丢弃目的地址为故障线卡的地址的数据。

继续沿用图4的示例，线卡2发生某些故障后会自动重启，故障可能为软件跑飞、挂死等，线卡2的配置寄存器中的数据都会被复位到原始默认状态，也就相当于线卡2正常运行时的PCIE配置信息丢失了，线卡2无法继续接收数据。

线卡2自动重启后，会进行初始化，首先关闭PCIE端口，也就是说将PCIE端口的状态设置为关闭（Disable）状态，该PCIE端口所连接的PCIE总线处于断开（Link down）状态。该PCIE端口所连接的PCIE总线另一端的PCIE SW的端口3也将处于Link down状态。

根据PCIE规范，PCIE SW检测到端口3处于Link down时，会把通过端口3发往线卡2的所有数据丢弃，这样端口2的空闲缓冲区就不会被目的地址为线卡2的地址的数据耗尽，那么数据流2就可以保持正常传输，这样就达到了线卡2故障重启但不影响其他线卡正常工作的目的。

S51：获取预先保存的故障线卡的PCIE配置信息后，根据获取的PCIE配置信息进行配置。

线卡2初始化过程中，获取预先保存的线卡2的PCIE配置信息，用来配置线卡2的配置寄存器，这样就可以在线卡2重启后，不需要主控卡重新发起对线卡2的扫描和配置。

S52：开启端口，以通知交换芯片恢复发送目的地址为故障线卡的地址的数据。

配置完成后，线卡2将重新开启PCIE端口，也就是将PCIE端口的状态设置为开启（Enable）状态，PCIE端口所连接的PCIE总线处于连通（Link up）状态。

PCIE SW检测到端口3处于Link up状态后，将恢复通过端口3端口向线卡2发送数据，线卡2也将正常接收数据，整个分布式PCIE***恢复正常。

该方案中，由于在线卡故障前保存了PCIE配置信息，从而可以保证线卡发生故障并自动重启后，自身可以进行配置，并通过关闭和开启PCIE端口来实现通知分布式PCIE***中与故障线卡连接的交换芯片丢弃还是恢复发送目的地址为故障线卡的地址的数据，在故障恢复的过程中可以有效避免整个PCIE***发生拥塞，进而保证其他正常线卡的数据传输；并且，故障恢复过程无需主控卡的参与就可以完成，节省了主控卡的软件资源。

具体的，上述S51中的预先保存故障线卡的PCIE配置信息，具体包括：故障线卡发生故障之前，在存储器中保存PCIE配置信息。

线卡正常运行时，会定期将配置寄存器里的PCIE配置信息保存在存储器中，从而便于线卡故障后可以自行获取并进行配置。

具体的，上述S51中的获取预先保存的故障线卡的PCIE配置信息，具体包括：从存储器中获取PCIE配置信息。

具体的，上述存储器为非易失存储器，具体为电可擦可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，EEPROM）、闪存（FLASH）等等，由于采用非易失存储器，可以保证在线卡复位或下电时，所存储的信息不丢失。

基于同一发明构思，本发明实施例提供一种基于分布式PCIE***的线卡故障恢复装置，该装置可以设置在线卡中，结构如图6所示，包括：

关闭单元60，用于自身所在的分布式PCIE***中的故障线卡自动重启后，关闭故障线卡上的PCIE端口，以通知分布式PCIE***中与故障线卡连接的交换芯片丢弃目的地址为故障线卡的地址的数据。

配置单元61，用于获取预先保存的故障线卡的PCIE配置信息后，根据获取的PCIE配置信息进行配置。

开启单元62，用于开启PCIE端口，以通知交换芯片恢复发送目的地址为故障线卡的地址的数据。

具体的，上述配置单元61，用于预先保存故障线卡的PCIE配置信息，具体用于：在故障线卡发生故障之前，在存储器中保存PCIE配置信息。

具体的，上述配置单元61，用于获取预先保存的故障线卡的PCIE配置信息，具体用于：从存储器中获取PCIE配置信息。

具体的，上述存储器为非易失存储器。

本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于分布式PCIE***的线卡故障恢复方法，其特征在于，包括：

所述分布式快速外设部件互联PCIE***中的故障线卡自动重启后，关闭所述故障线卡上的PCIE端口，以通知所述分布式PCIE***中与所述故障线卡连接的交换芯片丢弃目的地址为所述故障线卡的地址的数据；

获取预先保存的所述故障线卡的PCIE配置信息后，根据获取的PCIE配置信息进行配置；

开启所述PCIE端口，以通知所述交换芯片恢复发送目的地址为所述故障线卡的地址的数据。

2.如权利要求1所述的方法，其特征在于，预先保存所述故障线卡的PCIE配置信息，具体包括：

所述故障线卡发生故障之前，在存储器中保存所述PCIE配置信息。

3.如权利要求2所述的方法，其特征在于，获取预先保存的所述故障线卡的PCIE配置信息，具体包括：

从所述存储器中获取所述PCIE配置信息。

4.如权利要求2或3所述的方法，其特征在于，所述存储器为非易失存储器。

5.一种基于分布式PCIE***的线卡故障恢复装置，其特征在于，包括：

关闭单元，用于自身所在的所述分布式快速外设部件互联PCIE***中的故障线卡自动重启后，关闭所述故障线卡上的PCIE端口，以通知所述分布式PCIE***中所述故障线卡连接的交换芯片丢弃目的地址为所述故障线卡的地址的数据；

配置单元，用于获取预先保存的所述故障线卡的PCIE配置信息后，根据获取的PCIE配置信息进行配置；

开启单元，用于开启所述PCIE端口，以通知所述交换芯片恢复发送目的地址为所述故障线卡的地址的数据。

6.如权利要求5所述的装置，其特征在于，所述配置单元，用于预先保存所述故障线卡的PCIE配置信息，具体用于：

在所述故障线卡发生故障之前，在存储器中保存所述PCIE配置信息。

7.如权利要求6所述的装置，其特征在于，所述配置单元，用于获取预先保存的所述故障线卡的PCIE配置信息，具体用于：

从所述存储器中获取所述PCIE配置信息。

8.如权利要求6或7所述的装置，其特征在于，所述存储器为非易失存储器。

9.一种线卡，其特征在于，包括如权利要求5-8任一所述的基于分布式PCIE***的线卡故障恢复装置。

Images