CN109240832B - 一种硬件重构***及方法 - Google Patents

Abstract

本发明公开了一种硬件重构***及方法，本发明可以通过PCIe多总线和交叉开关技术将GPU、FPGA、GPU、IPU、SSD等计算和存储资源从服务器中解耦出来，并实现异构计算和存储资源池的池内互联、池间互联等层次化的互联。通过基于池内和远程PCIe交叉开关的配置提供标准PCIe计算资源的连接重构能力。通过PCIe交换机制的引入，充分利用PCIe通信的可扩展性及性能优势，可以创建性价比高的高可用性***，可支持大部分异构设备，通用性更强，并且可以减少数据传输延迟、***复杂性和功耗。

Description

一种硬件重构***及方法

技术领域

本发明涉及计算机技术领域，特别是涉及一种硬件重构***及方法。

背景技术

目前海量节点服务器使用过程中，存在服务器的各部件资源(CPU、内存、磁盘、SSD、网络IO、GPU、FPGA等)的利用率不均衡造成的资源浪费和能源浪费，以及这些部件资源各自升级换代周期不同造成的服务器硬件频繁升级导致的高成本费用。国内数据中心服务器的各硬件资源间大多通过以太网连接存在协议臃肿，功耗高的问题，而InfiniBand等连接又需要专用设备，设备依赖性强。百度、腾讯、华为等企业开始以服务器计算、存储、传输等部件资源的解耦与池化为方向进行架构研究，包括池化存储服务、异构计算资源(FPGA、GPU、CPU、IPU)池化服务等。但是目前基于PCIe硬件资源池化仅局限于整机层次，且还在探索，没有形成标准。且仅利用PCIe扩展能力，忽视了其在通信和重构调度的优势。

发明内容

本发明提供了一种硬件重构***及方法，以解决现有技术硬件重构中对各个部件的利用率不均衡的问题。

一方面，本发明提供了一种硬件重构***包括：

每个资源池与临近的资源池之间，基于远程PCIe交叉开关的多路接口连接，资源池内基于PCIe交叉开关的多路接口连接，远程PCIe交叉开关与资源池内的PCIe交叉开关，通过共享接口连在一起，形成基于PCIe交叉开关和远程PCIe交叉开关的双层交叉开关配置链路；

其中，所述资源池包括计算资源池和/或存储资源池，资源池内各处理器通过资源池内部的PCIe交叉开关进行互联，在进行连接配置时，通过配置信息配置资源池内部的PCIe交叉开关连接关系，为CPU的指定PCIe总线分配资源池内部的计算和存储资源，实现计算资源池、存储资源池内处理器之间的直接连接，支持计算资源和存储资源动态按需分配；

所述远程PCIe交叉开关通过共享接口与各资源池互联，实现基于PCIe协议的资源池之间点对点的对等交换，在进行连接配置时，通过配置信息配置远程PCIe交叉开关连接关系，为CPU的指定PCIe总线分配相邻资源池的处理器资源，进行资源池间的计算和存储资源动态分配。

优选地，所述共享接口支持透明桥和非透明桥两种接口模式，均可被配置为主端口或从端口，通过PCIe共享接口线缆实现端口间互联。

优选地，所述资源池内的PCIe交叉开关以PCIe交换底板实现，PCIe交换底板包括多路PCIe总线插槽和PCIe交换芯片。

优选地，所述远程PCIe交叉开关以PCIe交换机实现，实现资源池间的点对点交换方式，包括以下中的一种或多种：包交换、电路交换和虚拟通道交换。

优选地，所述虚拟通道交换，用于通过虚拟通道组成多个可共享同一个物理通道的虚拟电路交换连接，且虚拟电路交换连接可以与包交换连接和电路交换连接配合来传输流数据。

优选地，还包括编译器；所述编译器，用于根据已知的核间流通信情况，为每条已知流通信分配路径，并确定虚拟电路交换连接、电路交换连接和包交换连接，在运行时根据通信编译结果，通过预存的连接信息建立各交换连接，不同资源池之间的通信在各自对应的交换连接上进行传输。

优选地，所述远程PCIe交叉开关包括多个输入单元，一个交叉开关跨越单元，路径计算单元，虚拟通道分配单元、交叉开关分配单元和电路配置单元；

所述输入单元，用于为连接的PCIe设备配置输出仲裁后的虚拟通道号，每个输入单元包括n个输出虚拟通道VC1-VCn，一个旁路通道，一个PS状态存储和一个VCS状态存储，所述输入单元与PCIe设备的输入虚拟通道交换VCS信号和端口输入信号相连，PS状态存储对应基本包交换路由器的虚拟通道状态，VCS状态存储对应虚拟电路交换连接状态，当输入为VCS信号时，则直接通过VCS状态存储中的信息，找到输入虚拟通道对应的输出虚拟通道号，VCS信号直接被输出到输出虚拟通道号对应的PCIe设备，且每个输入单元增加一个旁路通道来允许包交换数据片直接输入到所述交叉开关跨越单元；

所述路径计算单元，用于建立ID-端口路由路径或地址-端口路由路径，为传输在包交换连接的数据片提供路径仲裁结果；

所述虚拟通道分配单元，用于根据所述路径计算单元的路径仲裁结果或根据PS状态存储信息，为输入数据片分配输出虚拟通道号；

所述电路配置单元，用于为传输在电路交换连接的数据片提供预存的交叉开关配置信息；

所述交叉开关分配单元，用于通过电路配置存储预设的电路配置存储信息，直接对交叉开关进行配置，使得电路交换连接的数据片可以直接通过旁路开关进入所述交叉开关跨越单元；

所述交叉开关跨越单元，用于根据所述输入单元的仲裁调度结果，将数据包输出到输出虚拟通道号对应的PCIe设备。

优选地，所述计算资源池包括以下中的一种或多种：CPU、GPU、FPGA、IPU。

优选地，所述存储资源池包括以下中的一种或多种：SSD、HDD。

另一方面，本发明提供了一种硬件重构方法，该方法应用上述任一种所述的硬件重构***，包括：

步骤1：通过管理节点扫描PCIe总线，获取连接在PCIe多总线和池内PCIe交叉开关上的PCIe设备端口信息，其中，所述管理节点为预设的CPU节点；

步骤2：管理节点获取所在池内PCIe交叉开关共享接口连接的远程PCIe交叉开关的PCIe设备端口信息；

步骤3：根据用户需求分析指定PCIe总线连接的CPU、GPU、FPGA、IPU、SSD、HDD等硬件设备的种类和数量；

步骤4：根据步骤3中所需的硬件设备的种类和数量，判断本地计算和存储资源池内的资源是否够用，如果够用则转入步骤5，不够用则转入步骤7；

步骤5：管理节点对资源池内的PCIe交叉开关的配置空间进行配置，按照深度优先搜索算法为指定PCIe总线配置分配所需的处理器，配置池内PCIe交叉开关，和连接在池内PCIe交叉开关的各处理器端口的主从总线，命令寄存器等信息；

步骤6：通过PCIeDMA或标准的PCIe链路层协议的包格式构建本发明所需PCIe数据包，访问连接在指定PCIe总线的设备，结束PCIe硬件重构配置；

步骤7：管理节点对资源池内的PCIe交叉开关的配置空间进行配置，为指定PCIe总线分配可用的计算和存储资源；

步骤8：管理节点对远程PCIe交叉开关进行配置，按照远程PCIe交叉开关进行虚交换通道、包交换通道、电路交换通道配置，支持透明桥和非透明桥两种连接接口，连接所需相邻的计算和存储资源池；

步骤9：管理节点按照深度优先搜索算法为指定PCIe总线分配本地资源池所需的处理器，所选相邻资源池所需的处理器，配置池内/远程PCIe交叉开关，和连接在PCIe交叉开关的各处理器端口的主从总线，命令寄存器等信息，并转入步骤6。

本发明有益效果如下：

本发明可以通过PCIe多总线和交叉开关技术将GPU、FPGA、GPU、IPU、SSD等计算和存储资源从服务器中解耦出来，并实现异构计算和存储资源池的池内互联、池间互联等层次化的互联。通过基于PCIe交叉开关的配置提供标准PCIe计算资源的连接重构能力。通过PCIe交换机制的引入，可以创建性价比高的高可用性***，充分利用通过PCIe通信的可扩展性、性能优势，可支持大部分异构设备，通用性更强；提供PCIe配置功能，可根据数据中心服务器的性能需要动态切换计算，存储和网络，能够为应用分配恰当数量的计算节点，各计算存储资源可以被统一管理，灵活分配，支持连接重构；可以减少数据传输延迟、***复杂性和功耗，在数据密集型环境中功耗节省率高达50％。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例的一种硬件重构***架构示意图；

图2是本发明实施例的一种基于池内/远程交叉开关的硬件重构***具体架构示意图；

图3是本发明实施例的资源池内基于PCIe交叉开关的重构示意图；

图4是本发明实施例的资源池之间基于远程PCIe交叉开关的重构示意图；

图5是本发明实施例的远程PCIe交叉开关结构示意图；

图6是本发明实施例的PCIe事务包包头格式示意图；

图7是本发明实施例PCIe硬件重构配置的流程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明第一实施例提供了一种硬件重构***，参见图1，包括：

每个资源池与临近的资源池之间，基于远程PCIe交叉开关的多路接口连接，资源池内基于PCIe交叉开关的多路接口连接，远程PCIe交叉开关与资源池内的PCIe交叉开关，通过共享接口连在一起，形成基于PCIe交叉开关和远程PCIe交叉开关的双层交叉开关配置链路；

其中，所述资源池包括计算资源池和/或存储资源池，资源池内各处理器通过资源池内部的PCIe交叉开关进行互联，在进行连接配置时，通过配置信息配置资源池内部的PCIe交叉开关连接关系，为CPU的指定PCIe总线分配资源池内部的计算和存储资源，实现计算资源池、存储资源池处理器之间的直接连接，支持计算资源和存储资源动态按需分配；

所述远程PCIe交叉开关通过共享接口与各资源池互联，实现基于PCIe协议的资源池之间点对点的对等交换，在进行连接配置时，通过配置信息配置远程PCIe交叉开关连接关系，为CPU的指定PCIe总线分配相邻资源池的处理器资源，进行资源池间的计算和存储资源动态分配。

本发明可以通过PCIe多总线和交叉开关技术将GPU、FPGA、GPU、IPU、SSD等计算和存储资源从服务器中解耦出来，并实现异构计算和存储资源池的池内互联、池间互联等层次化的互联。通过基于PCIe交叉开关的配置提供标准PCIe计算资源的连接重构能力。通过PCIe交换机制的引入，充分利用通过PCIe通信的可扩展性及性能优势，可以创建性价比高的高可用性***，可支持大部分异构设备，通用性更强；提供PCIe配置功能，可根据数据中心服务器的性能需要动态切换计算，存储和网络，能够为应用分配恰当数量的计算节点，各计算存储资源可以被统一管理，灵活分配，支持连接重构；可以减少数据传输延迟、***复杂性和功耗，在数据密集型环境中功耗节省率高达50％。

需要说明的是，本发明实施例所述共享接口支持透明桥和非透明桥两种接口模式，均可被配置为主端口或从端口，通过PCIe共享接口线缆实现端口间互联。

本发明实施例中，所述资源池内的PCIe交叉开关以PCIe交换底板实现，PCIe交换底板包括多路PCIe总线插槽和PCIe交换芯片。

本发明实施例中，所述远程PCIe交叉开关以PCIe交换机实现，实现资源池间的点对点交换方式，包括以下中的一种或多种：包交换、电路交换和虚拟通道交换。

本发明实施例所述虚拟通道交换，用于通过虚拟通道组成多个可共享同一个物理通道的虚拟电路交换连接，且虚拟电路交换连接可以与包交换连接和电路交换连接配合来传输流数据。

本发明实施例所述的***还包括编译器；所述编译器，用于根据已知的核间流通信情况，为每条已知流通信分配路径，并确定虚拟电路交换连接、电路交换连接和包交换连接，在运行时根据通信编译结果，通过预存的连接信息建立各交换连接，不同资源池之间的通信在各自对应的交换连接上进行传输。

本发明实施例中，所述远程PCIe交叉开关包括多个输入单元，一个交叉开关跨越单元，路径计算单元，虚拟通道分配单元、交叉开关分配单元和电路配置单元；

所述输入单元，用于为连接的PCIe设备配置输出仲裁后的虚拟通道号，每个输入单元包括n个输出虚拟通道VC1-VCn，一个旁路通道，一个PS状态存储和一个VCS状态存储，所述输入单元与PCIe设备的输入虚拟通道交换VCS信号和端口输入信号相连，PS状态存储对应基本包交换路由器的虚拟通道状态，VCS状态存储对应虚拟电路交换连接状态，当输入为VCS信号时，则直接通过VCS状态存储中的信息，找到输入虚拟通道对应的输出虚拟通道号，VCS信号直接被输出到输出虚拟通道号对应的PCIe设备，且每个输入单元增加一个旁路通道来允许包交换数据片直接输入到所述交叉开关跨越单元；

所述路径计算单元，用于建立ID-端口路由路径或地址-端口路由路径，为传输在包交换连接的数据片提供路径仲裁结果；

所述虚拟通道分配单元，用于根据所述路径计算单元的路径仲裁结果或根据PS状态存储信息，为输入数据片分配输出虚拟通道号；

所述电路配置单元，用于为传输在电路交换连接的数据片提供预存的交叉开关配置信息；

所述交叉开关分配单元，用于通过电路配置存储预设的电路配置存储信息，直接对交叉开关进行配置，使得电路交换连接的数据片可以直接通过旁路开关进入所述交叉开关跨越单元；

所述交叉开关跨越单元，用于根据所述输入单元的仲裁调度结果，将数据包输出到输出虚拟通道号对应的PCIe设备。

需要说明的是，本发明实施例中所述计算资源池包括以下中的一种或多种：CPU、GPU、FPGA、IPU，等等。所述存储资源池包括以下中的一种或多种：SSD、HDD，等等。具体本领域的技术人员可根据实际需要进行配置，本发明对此不作具体限定。

下面将结合图1-6对本发明实施例所述的***进行详细的解释和说明：

如图1所示，本发明首先构建一系列资源池，每个资源池与临近的资源池之间，基于远程PCIe交叉开关的多路接口连接，资源池内基于PCIe交叉开关的多路接口连接，远程PCIe交叉开关与资源池内的PCIe交叉开关，通过共享接口连在一起，形成基于交叉开关和远程PCIe交叉开关的双层交叉开关配置链路，各资源池之间支持星型拓扑、网格拓扑、树型拓扑和全连接拓扑等多种连接关系；

其中，资源池包括计算资源池和/或存储资源池，资源池内各处理器通过资源池内部的交叉开关进行互联。计算资源池包括CPU、GPU、FPGA、IPU等异构计算资源，存储资源池包括SSD、HDD等存储资源。每个计算存储资源池包含了CPU池、GPU池、FPGA池、IPU池、存储池等至少一种资源池。其中：CPU池包含了多块CPU处理器，GPU池包含了多块GPU处理器，FPGA池包含了多块FPGA处理器，IPU池包含了多块寒武纪等IPU处理器，存储池包含了多块SSD、HDD等硬盘存储资源，各计算和存储资源对外通过PCIe总线与交叉开关进行连接。在进行连接配置时，通过配置信息配置资源池内部的交叉开关连接关系，为CPU的指定PCIe总线分配资源池内部的计算和存储资源，实现计算资源池、存储资源池内处理器之间的直接连接，支持计算资源和存储资源动态按需分配。

资源池内的交叉开关包含多个共享接口，共享接口支持透明桥和非透明桥两种接口模式，均可被配置为主端口或从端口，通过PCIe共享接口线缆实现端口间互联，可以连接任意标准PCIe3.0接口的PCIe设备。共享接***叉开关通过多路PCIe总线与CPU池、GPU池、FPGA池、IPU池、存储池内的各处理器直接连接，可通过配置信息控制指定输入接口与输出接口的直连关系，通过将重构信息输入交叉开关，可以配置交叉开关指定PCIe总线分配的计算、存储资源，为多路PCIe总线分配级联在该总线上的CPU、FPGA、GPU、IPU、存储器等计算和存储资源。

远程PCIe交叉开关实现基于PCIe协议的资源池之间点对点的对等交换。远程交叉开关通过共享接口与资源池内的交叉开关进行连接，实现资源池间的通信互联。在进行连接配置时，通过配置信息配置远程交叉开关连接关系，为CPU的指定PCIe总线分配相邻资源池的处理器资源，支持资源池间的计算和存储资源动态分配。

通过输入重构配置信息至交叉开关，交叉开关根据用户需求和目前的***占用情况，通过配置信息改变交叉开关内的虚拟PCI桥的连接关系，为指定PCIe总线分配连接到其中的计算和存储资源。例如一个时刻指定PCIe总线上的***1为4块GPU、4块CPU、4块FPGA，8块SSD；下一时刻，通过重构信息配置交叉开关，该PCIe总线上连接的计算***变为***2，包括2块CPU、1块GPU、1块FPGA、2块SSD；再下一时刻，通过重构信息配置交叉开关，该PCIe总线上连接的计算***变为***3，包括1块CPU、1块GPU、1块FPGA、2块SSD。从而形成通过改变计算和存储资源之间的连接关系，使得硬件***支持计算能力和连接能力重构，从而形成计算和存储资源的动态按需分配。

如图2所示，本发明实施例包括6个计算和存储资源池，1个远程PCIe交叉开关和1个主控节点。其中：每个资源池内包括1块PCIe交叉开关背板，PCIe交叉背板包括多路PCIe总线插槽和1片PEX8796交换芯片，CPU、GPU、FPGA、IPU、SSD等计算和存储资源***PCIe交叉开关背板的插槽中，实现资源池内的互联重构。资源池之间通过PCIe共享接口连接线与远程交叉开关相连，本案例的共享接口连接线选择PCIex4的MiniSAS接口电缆实现。远程交叉开关以PCIe交换机的形式实现，本实施案例的PCIe交换机包括12个端口，可以支持12个计算和存储资源池的点对点对等交换，12个端口均可被配置为透明桥模式和非透明桥模式，透明桥模式用于连接无CPU的计算/存储资源池，非透明桥模式用于连接包含主机的计算/存储资源池。主控节点通过远程PCIe交叉开关与多个计算和存储资源池相连接，用于重构配置和数据传输控制。主控节点通过远程PCIe交叉开关和资源池内PCIe交叉开关对连接的硬件设备进行扫描，通过对资源池内PCIe交叉开关、远程PCIe交叉开关根据重构配置信息进行配置，为CPU分配不同的计算和存储资源，实现硬件***重构。

如图3所示，本发明的另一个具体实施案例的资源池内基于交叉开关的重构***，其中，资源池内交叉开关以PCIe交换底板的形式实现，PCIe交换底板包括多路PCIe总线插槽和PCIe交换芯片。将不同的计算和存储资源***池内交叉开关背板插槽中。该资源池的硬件架构动态构建采用基于PCIe多路总线和交叉开关的方法，配置信息控制交叉开关的输入接口与输出接口的互联关系。图中不同CPU、GPU、FPGA、IPU、SSD、HDD等硬件资源被连接到交叉开关不同的PCIe总线插槽，CPU可以选择连接在指定总线插槽的硬件设备组建成不同的计算***。通过配置资源池内的交叉开关，PCIe总线上连接的硬件设备可以发生改变。例如：下一时刻通过改变交叉开关配置，PCIe总线1、PCIe总线2等PCIe总线连接的硬件资源可以进行对调、增删等改变，从而形成新的计算***。

对于处于不同计算和存储资源池上的CPU、GPU、FPGA、IPU、SSD、HDD等硬件资源的重构机制见图4所示。相邻资源池之间通过远程PCIe交叉开关进行互联，实现资源池间处理器的通信。远程PCIe交叉开关以PCIe交换机的形式实现，包括多个PCIe共享端口，不同资源池的硬件架构动态构建基于远程PCIe交叉开关的控制来实现。

例如：图中资源池1和资源池2的硬件资源通过图4所示的远程PCIe交叉开关进行连接，让资源池1和资源2的硬件资源可直接通过PCIe的传输实现数据交互。远程PCIe交叉开关与资源池内的交叉开关通过共享接口连在一起。形成基于交叉开关和远程PCIe交叉开关的双层交叉开关配置链路。在进行连接配置时，首先通过配置信息配置计算和存储资源池内部的交叉开关连接关系，为计算和存储资源池内部的指定PCIe总线分配计算和存储资源；然后配置资源池间的远程PCIe交叉开关，实现资源池到资源池的直接连接。如图4所示的资源池间的硬件重构机制，可以通过对池内的交叉开关和远程PCIe交叉开关的配置，使得主板1中的CPU、FPGA和主板2中的SSD、CPU之间可以实现相互通信，而不影响其他硬件资源的使用。

图5为远程交叉开关的组成结构示意图，如图5所示，本发明实施例支持以下中的一种或多种交换方式：包交换PS、电路交换CS和虚拟通道交换VCS。虚拟通道交换，用于通过虚拟通道组成多个可共享同一个物理通道的虚拟电路交换连接，且虚拟电路交换连接可以与包交换连接和电路交换连接配合来传输流数据。根据已知的核间流通信情况，通过编译器为每条已知流通信分配路径，并确定虚拟电路交换连接、电路交换连接和包交换连接，在运行时根据通信编译结果，通过预存的连接信息将连接信息存入各PCIe交换器中来建立各交换连接，不同主板资源池之间的通信在各自对应的交换连接上进行传输。

与基本的包交换器比较，本发明混合策略的交换器需要一些额外的硬件：包括旁路通道、电路配置存储和VCS状态存储。远程PCIe交叉开关包括多个输入单元，一个交叉开关跨越，路径计算，虚拟通道分配、交叉开关分配、电路配置等子模块。

其中：输入单元用于为连接的PCIe设备配置输出仲裁后的虚拟通道号，每个输入单元包括n个输出虚拟通道VC1-VCn，一个旁路通道，一个PS状态存储和一个VCS状态存储。所述输入单元与PCIe设备的输入虚拟通道交换VCS信号和端口输入信号相连，VCS信号和输入信号的编号与PCIe设备的端口号一一对应。PS状态存储对应基本包交换路由器的虚拟通道状态。VCS状态存储对应虚拟电路交换连接状态。当输入为VCS信号时，则直接通过VCS状态存储中的信息，找到输入虚拟通道对应的输出虚拟通道号，VCS信号直接被输出到输出虚拟通道号对应的PCIe设备；PS状态和VCS状态都各自包含了n个域，对应这n个虚拟通道。而且n个虚拟通道被虚拟电路交换连接和包交换连接所共享。且每个输入单元增加一个旁路通道来允许数据片不需要通过虚拟通道，直接输入到交叉开关跨越子模块。

路径计算模块与输入单元进行连接，用于建立ID-端口路由路径或地址-端口路由路径，为传输在包交换连接的数据片提供路径仲裁结果。其中ID-端口路由表提供PCIe设备号与端口号之间的路径映射关系；地址-端口路由表提供PCIe设备物理地址与端口号之间的路径映射关系。运行时根据PCIe事务包中的ID、地址进行通信路径仲裁。

虚拟通道分配单元，用于根据路径计算单元的路径仲裁结果或根据PS状态存储信息，为输入数据片分配输出虚拟通道号；

电路配置单元，用于为传输在电路交换连接的数据片提供预存的交叉开关配置信息，存储用来给电路交换连接存储物理通道的连接信息，与交叉开关分配和虚拟通道分配模块进行连接，通过设置电路配置信息来建立电路交换连接。

交叉开关分配单元，用于通过电路配置存储预设的电路配置存储信息，直接对交叉开关进行配置，使得电路交换连接的数据片可以直接通过旁路开关进入交叉开关跨越子模块；

交叉开关跨越子模块，用于根据输入单元的仲裁调度结果，将数据包输出到输出虚拟通道号对应的PCIe设备。

为实现支持电路交换、包交换、和虚拟通道交换的混合策略，本专利修改了PCIe事务包的PCIe事务层包头，在保留域中添加交换标志位，如图6所示。在进行PCIe交叉开关的硬件重构配置时，根据PCIe事务层包头的交换标志位，选择对应的交换策略。

如果输入信号PCIe事务层包头的交换标志位为输入虚拟通道VCS信号，则直接通过VCS状态信息，找到输入虚拟通道对应的输出虚拟通道号，VCS信号直接被输出到输出虚拟通道号对应的PCIe设备。

如果输入信号为PCIe端口输入信号，则需要首先在输入单元根据PCIe端口输入信号进行仲裁调度。如果PCIe事务层包头的交换标志位是电路交换信号，则是传输在电路交换连接的数据片到达输入单元，交叉开关跨越子模块根据电路配置中预存的连接信息被立即配置，然后该数据片直接通过旁路通道进入交叉开关跨越子模块，交叉开关跨越子模块根据配置结果将数据包直接输出到对应的PCIe设备。

如果输入信号为PCIe端口输入信号，则需要首先在输入单元根据PCIe端口输入信号进行仲裁调度。如果PCIe事务层包头的交换标志位是包交换信号，则是传输在包交换连接的数据片到达输入单元，则首先根据路径计算单元的路径仲裁结果或根据PS状态信息，为输入数据片分配输出虚拟通道号，然后将输出虚拟端口号发送给交叉开关跨越子模块，交叉开关跨越子模块根据仲裁调度结果，将数据包输出到输出虚拟通道号对应的PCIe设备。

本发明第二实施例提供了一种硬件重构方法，参见图7，该方法应用本发明第一实施例中任一种所述的硬件重构***，包括：

步骤1：通过管理节点扫描PCIe总线，获取连接在PCIe多总线和池内PCIe交叉开关上的PCIe设备端口信息，其中，所述管理节点为预设的CPU节点；

步骤2：管理节点获取所在池内PCIe交叉开关共享接口连接的远程PCIe交叉开关的PCIe设备端口信息；

步骤3：根据用户需求分析指定PCIe总线连接的CPU、GPU、FPGA、IPU、SSD、HDD等硬件设备的种类和数量；

步骤4：根据步骤3中所需的硬件设备的种类和数量，判断本地计算和存储资源池内的资源是否够用，如果够用则转入步骤5，不够用则转入步骤7；

步骤5：管理节点对资源池内的PCIe交叉开关的配置空间进行配置，按照深度优先搜索算法为指定PCIe总线配置分配所需的处理器，配置池内PCIe交叉开关，和连接在池内PCIe交叉开关的各处理器端口的主从总线，命令寄存器等信息；

步骤6：通过PCIeDMA或标准的PCIe链路层协议的包格式构建本发明所需PCIe数据包，访问连接在指定PCIe总线的设备，结束PCIe硬件重构配置；

步骤7：管理节点对资源池内的PCIe交叉开关的配置空间进行配置，为指定PCIe总线分配可用的计算和存储资源；

步骤8：管理节点对远程PCIe交叉开关进行配置，按照远程PCIe交叉开关进行虚交换通道、包交换通道、电路交换通道配置，支持透明桥和非透明桥两种连接接口，连接所需相邻的计算和存储资源池；

步骤9：管理节点按照深度优先搜索算法为指定PCIe总线分配本地资源池所需的处理器，所选相邻资源池所需的处理器，配置池内/远程PCIe交叉开关，和连接在PCIe交叉开关的各处理器端口的主从总线，命令寄存器等信息，并转入步骤6。

本发明实施例通过对资源池内交叉开关、远程PCIe交叉开关进行重构配置，实现计算能力重构、连接能力重构。具体可参见本发明第一实施例，本发明实施例对此不作详细论述。

本发明实施例至少能够带来以下的有益效果：

1.本发明实施例支持CPU、GPU、FPGA、IPU等异构计算资源，SSD、HDD等存储资源分布在各个计算和存储资源池中，各存储资源池之间通过远程PCIe交叉开关互联，存储资源池内各CPU、GPU、FPGA、IPU、存储资源之间通过PCIe多总线和交叉开关互联，使得硬件资源能够解耦合，提高网络的动态配置能力；

2.本发明提供一种池内PCIe交叉开关和远程PCIe交叉开关的层次化互联方案，通过对池内和远程PCIe交叉开关进行配置，可根据数据中心服务器的性能需要为应用分配恰当数量的计算节点和存储节点，各计算存储资源可以被统一管理，灵活分配，通过重构各硬件资源之间的连接，使得硬件架构支持计算能力和连接能力按需构建，可有效提升硬件架构的性能和能效；

3.本发明提供一种混合交换机制的远程PCIe交叉开关配置方案，同时支持包交换、电路交换和虚拟通道交换三种交换方式，其中虚拟通道交换可直接通过交叉开关，配置更为简便，同时支持在链路冲突时使用包交换或电路交换，保证高效的基于PCIe多路总线和交叉开关的通信链路。

需要说明的是，本发明实施例所述PCIe交叉开关可以通过PCIeswitch芯片实现，也可以通过FPGA实现交叉开关功能。

在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的分布式文件***数据导入装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种硬件重构***，其特征在于，包括：

每个资源池与临近的资源池之间，基于远程PCIe交叉开关的多路接口连接，资源池内基于PCIe交叉开关的多路接口连接，远程PCIe交叉开关与资源池内的PCIe交叉开关，通过远程PCIe交叉开关上的共享接口以及资源池内的PCIe交叉开关上的共享接口连在一起，形成基于PCIe交叉开关和远程PCIe交叉开关的双层交叉开关配置链路；

其中，所述资源池包括计算资源池和/或存储资源池，资源池内各处理器通过资源池内部的PCIe交叉开关进行互联，在进行连接配置时，通过配置信息配置资源池内部的PCIe交叉开关连接关系，为CPU的指定PCIe总线分配资源池内部的计算和存储资源，实现计算资源池、存储资源池内处理器之间的直接连接，支持计算资源和存储资源动态按需分配；

所述远程PCIe交叉开关通过远程PCIe交叉开关上的共享接口与各资源池的共享接口互联，实现基于PCIe协议的资源池之间点对点的对等交换，在进行连接配置时，通过配置信息配置远程PCIe交叉开关连接关系，为CPU的指定PCIe总线分配相邻资源池的处理器资源，进行资源池间的计算和存储资源动态分配。

2.根据权利要求1所述的***，其特征在于，

所述共享接口支持透明桥和非透明桥两种接口模式，均可被配置为主端口或从端口，通过PCIe共享接口线缆实现端口间互联。

3.根据权利要求1所述的***，其特征在于，

所述资源池内的PCIe交叉开关以PCIe交换底板实现，PCIe交换底板包括多路PCIe总线插槽和PCIe交换芯片。

4.根据权利要求1所述的***，其特征在于，

所述远程PCIe交叉开关以PCIe交换机实现，实现资源池间的点对点交换方式，包括以下中的一种或多种：包交换、电路交换和虚拟通道交换。

5.根据权利要求4所述的***，其特征在于，

所述虚拟通道交换，用于通过虚拟通道组成多个可共享同一个物理通道的虚拟电路交换连接，且虚拟电路交换连接可以与包交换连接和电路交换连接配合来传输流数据。

6.根据权利要求4所述的***，其特征在于，还包括编译器；

所述编译器，用于根据已知的核间流通信情况，为每条已知流通信分配路径，并确定虚拟电路交换连接、电路交换连接和包交换连接，在运行时根据通信编译结果，通过预存的连接信息建立各交换连接，不同资源池之间的通信在各自对应的交换连接上进行传输。

7.根据权利要求1所述的***，其特征在于，

所述远程PCIe交叉开关包括多个输入单元，一个交叉开关跨越单元，路径计算单元，虚拟通道分配单元、交叉开关分配单元和电路配置单元；

所述输入单元，用于为连接的PCIe设备配置输出仲裁后的虚拟通道号，每个输入单元包括n个输出虚拟通道VC1-VCn，一个旁路通道，一个PS状态存储和一个VCS状态存储，所述输入单元与PCIe设备的输入虚拟通道交换VCS信号和端口输入信号相连，PS状态存储对应基本包交换路由器的虚拟通道状态，VCS状态存储对应虚拟电路交换连接状态，当输入为VCS信号时，则直接通过VCS状态存储中的信息，找到输入虚拟通道对应的输出虚拟通道号，VCS信号直接被输出到输出虚拟通道号对应的PCIe设备，且每个输入单元增加一个旁路通道来允许包交换数据片直接输入到所述交叉开关跨越单元；

所述路径计算单元，用于建立ID-端口路由路径或地址-端口路由路径，为传输在包交换连接的数据片提供路径仲裁结果；

所述虚拟通道分配单元，用于根据所述路径计算单元的路径仲裁结果或根据PS状态存储信息，为输入数据片分配输出虚拟通道号；

所述电路配置单元，用于为传输在电路交换连接的数据片提供预存的交叉开关配置信息；

所述交叉开关分配单元，用于通过电路配置存储预设的电路配置存储信息，直接对交叉开关进行配置，使得电路交换连接的数据片可以直接通过旁路开关进入所述交叉开关跨越单元；

所述交叉开关跨越单元，用于根据所述输入单元的仲裁调度结果，将数据包输出到输出虚拟通道号对应的PCIe设备。

8.根据权利要求1所述的***，其特征在于，

所述计算资源池包括以下中的一种或多种：CPU、GPU、FPGA、IPU。

9.根据权利要求1所述的***，其特征在于，

所述存储资源池包括以下中的一种或多种：SSD、HDD。

10.一种硬件重构方法，其特征在于，应用权利要求1-9中任一项所述的硬件重构***，包括：

步骤1：通过管理节点扫描PCIe总线，获取连接在PCIe多总线和池内PCIe交叉开关上的PCIe设备端口信息，其中，所述管理节点为预设的CPU节点；

步骤2：管理节点获取所在池内PCIe交叉开关共享接口连接的远程PCIe交叉开关的PCIe设备端口信息；

步骤3：根据用户需求分析指定PCIe总线连接的CPU、GPU、FPGA、IPU、SSD、HDD等硬件设备的种类和数量；

步骤4：根据步骤3中所需的硬件设备的种类和数量，判断本地计算和存储资源池内的资源是否够用，如果够用则转入步骤5，不够用则转入步骤7；

步骤5：管理节点对资源池内的PCIe交叉开关的配置空间进行配置，按照深度优先搜索算法为指定PCIe总线配置分配所需的处理器，配置池内PCIe交叉开关，和连接在池内PCIe交叉开关的各处理器端口的主从总线，命令寄存器等信息；

步骤6：通过PCIe DMA或标准的PCIe链路层协议的包格式构建本发明所需PCIe数据包，访问连接在指定PCIe总线的设备，结束PCIe硬件重构配置；

步骤7：管理节点对资源池内的PCIe交叉开关的配置空间进行配置，为指定PCIe总线分配可用的计算和存储资源；

步骤8：管理节点对远程PCIe交叉开关进行配置，按照远程PCIe交叉开关进行虚交换通道、包交换通道、电路交换通道配置，支持透明桥和非透明桥两种连接接口，连接所需相邻的计算和存储资源池；

步骤9：管理节点按照深度优先搜索算法为指定PCIe总线分配本地资源池所需的处理器，所选相邻资源池所需的处理器，配置池内/远程PCIe交叉开关，和连接在PCIe交叉开关的各处理器端口的主从总线，命令寄存器等信息，并转入步骤6。

Images