CN217847021U - 一种高性能计算力的ai边缘服务器***架构 - Google Patents

Abstract

本申请公开了一种高性能计算力的AI边缘服务器***架构，用于提高使用的灵活性，满足日益增长的数据实时性和安全性需求。本申请中的AI边缘服务器***架构包括：机箱、CPU计算节点模组、加速卡计算节点模组、路由板以及电源模组，CPU计算节点模组包括PCIe通道，加速卡计算节点模组上设置有第一加速卡热插拔模组，第一加速卡热插拔模组上安插的加速卡连接网络，第一加速卡热插拔模组通过交换模块交换汇聚于加速卡计算节点模组网络接口，加速卡计算节点模组上还设置有第二加速卡插拔模组，第二加速卡插拔模组通过线缆连接在CPU计算节点模组上，第二加速卡插拔模组上安插的加速卡通过PCIe通道并通过交换模块汇聚于加速卡计算节点模组网络接口，该网络接口与路由板网络接口连接。

Description

一种高性能计算力的AI边缘服务器***架构

技术领域

本申请涉及计算机技术领域，尤其涉及一种高性能计算力的AI边缘服务器***架构。

背景技术

随着物联网终端设备数量的激增，以及日益增长的数据实时性和安全性需求，在很多行业的应用场景，边缘计算将变得至关重要，例如智慧交通的道路管理和自动驾驶、智能制造的质量检测和设备监控、智慧医疗的疾病监控和辅助诊断等等。边缘计算在中国还处在早期发展阶段，随着数据的越来越多越复杂，目前市面上广泛使用的边缘计算服务器的加速卡数量有限，会限制边缘计算的算力。

目前，为了解决边缘计算服务器的加速卡数量有限的问题，会扩展大量的加速卡，以提升边缘计算的算力。通常会采用高速串行计算机扩展总线标准(peripheralcomponent interconnect express，PCIE)扩展方式进行扩展。

使用现有的加速卡扩展方式，在扩展加速卡时需要用复杂的背板结构，PCIE总线速率非常高，需要使用很多高速连接器和信号重建或信号放大芯片，运维困难，难以满足变化的需求。

实用新型内容

为了解决上述技术问题，本申请提供了一种高性能计算力的AI边缘服务器***架构，用于解决原来基于标准服务器的运维困难、扩展的加速卡数量有限、算力有限的问题，同时提高了使用的灵活性，满足日益增长的数据实时性和安全性需求。

本申请提供了一种高性能计算力的AI边缘服务器***架构，包括：

机箱、CPU计算节点模组、加速卡计算节点模组、路由板以及电源模组；

所述电源模组分别与所述CPU计算节点模组、加速卡计算节点模组以及路由板电性连接；

所述CPU计算节点模组安装在所述机箱下层，所述CPU计算节点模组包括PCIe通道；

所述加速卡计算节点模组安装在所述机箱上层，所述加速卡计算节点模组上设置有第一加速卡热插拔模组，所述第一加速卡热插拔模组上安插的加速卡连接网络，所述加速卡上设置有交换模块，所述第一加速卡热插拔模组通过所述交换模块交换汇聚于所述加速卡计算节点模组的网络接口，所述加速卡计算节点模组上还设置有第二加速卡插拔模组，所述第二加速卡插拔模组通过线缆连接在所述CPU计算节点模组上，所述第二加速卡插拔模组上安插的加速卡通过所述PCIe通道并通过交换模块汇聚于所述加速卡计算节点模组的网络接口，所述加速卡计算节点模组的网络接口与所述路由板的网络接口连接。

可选地，所述CPU计算节点模组上设置有PCIe插槽，所述PCIe插槽用于安插GPU卡。

可选地，所述CPU计算节点模组上还包括硬盘模组，用于提供存储功能。

可选地，所述CPU计算节点模块上还设置有风扇，用于给所述CPU计算节点模块散热。

可选地，所述CPU计算节点模块上设置有内存，用于存储数据。

可选地，所述加速卡计算节点模组上安装有中板；

所述加速卡计算节点模组的网络接口通过连接器与所述中板连接，所述中板上的网络接口与所述路由板的网络接口的网线相连。

可选地，所述CPU计算节点模块上设置OCP3.0模块。

可选地，所述第二加速卡插拔模组包括18张支持PCIe的加速卡模组。

可选地，所述机箱为4U双层机箱。

可选地，所述机箱还包括机箱上盖；

所述机箱上盖设置在所述机箱开口处，用于对所述机箱进行封口。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，CPU计算节点模组包括PCIe通道，加速卡计算节点模组上设置有第一加速卡热插拔模组，第一加速卡热插拔模组上安插的加速卡连接网络，加速卡上设置有交换模块，第一加速卡热插拔模组通过交换模块交换汇聚于加速卡计算节点模组的网络接口，加速卡计算节点模组上还设置有第二加速卡插拔模组，第二加速卡插拔模组通过线缆连接在 CPU计算节点模组上，第二加速卡插拔模组上安插的加速卡通过PCIe通道并通过交换模块汇聚于加速卡计算节点模组的网络接口，加速卡计算节点模组的网络接口与路由板的网络接口连接。加速卡通过交换模块交换，通过网络连接，汇聚于路由板的网络接口，通过路由板的转换可以向外提供两个IP与终端连接，每个加速卡单独工作，可以提供多条信号通道，大大提高AI计算能力，提高了使用的灵活性，运维简单，满足日益增长的数据实时性和安全性需求。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请中高性能计算力的AI边缘服务器***架构的结构示意图；

图2为本申请中CPU计算节点模组俯视示意图；

图3为本申请中加速卡计算节点模组俯视示意图；

图4为本申请中加速卡俯视示意图；

图5为本申请中高性能计算力的AI边缘服务器***架构的供电线路示意图。

具体实施方式

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅用于说明各部件或组成部分之间的相对位置关系，并不特别限定各部件或组成部分的具体安装方位。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

此外，在本申请中所附图式所绘制的结构、比例、大小等，均仅用于配合说明书所揭示的内容，以供本领域技术人员了解与阅读，并非用于限定本申请可实施的限定条件，故不具有技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均仍应落在本申请所揭示的技术内容涵盖的范围内。

本申请实施例提供了高性能计算力的AI边缘服务器***架构，用于解决原来基于标准服务器的运维困难、扩展的加速卡数量有限、算力有限的问题，同时提高了使用的灵活性，满足日益增长的数据实时性和安全性需求。

通常情况下，边缘计算常常与物联网联系在一起。物联网设备参与到越来越强大的处理中，因此生成的大量数据需要迁移到网络的“边缘”，数据不必在集中式服务器之间连续地来回传输来处理。因此，边缘计算在管理来自物联网设备的大量数据方面效率更高，延迟更低，处理速度更快，且可扩展。边缘计算在中国还处在早期发展阶段，随着数据的越来越多越复杂，目前市面上广泛使用的边缘计算服务器的加速卡数量有限，限制了边缘计算的算力，以往如果要扩展大量的加速卡，用PCIe扩展方式，那就需要用复杂的背板结构，PCIe总线速率非常高，能达到2.5Gbps-16Gbps，需要使用很多高速连接器和信号重建或信号放大芯片，运维较为困难，难以满足变化的需求。本申请中的高性能计算力的 AI边缘服务器***架构能够有效解决上述问题，

请参阅图1，图1为本申请中高性能计算力的AI边缘服务器***架构的一个结构示意图，包括：

机箱、CPU计算节点模组1、加速卡计算节点模组2、路由板以及电源模组11；

电源模组11分别与CPU计算节点模组1、加速卡计算节点模组2以及路由板电性连接；

CPU计算节点模组1安装在机箱下层，CPU计算节点模组1包括PCIe通道；

加速卡计算节点模组2安装在机箱上层，加速卡计算节点模组2上设置有第一加速卡热插拔模组21，第一加速卡热插拔模组21上安插的加速卡连接网络，加速卡上设置有交换模块24，第一加速卡热插拔模组21通过交换模块24交换汇聚于加速卡计算节点模组2 的网络接口，加速卡计算节点模组2上还设置有第二加速卡插拔模组，第二加速卡插拔模组通过线缆连接在CPU计算节点模组1上，第二加速卡插拔模组上安插的加速卡通过PCIe 通道并通过交换模块24汇聚于加速卡计算节点模组2的网络接口，加速卡计算节点模组2 的网络接口与路由板的网络接口连接。

其中，随着网络设备对带宽，灵活性与性能的要求升高，PCIe标准应运而生。 PCIe(peripheral component interconnect express)是一种高速串行计算机扩展总线标准。PCIe属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量等功能，且数据传输速率高。通道就是连接外部信号的通路或接口等，PCIe通道即 PCIe信号，一个通道就对应一个信号,例如测多个点的力、温度、湿度等，各通道采集的信号一般是顺序地轮流送往信号调理电路，然后是A/D转换，再传到微处理器。通道数通常是8的倍数，即8通道、16通道等。

请进一步参阅图2、图3以及图4，其中，电源模组11与主板连接器通过热插拔方式连接，给的主板供电，热插拔即带电插拔，指的是在不关闭***电源的情况下，将模块、板卡***或拔出***而不影响***的正常工作，从而提高了***的可靠性、快速维修性、冗余性和对灾难的及时恢复能力等。该主板上设置有PCIe插槽13，PCIe插槽13用于安插GPU卡，一般情况下设置3个PCIE 5.0插槽，可扩展3张A100 GPU卡，能够优化计算资源的利用率；CPU计算节点模组1上还包括硬盘模组12，该硬盘模组12为12个3.5寸硬盘模组，硬盘模组12的背板通过PCIe通道与主板上的slimsas接口线缆连接，提供存储功能，提高计算机的运行性能和使用的灵活性。CPU计算节点模块上还设置有风扇15，用于给CPU计算节点模块散热，减少高温下CPU的运算性能出现下降的情况；CPU计算节点模块上设置有内存14，设置的内存为32张DDR5内存，用于存储数据。该CPU计算节点模组1还包括主板，OCP3.0模块，2颗Sapphire Rapids系列处理器，路由板以及一组1+1 热插拔电源模组11，1+1就是各分担50％的负载，如果有一台电源模组11出现问题，另一台就会承担所有负载，防止出现当仅单台电源模组11出现故障导致停运的情况。其中，第一加速卡计算节点模组2包括前置两个25张第一加速卡热插拔模组，后置两个16张第一加速卡热插拔模组，包括18张走PCIe通道的第二加速卡计算节点模组2，一共100张加速卡，交换模块24设置在加速卡上，还包含一组1+1热插拔电源模组11，以及散热风扇。可选地，加速卡计算节点模组2还安装有中板23，加速卡计算节点模组2的网络接口通过连接器与中板23连接，中板23上的网络接口与路由板的网络接口的网线相连。

其中，请进一步参阅图5，供电线路方案可以为：16个第一加速卡热插拔模组和25个第一加速卡热插拔模组直接通过网络连接。18个第二加速卡热插拔模组走CPU计算节点模块主板上的PCIe通道，每个通道的时钟序号不同。加速卡计算节点模组2的18个第二加速卡热插拔模组的电源供电为CPU计算节点模组1的电源供电。CPU计算节点模块的 2000W1+1冗余热插拔电源给主板供电，通过电缆供电给18个第二加速卡热插拔模组以及 CPU计算节点模块的风扇；加速卡计算节点模组2的16个第一加速卡热插拔模组和25个第一加速卡热插拔模组均由上面2000W1+1热插拔电源直接供电。

加速卡节点的25个第一加速卡热插拔模组和16个第一加速卡热插拔模组直接网络连接，1个交换模块最大可以交换9个加速卡，两组25个第一加速卡热插拔模组和两组16个第一加速卡热插拔模组通过置于加速卡背部的10个交换模块交换汇聚于10个网络接口，通过连接器与第一中板连接，由第一中板上10个网络接口与路由板的10个网络接口网线相连；上层加速卡节点的18个第二加速卡插拔模组通过mcio接口与下层CPU计算节点上主板的mcio接口相连，走PCIe信号，继而通过2个交换模块交换汇聚出2个网络接口，通过连接器与第二中板连接，第二中板上的2个网络接口与路由板的2个网络接口网线连接，最终所有的加速卡一共通过12个网络接口汇聚于路由板，由路由板对外提供2 个IP地址与终端相连。每个加速卡单独工作，最大可以提供高达2000多条信号通道，大大提高AI计算能力，提高了使用的灵活性，运维简单，满足日益增长的数据实时性和安全性需求。

可选地，机箱为4U双层机箱。“U”在服务器领域中特指机架式服务器厚度,是一种表示服务器外部尺寸的单位，是unit的缩略语，详细的尺寸由作为业界团体的美国电子工业协会所决定。厚度以厘米为基本单位。1U就是4.45cm，4U则是1U的4倍为17.8cm。本实施例中，机箱的尺寸可以根据实际需要安放的设备进行调整。

可选地，机箱还包括机箱上盖；

机箱上盖设置在机箱开口处，用于对机箱进行封口。减少灰尘进入机箱中，造成机箱中的部件损坏的情况。

需要声明的是，上述实用新型内容及具体实施方式意在证明本申请所提供技术方案的实际应用，不应解释为对本申请保护范围的限定。本领域技术人员在本申请的精神和原理内，当可作各种修改、等同替换或改进。本申请的保护范围以所附权利要求书为准。

Claims (10)

1.一种高性能计算力的AI边缘服务器***架构，其特征在于，包括：

机箱、CPU计算节点模组、加速卡计算节点模组、路由板以及电源模组；

所述电源模组分别与所述CPU计算节点模组、加速卡计算节点模组以及路由板电性连接；

所述CPU计算节点模组安装在所述机箱下层，所述CPU计算节点模组包括PCIe通道；

所述加速卡计算节点模组安装在所述机箱上层，所述加速卡计算节点模组上设置有第一加速卡热插拔模组，所述第一加速卡热插拔模组上安插的加速卡连接网络，所述加速卡上设置有交换模块，所述第一加速卡热插拔模组通过所述交换模块交换汇聚于所述加速卡计算节点模组的网络接口，所述加速卡计算节点模组上还设置有第二加速卡插拔模组，所述第二加速卡插拔模组通过线缆连接在所述CPU计算节点模组上，所述第二加速卡插拔模组上安插的加速卡通过所述PCIe通道并通过交换模块汇聚于所述加速卡计算节点模组的网络接口，所述加速卡计算节点模组的网络接口与所述路由板的网络接口连接。

2.根据权利要求1所述的AI边缘服务器***架构，其特征在于，所述CPU计算节点模组上设置有PCIe插槽，所述PCIe插槽用于安插GPU卡。

3.根据权利要求1所述的AI边缘服务器***架构，其特征在于，所述CPU计算节点模组上还包括硬盘模组，用于提供存储功能。

4.根据权利要求1所述的AI边缘服务器***架构，其特征在于，所述CPU计算节点模块上还设置有风扇，用于给所述CPU计算节点模块散热。

5.根据权利要求1所述的AI边缘服务器***架构，其特征在于，所述CPU计算节点模块上设置有内存，用于存储数据。

6.根据权利要求1所述的AI边缘服务器***架构，其特征在于，所述加速卡计算节点模组上安装有中板；

所述加速卡计算节点模组的网络接口通过连接器与所述中板连接，所述中板上的网络接口与所述路由板的网络接口的网线相连。

7.根据权利要求1所述的AI边缘服务器***架构，其特征在于，所述CPU计算节点模块上设置OCP3.0模块。

8.根据权利要求1所述的AI边缘服务器***架构，其特征在于，所述第二加速卡插拔模组包括18张支持PCIe的加速卡模组。

9.根据权利要求1至8中任一项所述的AI边缘服务器***架构，其特征在于，所述机箱为4U双层机箱。

10.根据权利要求9所述的AI边缘服务器***架构，其特征在于，所述机箱还包括机箱上盖；

所述机箱上盖设置在所述机箱开口处，用于对所述机箱进行封口。

Images