CN110891000B

CN110891000B - 一种gpu带宽性能的检测方法、***及相关装置

Info

Publication number: CN110891000B
Application number: CN201911082349.3A
Authority: CN
Inventors: 辛永欣
Original assignee: Inspur Beijing Electronic Information Industry Co Ltd
Current assignee: Inspur Beijing Electronic Information Industry Co Ltd
Priority date: 2019-11-07
Filing date: 2019-11-07
Publication date: 2021-10-26
Anticipated expiration: 2039-11-07
Also published as: CN110891000A

Abstract

本申请提供一种GPU带宽性能的检测方法，包括：获取GPU间的拓扑结构和GPU间的P2P带宽测试结果；根据所述拓扑结构和所述P2P带宽测试结果建立映射表；将所述映射表中各带宽数据与对应的预设性能数据比对，得到检测结果；其中，不同的拓扑结构对应不同的预设性能数据。本申请通过批量对GPU进行P2P带宽测试，适用于实际的GPU带宽性能测试和产线GPU服务器的GPU带宽性能测试，能够有效提高测试效率和测试准确率。本申请还提供一种GPU带宽性能的检测***、计算机可读存储介质和一种GPU带宽性能的检测终端，具有上述有益效果。

Description

一种GPU带宽性能的检测方法、***及相关装置

技术领域

本申请涉及电子设备领域，特别涉及一种GPU带宽性能的检测方法、***及相关装置。

背景技术

一直以来，GPU和CPU间的数据传输速度都是一项技术瓶颈，因为GPU的显存能够快速而少量的读写数据，而CPU使用内存读写则大量而慢速，因此，CPU的传输带宽大于GPU。

Nvidia开发了一个全新的互联构架nvlink。NVLink将对高性能计算、数据分析、以及机器学***了道路。

NVIDIA NVLink将采用相同配置的服务器性能提高31％。此产品可极大提高带宽并减少延迟，即使更大型的深度学习工作负载不断增加，也能实现性能扩展。

NVLink实现了很大的进步，可以在单个服务器中支持八个GPU，并且可提升性能，使之超越PCIe。但是，要将深度学***，将需要使用GPU架构，该架构在一台服务器上支持更多的GPU以及GPU之间的全带宽连接。

现阶段都是测试人员对带宽测试的性能指标一一核对，尤其当GPU卡是16或者更多的时候，不仅测试效率低，而且测试结果准确程度不高，难以满足测试需求。

发明内容

本申请的目的是提供一种GPU带宽性能的检测方法、***、计算机可读存储介质和一种GPU带宽性能的检测终端，能够提高带宽测试效率。

为解决上述技术问题，本申请提供一种GPU带宽性能的检测方法，具体技术方案如下：

获取GPU间的拓扑结构和GPU间的P2P带宽测试结果；

根据所述拓扑结构和所述P2P带宽测试结果建立映射表；

将所述映射表中各带宽数据与对应的预设性能数据比对，得到检测结果；

其中，不同的拓扑结构对应不同的预设性能数据。

其中，获取GPU间的拓扑结构和GPU间的P2P带宽测试结果之前，还包括：

调用cuda内置的samples测试GPU间的P2P带宽，得到所述P2P带宽测试结果。

其中，将所述映射表中各带宽数据与预设性能数据比对，得到检测结果包括：

若所述带宽数据小于预设性能数据，对应的检测结果为Fail；

若所述带宽数据不小于预设性能数据，对应的检测结果为Pass。

其中，当所述带宽数据小于对应的预设性能数据时，还包括：

检测不满足对应预设性能数据的GPU对应的风扇是否故障；

若否，对不满足对应预设性能数据的GPU执行性能检测。

其中，根据所述拓扑结构和所述P2P带宽测试结果建立映射表包括：

根据所述拓扑结构和所述P2P带宽测试结果建立矩阵格式文件或映射表格。

本申请还提供一种GPU带宽性能的检测***，包括：

数据获取模块，用于获取GPU间的拓扑结构和GPU间的P2P带宽测试结果；

映射模块，用于根据所述拓扑结构和所述P2P带宽测试结果建立映射表；

性能检测模块，用于将所述映射表中各带宽数据与对应的预设性能数据比对，得到检测结果；

其中，不同的拓扑结构对应不同的预设性能数据。

其中，还包括：

带宽测试模块，用于调用cuda内置的samples测试GPU间的P2P带宽，得到所述P2P带宽测试结果。

其中，还包括：

故障检测模块，用于当所述带宽数据小于对应的预设性能数据时，检测不满足对应预设性能数据的GPU对应的风扇是否故障；若否，对不满足对应预设性能数据的GPU执行性能检测。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

本申请还提供一种GPU带宽性能的检测终端，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。

本申请提供一种GPU带宽性能的检测方法，包括：获取GPU间的拓扑结构和GPU间的P2P带宽测试结果；根据所述拓扑结构和所述P2P带宽测试结果建立映射表；将所述映射表中各带宽数据与对应的预设性能数据比对，得到检测结果；其中，不同的拓扑结构对应不同的预设性能数据。

本申请通过批量对GPU进行P2P带宽测试，适用于实际的GPU带宽性能测试和产线GPU服务器的GPU带宽性能测试，能够有效提高测试效率和测试准确率。本申请还提供一种GPU带宽性能的检测***、计算机可读存储介质和一种GPU带宽性能的检测终端，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种GPU带宽性能的检测方法的流程图；

图2为本申请实施例所提供的一种GPU带宽性能的检测***结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种GPU带宽性能的检测方法的流程图，该检测方法包括：

S101：获取GPU间的拓扑结构和GPU间的P2P带宽测试结果；

S102：根据所述拓扑结构和所述P2P带宽测试结果建立映射表；

S103：将所述映射表中各带宽数据与对应的预设性能数据比对，得到检测结果；

步骤S101中需要分别对拓扑结构和P2P带宽测试结果进行处理。P2P带宽测试结果指两两GPU之间的P2P带宽测试结果。当然，容易理解的是，在此之前还需要对两两GPU之间的P2P进行带宽测试。在此对于如何获取GPU间的P2P带宽测试结果不作限定，为了避免测试人员一一测试，可以通过调用cuda内置的samples测试GPU间的P2P带宽，得到P2P带宽测试结果，提高P2P带宽测试结果的测试效率。CUDA(Compute Unified Device Architecture)，是英伟达公司推出的一种基于新的并行编程模型和指令集架构的通用计算架构，它能利用英伟达GPU的并行计算引擎，比CPU更高效的解决许多复杂计算任务。当然也可以采用其他带宽测试方法，在此不作更多限定。

步骤S101中还需要获取欧拓扑结构，这里的拓扑结构主要指的是GPU之间的连接关系，例如NVLINKE V2.0、NVLINKE V1.0和SYS等等。当然实际的拓扑结构中还可以包含GPU与其他组件的连接关系。

此后S102需要根据拓扑结构和P2P带宽测试结果建立映射表。建立映射表的目的是将实际的带宽测试结果与相应的连接关系一一对应。在此对于如何建立拓扑结构和P2P带宽测试结果之间的映射表不作限定，具体的可以采用矩阵格式文件或者映射表格等形式，行和列表示GPU的ID号。假设采用映射表格形式，若存在N个GPU，行、列均按GPU0、GPU1…GPUN的顺序排列，第0行0列是X，即行、列均为GPU0对应的单元格为X，表示是GPU0本身，第0行1列的单元格NV1表示GPU0与GPU1间是用NVLINKE V1.0连接，第0行2列是NV2表示GPU0和GPU2间是用NVLINKE V2.0连接，依此类推。之后将实际的P2P带宽测试结果与GPU的拓扑结构一一对应，即写入各单元格中，使得最后得到的映射表中可以确定任意两个GPU之间的连接关系以及对应的P2P带宽测试结果。

建立映射表后，映射表中的数据均为实际测试所得数据，为了检测GPU之间的连接性能，需要与对应的预设性能数据相比对。通常预设性能数据由本领域技术人员经过大量的数据测试或者根据实际经验得到，也可以为根据理论计算值与耗损系数之间的关系计算得到，在此不作具体限定。

优选的，预设性能数据可以调用相关的结果判定库实现，结果判定库中包含对各种GPU拓扑结构测试的P2P带宽数据。

需要注意的是，不同的GPU之间采用的拓扑结构不同，即连接方式不同，例如存在NVLINKE V2.0、NVLINKE V1.0和SYS等连接方式，而不同的拓扑结构对应不同的预设性能数据。因此，在将映射表中的数据与对应的预设性能数据相比对时，应先判断GPU之间的实际连接方式，根据实际连接方式确定对应的预设性能数据，再将映射表中的P2P带宽测试结果与预设性能数据相比对，得到检测结果，确定连接性能。

若映射表中的P2P带宽测试结果不满足预设性能数据，则说明该GPU对之间的连接存在异常。若映射表中的P2P带宽测试结果满足预设性能数据，则说明该GPU对之间的连接正常。

举例而言，若带宽数据小于预设性能数据，对应的检测结果为Fail，若带宽数据不小于预设性能数据，对应的检测结果为Pass，则最终得到的检测结果中利用Fail和Pass表现了任意GPU对之间的连接性能和测试结果。

本申请实施例通过批量对GPU进行P2P带宽测试，适用于实际的GPU带宽性能测试和产线GPU服务器的GPU带宽性能测试，能够有效提高测试效率和测试准确率。

基于上述实施例，作为优选的实施例，当所述带宽数据小于对应的预设性能数据时，还可以包括：

检测不满足对应预设性能数据的GPU对应的风扇是否故障；

若否，对不满足对应预设性能数据的GPU执行性能检测。

当带宽数据小于对应的预设性能数据时，此时可以先判断GPU的风扇是否故障。因为存在由于风扇转速低导致GPU散热受影响从而影响GPU的运行性能的可能，因此可以先排除外界因素对于GPU的影响。排除外界因素影响后，确定带宽数据不满足对应的预设性能数据是由于GPU自身因素造成，则此时可以对着两个GPU进行检测，确定是否为GPU原因。若是，则可以选择更换GPU或执行其他修复操作，以保证GPU集群的高效运行。

下文以具体的实施方式对本申请提供的一种GPU带宽性能的检测方法进行描述：

假设此时已经执行完S101和S102，此后可以根据拓扑结构和P2P带宽测试结果建立矩阵形式的映射表。

将映射表中GPU序号和对应的P2P带宽数据存入列表中，列表用于存放GPU拓扑结构。之后对列表进行处理，存入字典，字典中包含Key和value。字典的key是GPU的列表号，value是性能测试数据列表。

根据得到的P2P带宽测试结果，则提取的数据存入格式如下，需要注意的是，下列数据仅用于表现一种优选的数据存入格式及映射表形式：

{'GPU0':['746.18','48.39','96.51','48.40','17.50','18.40','18.52','96.48'],

'GPU1':['48.39','749.76','48.40','96.50','18.40','18.42','96.48','18.10'],

'GPU2':['96.51','48.39','747.61','96.51','18.49','48.39','17.90','18.24'],

'GPU3':['48.39','96.49','96.49','748.32','48.41','17.28','18.55','18.24'],

'GPU4':['18.10','18.75','18.44','48.39','750.48','96.51','96.49','48.39'],

'GPU5':['18.73','18.73','48.39','18.79','96.46','752.65','48.39','96.46'],

'GPU6':['18.74','96.48','18.52','18.55','96.30','48.35','749.76','48.33'],

'GPU7':['96.45','18.51','18.24','17.93','48.38','96.28','48.40','744.76']}

此后需要查找结果判定库，结果判定库里包含对各种GPU拓扑结构测试的P2P带宽数据。

遍历带宽的性能数据，同时读取存放GPU拓扑结构的列表，根据GPU间的连接情况，判断这个指标值是否合理。传入的参数是GPU拓扑结构的字典和带宽测试值的字典，两个字典的key是相同的，遍历GPU结构字典，同时去查看带宽测试值的字典该key对应的value。

最后输出检测结果，对实际测试性能数据与判定库里的预设性能数据进行比对后，若都正常，则返回P2P测试Pass，否则返回Fail并标注具体哪一对GPU之间的P2P带宽数据异常。当然也可能存在不支持当前GPU连接关系的预设性能数据，此时可以返回Check。

下面对本申请实施例提供的一种GPU带宽性能的检测***进行介绍，下文描述的检测***与上文描述的一种GPU带宽性能的检测方法可相互对应参照。

参见图2，图2为本申请实施例所提供的一种GPU带宽性能的检测***结构示意图本申请还提供一种GPU带宽性能的检测***，包括：

数据获取模块100，用于获取GPU间的拓扑结构和GPU间的P2P带宽测试结果；

映射模块200，用于根据所述拓扑结构和所述P2P带宽测试结果建立映射表；

性能检测模块300，用于将所述映射表中各带宽数据与对应的预设性能数据比对，得到检测结果；

其中，不同的拓扑结构对应不同的预设性能数据。

基于上述实施例，作为优选的实施例，该检测***还可以包括：

其中，所述性能检测模块300具体为用于若所述带宽数据小于预设性能数据，对应的检测结果为Fail；若所述带宽数据不小于预设性能数据，对应的检测结果为Pass的模块。

基于上述实施例，作为优选的实施例，上文映射模块200具体可以为用于根据所述拓扑结构和所述P2P带宽测试结果建立矩阵格式文件或映射表格的模块。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种GPU带宽性能的检测终端，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述GPU带宽性能的检测终端还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的***而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种GPU带宽性能的检测方法，其特征在于，包括：

获取GPU间的拓扑结构和GPU间的P2P带宽测试结果；

根据所述拓扑结构和所述P2P带宽测试结果建立映射表；

其中，不同的拓扑结构对应不同的预设性能数据；

2.根据权利要求1所述的检测方法，其特征在于，获取GPU间的拓扑结构和GPU间的P2P带宽测试结果之前，还包括：

调用cuda计算架构内置的测试示例测试GPU间的P2P带宽，得到所述P2P带宽测试结果。

3.根据权利要求1所述的检测方法，其特征在于，将所述映射表中各带宽数据与预设性能数据比对，得到检测结果包括：

若所述带宽数据小于预设性能数据，对应的检测结果为失败；

若所述带宽数据不小于预设性能数据，对应的检测结果为通过。

4.根据权利要求1所述的检测方法，其特征在于，当所述带宽数据小于对应的预设性能数据时，还包括：

检测不满足对应预设性能数据的GPU对应的风扇是否故障；

若否，对不满足对应预设性能数据的GPU执行性能检测。

5.一种GPU带宽性能的检测***，其特征在于，包括：

其中，不同的拓扑结构对应不同的预设性能数据。

6.根据权利要求5所述的检测***，其特征在于，还包括：

带宽测试模块，用于调用cuda计算架构内置的测试示例测试GPU间的P2P带宽，得到所述P2P带宽测试结果。

7.根据权利要求5所述的检测***，其特征在于，还包括：

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的检测方法的步骤。

9.一种GPU带宽性能的检测终端，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-4任一项所述的检测方法的步骤。