CN105068786A - 一种处理访存请求的方法和节点控制器 - Google Patents

Abstract

本发明公开了一种处理访存请求的方法和节点控制器，该方法包括以下步骤：第一节点控制器接收来自第一处理器的访存请求；所述第一节点控制器将所述访存请求转发给与所述访存请求对应的处理器，并接收与所述访存请求对应的处理器返回的访存应答；所述第一节点控制器将所述访存应答发送给所述第一处理器，接收所述第一处理器返回的一致性状态信息，并对来自所述第一处理器的一致性状态信息进行记录。本发明能够减少节点控制器的数量，进而减少节点控制器所占内存空间，降低节点间互连规模，简化节点间拓扑，提升***性能，对于互连端口数目和能够支持的域内处理器ID数量非常有限的处理器而言，效果更加显著。

Description

一种处理访存请求的方法和节点控制器

技术领域

本发明涉及计算机技术领域，具体涉及一种处理访存请求的方法和节点控制器。

背景技术

随着计算机技术的迅速发展，大规模的CC-NUMA(CacheCoherentNon-UniformMemoryAccess，缓存一致性非一致内存访问)***的应用日益广泛。CC-NUMA***包括多个节点，每个节点由处理器和节点控制器构成，其中，节点控制器用于扩展***规模以及维护全局缓存的一致性，即，需要同时维护各节点逻辑域间以及节点内各物理域间的缓存一致性。

现有技术中，每个节点内的缓存一致性域由一颗处理器和一个节点控制器构成。例如，若构建一个由64颗仅支持域内2个处理器ID的处理器组成的CC-NUMA***，每个处理器对应L个缓存行，必须使用至少64个节点控制器，每个节点控制器的RP(RemoteProxy，远端内存代理)和LP(LocalProxy，本地内存代理)的目录项分别为：2bit+1bit＝3bit、2bit+63bit＝65bit，节点控制器的目录项共占63*L*(3bit+65bit)*64＝274176Lbit＝(267.75L)Kb。因此，现有技术增加了跨域处理和域间通信的开销，导致访问远端内存的显著下降，且***规模越大，访问远端内存的下降越明显。

发明内容

本发明提供了一种处理访存请求的方法和节点控制器，以解决现有技术中跨域处理和域间通信的开销较大的缺陷。

本发明提供了一种处理访存请求的方法，包括以下步骤：

第一节点控制器接收来自第一处理器的访存请求；

所述第一节点控制器将所述访存请求转发给与所述访存请求对应的处理器，并接收与所述访存请求对应的处理器返回的访存应答；

所述第一节点控制器将所述访存应答发送给所述第一处理器，接收所述第一处理器返回的一致性状态信息，并对来自所述第一处理器的一致性状态信息进行记录。

可选地，与所述访存请求对应的处理器为本地节点中的第二处理器；

所述第一节点控制器将所述访存请求转发给与所述访存请求对应的处理器，具体为：

所述第一节点控制器中的LP向所述第二处理器转发所述访存请求。

可选地，所述第一节点控制器中的LP向所述第二处理器转发所述访存请求之后，还包括：

所述第一节点控制器中的LP接收所述第二处理器返回的一致性状态信息，对来自所述第二处理器的一致性状态信息进行记录。

可选地，与所述访存请求对应的处理器为远端节点中的第三处理器；

所述第一节点控制器将所述访存请求转发给与所述访存请求对应的处理器，并接收与所述访存请求对应的处理器返回的访存应答，具体为：

所述第一节点控制器中的RP通过第二节点控制器向所述第三处理器转发所述访存请求，并通过所述第二节点控制器接收所述第三处理器返回的访存应答，所述第二节点控制器为所述远端节点中的节点控制器。

可选地，所述第一节点控制器接收所述第一处理器返回的一致性状态信息之后，还包括：

所述第一节点控制器将来自所述第一处理器的一致性状态信息发送给所述第二节点控制器。

可选地，所述第一节点控制器将所述访存请求转发给与所述访存请求对应的处理器之前，还包括：

所述第一节点控制器对所述访存请求对应的处理器进行判断。

可选地，所述第一节点控制器对访存请求对应的处理器进行判断，具体为：

所述第一节点控制器查询自身存储的目录，如果在LP中查找到所述访存请求对应的信息，则确定所述访存请求对应的处理器为本地节点中的第二处理器；如果在RP中查找到所述访存请求对应的信息，则确定所述访存请求对应的处理器是远端节点中的第三处理器。

本发明还提供了一种节点控制器，包括：

第一接收模块，用于接收来自第一处理器的访存请求；

第一收发模块，用于将所述第一接收模块接收到的所述访存请求转发给与所述访存请求对应的处理器，并接收与所述访存请求对应的处理器返回的访存应答；

第二收发模块，用于将所述第一收发模块接收到的所述访存应答发送给所述第一处理器，接收所述第一处理器返回的一致性状态信息；

第一记录模块，用于对所述第二收发模块接收到的来自所述第一处理器的一致性状态信息进行记录。

可选地，与所述访存请求对应的处理器为本地节点中的第二处理器。

可选地，所述的节点控制器，还包括：

第二接收模块，用于接收所述第二处理器返回的一致性状态信息；

所述记录模块，还用于对来自所述第二处理器的一致性状态信息进行记录。

可选地，与所述访存请求对应的处理器为远端节点中的第三处理器；

所述第一收发模块，具体用于通过所述远端节点中的节点控制器向所述第三处理器转发所述访存请求，并通过所述远端节点中的节点控制器接收所述第三处理器返回的访存应答。

可选地，所述的节点控制器，还包括：

第一发送模块，用于将所述第二收发模块接收到的来自所述第一处理器的一致性状态信息发送给所述第二节点控制器。

可选地，所述的节点控制器，还包括：

判断模块，用于对所述第一接收模块接收到的访存请求对应的处理器进行判断。

可选地，所述的节点控制器，还包括：

存储模块，用于存储目录；

所述判断模块，具体用于查询所述存储模块存储的目录，如果在LP中查找到所述访存请求对应的信息，则确定所述访存请求对应的处理器为本地节点中的第二处理器；如果在RP中查找到所述访存请求对应的信息，则确定所述访存请求对应的处理器是远端节点中的第三处理器。

本发明能够减少节点控制器的数量，进而减少节点控制器所占内存空间，降低节点间互连规模，简化节点间拓扑，提升***性能，对于互连端口数目和能够支持的域内处理器ID数量非常有限的处理器而言，效果更加显著。

附图说明

图1为本发明实施例中的一种节点***的结构示意图；

图2为本发明实施例中的一种节点的结构示意图；

图3为本发明实施例中的另一种节点的结构示意图；

图4为本发明实施例中的一种处理访存请求的方法流程图；

图5为本发明实施例中的RP中存储的目录的结构示意图；

图6为本发明实施例中的LP中存储的目录的结构示意图；

图7为本发明实施例中的一种节点控制器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例提供了一种处理访存请求的方法，应用与包括多个节点的***，如图1所示，每个节点为一个逻辑域，包括一个节点控制器、多个处理器以及与归属于各个处理器的缓存，每个处理器以及归属于该处理器的缓存组成一个物理子域，不同物理子域之间彼此隔离，通过节点控制器连接。每个节点控制器同与其相连的处理器组成节点内物理缓存一致性域，各个节点控制器处于同一层次，并通过域间互连网络进行级联。处理器可以通过节点控制器访问本地节点中的其他处理器，也可以通过节点控制器访问远端节点中的处理器。

本实施例中的多节点***包括第一节点和第二节点，第一节点包括第一节点控制器、第一处理器和第二处理器，如图2所示，第二节点包括第二节点控制器、第三处理器和第四处理器，如图3所示。第一节点控制器接收来自第一处理器的访存请求，将访存请求转发给与访存请求对应的处理器，并接收与访存请求对应的处理器返回的访存应答；第一节点控制器将访存应答发送给第一处理器，接收第一处理器返回的一致性状态信息，并对来自第一处理器的一致性状态信息进行记录。第一节点控制器处理访存请求的具体流程，如图4所示，包括以下步骤：

步骤101，第一节点控制器接收来自第一处理器的访存请求。

具体地，第一处理器在执行访存操作时，如果未在其所属的物理子域中命中缓存，则将访存请求指向与其位于同一物理缓存一致性域的第一节点控制器。

步骤102，第一节点控制器对访存请求对应的处理器进行判断，如果是本地节点中的第二处理器，则执行步骤103；如果是远端节点中的第三处理器，则执行步骤106。

具体地，第一节点控制器通过查询自身存储的目录，对访存请求对应的处理器进行判断。

本实施例中，第一节点控制器可通过RP和LP存储目录，如果在LP中查找到访存请求对应的信息，则确定访存请求对应的处理器为本地节点中的第二处理器；如果在RP中查找到访存请求对应的信息，则确定访存请求对应的处理器是远端节点中的第三处理器。

其中，RP中存储的目录用于记录远端地址数据在本地节点内(含本节点逻辑域内的所有物理域)处理器的分布情况，其目录的列项为除本节点逻辑域外其他所有处理器对应的缓存行(cacheline)，其每一行的目录项记录该缓存行在除本节点逻辑域外其他所有处理器持有副本信息(sharelist)、一致性状态信息(state)和写权限拥有者信息(owner)，如图5所示。其中，副本信息用于记录本节点逻辑域内所有处理器对该缓存行中数据的共享状态，其长度为本节点逻辑域内所有处理器的个数；一致性状态信息用于记录该缓存行中数据的状态，如M、E、S和I等；写权限拥有者信息为本节点内对当前缓存行数据具有写操作权限的M/E态的处理器或上一级节点的编号，其长度为log₂m，m为副本信息的长度。

例如，***共有N个处理器，分别属于P个节点Nodei(i＝1,2,..,P)，每个节点又分为p个物理子域Domj(j＝1,2,..,p)，每个处理器对应L个缓存行，则每个节点的逻辑域内有N/P＝Q个处理器，每个物理子域内有N/(P*p)＝Q/p＝q个处理器Pk(k＝1,2,..,q)，RP中的副本信息的长度为(P-1)*Q＝(N-Q)位，写权限拥有者信息的长度为log2(N-Q)位，每个RP所占内存空间为((N-Q)*L)*(2+(N-Q)+log2(N-Q))。

LP中存储的目录用于记录本节点各物理域内地址的数据在本节点其他物理域处理器和其他节点的分布情况，其目录的列项为本节点逻辑域内所有处理器对应的缓存行，其每一行的目录项记录了该缓存行在本节点其他物理子域处理器和所有远端节点的持有副本信息、一致性状态信息和写权限拥有者信息，如图6所示。其中，副本信息用于记录远端节点以及本节点逻辑域内其他物理子域的处理器对该缓存行中数据的共享状态；一致性状态信息用于记录该缓存行中数据的状态，如M、E、S和I等；写权限拥有者信息为对当前缓存行数据具有写操作权限的M/E态的远端节点、另一子域的处理器和上一级节点的编号，其长度为log₂m，m为副本信息的长度。

例如，***共有N个处理器，分别属于P个节点Nodei(i＝1,2,..,P)，每个节点又分为p个物理子域Domj(j＝1,2,..,p)，每个处理器对应L个缓存行，则每个节点的逻辑域内有N/P＝Q个处理器，每个物理子域内有N/(P*p)＝Q/p＝q个处理器Pk(k＝1,2,..,q)，LP的副本信息的长度为(p-1)*q+(P-1)＝(P+Q-q-1)位，写权限拥有者信息的长度为log2(P+Q-q-1)位，每个LP所占内存空间为(Q*L)*(2+(P+Q-q-1)+log2(P+Q-q-1))位。

需要说明的是，写权限拥有者信息为优选项，用于提高大规模内存***中M/E态的查找性能，减少M/E态的查找时间。

步骤103，第一节点控制器向第二处理器转发访存请求，接收第二处理器返回的访存应答和一致性状态信息。

具体地，第一节点控制器中的LP向第二处理器转发访存请求，第二处理器接收到来自第一节点控制器中的LP的访存请求后，对该访存请求进行处理，向第一节点控制器中的LP返回访存应答和一致性状态信息。

步骤104，第一节点控制器将来自第二处理器的访存应答发送给第一处理器，并对来自第二处理器的一致性状态信息进行记录。

具体地，第一节点控制器中的LP将来自第二处理器的访存应答发送给第一处理器，并将来自第二处理器的一致性状态信息记录到自身存储的目录中。

步骤105，第一节点控制器接收来自第一处理器的一致性状态信息，并对来自第一处理器的一致性状态信息进行记录。

具体地，第一处理器通过第一节点控制器中的LP接收到来自第二处理器的访存应答后，更新一致性状态信息，并将更新后的一致性状态信息返回给第一节点控制器中的LP，第一节点控制器中的LP将来自第一处理器的一致性状态信息记录到自身存储的目录中。

步骤106，第一节点控制器向第二节点控制器转发访存请求。

具体地，第一节点控制器中的RP向第二节点控制器中的LP发送访存请求。其中，第二节点控制器为与访存请求对应的处理器所归属的远端节点中的节点控制器。

步骤107，第二节点控制器向第三处理器转发访存请求，接收第三处理器返回的访存应答和一致性状态信息。

具体地，第二节点控制器中的LP向第三处理器转发访存请求，第三处理器接收到来自第二节点控制器中的LP的访存请求后，对该访存请求进行处理，向第二节点控制器中的LP返回访存应答和一致性状态信息。

步骤108，第二节点控制器将来自第三处理器的访存应答发送给第一节点控制器，并对来自第三处理器的一致性状态信息进行记录。

具体地，第二节点控制器中的LP将来自第三处理器的访存应答和一致性状态信息发送给第一节点控制器中的RP，并将来自第三处理器的一致性状态信息记录到自身存储的目录中。

步骤109，第一节点控制器将来自第三处理器的访存应答发送给第一处理器，接收第一处理器返回的一致性状态信息，并对来自第一处理器的一致性状态信息进行记录，将来自第一处理器的一致性状态信息发送给第二节点控制器。

具体地，第一节点控制器中的RP将来自第三处理器的访存应答发送给第一处理器，第一处理器更新一致性状态信息，并将更新后的一致性状态信息返回给第一节点控制器中的RP，第一节点控制器中的RP根据来自第一处理器的一致性状态信息更新自身存储的目录，并将来自第一处理器的一致性状态信息发送给第二节点控制器中的LP。

步骤110，第二节点控制器对来自第一处理器的一致性状态信息进行记录。

具体地，第二节点控制器中的LP根据来自第一处理器的一致性状态信息更新自身存储的目录。

本发明实施例通过构造具有多个缓存一致性域的节点，在节点控制器内部构建一个统一的逻辑缓存一致性域，从而完全包含彼此隔离的由若干处理器和该节点控制器组成的多个物理缓存一致性域，不同节点间可通过节点控制器直接连接或域间互连网络连接，组成节点间单一缓存一致性域，能够减少节点控制器的数量，进而减少节点控制器所占内存空间，降低节点间互连规模，简化节点间拓扑，提升***性能，对于互连端口数目和能够支持的域内处理器ID数量非常有限的处理器而言，效果更加显著。

例如，若构建一个由64颗仅支持域内2个处理器ID的处理器组成的CC-NUMA***，每个处理器对应L个缓存行，仅需要32个节点控制器，每个节点控制器的RP和LP的目录项分别为：2bit+2bit＝4bit、2bit+31bit+1bit＝34bit，节点控制器的目录项共占(2*L*4bit+62*L*34bit)*32＝67712Lbit＝(66.125L)Kb，与现有技术相比，节点控制器的数量减少一半，节点控制器的目录项所占内存空间减少四分之三。

基于上述处理访存请求的方法，本发明实施例还提供了一种节点控制器，如图7所示，包括：

第一接收模块710，用于接收来自第一处理器的访存请求。

第一收发模块720，用于将第一接收模块710接收到的访存请求转发给与访存请求对应的处理器，并接收与访存请求对应的处理器返回的访存应答。

第二收发模块730，用于将第一收发模块720接收到的访存应答发送给第一处理器，接收第一处理器返回的一致性状态信息。

第一记录模块740，用于对第二收发模块730接收到的来自第一处理器的一致性状态信息进行记录。

其中，上述与访存请求对应的处理器可以为本地节点中的第二处理器。

相应地，上述节点控制器，还包括：

第二接收模块750，用于接收第二处理器返回的一致性状态信息。

上述记录模块740，还用于对来自第二处理器的一致性状态信息进行记录。

此外，上述与访存请求对应的处理器还可以为远端节点中的第三处理器。

相应地，上述第一收发模块720，具体用于通过远端节点中的节点控制器向第三处理器转发访存请求，并通过远端节点中的节点控制器接收第三处理器返回的访存应答。

进一步地，上述节点控制器，还包括：

第一发送模块760，用于将第二收发模块730接收到的来自第一处理器的一致性状态信息发送给第二节点控制器。

进一步地，上述节点控制器，还包括：

判断模块770，用于对第一接收模块710接收到的访存请求对应的处理器进行判断。

进一步地，上述节点控制器，还包括：

存储模块780，用于存储目录。

相应地，上述判断模块770，具体用于查询存储模块780存储的目录，如果在LP中查找到访存请求对应的信息，则确定访存请求对应的处理器为本地节点中的第二处理器；如果在RP中查找到访存请求对应的信息，则确定访存请求对应的处理器是远端节点中的第三处理器。

本发明实施例通过构造具有多个缓存一致性域的节点，在节点控制器内部构建一个统一的逻辑缓存一致性域，从而完全包含彼此隔离的由若干处理器和该节点控制器组成的多个物理缓存一致性域，不同节点间可通过节点控制器直接连接或域间互连网络连接，组成节点间单一缓存一致性域，能够减少节点控制器的数量，进而减少节点控制器所占内存空间，降低节点间互连规模，简化节点间拓扑，提升***性能，对于互连端口数目和能够支持的域内处理器ID数量非常有限的处理器而言，效果更加显著。

结合本文中所公开的实施例描述的方法中的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种处理访存请求的方法，其特征在于，包括以下步骤：

第一节点控制器接收来自第一处理器的访存请求；

所述第一节点控制器将所述访存请求转发给与所述访存请求对应的处理器，并接收与所述访存请求对应的处理器返回的访存应答；

所述第一节点控制器将所述访存应答发送给所述第一处理器，接收所述第一处理器返回的一致性状态信息，并对来自所述第一处理器的一致性状态信息进行记录。

2.如权利要求1所述的方法，其特征在于，与所述访存请求对应的处理器为本地节点中的第二处理器；

所述第一节点控制器将所述访存请求转发给与所述访存请求对应的处理器，具体为：

所述第一节点控制器中的LP向所述第二处理器转发所述访存请求。

3.如权利要求2所述的方法，其特征在于，所述第一节点控制器中的LP向所述第二处理器转发所述访存请求之后，还包括：

所述第一节点控制器中的LP接收所述第二处理器返回的一致性状态信息，对来自所述第二处理器的一致性状态信息进行记录。

4.如权利要求1所述的方法，其特征在于，与所述访存请求对应的处理器为远端节点中的第三处理器；

所述第一节点控制器将所述访存请求转发给与所述访存请求对应的处理器，并接收与所述访存请求对应的处理器返回的访存应答，具体为：

所述第一节点控制器中的RP通过第二节点控制器向所述第三处理器转发所述访存请求，并通过所述第二节点控制器接收所述第三处理器返回的访存应答，所述第二节点控制器为所述远端节点中的节点控制器。

5.如权利要求4所述的方法，其特征在于，所述第一节点控制器接收所述第一处理器返回的一致性状态信息之后，还包括：

所述第一节点控制器将来自所述第一处理器的一致性状态信息发送给所述第二节点控制器。

6.如权利要求1所述的方法，其特征在于，所述第一节点控制器将所述访存请求转发给与所述访存请求对应的处理器之前，还包括：

所述第一节点控制器对所述访存请求对应的处理器进行判断。

7.如权利要求6所述的方法，其特征在于，所述第一节点控制器对访存请求对应的处理器进行判断，具体为：

所述第一节点控制器查询自身存储的目录，如果在LP中查找到所述访存请求对应的信息，则确定所述访存请求对应的处理器为本地节点中的第二处理器；如果在RP中查找到所述访存请求对应的信息，则确定所述访存请求对应的处理器是远端节点中的第三处理器。

8.一种节点控制器，其特征在于，包括：

第一接收模块，用于接收来自第一处理器的访存请求；

第一收发模块，用于将所述第一接收模块接收到的所述访存请求转发给与所述访存请求对应的处理器，并接收与所述访存请求对应的处理器返回的访存应答；

第二收发模块，用于将所述第一收发模块接收到的所述访存应答发送给所述第一处理器，接收所述第一处理器返回的一致性状态信息；

第一记录模块，用于对所述第二收发模块接收到的来自所述第一处理器的一致性状态信息进行记录。

9.如权利要求8所述的节点控制器，其特征在于，与所述访存请求对应的处理器为本地节点中的第二处理器。

10.如权利要求9所述的节点控制器，其特征在于，还包括：

第二接收模块，用于接收所述第二处理器返回的一致性状态信息；

所述记录模块，还用于对来自所述第二处理器的一致性状态信息进行记录。

11.如权利要求8所述的节点控制器，其特征在于，与所述访存请求对应的处理器为远端节点中的第三处理器；

所述第一收发模块，具体用于通过所述远端节点中的节点控制器向所述第三处理器转发所述访存请求，并通过所述远端节点中的节点控制器接收所述第三处理器返回的访存应答。

12.如权利要求11所述的节点控制器，其特征在于，还包括：

第一发送模块，用于将所述第二收发模块接收到的来自所述第一处理器的一致性状态信息发送给所述第二节点控制器。

13.如权利要求8所述的节点控制器，其特征在于，还包括：

判断模块，用于对所述第一接收模块接收到的访存请求对应的处理器进行判断。

14.如权利要求13所述的节点控制器，其特征在于，还包括：

存储模块，用于存储目录；

所述判断模块，具体用于查询所述存储模块存储的目录，如果在LP中查找到所述访存请求对应的信息，则确定所述访存请求对应的处理器为本地节点中的第二处理器；如果在RP中查找到所述访存请求对应的信息，则确定所述访存请求对应的处理器是远端节点中的第三处理器。