CN105404546A - 基于rdma和htm的分布式并发控制方法 - Google Patents

Abstract

本发明提供了一种基于RDMA和HTM的分布式并发控制方法，包括步骤1：根据程序需要访问的数据选择执行的服务器；步骤2：通过选定的服务器获取程序需要访问的远端数据，并对远端数据进行保护；步骤3：读取全部远端数据并缓存至执行服务器后，在HTM中执行程序。本发明采用混合的并发控制方法，利用HTM的和RDMA的特性实现程序对于本地和分布式数据访问的保护。本发明对于现有数据库***的事务性支持，能够降低并发控制所带来的开销，增加数据库***的吞吐量和降低数据库事务执行的延迟。提升数据库***的资源利用率以及商场应用服务的性能，进而可以带来可观的社会效益和经济效益。

Description

基于RDMA和HTM的分布式并发控制方法

技术领域

本发明涉及分布式计算和多核计算技术领域，具体地，涉及分布式多核内存计算中对于共享内存数据的并发控制方法。

背景技术

分布式多核的并发内存计算的并发控制是现代计算机的重要特质，可以方便开发人员推算程序的正确性，并且直接关系到应用的执行效率。现有的解决方案主要有软件的方法，比如二阶段锁和乐观并发控制。然而这些方法在多核内存计算下和分布式计算下有比较大的开销。二阶段锁对每个数据的操作有很大的开销，而乐观并发控制在分布式环境下有多轮网络通信的开销。

硬件事务性内存HTM(HardwareTransactionalMemory)是新的硬件技术，直接由处理器提供执行程序时对共享内存数据的并发控制，具有非常低的开销。然而硬件事务性内存只能在单机中使用。HTM提供XBEGIN操作让处理器进入HTM模式，使用XABORT中断这次执行，并且将内存状态退回到调用XBEGIN前的状态后再次进入HTM模式在此执行之后的程序，使用XEND退出HTM执行模式。

远程内存直接访问RDMA(RemoteDirectMemoryAccess)是新的网络通信技术，直接由网卡来对远端机器的内存进行操作，拥有非常高的吞吐量和低延迟的特性。然而RDMA提供的对远端机器内存操作的方法十分有限，主要有读，写和原子比较再替换操作。这对如何利用RDMA操作来进行分布式并发控制带来了挑战。

因此，如何利用新的硬件技术如HTM何RDMA，合理的设计软件协议，减少分布式内存计算中并发控制的开销，提升应用程序的性能和***机器的资源利用率，实已成为本领域技术人员亟待解决的技术难题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于RDMA和HTM的分布式并发控制方法。

根据本发明提供的基于RDMA和HTM的分布式并发控制方法，包括如下步骤：

步骤1：根据程序需要访问的数据选择执行服务器；

步骤2：通过选定的执行服务器获取程序需要访问的数据，并对数据进行保护；

步骤3：读取全部数据并缓存至执行服务器后，在HTM中执行程序。

优选地，所述步骤1包括：根据程序需要访问的数据集合得出哪些服务器中包含需要访问的数据，并根据这些服务器分别拥有的事务数据的的条目数量，选择包含事务所要访问的条目的服务器作为执行服务器来执行程序。

优选地，所述步骤2包括：

步骤2.1：获取程序需要访问的远端数据，并对远端数据进行保护，即使得远端数据在程序结束前不会被其他有冲突的程序访问到；

步骤2.2：在程序开始执行前，执行服务器通过分布式内存键值数据库找到程序的远端数据在其他服务器的内存位置，若远端数据是需要修改的数据则使用RDMA原子指令将远端数据所在的其它服务器的服务器状态设置为上锁状态，否则将所述执行服务器的数据设一个机器时间来作为时间戳，用于表明所有执行服务器在这个时间戳前无法修改数据；

步骤2.3:在修改完所有远端数据在其所在的其他服务器上的状态后，使用RDMA读操作将所有的数据读到执行服务器的本地缓存中，其中，将只读的远端数据的时间戳也记录到执行服务器的本地。

优选地，所述步骤3包括：

步骤3.1：在将程序所需要的所有远端数据读回到执行服务器的本地缓存后，调用硬件提供的HTM指令进入硬件事务性内存模式；

步骤3.2：根据所访问的数据是本地数据还是远端数据执行不同的操作；

若数据的访问为本地数据的读写操作，则，具体地，

当为读操作，检查本地数据是否处于上锁状态，若处于上锁状态则调用硬件提供的中断HTM指令中断该次程序执行，并将程序的修改进行回滚；否则进行读操作；

当为写操作，检查本地数据是否处于上锁状态，若本地数据上有时间戳，则判断该时间戳是否比当前执行服务器的时间晚；若检查得到本地数据处于上锁状态或者本地数据上的时间戳晚于执行服务器的时间，则调用硬件提供的中断HTM指令中断这次程序执行并回滚程序的修改；否则进行在本地数据上进行写操作；

若数据的访问为远端数据的读写操作，则在所述远端数据在执行服务器的本地缓存中进行读写操作，具体地，

当程序全部执行完成后，对所有的远端只读数据进行时间戳检查，若有一个远端只读数据的时间戳比当前执行服务器的时间早，则调用硬件提供的中断HTM指令中断该程序的执行，重新对远端只读数据设置比当前机器时间戳要大的时间戳后，再一次执行步骤3；

步骤3.3：当远端数据的时间戳都检查完成后，对于调用硬件指令退出HTM事务模式；并对程序所有修改的远端数据使用RDMA写操作将本地缓存中远端数据修改的值写回到远端服务器，利用RDMA原子操作把程序访问的远端数据的状态变为初始化状态。

与现有技术相比，本发明具有如下的有益效果：

1、本发明中的方法通过RDMA网络可以中断HTM的特性，在分布式并发控制中运用HTM作为主要的并发控制，因此可以利用HTM的高效的事务保护的特性，优化程序执行时对于本地数据访问的保护的性能，同时可以和远端数据的保护方法运用在一起。

2、本发明利用分布式环境下机器间的几乎一致的时钟来实现了对只读数据的租约的机制，这样通过数据上的时间戳来共享只读的数据，提高了分布式程序执行的并行性，进一步提升了分布式环境下利用RDMA的并发控制方法的性能。

3、本发明对于现有的数据库***支持，能够降低数据库***为执行事务的强一致性所带来的性能开销，提升数据库***的资源利用率以及整体的性能。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的基于RDMA和HTM的分布式并发控制方法的原理示意图一；

图2为本发明提供的基于RDMA和HTM的分布式并发控制方法的原理示意图二；

图3为本发明提供的基于RDMA分布式内存计算的分布式并发控制方法的的远端数据保护方法的流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

根据本发明提供的基于RDMA和HTM的分布式并发控制方法，包括如下步骤：

步骤1：根据程序需要访问的数据选择执行服务器；

步骤2：通过选定的执行服务器获取程序需要访问的数据，并对数据进行保护；

步骤3：读取全部数据并缓存至执行服务器后，在HTM中执行程序。

优选地，所述步骤1包括：根据程序需要访问的数据集合得出哪些服务器中包含需要访问的数据，并根据这些服务器分别拥有的事务数据的的条目数量，选择包含事务所要访问的条目的服务器作为执行服务器来执行程序。

所述步骤2包括：

步骤2.1：获取程序需要访问的远端数据，并对远端数据进行保护，即使得远端数据在程序结束前不会被其他有冲突的程序访问到；

步骤2.2：在程序开始执行前，执行服务器通过分布式内存键值数据库找到程序的远端数据在其他服务器的内存位置，若远端数据是需要修改的数据则使用RDMA原子指令将远端数据所在的其它服务器的服务器状态设置为上锁状态，否则将所述执行服务器的数据设一个机器时间来作为时间戳，用于表明所有执行服务器在这个时间戳前无法修改数据；

步骤2.3:在修改完所有远端数据在其所在的其他服务器上的状态后，使用RDMA读操作将所有的数据读到执行服务器的本地缓存中，其中，将只读的远端数据的时间戳也记录到执行服务器的本地。

所述步骤3包括：

步骤3.1：在将程序所需要的所有远端数据读回到执行服务器的本地缓存后，调用硬件提供的HTM指令进入硬件事务性内存模式；

步骤3.2：根据所访问的数据是本地数据还是远端数据执行不同的操作；

若数据的访问为本地数据的读写操作，则，具体地，

当为读操作，检查本地数据是否处于上锁状态，若处于上锁状态则调用硬件提供的中断HTM指令中断该次程序执行，并将程序的修改进行回滚；否则进行读操作；

当为写操作，检查本地数据是否处于上锁状态，若本地数据上有时间戳，则判断该时间戳是否比当前执行服务器的时间晚；若检查得到本地数据处于上锁状态或者本地数据上的时间戳晚于执行服务器的时间，则调用硬件提供的中断HTM指令中断这次程序执行并回滚程序的修改；否则进行在本地数据上进行写操作；

若数据的访问为远端数据的读写操作，则在所述远端数据在执行服务器的本地缓存中进行读写操作，具体地，

当程序全部执行完成后，对所有的远端只读数据进行时间戳检查，若有一个远端只读数据的时间戳比当前执行服务器的时间早，则调用硬件提供的中断HTM指令中断该程序的执行，重新对远端只读数据设置比当前机器时间戳要大的时间戳后，再一次执行步骤3；

步骤3.3：当远端数据的时间戳都检查完成后，对于调用硬件指令退出HTM事务模式；并对程序所有修改的远端数据使用RDMA写操作将本地缓存中远端数据修改的值写回到远端服务器，利用RDMA原子操作把程序访问的远端数据的状态变为初始化状态。

具体地，如图1、图2所示，本发明设计的是利用HTM和RDMA，借助HTM来执行程序的逻辑，并且利用RDMA提供对程序访问其他机器数据的保护来实现分布式内存计算的并发控制的方法，包括：

步骤1：***根据程序将要访问的数据(图1的中的黑色数据)来选择在哪台机器执行程序。选择拥有程序执行时要访问的最多数据的那台机器(图1中的服务器A)来执行；

步骤2：程序从远端机器(图1中的服务器B)来对远端数据进行保护，对于只读数据则尝试将其状态位置上一个时间戳，对于要修改的数据则置为上锁状态，当保护操作完成后，将远端机器中的数据(如果是只读的数据的话还有其时间戳)读回到本地机器的缓存中。

步骤3a：统调用XBEGIN进入HTM来执行程序的逻辑。在HTM执行的过程中，每当遇到要对远端的数据读写时，则直接对本地缓存读写(如图2所示)。如果是本地数据的读写操作，则检查数据的状态是否为上锁状态，如果是则调用XABORT退出HTM并进行重新执行，由硬件回滚程序对内存的修改以及返回调用XBEGIN时的状态重新执行程序路逻辑。对于写操作，进一步的检查数据状态上是否有一个没有到期的时间，如果是也调用XABORT退出HTM并进行重新执行。如果检查都通过则正常对本地数据进行读写。

步骤3b：***检查所有的只读的远端数据的时间戳，是否有比当前机器的时间早的远端只读数据的时间戳，如果有则调用XABORT并且重新执行步骤2中的对远端只读操作的保护方法。如果检查通过，则使用RDMA写操作把修改过的远端数据的值写回，并且用RDMA原子比较替换操作将这些数据的状态改为初始化。

进一步具体地，基于RDMA的远端数据保护的方法。

在步骤2中，对于每一个需要操作的远端数据，***首先会使用分布式键/值数据库获得数据的内存位置，随后，对于读的数据，***将做如下操作：

首先，***会估算一个时间戳，他的值为当前机器的本地时间加上估算的程序运行时间。随后***初始化一个变量，其值为0(图2的初始化状态的标志)。***尝试将每个读的数据的状态变量，由数据的内存位置得到，使用RDMA原子比较再交换操作将数据的状态原子的置为这个时间戳。如果成功的话直接返回。如果失败的话，RDMA的比较再替换会将原来的值读回。如果读回的值是时间戳同时比当前机器的程序运行机器的时间大，则也直接返回。否则，则将变量的值变为RDMA_CAS返回来的值，重复这一过程。

对于要修改的操作，***会初始化一个变量，其值为0(图2的***初始化状态的标志)，***将尝试将每个写的数据的状态变量，由数据的内存位置得到，使用RDMA原子比较再交换操作将数据的状态原子的置为1(图2的上锁状态的标志)如果成功则直接返回。如果失败则RDMA的比较再替换会将原有的值读回。如果返回值代表时间戳，同时比当前程序运行机器的时间小，则将变量置为这个时间戳，重复这一过程；否则继续重试这个过程。

综上所述，本发明提出的基于RDMA和HTM的分布式并发控制方法，能够最大程度的利用HTM来执行程序的并发控制，减少因为软件方法带来的影响，同时可以利用高速的RDMA网络来降低网络开销，最大限度的利用了硬件的特性，降低了程序的并发控制所带来的性能的下降，可以极大的提高上层应用的性能。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (4)

1.一种基于RDMA和HTM的分布式并发控制方法，其特征在于，包括如下步骤：

步骤1：根据程序需要访问的数据选择执行服务器；

步骤2：通过选定的执行服务器获取程序需要访问的数据，并对数据进行保护；

步骤3：读取全部数据并缓存至执行服务器后，在HTM中执行程序。

2.根据权利要求1所述的基于RDMA和HTM的分布式并发控制方法，其特征在于，所述步骤1包括：根据程序需要访问的数据集合得出哪些服务器中包含需要访问的数据，并根据这些服务器分别拥有的事务数据的的条目数量，选择包含事务所要访问的条目的服务器作为执行服务器来执行程序。

3.根据权利要求1所述的基于RDMA和HTM的分布式并发控制方法，其特征在于，所述步骤2包括：

步骤2.1：获取程序需要访问的远端数据，并对远端数据进行保护，即使得远端数据在程序结束前不会被其他有冲突的程序访问到；

步骤2.2：在程序开始执行前，执行服务器通过分布式内存键值数据库找到程序的远端数据在其他服务器的内存位置，若远端数据是需要修改的数据则使用RDMA原子指令将远端数据所在的其它服务器的服务器状态设置为上锁状态，否则将所述执行服务器的数据设一个机器时间来作为时间戳，用于表明所有执行服务器在这个时间戳前无法修改数据；

步骤2.3:在修改完所有远端数据在其所在的其他服务器上的状态后，使用RDMA读操作将所有的数据读到执行服务器的本地缓存中，其中，将只读的远端数据的时间戳也记录到执行服务器的本地。

4.根据权利要求1所述的基于RDMA和HTM的分布式并发控制方法，其特征在于，所述步骤3包括：

步骤3.1：在将程序所需要的所有远端数据读回到执行服务器的本地缓存后，调用硬件提供的HTM指令进入硬件事务性内存模式；

步骤3.2：根据所访问的数据是本地数据还是远端数据执行不同的操作；

若数据的访问为本地数据的读写操作，则，具体地，

当为读操作，检查本地数据是否处于上锁状态，若处于上锁状态则调用硬件提供的中断HTM指令中断该次程序执行，并将程序的修改进行回滚；否则进行读操作；

当为写操作，检查本地数据是否处于上锁状态，若本地数据上有时间戳，则判断该时间戳是否比当前执行服务器的时间晚；若检查得到本地数据处于上锁状态或者本地数据上的时间戳晚于执行服务器的时间，则调用硬件提供的中断HTM指令中断这次程序执行并回滚程序的修改；否则进行在本地数据上进行写操作；

若数据的访问为远端数据的读写操作，则在所述远端数据在执行服务器的本地缓存中进行读写操作，具体地，

当程序全部执行完成后，对所有的远端只读数据进行时间戳检查，若有一个远端只读数据的时间戳比当前执行服务器的时间早，则调用硬件提供的中断HTM指令中断该程序的执行，重新对远端只读数据设置比当前机器时间戳要大的时间戳后，再一次执行步骤3；

步骤3.3：当远端数据的时间戳都检查完成后，对于调用硬件指令退出HTM事务模式；并对程序所有修改的远端数据使用RDMA写操作将本地缓存中远端数据修改的值写回到远端服务器，利用RDMA原子操作把程序访问的远端数据的状态变为初始化状态。