CN111818122B - 基于流量公平的广域网数据预取方法 - Google Patents

Abstract

本发明提出一种基于流量公平的广域网数据预取方法，使用改进的mclock算法，使用三个不同的标签，保证每个文件最小IOPS(Input/Output Operations Per Second，即每秒的读写速度)的情况，按比例分配当前IOPS，以实现基于流量公平的远程预取机制。并且根据应用对于文件预读缓存的命中率来调整对该文件的预读大小和流量公平机制中的请求的处理顺序。在服务端利用历史访问记录，离线分析每个文件的IOPS，初始化流量公平机制的初值。

Description

基于流量公平的广域网数据预取方法

技术领域

本发明公开了一种基于流量公平的广域网数据预取方法，涉及广域高性能计算面临的挑战，属于计算机技术领域。

背景技术

在广域高性能计算环境中，访问远程文件数据时需通过客户端向远程服务器发送数据请求并进行访问。而使用预读机制，来提前获取数据是常见的提升文件的数据访问性的方法，其主要思想是基于数据的局部性原理，提前获取局部的数据，而当附近的数据被访问时，可以减少网络请求次数，从而提高性能。而本方法将加入流量公平机制和针对访问模式的监测来调整预取大小和顺序对性能进行优化。

流量公平方面，当前有许多QOS(Quality of Service，服务质量)方法研究此方面，主要是针对于服务端收到各种请求时，对请求进行排序，来达到各个客户端的访问公平。WFQ是加权公平排队(Weighted Fair Queuing)缩写。它是一种拥塞管理算法，该算法识别对话(以数据流的形式)、分开属于各个对话的分组，并确保传输容量被这些独立的对话公平地分享。WFQ是在发生拥塞时稳定网络运行的一种自动的方法，它能提高处理性能并减少分组的重发。WFQ是一个复杂的排队过程，可以保证相同优先级业务间公平，不同优先级业务间加权。队列的数目可预先配置，范围是(16-4096)。WFQ，在保证公平(带宽、延迟)的基础上体现权值，权值大小依赖于JP报文头中携带的IP优先级(Precedence)。WFQ对报文按流进行分类，每一个流被分配到一个队列，该过程称为散列。WFQ入队过程采用HASH算法来自动完成，尽量将不同的流分入不同的队列。在出队的时候，WFQ按流的优先级(precedence)来分配每个流应占有出口的带宽。优先级的数值越小，所得的带宽越少。优先级的数值越大，所得的带宽越多。这样就保证了相同优先级业务之间的公平，体现了不同优先级业务之间的权值。令牌桶算法是网络流量整形(Traffic Shaping)和速率限制(Rate Limiting)中最常使用的一种算法。典型情况下，令牌桶算法用来控制发送到网络上的数据的数目，并允许突发数据的发送。其基本思想为大小固定的令牌桶可自行以恒定的速率源源不断地产生令牌。如果令牌不被消耗，或者被消耗的速度小于产生的速度，令牌就会不断地增多，直到把桶填满。后面再产生的令牌就会从桶中溢出。最后桶中可以保存的最大令牌数永远不会超过桶的大小。令牌桶这种控制机制基于令牌桶中是否存在令牌来指示什么时候可以发送流量。令牌桶中的每一个令牌都代表一个字节。如果令牌桶中存在令牌，则允许发送流量；而如果令牌桶中不存在令牌，则不允许发送流量。因此，如果突发门限被合理地配置并且令牌桶中有足够的令牌，那么流量就可以以峰值速率发送。mclock所设计的情形是，VMs(虚拟机)将所有的请求发送给host进行处理，I/O资源分配是以对所有VM的请求处理的先后顺序来体现。请求被先处理的VM具有较高的IOPS(Input/Output Operations Per Second，即每秒的读写速度)，反之，后被处理的IOPS较低。其根据虚拟机使用I/O资源的界定参数，比如比例(proportion或者share)、最小值(reservation)、最大值(limit)等等。来对请求进行排序，保证请求最低值，小于最大值，最终按比例分配I/O资源。但是该方法是针对于局域网来设计，其三个标签，需要根据经验手动设置；并不能根据当前情况进行动态调整，不能适合广域环境下，负责多变的环境。

传统的预读方法存在的问题主要为：传统的预读方法并未针对文件之间做流量公平，服务端没有通过对流量进行统计，并对原有客户端进行反馈。难以针对各个文件的读取方式进行预读的调整。而一般的公平机制，不能在网络带宽低下情况下，保证应用的运行效果。

发明内容

本发明的主要目的是提供一种基于流量公平的广域网数据预取方法，针对客户端采用的直接读取方式对于广域网带宽情况下越来越难以保证，多文件同时读的情况下，单个文件预读的公平性，从而导致针对不同文件访问的性能的差异的问题。它实现了基于流量公平的远程预取机制，使用改进的mclock算法，避免了多文件访问的情况下，单文件的占用带宽，所造成了其他文件饥饿的状况，影响上层应用运行性能。根据应用对于文件预读缓存的命中率来调整对该文件的预读大小和流量公平机制中的请求的处理顺序，来减少对于访问文件的模式为随机读的情况下，对于网络带宽的浪费，从而提升整体的网络带宽利用率并保证多文件间公平。

针对每个需要被访问的文件，设置r，l和p标签。r标签(reservation)用于设置读取请求的每秒读写速度IOPS(Input/Output Operations Per Second，即每秒读写速度),l标签(limit)用于限制读取请求IOPS的最大值，而p标签(proportion)是用于按比例给每个文件分配当前的IOPS值。

而对于单独的每个请求来说，根据每个文件的r，l和p标签，计算出对应自身请求的R，L和P标签，用于确定自身请求被客户端的处理顺序。

服务端开启低优先级线程，根据客户端对每个文件访问的日志，对文件的访问次数进行统计，计算出针对单个文件访问的IOPS值。在客户端开始预取时，将会询问服务端，获得该IOPS值以更新对应文件的l标签，有效的防止应用对于某一文件访问时，所造成的带宽浪费，达到流量公平。

基于流量公平的广域网数据预取方法，其特征在于，包括以下步骤：

步骤1，在访问远程的文件数据时，先访问预取缓存是否存在该文件数据，没有则客户端将调用预取模块对文件进行访问；

步骤2，预取模块将对一段时间内接受到的所有的访问请求按其标签进行排序，计算出所有请求被处理的时间顺序，之后将按顺序执行这些请求，之后将返回的结果放入缓存中；

步骤3，将客户端预取到的数据进行缓存，并且按照一定规则更新原有缓存；

步骤4，计算每次客户端访问数据时，对于当前文件缓存的缓存命中率，根据命中率调整所有的文件的p标签，该标签的调整将改变文件的访问先后顺序。之后根据命中率调整预取模块对该文件扩展的访问大小；

步骤5，文件访问服务端，将开启低优先级线程，根据客户端对每个文件的访问日志，对每个文件的访问次数进行统计，计算出单个文件历史访问的IOPS值，该值将用于更新客户端的l标签。

其中，步骤1包括以下步骤：

步骤1.1，应用针对某个文件发起读取请求；

步骤1.2，客户端判断预取缓存中是否存在该文件的缓存数据；

步骤1.3，若预取缓存不存在，则客户端将读取该文件的扩展属性，若该文件的扩展属性存在，将得到该文件的r、p、l标签，若该文件不存在则直接生成该文件的标签，为r、p、l分别设定初值(对于所有文件都相同)；

步骤1.4，客户端将访问服务端获取对应文件在服务端统计的每秒读写速度IOPS值，以重新初始化该文件的l标签，l＝服务端统计的IOPS值*1.5；

步骤1.5，根据

计算出该第i次请求的R、P、L标签，其中，i为正整数，t为当前时间，R_i-1为对应该文件的上一个请求计算得到的R标签，P和L均如此类推，若其没有上一个标签则采用当前时间t作为上一个标签，R、P、L标签为请求使用该标签时请求应该被处理的时间，R_i-1、P_i-1、L_i-1为上一个请求使用该标签时请求被处理的时间，之后根据文件被设置的IOPS值(r、p、l标签)，计算出当前请求应该被处理的时间，若计算出的请求时间小于当前时间，则应该设置为当前时间。(因为请求不可能设置到当前时间之前处理)

步骤1.6，客户端将该文件的访问请求和标签发送给预取模块；

步骤1.7，若该预取缓存在，则将该缓存数据返回给客户端。

其中，步骤2包括以下步骤：

步骤2.1，预读模块收到读取请求，将根据文件缓存的命中率P_命扩大需要进行读取的文件的读取大小，读取大小＝原读取大小*2*P_命，之后预读模块将以此大小，对文件进行远程的读取，将需要处理的请求放入等待处理队列中，等待处理队列存储这一段时间内，预读模块收到的所有的读取请求；

步骤2.2，找出请求队列中所有R标签小于当前时间t的请求，记为集合E，判断集合E是否为空，若为空则选出集合E中R标签最小的请求进行处理，若不为空，找出所有L标签小于当前时间t的请求，记为集合E'，判断集合E'是否为空，若不为空，选出集合E'中P标签最小的请求进行处理，以此得到需要处理的请求；

步骤2.3，客户端将会文件进行远程的读取，之后将读取到的文件数据放入到该文件的预读缓存中；

步骤2.4，判断当前预读模块正在处理的请求总共所需读取的大小是否为0。若正在处理的请求所需读取的大小为0则将该请求从等待处理队列中删除。

其中，步骤3包括以下步骤：

步骤3.1，对每个需要进行预读的文件建立预读缓存，该预读缓存并不永久存储，而是在内存中存储；

步骤3.2，每当预读缓存超过上限时，将替换掉保存时间最长的预读缓存；

步骤3.3，若预读模块的等待处理队列没有一个预读缓存所对应的预读文件名时，则删除该预读缓存，即当该文件预读结束，且没有新的读请求时，删除该预读缓存。

其中，步骤4包括以下步骤：

步骤4.1，记录每个文件预读缓存的命中概率，每次有读取请求发出时，若缓存命中，则命中次数加一，并且记录总访问次数；

步骤4.2，根据缓存的命中率，动态的更新每个文件的p标签，若该缓存的命中率高则提高其p标签的值，代表一段时间内该文件可以获得更高的IOPS，因为该文件可能是顺序读；若该缓存的命中率低则降低其p标签值，代表该文件可能是随机读，该文件的预读优先级应该降低；

步骤4.3，根据缓存的命中率，动态的调整下一次对该文件进行读请求时，该文件读请求应该扩大的大小，命中率低则降低扩大大小，文件下一次读请求的大小＝原读取大小*2*P_命。

其中，步骤5包括以下步骤：

步骤5.1，服务端开启低优先级线程，根据客户端的访问日志，对文件的访问次数进行统计，计算出单个文件历史的IOPS；

步骤5.2，客户端预读前，发送请求至服务端获取对应文件的IOPS值；

步骤5.3，服务端收到请求，返回对应文件的IOPS值；

步骤5.4，客户端收到回应，客户端对应文件的l标签值＝对应文件IOPS值*1.5。

本发明的优点包括：本发明所提出的一种基于流量公平的广域网数据预取方法，与现有技术相比，其主要优点是：所提出的数据预读方法，对于高性能环境中，数据的访问效果有着较大的提升。避免在广域网带宽的限制下，对应用访问数据的影响。并且根据流量公平算法，平衡各个文件的读取操作对带宽的占用，避免饥饿情形，导致单个应用的运行效果变差。并且根据缓存的命中率大小的变化，改变预读时对文件读取的大小和流量公平算法中的p标签，以使得读放大对于随机读的影响变小，防止对带宽的过于占用。在服务端，根据对文件的访问日志，统计文件的IOPS值，之后将该IOPS值用于初始化文件的l标签，有效的防止应用对于某一文件访问时，所造成的带宽浪费，达到流量公平。

附图说明

图1为基于流量公平的广域网数据预取方法的基本流程图。

图2为缓存命中率计算流程图。

图3为服务端监测流程图。

图4为标签排序流程图。

具体实施方式

以下结合附图(图1-图4)对本发明作进一步详细的说明。

如图1所示，是本发明的实施流程图。基于流量公平的广域网数据预取方法，包括以下步骤：

1)客户端开始进行预读操作。

2)读取需要进行预取文件的扩展属性，若该文件的扩展属性存在，将得到该文件的r、p、l标签。若该文件不存在则直接生成该文件的三个标签，给予r、p、l一个统一的初值(对于所有文件都相同)。

3)客户端将访问服务端获取对应文件在服务端统计的IOPS值，以重新初始化该文件的l标签，l＝服务端统计的IOPS值*1.5；

4)根据

(t为当前时间)计算出该请求的R、P、L标签，其中R_i-1为对应该文件的上一个请求计算得到的R标签，P和L也相同，若其没有上一个标签则采用当前时间t作为上一个标签。R、P、L标签为请求使用该标签时，请求应该被处理的时间，R_i-1、P_i-1、L_i-1为上一个请求使用该标签时，请求被处理的时间。之后根据文件被设置的IOPS值(r、p、l标签)，计算出当前请求应该被处理的时间，若计算出的请求时间小于当前时间，则应该设置为当前时间。(因为请求不可能设置到当前时间之前处理)；

5)预读模块收到读取请求，将根据文件缓存的命中率P_命扩大需要进行读取的文件的读取大小，读取大小＝原读取大小*2*P_命，之后预读模块将以此大小，对文件进行远程的读取。之后将需要读取的文件名放入等待处理队列中，等待处理队列存储这一段时间内，预读模块收到的所有的读取请求。

6)等待处理队列不为空时，使用所有请求的R、P、L标签来排序得出最终需要处理的读取请求。

7)之后客户端将会文件进行远程的读取。

8)将读取到的文件放入到该文件的预读缓存中，并且由一定的规则进行淘汰。

其中，步骤8)包括以下步骤：

步骤(8.1)对每个需要进行预读的文件建立预读缓存，该预读缓存并不永久存储，而是在内存中存储。

步骤(8.2)每当预读缓存超过上限时，将替换掉保存时间最长的预读缓存。

步骤(8.3)若预读模块的等待处理队列没有一个预读缓存所对应的预读文件名时，则删除该预读缓存。即当该文件预读结束，且没有新的读请求时，删除该预读缓存。

9)判断当前预读模块正在处理的请求总共所需读取的大小是否为0。若正在处理的请求所需读取的大小为0则将该请求从等待处理队列中删除。

10)删除该请求后，根据当前内存中的r、p、l值更新对应扩展属性的r、p、l值。

如图2所示，是缓存命中率计算流程图。对于缓存的访问和命中率的计算包括以下步骤：

1)客户端判断预取缓存中是否存在该文件的缓存数据。

2)记录每个文件预读缓存的命中概率，每次有读取请求发出时，若缓存命中则命中次数加一，并且记录总的访问次数。

3)根据缓存的命中率，动态的更新每个文件的p标签，若该缓存的命中率高则提高其p标签的值，代表一段时间内该文件可以获得更高的IOPS，因为该文件可能是顺序读。若该缓存的命中率低则降低其p标签值，代表该文件可能是随机读，该文件的预读优先级应该降低。

4)根据缓存的命中率，动态的调整下一次对该文件进行读请求时，该文件读请求应该扩大的大小。命中率低，应降低扩大大小。文件下一次读请求的大小＝原读取大小*2*P_命；

5)将文件预读缓存的命中率，写入对应文件的扩展属性中。

如图3所示，是服务端监测流程图。包括以下步骤：

1)服务端开启低优先级线程根据访问日志对单个文件的访问次数进行离线分析；

2)服务端将根据离线分析结果得出单个文件访问的IOPS；

3)客户端预读前发送请求询问单个文件的IOPS；

4)服务端返回对应文件的IOPS值；

5)客户端将根据返回值更新对应文件l标签，对应文件l标签＝1.5*IOPS值。

如图4所示，是标签排序流程。包括以下步骤：

1)找出请求队列中所有R标签小于当前时间t的请求，记为集合E。

2)判断集合E是否为空，若为空则选出集合E中R标签最小的请求进行处理。

3)若集合E不为空，找出所有L标签小于当前时间t的请求，记为集合E'。

4)判断集合E'是否为空，若不为空，选出集合E'中P标签最小的请求进行处理。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。在此指明，以上叙述有助于本领域技术人员理解本发明创造，但并非限制本发明创造的保护范围。任何没有脱离本发明创造实质内容的对以上叙述的等同替换、修饰改进和/或删繁从简而进行的实施，均落入本发明创造的保护范围。

Claims (5)

1.一种基于流量公平的广域网数据预取方法，其特征在于，使用mclock算法实现基于流量公平的远程预取机制，并且根据应用对于文件预读缓存的命中率来调整对该文件的预读大小和流量公平机制中的请求的处理顺序，在服务端开启低优先级线程，根据客户端对每个文件访问的日志，对文件的访问次数进行统计，计算出针对单个文件访问的每秒读写速度IOPS值，在客户端开始预取时，将会询问服务端，初始化流量公平机制的初值；

包括以下步骤：

步骤1，在访问远程的文件数据时，先访问预取缓存是否存在该文件数据，没有则客户端将调用预取模块对文件进行访问；每个需要被访问的文件均设置有r，l和p标签，r标签用于设置读取请求的每秒读写速度IOPS,l标签用于限制读取请求IOPS的最大值，p标签是用于按比例给每个文件分配当前的IOPS值；

步骤2，预取模块将对一段时间内接收到的所有的访问请求按其标签进行排序，计算出所有请求被处理的时间顺序，之后将按顺序执行这些请求，之后将返回的结果放入缓存中；

步骤3，将客户端预取到的数据进行缓存，并且按照一定规则更新原有缓存；

步骤4，计算每次客户端访问数据时，对于当前文件缓存的缓存命中率，根据命中率调整所有的文件的p标签，该p标签的调整将改变文件的访问先后顺序，之后根据命中率调整预取模块对该文件扩展的访问大小；

步骤5，文件访问服务端，将开启低优先级线程，根据客户端对每个文件的访问日志，对每个文件的访问次数进行统计，计算出单个文件历史访问的每秒读写速度IOPS值，该值将用于更新客户端的l标签；

所述步骤1包括以下步骤：

步骤1.1，应用针对某个文件发起读取请求；

步骤1.2，客户端判断预取缓存中是否存在该文件的缓存数据；

步骤1.3，若预取缓存不存在，则客户端将读取该文件的扩展属性，若该文件的扩展属性存在，将得到该文件的r、p、l标签，若该文件不存在则直接生成该文件的标签，为r、p、l分别设定初值；

步骤1.4，客户端将访问服务端获取对应文件在服务端统计的IOPS值，以重新初始化该文件的l标签，l＝服务端统计的IOPS值*1.5；

步骤1.5，根据

计算出该请求的R、P、L标签，其中，i为正整数，t为当前时间，R_i-1为对应该文件的上一个请求计算得到的R标签，若其没有上一个标签则采用当前时间t作为上一个标签，R、P、L标签为请求使用标签时请求应该被处理的时间，R_i-1、P_i-1、L_i-1为上一个请求使用该标签时请求被处理的时间，之后根据文件r、p、l标签的IOPS值，计算出当前请求应该被处理的时间；

步骤1.6，客户端将该文件的访问请求和标签发送给预取模块；

步骤1.7，若该预取缓存在，则将该缓存数据返回给客户端。

2.根据权利要求1所述的方法，其特征在于，所述步骤2包括以下步骤：

步骤2.1，预取模块收到读取请求，将根据文件缓存的命中率P_命扩大需要进行读取的文件的读取大小，读取大小＝原读取大小*2*P_命，之后预取模块将以此大小，对文件进行远程的读取；将需要处理的请求放入等待处理队列中，等待处理队列存储这一段时间内，预取模块收到的所有的读取请求；

步骤2.2，找出请求队列中所有R标签小于当前时间t的请求，记为集合E；判断集合E是否为空，若为空则选出集合E中R标签最小的请求进行处理，若不为空，找出所有L标签小于当前时间t的请求，记为集合E'，判断集合E'是否为空，若不为空，选出集合E'中P标签最小的请求进行处理，以此得到需要处理的请求；

步骤2.3，客户端将会文件进行远程的读取，之后将读取到的文件数据放入到该文件的预读缓存中；

步骤2.4，判断当前预取模块正在处理的请求总共所需读取的大小是否为0，若正在处理的请求所需读取的大小为0则将该请求从等待处理队列中删除。

3.根据权利要求1所述的方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1，对每个需要进行预读的文件建立预读缓存，该预读缓存并不永久存储，而是在内存中存储；

步骤3.2，每当预读缓存超过上限时，将替换掉保存时间最长的预读缓存；

步骤3.3，若预取模块的等待处理队列没有一个预读缓存所对应的预读文件名时，则删除该预读缓存，即当该文件预读结束，且没有新的读请求时，删除该预读缓存。

4.根据权利要求1所述的方法，其特征在于，所述步骤4包括以下步骤：

步骤4.1，记录每个文件预读缓存的命中概率，每次有读取请求发出时，若缓存命中，则命中次数加一，并且记录总访问次数；

步骤4.2，根据缓存的命中率，动态的更新每个文件的p标签，若该缓存的命中率高则提高其p标签的值，代表一段时间内该文件可以获得更高的IOPS，因为该文件是顺序读，若该缓存的命中率低则降低其p标签值，代表该文件是随机读，该文件的预读优先级应该降低；

步骤4.3，根据缓存的命中率P_命，动态的调整下一次对该文件进行读请求时，该文件读请求应该扩大的大小，命中率低则降低扩大大小，文件下一次读请求的大小＝原读取大小*2*P_命。

5.根据权利要求1所述的方法，其特征在于，所述步骤5包括以下步骤：

步骤5.1，服务端开启低优先级线程，根据客户端的访问日志，对文件的访问次数进行统计，计算出单个文件历史的IOPS；

步骤5.2，客户端预读前，发送请求至服务端获取对应文件的IOPS值；

步骤5.3，服务端收到请求，返回对应文件的IOPS值；

步骤5.4客户端收到回应，客户端对应文件的l标签值＝对应文件IOPS值*1.5。

Images