CN109815204A - 一种基于拥塞感知的元数据请求分发方法及设备 - Google Patents
一种基于拥塞感知的元数据请求分发方法及设备 Download PDFInfo
- Publication number
- CN109815204A CN109815204A CN201811505304.8A CN201811505304A CN109815204A CN 109815204 A CN109815204 A CN 109815204A CN 201811505304 A CN201811505304 A CN 201811505304A CN 109815204 A CN109815204 A CN 109815204A
- Authority
- CN
- China
- Prior art keywords
- server
- metadata request
- transmission rate
- sent
- destination server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明实施例提供一种基于拥塞感知的元数据请求分发方法及设备，包括：接收元数据请求以及所有可送达服务器的服务器状态信息，根据服务器状态信息，通过预设的代价估计函数对所有可送达服务器进行性能评估，获得所有可送达服务器中每一个服务器的性能代价；选取性能代价最低的服务器作为目标服务器，判断获知当前时间窗口内发往目标服务器的请求数量小于预设阈值，向目标服务器发送元数据请求；客户端等价判定目标服务器的拥塞状态，并根据目标服务器的拥塞状态，调整元数据请求的发送速率。本发明提供的方法，提高了元数据请求的处理速度和***整体的吞吐率，通过感知服务器的拥塞状况，调整请求发送速率，节省了***维护成本和时间开销。
Description
技术领域
本发明实施例涉及视频技术领域，尤其涉及一种基于拥塞感知的元数据请求分发方法及设备。
背景技术
近年来，随着大数据时代的到来，数据的存储与利用也逐渐成为了很多行业共同关注的话题。为了能更好地利用这些实时不间断产生的数据，往往需要使用分布式文件***对众多存储设备上的数据进行组织与管理。由于在分布式文件***中绝大多数的请求都是对元数据的请求，因此大多数文件***往往采用复制型元数据服务器集群来为客户端提供元数据服务以分担负载，同时也能避免单节点故障。但是，由于分布式文件***对客户端没有进行启发式地指导与约束，客户端在选择目标服务器时往往会因为羊群效应等原因造成服务器端的拥塞与性能震荡，造成元数据服务器集群的性能下降，甚至导致部分服务器宕机。
现有技术中，有很多的解决方案都是在服务器端尝试去优化并避免部分服务器负载过大的问题。比如，Ceph分布式文件***不采用复制型元数据服务器集群来为客户端提供元数据服务，其使用动态子树划分的方法将文件***的整个命名空间划分为若干个子命名空间，并让每个服务器分别承担一部分命名空间的元数据存储与服务。这样的方法固然可以在服务器端动态地均衡负载，但是相应而来的是元数据迁移过程带来了性能下降与各种开销。同时由于不再具有冗余，所以存在单节点故障的风险，而元数据也需要实时写回硬盘，维护成本变高。另一种方法是在服务器端设置元数据请求的接收上限，一旦负载达到了这个上限就不再接收新的元数据请求。这类方法存在的问题是当部分服务器的负载达到上限后，发往这些服务器的元数据请求都会丢失，在一段较长的等待超时后客户端需要重新发送这些丢失的请求，而这期间所有涉及到相同元数据的请求都需要被阻塞，最终使客户端的体验变差，同时也给一致性的维护带来了很多难题。同一时刻，往往还有很多服务器处于轻负载的状态，只是客户端并没有利用启发性的算法去感知这些信息，于是造成了服务器端负载的不均衡。
现有技术中，往往从服务器端去进行元数据分发优化，避免部分服务器负载过大，然而仅对服务器优化具有很大的局限性，效率比较低下，同时也损耗了一定的性能，增加了额外的开销，并不能从根源上去解决服务器端负载波动、性能下降的问题。
发明内容
针对现有技术的不足，本发明实施例提供一种基于拥塞感知的元数据请求分发方法及设备，该方法在客户端方运行，能够感知服务器端的拥塞情况，并自适应客户端自身的元数据请求发送速率上限，以防止目标服务器收到过量且无法处理的请求数量而崩溃，同时也防止客户端在感知到拥塞后立马阻断所有后续请求，消除了服务器端的负载波动现象，提高了***整体的稳定性与吞吐率。
第一方面，本发明实施例提供一种基于拥塞感知的元数据请求分发方法，包括：
接收元数据请求，根据服务器状态信息，通过预设的代价估计函数对所有可送达服务器进行性能评估，获得所有可送达服务器中每一个服务器的性能代价；
选取所述性能代价最低的服务器作为目标服务器，判断获知当前时间窗口内发往目标服务器的请求数量小于预设阈值，向所述目标服务器发送元数据请求；
根据所述目标服务器的元数据请求发送速率上限与响应接收速度的大小关系，以及上一次发送速率上限增长时间到本次接收到反馈信息经过的时间，等价判定所述目标服务器的拥塞状态信息，根据所述目标服务器的拥塞状态信息，调整所述元数据请求的发送速率；
其中，所述可送达服务器具体为：分布式文件***里的复制型元数据服务器集群中所有可以被访问的元数据服务器。
其中，所述通过预设的代价估计函数对所有服务器进行性能评估，获得所有服务器中每一个服务器的性能代价的步骤，具体包括：统计每一个所述可送达服务器的历史请求的响应延时的指数加权移动平均值，以及每一个所述可送达服务器的等待队列和处理速率的指数加权移动平均值，估计每一个所述可送达服务器的性能代价。
其中，所述选取所述性能代价最低的服务器作为目标服务器的步骤之后，还包括：若判断获知当前时间窗口内发往目标服务器请求数量达到预设阈值，则重新选择未被选择过的可送达服务器中代价最低的服务器作为新的目标服务器。
其中，所述方法还包括：若判断获知当前时间窗口内所有的可送达服务器的请求数量达到预设阈值，则阻塞所述元数据请求，在下一时间窗口重新处理所述元数据请求。其中，所述根据所述目标服务器的拥塞状态，调整所述元数据请求的发送速率的步骤具体包括：判断获知元数据请求发送速率上限小于响应接收速率，则参照三次增长过程来提高发往所述目标服务器的元数据请求发送速率上限。
其中，所述调整所述元数据请求的发送速率的步骤还包括：
判断获知元数据请求发送速率上限大于响应接收速率，同时自上次发送速率上限增长事件至此刻收到反馈的经过时间大于一个预设时间，则下调所述元数据请求发送速率。
其中，所述参照三次增长过程来提高发往所述目标服务器的元数据请求发送速率上限的步骤具体包括：分别在凸函数区域、平台期和凹函数区域中，根据所述元数据请求的发送速率上限和所述目标服务器进入饱和状态的峰值速率，提升所述元数据请求的发送速率上限。其中，所述方法还包括：根据所述目标服务器的反馈信息，对所述代价估计函数中所需参数进行更新。
第二方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所提供的基于拥塞感知的元数据请求分发方法的步骤。
第三方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所提供的基于拥塞感知的元数据请求分发方法的步骤。
本发明实施例提供的基于拥塞感知的元数据请求分发方法及设备，采用代价估计函数来选择目标服务器，所算得某服务器的代价越低，则认为当前到达的请求发往该服务器可以更快得到响应，提高了元数据请求的处理速度和***整体的吞吐率，同时通过感知服务器的拥塞状况，调整请求发送速率，防止服务器端的负载波动和崩溃，极大地节省了***管理人员的维护成本和时间开销，也提高了集群整体的吞吐率，同时客户端也获得了更好的体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于拥塞感知的元数据请求分发方法的流程示意图；
图2为本发明一实施例提供的基于拥塞感知的元数据请求分发方法中，目标服务器选择流程示意图；
图3为本发明又一实施例提供的基于拥塞感知的元数据请求分发方法中，元数据请求发送速率调整流程示意图；
图4为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，图1为本发明一实施例提供的基于拥塞感知的元数据请求分发方法的流程示意图，所提供的方法包括：
S1，接收元数据请求以及所有可送达服务器的服务器状态信息，根据所述服务器状态信息，通过预设的代价估计函数对所有可送达服务器进行性能评估，获得所有可送达服务器中每一个服务器的性能代价。
S2，选取所述性能代价最低的服务器作为目标服务器，判断获知当前时间窗口内发往目标服务器的请求数量小于预设阈值，向所述目标服务器发送元数据请求。
S3，根据所述目标服务器的元数据请求发送速率上限与响应接收速度的大小关系，以及上一次发送速率上限增长时间到本次接收到反馈信息经过的时间，等价判定所述目标服务器的拥塞状态信息，根据所述目标服务器的拥塞状态信息，调整所述元数据请求的发送速率。
其中，所述可送达服务器具体为：分布式文件***里的复制型元数据服务器集群中所有可以被访问的元数据服务器。
具体的，每当一个元数据请求到达时，客户端通过代价估计函数从所有可达服务器中选择代价最低的服务器作为该请求的目标服务器，其中，可送达服务器为分布式文件***里的复制型元数据服务器集群中所有可以被访问的元数据服务器，每台服务器都存有一份包含整个文件***所有元数据的复制，且都能对外提供元数据请求服务，并依靠一致性协议维护元数据的一致性。
客户端判断当前时间窗口内发往目标服务器的请求数量是否达到所设上限来确认该请求是否可以发送，如果当前时间窗口内发往目标服务器的请求数量未达到所设限制，则客户端发送该元数据请求
在客户端发送元数据请求后，客户端会接收到目标服务器送回的响应与反馈，客户端根据其与该服务器间的元数据请求发送速率上限与响应接收速率两者的大小关系以及自上次发送速率上限增长事件至此刻收到反馈的经过时间，来等价判定该目标服务器的拥塞状况，如果目标服务器拥塞，则客户端下调发往该服务器的元数据请求发送速率上限以缓解该服务器的后续压力；若不拥塞且目标服务器性能有可利用空间，则客户端参照一个三次增长过程来提高发往该服务器的请求发送速率上限，以实现更高的吞吐率。
通过此方法，采用代价估计函数来选择目标服务器，所算得某服务器的代价越低，则认为当前到达的请求发往该服务器可以更快得到响应，提高了元数据请求的处理速度和***整体的吞吐率，同时通过感知服务器的拥塞状况，调整请求发送速率，防止服务器端的负载波动和崩溃，极大地节省了***管理人员的维护成本和时间开销，也提高了集群整体的吞吐率，同时客户端也获得了更好的体验。
在上述实施例的基础上，所述通过预设的代价估计函数对所有服务器进行性能评估，获得所有服务器中每一个服务器的性能代价的步骤，具体包括：统计每一个所述可送达服务器的历史请求的响应延时的指数加权移动平均值，以及每一个所述可送达服务器的等待队列和处理速率的指数加权移动平均值，估计每一个所述可送达服务器的性能代价。
具体的，可送达服务器为分布式文件***里的复制型元数据服务器集群中所有可以被访问的元数据服务器，每台服务器都存有一份包含整个文件***所有元数据的复制，且都能对外提供元数据请求服务，并依靠一致性协议维护元数据的一致性；另一方面，代价估计函数通过统计发往各个服务器的历史请求的响应延时的指数加权移动平均值以及各个服务器的等待队列和处理速率的指数加权移动平均值来综合估计各个服务器的性能代价，若代价估计函数算得某服务器的代价越低，则认为当前到达的请求发往该服务器可以更快得到响应。
在上述实施例的基础上，所述选取所述性能代价最低的服务器作为目标服务器的步骤之后，还包括：若判断获知当前时间窗口内发往目标服务器请求数量达到预设阈值，则重新选择未被选择过的可送达服务器中代价最低的服务器作为新的目标服务器。
若判断获知当前时间窗口内所有的可送达服务器的请求数量达到预设阈值，则阻塞所述元数据请求，在下一时间窗口重新处理所述元数据请求。
具体的，参考图2所示，图2为本发明一实施例提供的基于拥塞感知的元数据请求分发方法中，目标服务器选择流程示意图，客户端判断当前时间窗口内发往目标服务器的请求数量是否达到所设上限来确认该请求是否可以发送，如果当前时间窗口内发往目标服务器的请求数量未达到所设限制。本步骤中，单位时间窗口内发往目标服务器的请求数量上限，在定义上等价于发往目标服务器的元数据请求发送速率上限，其数值大小是在接收到响应与反馈时由拥塞感知与控制算法进行调控的，真实的请求发送速率只能小于或等于该上限；而响应接受速率则为单位时间窗口内接收到的来自目标服务器的响应数量，是实时统计得到的数据；时间窗口大小的数量级只需要足够小，就能保证对元数据请求发送情况的监控与调控实时有效。所述时间窗口大小的数量级需要达到毫秒级别，以保证对元数据请求发送情况的监控与调控实时有效。客户端判断该时间窗口内所有服务器是否都已被选择过且请求发送数量达到上限，如果是客户端阻塞该元数据请求直至下一个时间窗口到来。
本发明提供的方法采用代价估计函数来选择目标服务器，所算得某服务器的代价越低，则认为当前到达的请求发往该服务器可以更快得到响应，提高了元数据请求的处理速度和***整体的吞吐率；至于代价估计函数的相关参数更新过程，只需要根据反馈信息更新该客户端发往相应服务器的历史请求的响应延时的指数加权移动平均值以及该服务器的等待队列和处理速率的指数加权移动平均值即可，简单且高效。在上述实施例的基础上，所述根据所述目标服务器的拥塞状态，调整所述元数据请求的发送速率的步骤具体包括：判断获知元数据请求发送速率上限小于响应接收速率，则参照三次增长过程来提高发往所述目标服务器的元数据请求发送速率上限。
所述调整所述元数据请求的发送速率的步骤还包括：判断获知元数据请求发送速率上限大于响应接收速率，同时自上次发送速率上限增长事件至此刻收到反馈的经过时间大于一个预设时间，则下调所述元数据请求发送速率。
所述参照三次增长过程来提高发往所述目标服务器的元数据请求发送速率上限的步骤具体包括：分别在凸函数区域、平台期和凹函数区域中，根据所述元数据请求的发送速率上限和所述目标服务器进入饱和状态的峰值速率，提升所述元数据请求的发送速率上限。
具体的，若客户端与该服务器间的元数据请求发送速率上限小于响应接收速率，则认为目标服务器不拥塞，客户端参照一个三次增长过程来提高发往该服务器的请求发送速率上限；
若客户端与该服务器间的元数据请求发送速率上限大于响应接收速率，同时自上次发送速率上限增长事件至此刻收到反馈的经过时间大于一个给定的滞后时间(即在一段给定的时间内，目标服务器的处理速度仍旧跟不上客户端的请求发送速率)，则认为该目标服务器拥塞，进而下调发往该服务器的元数据请求发送速率上限以缓解该服务器的后续压力；若为其它情况，则不作处理。
本实施例中，用以判定拥塞的滞后时间为提前给定的值γ，具体可以视各个复制型元数据服务器集群的状况而定。
客户端在感知到拥塞后下调发往目标服务器的元数据请求发送速率上限的过程包括：客户端将此刻的元数据请求发送速率上限记录下来，其为使目标服务器进入饱和状态的峰值速率；客户端将自己的元数据请求发送速率上限减少β倍，并按照三次增长过程慢慢增加发送速率上限，若过程中客户端再次感受到服务器端拥塞，则同样将此刻的元数据请求发送速率上限记录下来作为新的峰值速率，重复以上过程。
其中，三次增长过程包括：在凸函数区域，当前的请求发送速率上限比其所记录的使目标服务器进入饱和状态的峰值速率低，因此客户端会快速增加自己的发送速率上限；在平台期，当前的请求发送速率上限接近使目标服务器进入饱和状态的峰值速率，客户端此时逐步稳定发送速率上限，以极小的增幅谨慎地提高发送速率上限；在凹函数区域，即客户端已经在平台期停留了一段足够长的时间，此时所记录的历史峰值不再使目标服务器进入饱和状态，因此客户端再次进入快速增长发送速率上限的模式，以充分利用目标服务器的计算资源。
参考图3，图3为本发明又一实施例提供的基于拥塞感知的元数据请求分发方法中，元数据请求发送速率调整流程示意图，
步骤301：客户端根据反馈信息更新代价估计函数涉及的相应服务器的历史请求的响应延时的指数加权移动平均值以及该服务器的等待队列和处理速率的指数加权移动平均值。
步骤302：客户端判断其与该服务器间的元数据请求发送速率上限是否不小于响应接收速率，如果不小于，则执行步骤303；否则，执行步骤304。
步骤303：客户端判断自上次发往该服务器请求发送速率上限增长事件至此刻收到反馈的经过时间是否大于γ，如果大于，则执行步骤305；否则，执行步骤306。
本步骤中，用以判定拥塞的滞后时间为提前给定的值γ，具体可以视各个复制型元数据服务器集群的状况而定，从而使***管理员可以更灵活地搭建和管理分布式文件***。
步骤304：客户端参照如下公式计算下一时间窗口发往该服务器的请求发送速率上限：
在公式中，Sij代表客户端i发往目标服务器j的请求发送速率上限，α参数用以控制平台期的持续时间；另外，Smax为拥塞发生后时记录下的使目标服务器进入饱和状态的峰值速率，β参数为拥塞发生后所下调的速率上限比例，即拥塞发生后Sij＝Smax·(1-β)；Δt为自上次发送速率上限下调事件至此刻收到反馈的经过时间。
本步骤中，三次增长过程是一个先快速增长发送速率至服务器可能拥塞的情况，然后放缓增速过程保持服务器稳定，直至经过一段根据α参数控制的平台期后再继续增长发送速率以充分利用服务器性能的过程，其保证了目标服务器始终能保持较高的吞吐率，不会因为之前某一时刻的拥塞而接受不到请求损失掉大量的性能，避免了目标服务器的负载波动。
步骤305：客户端将此刻的元数据请求发送速率上限记录下来，其为使目标服务器进入饱和状态的峰值速率；客户端将自己的元数据请求发送速率上限减少β倍。
本步骤中，客户端将自己的元数据请求发送速率上限减少β倍，保证目标服务器不会因为过量的元数据请求而崩溃，同时又不会接受不到新的请求而降低整体吞吐率，使整个复制型元数据服务器集群保持高稳定性和高健壮性。
步骤306：结束反馈更新与速率调整过程。
本发明实施例提供的方法，在判定目标服务器不拥塞后，采用了一个三次增长过程来提高发往该服务器的请求发送速率上限，该三次增长过程简单来说是一个先快速增长发送速率至服务器可能拥塞的情况，然后放缓增速过程保持服务器稳定，直至经过一段根据α参数控制的平台期后再继续增长发送速率以充分利用服务器性能的过程，其保证了目标服务器始终能保持较高的吞吐率，不会因为之前某一时刻的拥塞而接受不到请求损失掉大量的性能，避免了目标服务器的负载波动。
另一方面，在判定目标服务器拥塞后，指导客户端将此刻的元数据请求发送速率上限记录为使目标服务器进入饱和状态的峰值速率，同时，客户端将自己的元数据请求发送速率上限减少β倍，并按照三次增长过程慢慢增加发送速率上限，任何时候，若客户端再次感受到服务器端拥塞，则会继续重复以上过程，保证目标服务器不会因为过量的元数据请求而崩溃，同时又不会接受不到新的请求而降低整体吞吐率，使整个复制型元数据服务器集群保持高稳定性和高健壮性。
在上述实施例的基础上，所述方法还包括：根据所述目标服务器的反馈信息，对所述代价估计函数中所需参数进行更新。
具体的，当客户端接收到目标服务器送回的响应与反馈时，客户端根据反馈信息更新代价估计函数所需的相关参数。代价估计函数的相关参数更新过程，即为更新该客户端发往相应服务器的历史请求的响应延时的指数加权移动平均值以及该服务器的等待队列和处理速率的指数加权移动平均值。
综上所述，本发明提供的方法为自适应算法，只需要在客户端维护历史反馈信息并统计实时请求发送速率与响应接受速率，便能自动感知拥塞，调整请求发送速率，防止服务器端的负载波动和崩溃，极大地节省了***管理人员的维护成本和时间开销，也提高了集群整体的吞吐率，同时客户端也获得了更好的体验。
图4为本发明实施例的一种电子设备的结构示意图，如图4所示，所提供的设备包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和总线404，其中，处理器401，通信接口402，存储器403通过总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法，例如包括：接收元数据请求以及所有可送达服务器的服务器状态信息，根据所述服务器状态信息，通过预设的代价估计函数对所有可送达服务器进行性能评估，获得所有可送达服务器中每一个服务器的性能代价；选取所述性能代价最低的服务器作为目标服务器，判断获知当前时间窗口内发往目标服务器的请求数量小于预设阈值，向所述目标服务器发送元数据请求；根据所述目标服务器的元数据请求发送速率上限与响应接收速度的大小关系，以及上一次发送速率上限增长时间到本次接收到反馈信息经过的时间，等价判定所述目标服务器的拥塞状态信息，根据所述目标服务器的拥塞状态信息，调整所述元数据请求的发送速率。
本发明实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：接收元数据请求以及所有可送达服务器的服务器状态信息，根据所述服务器状态信息，通过预设的代价估计函数对所有可送达服务器进行性能评估，获得所有可送达服务器中每一个服务器的性能代价；选取所述性能代价最低的服务器作为目标服务器，判断获知当前时间窗口内发往目标服务器的请求数量小于预设阈值，向所述目标服务器发送元数据请求；根据所述目标服务器的元数据请求发送速率上限与响应接收速度的大小关系，以及上一次发送速率上限增长时间到本次接收到反馈信息经过的时间，等价判定所述目标服务器的拥塞状态信息，根据所述目标服务器的拥塞状态信息，调整所述元数据请求的发送速率。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：接收元数据请求以及所有可送达服务器的服务器状态信息，根据所述服务器状态信息，通过预设的代价估计函数对所有可送达服务器进行性能评估，获得所有可送达服务器中每一个服务器的性能代价；选取所述性能代价最低的服务器作为目标服务器，判断获知当前时间窗口内发往目标服务器的请求数量小于预设阈值，向所述目标服务器发送元数据请求；根据所述目标服务器的元数据请求发送速率上限与响应接收速度的大小关系，以及上一次发送速率上限增长时间到本次接收到反馈信息经过的时间，等价判定所述目标服务器的拥塞状态信息，根据所述目标服务器的拥塞状态信息，调整所述元数据请求的发送速率。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于拥塞感知的元数据请求分发方法，其特征在于，包括：
接收元数据请求根据服务器状态信息，通过预设的代价估计函数对所有可送达服务器进行性能评估，获得所有可送达服务器中每一个服务器的性能代价；
选取所述性能代价最低的服务器作为目标服务器，判断获知当前时间窗口内发往目标服务器的请求数量小于预设阈值，向所述目标服务器发送元数据请求；
根据所述目标服务器的元数据请求发送速率上限与响应接收速度的大小关系，以及上一次发送速率上限增长时间到本次接收到反馈信息经过的时间，等价判定所述目标服务器的拥塞状态信息，根据所述目标服务器的拥塞状态信息，调整所述元数据请求的发送速率；
其中，所述可送达服务器具体为：分布式文件***里的复制型元数据服务器集群中所有可以被访问的元数据服务器。
2.根据权利要求1所述的方法，其特征在于，所述通过预设的代价估计函数对所有服务器进行性能评估，获得所有服务器中每一个服务器的性能代价的步骤，具体包括：
统计每一个所述可送达服务器的历史请求的响应延时的指数加权移动平均值，以及每一个所述可送达服务器的等待队列和处理速率的指数加权移动平均值，估计每一个所述可送达服务器的性能代价。
3.根据权利要求1所述的方法，其特征在于，所述选取所述性能代价最低的服务器作为目标服务器的步骤之后，还包括：
若判断获知当前时间窗口内发往目标服务器请求数量达到预设阈值，则重新选择未被选择过的可送达服务器中代价最低的服务器作为新的目标服务器。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若判断获知当前时间窗口内所有的可送达服务器的请求数量达到预设阈值，则阻塞所述元数据请求，在下一时间窗口重新处理所述元数据请求。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标服务器的拥塞状态，调整所述元数据请求的发送速率的步骤具体包括：
判断获知元数据请求发送速率上限小于响应接收速率，则参照三次增长过程来提高发往所述目标服务器的元数据请求发送速率上限。
6.根据权利要求4所述的方法，其特征在于，所述调整所述元数据请求的发送速率的步骤还包括：
判断获知元数据请求发送速率上限大于响应接收速率，同时自上次发送速率上限增长事件至此刻收到反馈的经过时间大于一个预设时间，则下调所述元数据请求发送速率。
7.根据权利要求4所述的方法，其特征在于，所述参照三次增长过程来提高发往所述目标服务器的元数据请求发送速率上限的步骤具体包括：
分别在凸函数区域、平台期和凹函数区域中，根据所述元数据请求的发送速率上限和所述目标服务器进入饱和状态的峰值速率，提升所述元数据请求的发送速率上限。
8.根据权利要求5-7任一所述的方法，其特征在于，所述方法还包括：
根据所述目标服务器的反馈信息，对所述代价估计函数中所需参数进行更新。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述基于拥塞感知的元数据请求分发方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述基于拥塞感知的元数据请求分发方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811505304.8A CN109815204B (zh) | 2018-12-10 | 2018-12-10 | 一种基于拥塞感知的元数据请求分发方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811505304.8A CN109815204B (zh) | 2018-12-10 | 2018-12-10 | 一种基于拥塞感知的元数据请求分发方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109815204A true CN109815204A (zh) | 2019-05-28 |
| CN109815204B CN109815204B (zh) | 2021-03-02 |
Family
ID=66601910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811505304.8A Active CN109815204B (zh) | 2018-12-10 | 2018-12-10 | 一种基于拥塞感知的元数据请求分发方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815204B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112764931A (zh) * | 2021-01-25 | 2021-05-07 | 北京字跳网络技术有限公司 | 请求处理方法、装置、设备、存储介质及程序产品 |
| CN113259428A (zh) * | 2021-05-11 | 2021-08-13 | 鸬鹚科技(深圳)有限公司 | 数据访问请求的处理方法、装置、计算机设备及介质 |
| CN116582492A (zh) * | 2023-07-14 | 2023-08-11 | 珠海星云智联科技有限公司 | 优化rdma读取的拥塞控制方法、***及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101030926A (zh) * | 2006-02-28 | 2007-09-05 | 华为技术有限公司 | 全球微波接入互操作性网络数据流量控制方法 |
| CN101808118A (zh) * | 2010-03-02 | 2010-08-18 | 浪潮(北京)电子信息产业有限公司 | 服务器访问方法、装置和*** |
| CN102224722A (zh) * | 2008-11-25 | 2011-10-19 | 思杰***有限公司 | 用于对象速率限制的***和方法 |
| JP2012073820A (ja) * | 2010-09-29 | 2012-04-12 | Panasonic Corp | 無線通信システム、コンテンツリスト更新方法、サーバ機器、およびクライアント機器 |
| CN103200208A (zh) * | 2012-01-06 | 2013-07-10 | 湖南智源信息网络技术开发有限公司 | 一种基于频率的分发数据请求方法及装置 |
| CN105471760A (zh) * | 2014-09-12 | 2016-04-06 | 华为技术有限公司 | 一种路由方法、负载均衡的装置及数据通信*** |
| US9712448B2 (en) * | 2011-03-30 | 2017-07-18 | International Business Machines Corporation | Proxy server, hierarchical network system, and distributed workload management method |
| CN107196865A (zh) * | 2017-06-08 | 2017-09-22 | 中国民航大学 | 一种负载感知的自适应阈值过载迁移方法 |
| CN107196869A (zh) * | 2017-07-14 | 2017-09-22 | 北京知道创宇信息技术有限公司 | 基于主机实际负载的自适应负载均衡方法、设备和*** |
-
2018
- 2018-12-10 CN CN201811505304.8A patent/CN109815204B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101030926A (zh) * | 2006-02-28 | 2007-09-05 | 华为技术有限公司 | 全球微波接入互操作性网络数据流量控制方法 |
| CN102224722A (zh) * | 2008-11-25 | 2011-10-19 | 思杰***有限公司 | 用于对象速率限制的***和方法 |
| CN101808118A (zh) * | 2010-03-02 | 2010-08-18 | 浪潮(北京)电子信息产业有限公司 | 服务器访问方法、装置和*** |
| JP2012073820A (ja) * | 2010-09-29 | 2012-04-12 | Panasonic Corp | 無線通信システム、コンテンツリスト更新方法、サーバ機器、およびクライアント機器 |
| US9712448B2 (en) * | 2011-03-30 | 2017-07-18 | International Business Machines Corporation | Proxy server, hierarchical network system, and distributed workload management method |
| CN103200208A (zh) * | 2012-01-06 | 2013-07-10 | 湖南智源信息网络技术开发有限公司 | 一种基于频率的分发数据请求方法及装置 |
| CN105471760A (zh) * | 2014-09-12 | 2016-04-06 | 华为技术有限公司 | 一种路由方法、负载均衡的装置及数据通信*** |
| CN107196865A (zh) * | 2017-06-08 | 2017-09-22 | 中国民航大学 | 一种负载感知的自适应阈值过载迁移方法 |
| CN107196869A (zh) * | 2017-07-14 | 2017-09-22 | 北京知道创宇信息技术有限公司 | 基于主机实际负载的自适应负载均衡方法、设备和*** |
Non-Patent Citations (1)
| Title |
|---|
| CHIHEB BEN AMEUR等: "Combining traffic-shaping methods with congestion control variants for HTTP adaptive streaming", 《MULTIMEDIA SYSTEMS》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112764931A (zh) * | 2021-01-25 | 2021-05-07 | 北京字跳网络技术有限公司 | 请求处理方法、装置、设备、存储介质及程序产品 |
| CN112764931B (zh) * | 2021-01-25 | 2023-07-28 | 北京字跳网络技术有限公司 | 请求处理方法、装置、设备、存储介质及程序产品 |
| CN113259428A (zh) * | 2021-05-11 | 2021-08-13 | 鸬鹚科技(深圳)有限公司 | 数据访问请求的处理方法、装置、计算机设备及介质 |
| CN116582492A (zh) * | 2023-07-14 | 2023-08-11 | 珠海星云智联科技有限公司 | 优化rdma读取的拥塞控制方法、***及存储介质 |
| CN116582492B (zh) * | 2023-07-14 | 2023-09-26 | 珠海星云智联科技有限公司 | 优化rdma读取的拥塞控制方法、***及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109815204B (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109788046B (zh) | 一种基于改进蜂群算法的多策略边缘计算资源调度方法 | |
| EP2710470B1 (en) | Extensible centralized dynamic resource distribution in a clustered data grid | |
| US20180018293A1 (en) | Method, controller, and system for service flow control in object-based storage system | |
| EP3547625B1 (en) | Method and system for sending request for acquiring data resource | |
| JP6380110B2 (ja) | リソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラム | |
| US20120221730A1 (en) | Resource control system and resource control method | |
| US11356338B2 (en) | Dynamic inter-cloud placement of virtual network functions for a slice | |
| US11329901B2 (en) | Dynamic inter-cloud placement of virtual network functions for a slice | |
| CN109815204A (zh) | 一种基于拥塞感知的元数据请求分发方法及设备 | |
| CN104243405A (zh) | 一种请求处理方法、装置及*** | |
| US10983828B2 (en) | Method, apparatus and computer program product for scheduling dedicated processing resources | |
| US20220075665A1 (en) | Scheduling method for selecting optimal cluster within cluster of distributed collaboration type | |
| CN105703927A (zh) | 一种资源分配方法、网络设备和网络*** | |
| CN102480502B (zh) | 一种i/o负载均衡方法及i/o服务器 | |
| CN108376103A (zh) | 一种云平台的资源平衡控制方法及服务器 | |
| CN113543160B (zh) | 5g切片资源配置方法、装置、计算设备及计算机存储介质 | |
| CN115190121B (zh) | 基于跨地域的微服务过量负载调度***、方法及设备 | |
| CN109587068B (zh) | 流量切换方法、装置、设备及计算机可读存储介质 | |
| US11354164B1 (en) | Robotic process automation system with quality of service based automation | |
| JP5997659B2 (ja) | 分散処理システムおよび分散処理方法 | |
| CN108228323B (zh) | 基于数据本地性的Hadoop任务调度方法及装置 | |
| JP6280237B2 (ja) | 計算機システム及びデータ処理方法 | |
| CN110636104B (zh) | 一种资源请求方法、电子设备及存储介质 | |
| US20210136007A1 (en) | Method and apparatus for orchestrating resources in multi-access edge computing (mec) network | |
| CN110138863A (zh) | 基于Multi-Paxos分组的自适应一致性协议优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |