CN105227488B - 一种用于分布式计算机平台的网络流组调度方法 - Google Patents

一种用于分布式计算机平台的网络流组调度方法 Download PDF

Info

Publication number
CN105227488B
CN105227488B CN201510526867.5A CN201510526867A CN105227488B CN 105227488 B CN105227488 B CN 105227488B CN 201510526867 A CN201510526867 A CN 201510526867A CN 105227488 B CN105227488 B CN 105227488B
Authority
CN
China
Prior art keywords
network flow
flow group
working node
network
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510526867.5A
Other languages
English (en)
Other versions
CN105227488A (zh
Inventor
付周望
宋涛
管海兵
戚正伟
马汝辉
王晟
王茀宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201510526867.5A priority Critical patent/CN105227488B/zh
Publication of CN105227488A publication Critical patent/CN105227488A/zh
Priority to PCT/CN2016/086543 priority patent/WO2017032157A1/zh
Priority to US15/749,504 priority patent/US10749812B2/en
Application granted granted Critical
Publication of CN105227488B publication Critical patent/CN105227488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/083—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for increasing network speed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/52—Queue scheduling by attributing bandwidth to queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/19—Flow control; Congestion control at layers above the network layer
    • H04L47/193—Flow control; Congestion control at layers above the network layer at the transport layer, e.g. TCP related
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/11—Identifying congestion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种用于分布式计算机平台的网络流组调度方法。本发明通过心跳检测收集集群中实时的带宽信息，采用集中式调度来决定网络流组的优先级和传输速率，解决了分布式调度的复杂控制和对交换机的修改等问题。同时，又采用分布式的动态限速算法来控制低优先级的网络流组的传输速率，避免了集中式调度的带来的延迟性。通过这两种混合的调度策略，最终实现了对网络流组更精确的调度，从而降低了分布式计算机平台中网络流组的平均完成时间，提升分布式计算机平台的性能。

Description

一种用于分布式计算机平台的网络流组调度方法
技术领域
本发明涉及的是计算机网络方向数据中心网络流调度领域。具体来讲，主要是提出了一种在分布式计算平台中通过动态信息来调度网络流组(Coflow)，从而提升分布式计算的性能的算法。
背景技术
云计算作为IT行业的一个里程碑式的突破，已经成为了业界研究和应用的一个热点。大量的数据中心出现在全球各地，与此同时，各种适用于大数据的分布式计算平台被开发和部署在数据中心。但是他们在设计时为了兼容性并未针对数据中心的特殊环境做出改变，使得这些应用在运行时产生的大量网络流量给数据中心的网络带来了巨大的挑战。
针对这个现象，目前国内外已经有很多关于数据中心流调度的研究，期望通过对网络的优化和调度来防止网络成为整个***的瓶颈。这些研究也确实取得了很好的效果，他们能在尽可能少的改动现有软硬件的情况下降低平均网络流平均完成时间(FCT)，提升网络的利用率和吞吐量。但是分布式计算在进行不同阶段间的数据传输时不可能仅仅通过一条流来完成，而在这个不同计算阶段之间，由于存在数据依赖，当且仅当这一组网络流(Coflow)全部传输完成之后，计算的下一个阶段才能开始。
针对这个现象美国加州伯克利大学的论文中提出了Coflow的概念，以一个整体去调度一组上下文相关的网络流。针对这个概念目前主要有集中式的调度(如Varys)和分布式调度(如Baraat)两种模式，但是目前前者的调度方式大多基于静态配置，无法适应公有云以及集群运算资源共享的环境。而目前分布式的调度方式往往需要大量修改交换机，这使得分布式的调度在部署到实际生产环境中的可能性大幅下降。
发明内容
本发明针对现有的Coflow调度方法的不足，提出了一种用于分布式计算平台的网络流组调度方法，通过采用将集中式与分布式相结合的动态调度算法，很好的解决了目前集中式和分布式调度的局限性。采用集中式调度，不需要改动硬件就能能快速扩展到分布式集群中，同时动态的带宽输入和分布式的大流限速，很好的解决了集中式调度的滞后性问题。最终达到了(1)提升调度的精确性，(2)降低数据中心Coflow的平均完成时间的目标。
本发明的发明目的通过以下技术方案实现：
一种用于分布式计算机平台的网络流组调度方法，包含以下步骤：
步骤1：在分布式计算机平台中设置一台机器作为中心控制节点，剩下的机器作为工作节点，中心控制节点定期收集每个工作节点上的剩余带宽以及网络流组注册请求；
步骤2：当中心控制节点收到某个工作节点的网络流组注册请求之后分配一个Coflow ID给提出网络流组注册请求的工作节点；
步骤3：提出网络流组注册请求的工作节点将所述Coflow ID转发给具体需要发送和接收该网络流组中各网络流的其余工作节点；
步骤4：工作节点在传输网络流前根据收到的Coflow ID向中心控制节点发起一次提交请求；当工作节点准备接收网络流时，根据收到的Coflow ID向中心控制节点发起一次获取请求；
步骤5：当中心控制节点收到该网络流组中所有的工作节点提交的提交请求和获取请求时，将该网络流组加入调度队列；
步骤6：中心控制节点根据调度队列中各网络流组的优先级和工作点节的剩余带宽计算各网络流组的传输次序和传输速度；
步骤7：工作节点根据中心控制节点提供的传输次序和传输速度完成网络流组的发送和接收。
优选地，所述步骤1中中心控制节点根据工作节点上守护进程的心跳信息定期收集每个工作节点的剩余带宽。
优选地，所述网络流组注册请求包含网络流组的工作模式和网络流的数目。
优选地，所述调度队列在遇到一个网络流组中所有的网络流都能开始传输，或者一个网络流组中所有网络流传输结束，或者某个工作节点的剩余带宽变化超过阈值时就会重新调整。
优选地，步骤6中各网络流组的优先级通过以下方法确定：
当开始调度时，中心控制节点根据当前各个工作节点的剩余带宽，计算瓶颈流的完成时间，根据各网络流组的瓶颈流的完成时间从小到大来决定各网络流组的优先级，中心控制节点让高优先级的网络流组先传输；所述瓶颈流为网络流组中传输速度最慢的网络流。
优选地，步骤6中传输速度通过以下方法获得：
中心控制节点控制优先级高的网络流组中的瓶颈流独占该瓶颈流所属的传输链路，而该优先级高的网络流组中其他的网络流则降低传输速度，实现与瓶颈流量齐平，由此产生的空余带宽，则让低优先级的网络流组分享。
进一步，为了防止低优先级的Coflow传输影响高优先级的Coflow的完成时间，步骤7中还包含对中心控制节点提供的传输速度进行调整，包含以下方法：
当工作节点发现传输链路上有拥塞时自动降低优先级低的网络流组的传输速度，反之则逐步增加优先级低的网络流组的传输速度，调整公式如下，其中α是调整速度的参数，F是这次窗口中包含拥塞的包的个数，Speed则表示大流的传输速度，CE代表拥塞标志：
α←0.5×α+0.5×F
附图说明
图1为本发明中分布式计算机平台的架构示意图；
图2为本发明一种用于分布式计算机平台的网络流组调度方法的流程图；
图3为本发明中工作节点的流传输速度控制算法流程。
具体实施方法
以下将结合附图对本发明的实施例做详细说明。本实施例在本发明技术方案和算法的前提下进行实施，并给出详细实施方式和具体操作过程，但是适用平台不限于下述实施例。目前主流的分布式计算平台，只要结合已相关Coflow调度提供的标准API，均能实现高效的Coflow调度，提升计算性能。
本实例的具体操作平台是一个由五台戴尔(Dell)服务器和一台戴尔交换机组成的一个集群。服务器的型号为Dell PowerEdge R710，每台装有两块Intel Xeon X56602.8GHz CPU。每台服务器的内存为96GB，硬盘位两块600GB。网卡为Broadcom 5709C千兆以太网卡。每个服务器上装有UbuntuServer 14.04.1 LTS 64bit。
如图1所示，以Hadoop的集群为例，本发明需要在分布式集群中的指定一台机器作为中心控制节点(Master)，剩下的机器作为工作节点(Slave)，并在这些工作节点中开启守护进程，实时监控网卡的进出剩余带宽，通过心跳检测汇总给中心控制节点。在中心控制节点上运行了两个模块，分别是Coflow调度模块和速度控制模块。其中的Coflow调度模块会在调度被触发时开始运行。它会从速度控制模块的缓存中读取各个工作节点的出入剩余带宽，结合调度队列中的每个网络流的大小算出每个Coflow的最大完成时间，并据此排序，标记优先级和相应的速率。之后通过中心控制节点发送个工作节点。
工作节点上运行了连接计算平台的客户端实体，根据Coflow调度提供的标准API进行网络流的传输的控制。同时每个工作节点上还运行着一个守护进程，用来保持和中心控制节点的通信。同时，守护进程还负责控制该工作节点上低优先级Coflow的动态限速。除了这些，这个守护进程中还有一个带宽监控模块用来实时监控带宽，并通过节点上的守护进程以心跳反馈的方式将数据发给中心控制节点。
如图2所示，本发明的具体实施过程如下：
步骤1：在分布式计算机平台中设置一台机器作为中心控制节点，剩下的机器作为工作节点，中心控制节点(Master)会依据工作节点(Worker)上守护进程的心跳信息定期收集每个工作节点上的网卡进出剩余带宽，并在本地做缓存。同时，当一组有上下文关系的网络流组在分布式计算机平台中开始传输前，工作节点会通过算法的接口向中心控制节点提交网络流组(Coflow)注册请求，在这个网络流组注册请求中包含了这个网络流组的工作模式和网络流的数目。
步骤2：中心控制节点收到网络流组注册请求之后会分配一个独有的ID(CoflowID)给提出网络流组注册请求的工作节点。
步骤3：提出网络流组注册请求的工作节点再将这个Coflow ID转发给这个网络流组中具体需要发送和接收网络流组中的网络流的工作节点。
步骤4：当工作节点可以开始传输网络流时，便会根据收到的Coflow ID向中心控制节点发起一次提交(put)请求。当工作节点准备接收网络流时，同样会根据Coflow ID向中心控制节点发起一次获取(get)请求。
步骤5：当该网络流组中所有的流都提交完成时，这个Coflow就会被加入调度队列。当一个网络流组中所有的流都可以开始传输，或者一个网络流组中所有网络流传输结束，或者收到的心跳信息中某个节点的剩余带宽变化超过阈值，就会触发一次重新调度调度队列。
步骤6：中心控制节点根据调度队列中各网络流组的优先级和工作点节的剩余带宽计算各网络流组的传输次序和传输速度。
当开始调度时，中心节点会根据当前缓存的各个工作节点网卡进出的剩余带宽，计算调度队列中所有各网络流组中瓶颈流的完成时间，根据瓶颈流的完成时间，从小到大来决定网络流组的优先级，让优先级高的网络流组先传输。瓶颈流是指网络流组中传输速度最慢的网络流。
对于最高优先级的网络流组中的每个网络流的传输速度，中心控制节点会控制让瓶颈流独占该链路传输，而其他网络流则降速，使其完成时间与瓶颈流量齐平。由此产生的其他网络流链路上的空余带宽，则让低优先级的网络流组分享。
步骤7：工作节点根据中心控制节点提供的传输次序和传输速度完成网络流组的发送和接收。
如图3所示，为了防止低优先级的网络流组传输影响高优先级的网络流组的完成时间，每个工作节点都会通过TCP的显示拥塞通知(ECN)来动态调整自身的传输速度。当工作节点发现该链路上有拥塞时就会自动降低低优先级的网络流组的传输速度，反之则逐步增加低优先级的网络流组的传输速度。公式如下，其中α是调整速度的参数，F是这次窗口中包含拥塞的包的个数。Speed则表示大流的传输速度，根据是否含有拥塞标志(CE)来调整速度。
α←0.5×α+0.5×F
在本次实例的基础上，通过基于Hadoop中MapReduce运行生成的相应Coflow参数作为输入进行测试，发现本实例相较于静态的集中式调度方法，在降低Coflow平均完成时间的基础上有1.7倍的加速。同时，在调度含有Deadline属性Coflow的精确性上，本实例相较于静态的集中式调度算法有1.1倍的提升。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种用于分布式计算机平台的网络流组调度方法，其特征在于，包括以下步骤：
步骤1：在分布式计算机平台中设置一台机器作为中心控制节点，剩下的机器作为工作节点，中心控制节点定期收集每个工作节点上的剩余带宽以及网络流组注册请求；
步骤2：当中心控制节点收到某个工作节点的网络流组注册请求之后分配一个CoflowID给提出网络流组注册请求的工作节点；
步骤3：提出网络流组注册请求的工作节点将所述Coflow ID转发给具体需要发送和接收该网络流组中各网络流的其余工作节点；
步骤4：工作节点在传输网络流前根据收到的Coflow ID向中心控制节点发起一次提交请求；当工作节点准备接收网络流时，根据收到的Coflow ID向中心控制节点发起一次获取请求；
步骤5：当中心控制节点收到该网络流组中所有的工作节点提交的提交请求和获取请求时，将该网络流组加入调度队列；
步骤6：中心控制节点根据调度队列中各网络流组的优先级和工作点节的剩余带宽计算各网络流组的传输次序和传输速度；
步骤7：工作节点根据中心控制节点提供的传输次序和传输速度完成网络流组的发送和接收。
2.根据权利要求1所述的网络流组调度方法，其特征在于所述步骤1中中心控制节点根据工作节点上守护进程的心跳信息定期收集每个工作节点的剩余带宽。
3.根据权利要求1所述的网络流组调度方法，其特征在于所述网络流组注册请求包含网络流组的工作模式和网络流的数目。
4.根据权利要求1所述的网络流组调度方法，其特征在于所述调度队列在遇到一个网络流组中所有的网络流都能开始传输，或者一个网络流组中所有网络流传输结束，或者某个工作节点的剩余带宽变化超过阈值时就会重新调整。
5.根据权利要求1所述的网络流组调度方法，其特征在于步骤6中各网络流组的优先级通过以下方法确定：
当开始调度时，中心控制节点根据当前各个工作节点的剩余带宽，计算瓶颈流的完成时间，根据各网络流组的瓶颈流的完成时间从小到大来决定各网络流组的优先级，中心控制节点让高优先级的网络流组先传输；所述瓶颈流为网络流组中传输速度最慢的网络流。
6.根据权利要求1所述的网络流组调度方法，其特征在于步骤6中传输速度通过以下方法获得：
中心控制节点控制优先级高的网络流组中的瓶颈流独占该瓶颈流所属的传输链路，而该优先级高的网络流组中其他的网络流则降低传输速度，实现与瓶颈流齐平，由此产生的空余带宽，则让低优先级的网络流组分享。
7.根据权利要求1所述的网络流组调度方法，其特征在于步骤7中还包含对中心控制节点提供的传输速度进行调整，包含以下方法：
当工作节点发现传输链路上有拥塞时自动降低优先级低的网络流组的传输速度，反之则逐步增加优先级低的网络流组的传输速度，调整公式如下，其中α是调整速度的参数，F是这次窗口中包含拥塞的包的个数，Speed则表示大流的传输速度，CE代表拥塞标志：
α←0.5×α+0.5×F
<mrow> <mi>S</mi> <mi>p</mi> <mi>e</mi> <mi>e</mi> <mi>d</mi> <mo>&amp;LeftArrow;</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>S</mi> <mi>p</mi> <mi>e</mi> <mi>e</mi> <mi>d</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>w</mi> <mi>i</mi> <mi>t</mi> <mi>h</mi> <mi>o</mi> <mi>u</mi> <mi>t</mi> <mi> </mi> <mi>C</mi> <mi>E</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>S</mi> <mi>p</mi> <mi>e</mi> <mi>e</mi> <mi>d</mi> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mi>&amp;alpha;</mi> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>w</mi> <mi>i</mi> <mi>t</mi> <mi>h</mi> <mi> </mi> <mi>C</mi> <mi>E</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>.</mo> </mrow>
CN201510526867.5A 2015-08-25 2015-08-25 一种用于分布式计算机平台的网络流组调度方法 Active CN105227488B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510526867.5A CN105227488B (zh) 2015-08-25 2015-08-25 一种用于分布式计算机平台的网络流组调度方法
PCT/CN2016/086543 WO2017032157A1 (zh) 2015-08-25 2016-06-21 一种用于分布式计算机平台的网络流组调度方法
US15/749,504 US10749812B2 (en) 2015-08-25 2016-06-21 Dynamic network flows scheduling scheme in data center

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510526867.5A CN105227488B (zh) 2015-08-25 2015-08-25 一种用于分布式计算机平台的网络流组调度方法

Publications (2)

Publication Number Publication Date
CN105227488A CN105227488A (zh) 2016-01-06
CN105227488B true CN105227488B (zh) 2018-05-08

Family

ID=54996184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510526867.5A Active CN105227488B (zh) 2015-08-25 2015-08-25 一种用于分布式计算机平台的网络流组调度方法

Country Status (3)

Country Link
US (1) US10749812B2 (zh)
CN (1) CN105227488B (zh)
WO (1) WO2017032157A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227488B (zh) * 2015-08-25 2018-05-08 上海交通大学 一种用于分布式计算机平台的网络流组调度方法
CN107181724B (zh) * 2016-03-11 2021-02-12 华为技术有限公司 一种协同流的识别方法、***以及使用该方法的服务器
CN107231269B (zh) * 2016-03-25 2020-04-07 阿里巴巴集团控股有限公司 一种集群精确限速方法和装置
CN106453112B (zh) * 2016-08-10 2019-11-08 广州市香港科大***研究院 Rpc通信中同向流信息的处理方法和服务器
CN106656858B (zh) * 2016-08-10 2019-10-29 广州市香港科大***研究院 基于同向流的调度方法和服务器
CN113114566B (zh) 2017-09-25 2022-03-29 华为技术有限公司 一种报文转发的方法及网络设备
CN108712305B (zh) * 2018-05-04 2020-03-31 电子科技大学 一种基于子流流量值估计方法的Coflow调度方法
CN108833297A (zh) * 2018-05-08 2018-11-16 清华大学 大数据流量的优先级分类方法、调度方法和装置
US11599789B2 (en) 2018-08-02 2023-03-07 Shanghai Jiao Tong University Hierarchical highly heterogeneous distributed system based deep learning application optimization framework
CN110048966B (zh) * 2019-03-10 2021-12-17 天津大学 基于截止时间的最小化***开销的Coflow调度方法
US11477120B2 (en) * 2019-03-25 2022-10-18 Fungible, Inc. Congestion control in an on-chip network
CN110365608B (zh) * 2019-08-01 2022-08-19 西南交通大学 一种容忍不完整数据传输的流组传输调度方法
CN110475133B (zh) * 2019-08-15 2023-11-03 北京拉近众博科技有限公司 一种权限分配方法、装置和存储介质
CN110708259B (zh) * 2019-09-25 2023-07-07 江苏省未来网络创新研究院 自动调整队列阈值的信息无感知Coflow调度***及其调度方法
CN111447100B (zh) * 2020-02-26 2023-06-06 平安科技（深圳）有限公司 用户带宽控制方法、装置、计算机设备及存储介质
CN117376270A (zh) * 2020-04-29 2024-01-09 华为技术有限公司 拥塞控制方法、装置及***、计算机存储介质
CN111585904B (zh) * 2020-04-30 2022-07-08 南京汉德数字孪生技术研究院有限公司 基于预测并发连接数的双向coflow调度***
CN111585905B (zh) * 2020-04-30 2022-07-08 南京汉德数字孪生技术研究院有限公司 适于双向coflow调度方法的最佳并发连接数预测方法
CN111698132B (zh) * 2020-06-12 2022-03-01 北京字节跳动网络技术有限公司 用于控制集群中心跳事件的方法、装置、设备和介质
CN111966513A (zh) * 2020-08-31 2020-11-20 国网上海市电力公司 无先验知识Coflow的多级队列调度方法、装置及其调度设备
WO2022074415A1 (en) * 2020-10-06 2022-04-14 Huawei Technologies Co., Ltd. Device and method for coflow tracking and scheduling
CN114500542A (zh) * 2020-11-12 2022-05-13 中移信息技术有限公司 业务流量分发方法、装置、设备及计算机存储介质
CN112929295B (zh) * 2021-01-22 2022-07-12 宁波大学 一种微突发抑制的动态标记阈值缓存管理方法
CN112887407B (zh) * 2021-01-26 2023-01-17 北京百度网讯科技有限公司 用于分布式集群的作业流量控制方法和装置
CN113127169B (zh) * 2021-04-07 2023-05-02 中山大学 数据中心网络中动态工作流的高效链路调度方法
CN114205300B (zh) * 2021-12-02 2023-09-22 南开大学 一种能够在流量信息不完整情况下保证coflow传输截止期限的流量调度方法
CN114816257B (zh) * 2022-04-29 2023-05-05 重庆大学 一种应用于移动分布式存储的数据布局方法
CN115174447B (zh) * 2022-06-27 2023-09-29 京东科技信息技术有限公司 一种网络通信方法、装置、***、设备及存储介质
CN117221126B (zh) * 2023-11-09 2024-02-13 之江实验室 一种面向网络协同流量的路由调度方法与***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN102073546A (zh) * 2010-12-13 2011-05-25 北京航空航天大学 一种云计算环境中分布式计算模式下的任务动态调度方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2292828A1 (en) * 1999-12-22 2001-06-22 Nortel Networks Corporation Method and apparatus for traffic flow control in data switches
ATE457575T1 (de) * 2003-12-15 2010-02-15 Ericsson Telefon Ab L M Verteilte mediumzugriffssteuerung (mac) für breitband-zugangssysteme
ATE470294T1 (de) * 2005-11-30 2010-06-15 Alcatel Lucent Gewichtetes und gerechtes system zur bandbreitenzuteilung
CN1925365B (zh) * 2006-09-25 2011-05-04 北京北方烽火科技有限公司 一种无线宽带网络带宽分配和调度的***和方法
CN101808033B (zh) * 2010-03-09 2013-04-17 杭州华三通信技术有限公司 业务流量预留带宽分配的方法及设备
CN101820645B (zh) * 2010-04-14 2012-10-31 中国科学院计算技术研究所 无线mesh网络中支持服务质量的数据调度装置和方法
CN103118134B (zh) * 2013-02-28 2015-09-02 浙江大学 一种面向任务级的大数据分发质量保障方法及装置
CN103259723A (zh) * 2013-06-05 2013-08-21 清华大学 基于数据中心网络路由与流抢占调度相结合的节能方法
US10003544B2 (en) * 2014-12-11 2018-06-19 Futurewei Technologies, Inc. Method and apparatus for priority flow and congestion control in ethernet network
CN105227488B (zh) * 2015-08-25 2018-05-08 上海交通大学 一种用于分布式计算机平台的网络流组调度方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
CN102073546A (zh) * 2010-12-13 2011-05-25 北京航空航天大学 一种云计算环境中分布式计算模式下的任务动态调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MapReduce: Simplified Data Processing;Jeffrey Dean ，Sanjay Ghemawat;《COMMUNITATIONS OF THE ACM》;20080130;第51卷(第1期);全文 *

Also Published As

Publication number Publication date
CN105227488A (zh) 2016-01-06
US20190089645A1 (en) 2019-03-21
US10749812B2 (en) 2020-08-18
WO2017032157A1 (zh) 2017-03-02

Similar Documents

Publication Publication Date Title
CN105227488B (zh) 一种用于分布式计算机平台的网络流组调度方法
CN105227481B (zh) 基于路径开销和流调度代价最小化的sdn拥塞控制路由方法
CN106059951B (zh) 一种用于dcn中基于多级拥塞反馈的传输控制方法
CN101964749A (zh) 一种基于多核构架的报文转发方法及***
CN105721577B (zh) 一种面向软件定义网络的服务器负载均衡方法
CN102541645B (zh) 一种基于节点状态反馈的节点任务槽动态调整方法
CN106302228B (zh) 一种数据中心网络中基于任务感知的传输控制方法
CN109714795A (zh) 一种基于sdn网络切片的资源管理方法、资源管理***以及装置
Quan et al. Cybertwin-driven DRL-based adaptive transmission scheduling for software defined vehicular networks
CN106060145A (zh) 一种分布式多云数据中心中基于收益的请求访问控制方法
CN107948103A (zh) 一种基于预测的交换机pfc控制方法及控制***
CN106790381A (zh) 基于加权最小连接的动态反馈负载均衡方法
CN107942958A (zh) 一种面向物联网的工业控制***及方法
CN106357743A (zh) 一种雾计算网络基于分级缓存的业务传输方法
CN110046048A (zh) 一种基于工作量自适应快速重分配的负载均衡方法
CN110290077A (zh) 一种基于实时业务配置的工业sdn资源分配方法
CN107018018A (zh) 一种基于sdn的服务器增量在线升级方法及***
CN116599904A (zh) 并行传输负载均衡装置及方法
CN107835130A (zh) 一种流量分配方法及装置
CN107395735A (zh) 一种容器集群的延时缩容调度方法及***
CN112600827B (zh) 基于增量式最小费用最大流的虚拟服务迁移方法及***
CN106254058B (zh) 一种调整服务器的频率的方法及装置
CN112601232B (zh) 基于最小费用最大流的负载均衡的多服务迁移方法及***
CN109298932A (zh) 基于OpenFlow的资源调度方法、调度器及***
CN105959167A (zh) 一种基于贪心算法的全局优化sdn测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant