CN114866474B - 一种端网协同流量调度方法、装置、***及存储介质 - Google Patents

一种端网协同流量调度方法、装置、***及存储介质 Download PDF

Info

Publication number
CN114866474B
CN114866474B CN202210483562.0A CN202210483562A CN114866474B CN 114866474 B CN114866474 B CN 114866474B CN 202210483562 A CN202210483562 A CN 202210483562A CN 114866474 B CN114866474 B CN 114866474B
Authority
CN
China
Prior art keywords
rate
network
information
network side
data packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210483562.0A
Other languages
English (en)
Other versions
CN114866474A (zh
Inventor
李清
吕鸿润
江勇
王羽
赵达毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Peng Cheng Laboratory
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University, Peng Cheng Laboratory filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202210483562.0A priority Critical patent/CN114866474B/zh
Publication of CN114866474A publication Critical patent/CN114866474A/zh
Application granted granted Critical
Publication of CN114866474B publication Critical patent/CN114866474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/11—Identifying congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/122—Avoiding congestion; Recovering from congestion by diverting traffic away from congested entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/127—Avoiding congestion; Recovering from congestion by using congestion prediction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种端网协同流量调度方法、装置、***及存储介质，方法包括：将网络侧的速率调整决策信息反馈至发送端；根据流启动阶段的数据流计算网络侧的基础目标速率，并将网络侧的当前数据流传输速率调整至基础目标速率；获取剩余带宽信息，并根据基础目标速率和剩余带宽信息占据剩余带宽；接收发送端反馈的实时发送速率计算结果，根据实时发送速率计算结果向发送端嵌入对应的带宽，并基于利用率调整网络侧的传输速率。本发明通过显式告知端侧速率决策信息，避免了端侧反复探测网络侧资源分配与拥塞情况，从而提高了网络利用率和传输效率；并将速率决策转移到网络侧，在计算流发送速率时能够直接考虑其他流的信息，从而更好的实现调度目标。

Description

一种端网协同流量调度方法、装置、***及存储介质
技术领域
本发明涉及流量调度技术领域，尤其涉及的是一种端网协同流量调度方法、装置、***及存储介质。
背景技术
数据中心的高速发展推动了计算模式的变革。得益于虚拟化技术，数据中心将计算、存储和内存资源在网络内分散，在逻辑上池化，从而使得计算能力能够在网络内自如的分配和调度。这种计算模式的变革极大的提高了资源利用率，降低了计算成本，然而同时对数据中心网络传输能力提出极高要求。各资源间需要利用高速网络通信，存储设备的进步导致网络需要提供更低的时延。为了维持良好的应用级性能，网络需要提供低达3-5微秒的时延和高达40-100Gbps的带宽。另一方面，数据中心流量具有高突发性的特点，流量在时间维度上分布不均。因此为了维持网络低尾时延，网络利用率往往维持在较低的水平，导致运营成本上升。
学术界和工业界对网络流量调度进行了大量的研究。根据网络流量调度涉及的方面可分为网络侧方案和端侧方案。
(1)传统端到端拥塞控制算法的一般逻辑是在发送端感知网络状态，调整发送速率。这些算法被动的感知丢包和时延等隐式拥塞信息，存在感知不准确的问题。端侧无法直接获知可用带宽大小，需要不断试探，导致不能快速收敛到可用带宽，导致速率收敛慢，进一步导致带宽利用率低。
(2)传统网络侧调度的一般逻辑是，在一定业务状态下，通过调度(如节点级的优先级调度和路径级的流量工程/负载均衡)避免网络过载，从而提升网络传输性能。然而网络给端侧的信息仍然是隐式的，无法精确指导端侧的业务发送速率，仍然只能间接影响。这导致传统流量调度方案不能实现快速收敛。
因此网络侧应与端侧协调，充分利用网络对负载的感知能力，更精确的指导端侧注入网络中的流量速率。学术界先后提出了ECN、INT等机制，这些机制显式地为端侧提供网络状态信息。然而，这种方式下，网络侧只是作为状态信息的提供者，决策仍发生在端侧。每个端到端会话独立决策，缺乏其他会话的信息作为依据，缺乏全网的状态信息(只有会话路径信息)。这些现实都挑战了现有流量调度机制的性能。
因此，现有技术还有待改进。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种端网协同流量调度方法、装置、***及存储介质，以解决现有网络侧的流量调度机制无法实现端网协同动态调度的技术问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种端网协同流量调度方法，所述端网协同流量调度方法包括：
通过路径上的交换机将网络侧的速率调整决策信息反馈至发送端；
根据流启动阶段的数据流计算所述网络侧的基础目标速率，并将所述网络侧的当前数据流传输速率调整至所述基础目标速率；
获取剩余带宽信息，并根据所述基础目标速率和所述剩余带宽信息占据剩余带宽；
接收所述发送端反馈的实时发送速率计算结果，根据所述实时发送速率计算结果向所述发送端嵌入对应的带宽，并基于利用率调整所述网络侧的传输速率。
在一种实现方式中，所述通过路径上的交换机将网络侧的速率调整决策信息反馈至发送端，包括：
通过所述路径上的交换机在1RTT内以每数据包的粒度将所述网络侧的速率调整决策信息反馈至所述发送端；
其中，所述交换机以分布式的方式设置在所述网络侧的各路径上。
在一种实现方式中，所述根据流启动阶段的数据流计算所述网络侧的基础目标速率，并将所述网络侧的当前数据流传输速率调整至所述基础目标速率，包括：
确定所述网络侧的竞争流信息和差异化调度目标；
根据所述竞争流信息和所述差异化调度目标，在所述流启动阶段以周期性和主动性的方式将所述当前数据流传输速率调整至所述基础目标速率。
在一种实现方式中，所述在流启动阶段以周期性和主动性的方式将所述当前数据流传输速率调整至所述基础目标速率，包括：
判断流启动时长是否超过检测周期；
若所述流启动时长超过所述检测周期，则通过所述发送端在所述数据包的头部设置带宽分配检测字段；
根据所述带宽分配检测字段执行带宽分配算法；
根据所述竞争流信息和所述差异化调度目标计算所述网络侧的基础目标速率；
将所述当前数据流传输速率调整至所述基础目标速率。
在一种实现方式中，所述根据带宽分配检测字段执行带宽分配算法，之前还包括：
判断距离上次分配时长是否超过检测周期；
若距离上次分配时长超过所述检测周期，则通过所述发送端在所述数据包的头部设置带宽分配检测字段。
在一种实现方式中，所述根据竞争流信息和所述差异化调度目标计算所述网络侧的基础目标速率，之后还包括：
将所述基础目标速率的计算结果与所述数据包中携带的带宽分配值进行对比；
根据对比结果选择较小值，并将选择的较小值嵌入所述数据包中；
将嵌入后的数据包发送至接收端，以通过所述接收端将带宽分配结果嵌入确认字符中。
在一种实现方式中，所述基于利用率调整所述网络侧的传输速率，包括：
根据网络利用率算法及参数在所述发送端中计算所述利用率；
根据所述利用率以乘性增和/或乘性减的方式更新所述流传输速率，以维持所述网络侧的带宽分配目标。
在一种实现方式中，所述网络利用率算法的参数包括：控制周期、暂停发生倍数以及效率参数。
在一种实现方式中，所述根据利用率以乘性增和/或乘性减的方式更新所述流传输速率，包括：
在所述发送端的数据包中嵌入预设的头部信息，并将所述数据包中的字段类型设置为拥塞控制；
接收设置后的数据包，并根据所述数据包中的拥堵类型判断当前的队列长度；
根据判断结果及利用率算法更新所述数据包的利用率信息；
将更新后的数据包发生至所述接收端，并通过所述接收端的确认字符将拥塞信息反馈至所述发送端；
在所述发送端中以乘性增和/或乘性减的方式更新流传输速率信息；
根据所述发送端反馈的流传输速率信息更新所述流传输速率。
在一种实现方式中，所述端网协同流量调度方法还包括：
根据所述网络利用率算法更新所述数据包中的利用率信息，并计算及嵌入拥塞队列长度；
根据所述拥塞队列长度暂停发送倍数的排列时间；
根据暂停的排列时间重新在所述发送端中计算所述利用率。
第二方面，本发明提供一种端网协同流量调度装置，包括：处理器以及存储器，所述存储器存储有端网协同流量调度程序，所述端网协同流量调度程序被所述处理器执行时用于实现如第一方面所述的端网协同流量调度方法。
第三方面，本发明提供一种端网协同流量调度***，包括：发送端、接收端以及如第二方面所述的端网协同流量调度装置；
所述发送端用于发送数据包；
所述发送端还用于接收所述端网协同流量调度装置发送的速率调整决策信息，基于所述速率调整决策信息计算及更新所述数据包的发送速率，将计算结果及更新的发送速率反馈至所述端网协同流量调度装置；
所述端网协同流量调度装置用于将网络侧的速率调整决策信息反馈至发送端；根据流启动阶段的数据流计算所述网络侧的基础目标速率，并将所述网络侧的当前数据流传输速率调整至所述基础目标速率；
所述端网协同流量调度装置还用于获取剩余带宽信息，并根据所述基础目标速率和所述剩余带宽信息占据剩余带宽；接收所述发送端反馈的实时发送速率计算结果，根据所述实时发送速率计算结果向所述发送端嵌入对应的带宽，并基于利用率调整所述网络侧的传输速率；
所述接收端用于接收所述数据包，将所述数据包中的反馈信息嵌入确认字符中，以及将所述确认字符反馈至所述发送端。
第四方面，本发明提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有端网协同流量调度程序，所述端网协同流量调度程序被处理器执行时用于实现如第一方面所述的端网协同流量调度方法。
本发明采用上述技术方案具有以下效果：
本发明在网络侧根据拥塞情况、竞争流信息和调度目标，动态计算流发送速率决策信息并显式的反馈到发送端，并且在发送端根据网络侧决策及时更新流传输速率；相较于传统端到端拥塞控制和传统网络调度，网络侧显式告知端侧速率决策信息，避免了端侧反复探测网络侧资源分配与拥塞情况，从而提高网络利用率和传输效率；相较于基于ECN、INT等的流量调度方案，本发明将速率决策转移到网络侧，在计算流发送速率时能够直接考虑其他流的信息，从而更好的实现调度目标。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的一种实现方式中端网协同流量调度方法的流程图。
图2是本发明的一种实现方式中端网协同流量调度***(框架)示意图。
图3是本发明的一种实现方式中带宽分配模块算法的流程示意图。
图4是本发明的一种实现方式中基于利用率的拥塞控制模块算法的流程示意图。
图5是本发明的一种实现方式中端网协同流量调度装置的功能原理图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
示例性方法
传统端到端拥塞控制算法的一般逻辑是在发送端感知网络状态，调整发送速率。这些算法被动的感知丢包和时延等隐式拥塞信息，存在感知不准确的问题。端侧无法直接获知可用带宽大小，需要不断试探，导致不能快速收敛到可用带宽，导致速率收敛慢，进一步导致带宽利用率低。
而传统网络侧调度的一般逻辑是，在一定业务状态下，通过调度(如节点级的优先级调度和路径级的流量工程/负载均衡)避免网络过载，从而提升网络传输性能。然而网络给端侧的信息仍然是隐式的，无法精确指导端侧的业务发送速率，仍然只能间接影响。这导致传统流量调度方案不能实现快速收敛。
基于ECN、INT等机制的端网协调方式，网络侧只是作为状态信息的提供者，决策仍发生在端侧。每个端到端会话独立决策，缺乏其他会话的信息作为依据，缺乏全网的状态信息(只有会话路径信息)。这些现实都挑战了现有流量调度机制的性能。
针对上述技术问题，本实施例中提供了一种端网协同流量调度方法，在网络侧根据拥塞情况、竞争流信息和调度目标，动态计算流发送速率决策信息并显式的反馈到发送端，并且在发送端根据网络侧决策及时更新流传输速率；相较于传统端到端拥塞控制和传统网络调度，网络侧显式告知端侧速率决策信息，避免了端侧反复探测网络侧资源分配与拥塞情况，从而提高网络利用率和传输效率；相较于基于ECN、INT等的流量调度方案，本发明将速率决策转移到网络侧，在计算流发送速率时能够直接考虑其他流的信息，从而更好的实现调度目标。
如图1所示，本发明实施例提供一种端网协同流量调度方法，该端网协同流量调度方法包括以下步骤：
步骤S100，通过路径上的交换机将网络侧的速率调整决策信息反馈至发送端。
在本实施例中，针对当前数据中心网络带宽持续增长以及流量高度动态性给现有流量调度机制带来的挑战，本发明提出了一种面向数据中心的端网协同的流量调度机制。该流量调度机制包含了一套基于利用率的拥塞控制模块和带宽分配模块。
在本实施例的流量调度机制中，基于利用率的拥塞控制模块以分布式的方式在1RTT(Round Trip Time，往返延时)内将网络侧的速率调整决策信息反馈到发送端；发送端以乘性增乘性减的方式对网络状态变化快速响应；带宽分配模块从流启动开始周期性的计算并更新基础目标速率，使流传输速率在1RTT内达到类似TCP的拥塞避免阶段，与拥塞控制模块配合，实现快速收敛到调度目标。
相较于传统端到端拥塞控制和传统网络调度以及基于ECN、INT等的流量调度方案，本实施例中将速率决策转移到网络侧，在计算流发送速率时能够直接考虑其他流的信息，从而更好的实现调度目标。实现该机制需要解决以下三点挑战：
1、流量高度动态性和网络高速性：数据中心网络中，流量的突发性强，流量调度算法需要对高动态性的流量快速响应。而且数据中心网络的带宽高，在拥塞情况下队列会快速建立。因此流量调度算法需要对网络状态变化快速响应。对于集中式算法，尽管控制器能够获得全局视图，从理论上有可能直接计算最优带宽分配，但是在大规模网络中控制器将成为传输和计算的瓶颈，不能满足快速响应的要求，因此集中式算法不可行。
2、快速收敛到调度目标：数据中心网络中的大部分流是数个RTT内传输完成的小流，为了让这些小流能够尽可能快的完成，小流必须足够快速的获得其公平带宽份额。此外，大流的快速收敛对于维持网络利用率在合理区间很重要。然而分布式设计意味着决策所需的信息分散在各个交换机上，这使得在几个RTT内收敛到调度目标并不简单。
3、交换机计算存储资源限制：流量调度决策需要网络拥塞信息和流信息。网络侧的交换机具有拥塞感知优势，但是其存储资源十分有限，在交换机上维护完备的流状态会产生高额开销，甚至可能是不可行的。另外，由于交换机的计算资源受限，为了维持流量的线速度转发，速率决策算法必须足够高效。
本实施例通过以下三点解决了上述挑战：
1、设计了一种基于利用率的拥塞控制模块，该模块采用分布式设计，路径上的交换机在1RTT内以每数据包的粒度将网络侧的速率调整决策信息反馈到发送端，发送端以乘性增乘性减的方式对网络闲置或拥塞快速响应；
2、设计了一种带宽分配模块，该模块在流启动阶段为流计算基础目标速率，使得流传输速率在1RTT内达到类似TCP的拥塞避免阶段；配合基于利用率的拥塞控制模块，在基础目标速率的基础上以乘性增乘性减的方式快速占据剩余带宽和避免拥塞，从而快速收敛到调度目标；
3、将控制模块的算法拆分，涉及流传输速率和RTT等复杂的每流状态计算下放到端侧，网络侧反馈给端侧所需的中间结果。从而网络侧仅需维护当前流数量信息和执行少量的计算，降低了交换机的计算存储开销。
具体地，在本实施例的一种实现方式中，步骤S100包括以下步骤：
步骤S101，通过所述路径上的交换机在1RTT内以每数据包的粒度将所述网络侧的速率调整决策信息反馈至所述发送端。
在本实施例中，所述交换机以分布式的方式设置在所述网络侧的各路径上。
在本实施例中，方案框架如图2所示，主要包括带宽分配模块和基于利用率的拥塞控制模块。
在本实施例的框架中，网络侧与端侧相比能够直接感知竞争流信息，因此网络侧实现跨流的带宽分配具有更大的性能潜力。但是，由于网络节点分布式特点与流量调度的快速响应与快速收敛需求，集中式算法不使用，网络侧直接计算出最优每流带宽分配很困难。为了解决上述问题，本实施例将流量调度分为两个模块。
基于利用率的拥塞控制模块以乘性增乘性减的方式快速调整流传输速率，从而对网络状态变化快速做出响应，充分利用网络带宽同时避免拥塞；带宽分配模块从流启动开始周期性的为流分配基础目标速率，使得流快速达到类似TCP的拥塞避免阶段，同时与拥塞控制算法配合，实现流传输速率快速收敛到调度目标；此外，为了应对交换机计算存储资源的限制，涉及每流状态信息和复杂计算的部分下放到端侧执行，网络侧仅需维护当前流数量信息和执行少量的计算。
如图1所示，在本发明实施例的一种实现方式中，端网协同流量调度方法还包括以下步骤：
步骤S200，根据流启动阶段的数据流计算所述网络侧的基础目标速率，并将所述网络侧的当前数据流传输速率调整至所述基础目标速率。
在本实施例中，带宽分配模块采用主动式调度，解决传统调度算法隐式反馈导致收敛慢的问题；并且，带宽分配模块具有调度目标高扩展性，即网络管理员可以根据需要自由调整调度目标，所需的计算和存储资源低，能够部署到可编程交换机。
具体地，在本实施例的一种实现方式中，步骤S200包括以下步骤：
步骤S201，确定所述网络侧的竞争流信息和差异化调度目标；
步骤S202，根据所述竞争流信息和所述差异化调度目标，在所述流启动阶段以周期性和主动性的方式将所述当前数据流传输速率调整至所述基础目标速率。
如图3所示，在本实施例中，基于带宽分配模块提出了一种带宽分配模块算法，网络侧根据竞争流信息和差异化调度目标，从流启动开始周期性的主动式的为流分配基础目标速率，实现在1RTT内使流传输速率达到类似TCP的拥塞避免阶段，避免端侧反复探测，提高传输效率，加速收敛。
在本实施例的一种实现方式中，带宽分配模块分为端侧部分和网络侧部分。由于端侧对流启动和RTT信息的获取最为便捷，因此由端侧发起带宽分配检测，网络侧对发起检测的数据包计算带宽分配结果。
具体地，在本实施例的一种实现方式中，针对流启动阶段，步骤S202包括以下步骤：
步骤S202a，判断流启动时长是否超过检测周期；
步骤S202b，若所述流启动时长超过所述检测周期，则通过所述发送端在所述数据包的头部设置带宽分配检测字段；
步骤S202c，根据所述带宽分配检测字段执行带宽分配算法；
步骤S202d，根据所述竞争流信息和所述差异化调度目标计算所述网络侧的基础目标速率；
步骤S202e，将所述当前数据流传输速率调整至所述基础目标速率。
具体地，在本实施例的另一种实现方式中，针对非流启动阶段，步骤S202还包括以下步骤：
步骤S202f，判断距离上次分配时长是否超过检测周期；
步骤S202g，若距离上次分配时长超过所述检测周期，则通过所述发送端在所述数据包的头部设置带宽分配检测字段。
在非流启动阶段中，在步骤S202g之后，亦根据带宽分配检测字段执行带宽分配算法，以及根据竞争流信息和差异化调度目标计算网络侧的基础目标速率，从而将当前数据流传输速率调整至基础目标速率。
具体地，在带宽分配模块的工作过程中，当流启动或距离上次带宽分配超过检测周期thtime时，发送端在业务数据包的头部设置带宽分配检测字段。交换机收到数据包后检测其头部字段，当发现带宽分配检测，交换机执行带宽分配函数(即带宽分配算法)，根据竞争流信息和调度目标计算本地带宽分配速率。为了避免网络拥塞，交换机将计算结果和数据包携带的带宽分配相比较，嵌入较小值。接收端收到携带带宽分配的数据包后，将带宽分配结果嵌入到ACK(即确认字符)中反馈给发送端。发送端根据带宽分配结果更新流传输速率。
在本实施例中，在带宽分配模块计算本地带宽分配速率的过程中，还包括以下步骤：
步骤S202h，将所述基础目标速率的计算结果与所述数据包中携带的带宽分配值进行对比；
步骤S202i，根据对比结果选择较小值，并将选择的较小值嵌入所述数据包中；
步骤S202j，将嵌入后的数据包发送至接收端，以通过所述接收端将带宽分配结果嵌入确认字符中。
在本实施例中，带宽分配模块中涉及的主要参数为检测周期thtime。由于带宽分配模块的主要作用是使流到达类似TCP的拥塞避免阶段，此时的流传输速率接近但低于收敛结果。与基于利用率的拥塞控制模块配合下，流传输速率在几个RTT内快速收敛到调度目标速率。另一方面，由于网络中不断有流的产生和结束，竞争流不断变化，因此调度目标速率随之变化，此时需要重新执行带宽分配。因此检测周期thtime应设置为此流的数个RTT。
如图1所示，在本发明实施例的一种实现方式中，端网协同流量调度方法还包括以下步骤：
步骤S300，获取剩余带宽信息，并根据所述基础目标速率和所述剩余带宽信息占据剩余带宽。
在本实施例中，在带宽分配模块执行带宽分配函数的过程中，会获取剩余带宽信息，以根据基础目标速率和剩余带宽信息占据剩余带宽，对剩余带宽进行公平分配。
为了实现调度带宽目标的高扩展性，得益于P4交换机便于调整算法的特点，带宽分配函数可以根据调度目标需求进行设置。下面分别给出公平带宽分配函数和带宽分配函数的例子：
首先，进行公平带宽分配，对于交换机Sj上的所有流，不考虑流在其他节点的瓶颈，则对任意的流fi，兼顾公平和带宽利用效率的速率分配为：
其中，Sj·port(fi)·B为对于端口的带宽，Sj·port(fi)·flow-num为对于端口的流数量。
其次，对于差异化每流带宽分配函数：设有m类流，pi为i类流的相对带宽份额，1≤i≤m。带宽分配目标为：R1:R2:...:Ri:...:Rm＝p1:p2:...:pi:...:pm，其中为任一类流的速率。则带宽分配计算公式为：
在本实施例中，通过进行公平带宽分配，对于网络侧中的差异化数据流执行每流带宽分配函数，可以根据调度目标需求进行带宽公平分配。
如图1所示，在本发明实施例的一种实现方式中，端网协同流量调度方法还包括以下步骤：
步骤S400，接收所述发送端反馈的实时发送速率计算结果，根据所述实时发送速率计算结果向所述发送端嵌入对应的带宽，并基于利用率调整所述网络侧的传输速率。
在本实施例中，基于利用率的拥塞控制模块，提出了一种基于利用率的拥塞控制模块算法。数据中心网络的带宽高，流量动态性强。为了充分利用网络带宽同时避免拥塞，算法需要对网络的动态性快速且精确的响应。此外，拥塞控制算法需要与带宽分配模块配合，能够维持带宽分配目标。
为了实现精确的拥塞控制，本模块采用利用率作为拥塞指标。利用率相较于丢包、RTT或ECN等指标可指示的拥塞情况范围更大，丢包只有在网络特别拥塞时才发生，对于数据中心网络环境不适用；ECN只能指示网络是否发生拥塞，不能表达拥塞程度；当网络利用率较低时RTT达到最小值，不能再反映网络的利用情况。
具体地，在本实施例的一种实现方式中，步骤S400包括以下步骤：
步骤S411，根据网络利用率算法及参数在所述发送端中计算所述利用率；
步骤S412，根据所述利用率以乘性增和/或乘性减的方式更新所述流传输速率，以维持所述网络侧的带宽分配目标。
在本实施例中，利用率指标在网络拥塞或闲置时都能很好的指示网络利用情况，而且能够指出利用的程度，基于利用率能够计算精确的适合的发送速率。利用率计算公式如下：
其中，T为拥塞控制控制周期，Vt为端口聚合流量接收速率，η为效率参数，qlent为队列长度，B为带宽。
在本实施例中，当η·B·T-qlent>0，一个周期T内端口能处理完队列存量，各发送端发送的流量应与下一周期剩余容量η·B·T-qlent匹配；当η·B·T-qlent≤0，下一周期T所有的容量用于队列存量传输也不能够消除队列，此时网络拥塞，各发送端在队列基本排尽前暂停发送。队列实际排尽后，各流恢复到既高效利用带宽又不违背带宽分配的发送速率。
为了实现快速响应与维持调度目标，基于利用率的拥塞控制模块采用乘性增、乘性减的方式更新流传输速率。乘性增、乘性减的方式与精确的利用率信息配合，能够计算出精确的流传输速率，从而对网络状态的变化在1RTT内作出快速准确的响应。此外，乘性增、乘性减的速率更新能够维持流的相对速率不变，从而维持带宽分配目标。因此，拥塞控制模块采用利用率作为拥塞指标，采用乘性增、乘性减的方式更新流传输速率。
在本实施例中，为了降低交换机的计算存储资源消耗，在拥塞控制模块中，网络侧将最终的流传输速率计算下放到发送端执行，网络侧反馈所需的利用率信息等。
具体地，在本实施例的一种实现方式中，步骤S412包括以下步骤：
步骤S412a，在所述发送端的数据包中嵌入预设的头部信息，并将所述数据包中的字段类型设置为拥塞控制；
步骤S412b，接收设置后的数据包，并根据所述数据包中的拥堵类型判断当前的队列长度；
步骤S412c，根据判断结果及利用率算法更新所述数据包的利用率信息；
步骤S412d，将更新后的数据包发生至所述接收端，并通过所述接收端的确认字符将拥塞信息反馈至所述发送端；
步骤S412e，在所述发送端中以乘性增和/或乘性减的方式更新流传输速率信息；
步骤S412f，根据所述发送端反馈的流传输速率信息更新所述流传输速率。
如图4所示，在本实施例中，基于利用率的拥塞控制算法，分为端侧和网络侧。
首先，发送端在业务数据包嵌入专用的头部，并置数据包类型字段为拥塞控制。交换机收到拥塞控制类型的数据包后，交换机判断队列长度情况。若η·B·T-qlent>0，交换机根据利用率公式计算并更新数据包中利用率信息；若η·B·T-qlent≤0，交换机根据利用率公式计算并更新数据包中利用率信息，同时计算并嵌入队列排空时间t。
其次，接收端收到数据包后将拥塞控制信息通过ACK反馈到发送端。发送端收到拥塞信息反馈后，根据利用率乘性增乘性减的更新流传输速率，若队列排空时间t不为0，则暂停发送ξ倍的排尽队列时间。为了避免发送端对反馈利用率过反应，即当前发送速率反复除以新到的利用率，发送端根据获得反馈利用率对应的数据包序列号当时的发送速率进行调整。
具体地，在本实施例的一种实现方式中，步骤S400还包括以下步骤：
步骤S413，根据所述网络利用率算法更新所述数据包中的利用率信息，并计算及嵌入拥塞队列长度；
步骤S414，根据所述拥塞队列长度暂停发送倍数的排列时间；
步骤S415，根据暂停的排列时间重新在所述发送端中计算所述利用率。
在本实施例中，基于利用率的拥塞控制模块中涉及的主要参数包括控制周期T、暂停发生倍数ξ和效率参数η。对于控制周期T，由于反馈利用率计算公式中分母是“η·B·T-qlent”，较大的T意味着容忍更大的队列。
另一方面，网络中存在因随机碰撞而非拥塞导致的队列增长，这种非拥塞的队列长度以O(√流数)增长。因此，每个交换机可以设置T随着流数O(√N)的变化，从而提高网络利用率同时避免拥塞。对于暂停发生倍数ξ，由于拥塞信息反馈存在一定时延，如果聚合速率Vt不变，则这段时间内队列会持续增长。为了应对更长的队列，发送端需要暂停更长的时间。效率参数η的作用是为新流预留一部分带宽，避免网络拥塞，设置为略小于1。
本实施例通过上述技术方案达到以下技术效果：
相较于传统端到端拥塞控制和传统网络调度以及基于ECN、INT等的流量调度方案，本实施例提出了一种基于利用率的拥塞控制模块，该模块采用分布式设计，网络侧将速率决策信息在1RTT内反馈到发送端，发送端以乘性增乘性减的方式对网络状态做出快速精确的响应；并且，本实施例还设计了一种带宽分配模块，该模块从流启动开始周期性的计算基础目标速率，使流传输速率在1RTT内达到类似TCP的拥塞避免阶段。与拥塞控制模块配合，实现快速收敛到调度目标；将模块的算法拆分，涉及流传输速率等复杂的每流状态计算下放到端侧，网络侧反馈所需的中间结果。从而交换机仅需维护少量信息和执行少量的计算，降低了交换机的计算存储开销。
示例性设备
基于上述实施例，本发明还提供一种端网协同流量调度装置，其原理框图可以如图5所示。
该端网协同流量调度装置包括：通过***总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，该端网协同流量调度装置的处理器用于提供计算和控制能力；该端网协同流量调度装置的存储器包括存储介质以及内存储器；该存储介质存储有操作***和计算机程序；该内存储器为存储介质中的操作***和计算机程序的运行提供环境；该接口用于连接外部设备，例如，移动终端以及计算机等设备；该显示屏用于显示相应的端网协同流量调度信息；该通讯模块用于与云端服务器或移动终端进行通讯。
该计算机程序被处理器执行时用以实现一种端网协同流量调度方法。
本领域技术人员可以理解的是，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的端网协同流量调度装置的限定，具体的端网协同流量调度装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种端网协同流量调度装置，其中，包括：处理器和存储器，存储器存储有端网协同流量调度程序，端网协同流量调度程序被处理器执行时用于实现如上的端网协同流量调度方法。
示例性***
基于上述实施例，本发明还提供一种端网协同流量调度***，如图2所示，包括：发送端、接收端以及如上所述的端网协同流量调度装置；
所述发送端用于发送数据包；
所述发送端还用于接收所述端网协同流量调度装置发送的速率调整决策信息，基于所述速率调整决策信息计算及更新所述数据包的发送速率，将计算结果及更新的发送速率反馈至所述端网协同流量调度装置；
所述端网协同流量调度装置用于将网络侧的速率调整决策信息反馈至发送端；根据流启动阶段的数据流计算所述网络侧的基础目标速率，并将所述网络侧的当前数据流传输速率调整至所述基础目标速率；
所述端网协同流量调度装置还用于获取剩余带宽信息，并根据所述基础目标速率和所述剩余带宽信息占据剩余带宽；接收所述发送端反馈的实时发送速率计算结果，根据所述实时发送速率计算结果向所述发送端嵌入对应的带宽，并基于利用率调整所述网络侧的传输速率；
所述接收端用于接收所述数据包，将所述数据包中的反馈信息嵌入确认字符中，以及将所述确认字符反馈至所述发送端。
在一个实施例中，提供了一种存储介质，其中，存储介质存储有端网协同流量调度程序，端网协同流量调度程序被处理器执行时用于实现如上的端网协同流量调度方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
综上，本发明提供了一种端网协同流量调度方法、装置、***及存储介质，方法包括：将网络侧的速率调整决策信息反馈至发送端；根据流启动阶段的数据流计算网络侧的基础目标速率，并将网络侧的当前数据流传输速率调整至基础目标速率；获取剩余带宽信息，并根据基础目标速率和剩余带宽信息占据剩余带宽；接收发送端反馈的实时发送速率计算结果，根据实时发送速率计算结果向发送端嵌入对应的带宽，并基于利用率调整网络侧的传输速率。本发明通过显式告知端侧速率决策信息，避免了端侧反复探测网络侧资源分配与拥塞情况，从而提高了网络利用率和传输效率；并将速率决策转移到网络侧，在计算流发送速率时能够直接考虑其他流的信息，从而更好的实现调度目标。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (11)

1.一种端网协同流量调度方法，其特征在于，所述端网协同流量调度方法包括：
通过路径上的交换机将网络侧的速率调整决策信息反馈至发送端；
根据流启动阶段的数据流计算所述网络侧的基础目标速率，并将所述网络侧的当前数据流传输速率调整至所述基础目标速率；
获取剩余带宽信息，并根据所述基础目标速率和所述剩余带宽信息占据剩余带宽；
接收所述发送端反馈的实时发送速率计算结果，根据所述实时发送速率计算结果向所述发送端嵌入对应的带宽，并基于利用率调整所述网络侧的传输速率；
所述基于利用率调整所述网络侧的传输速率，包括：
根据网络利用率算法及参数在所述发送端中计算所述利用率；
根据所述利用率以乘性增和/或乘性减的方式更新所述流传输速率，以维持所述网络侧的带宽分配目标；
所述根据利用率以乘性增和/或乘性减的方式更新所述流传输速率，包括：
在所述发送端的数据包中嵌入预设的头部信息，并将所述数据包中的字段类型设置为拥塞控制；
接收设置后的数据包，并根据所述数据包中的拥堵类型判断当前的队列长度；
根据判断结果及利用率算法更新所述数据包的利用率信息；
将更新后的数据包发送至接收端，并通过所述接收端的确认字符将拥塞信息反馈至所述发送端；
在所述发送端中以乘性增和/或乘性减的方式更新流传输速率信息；
根据所述发送端反馈的流传输速率信息更新所述流传输速率。
2.根据权利要求1所述的端网协同流量调度方法，其特征在于，所述通过路径上的交换机将网络侧的速率调整决策信息反馈至发送端，包括：
通过所述路径上的交换机在1RTT内以每数据包的粒度将所述网络侧的速率调整决策信息反馈至所述发送端；
其中，所述交换机以分布式的方式设置在所述网络侧的各路径上。
3.根据权利要求1所述的端网协同流量调度方法，其特征在于，所述根据流启动阶段的数据流计算所述网络侧的基础目标速率，并将所述网络侧的当前数据流传输速率调整至所述基础目标速率，包括：
确定所述网络侧的竞争流信息和差异化调度目标；
根据所述竞争流信息和所述差异化调度目标，在所述流启动阶段以周期性和主动性的方式将所述当前数据流传输速率调整至所述基础目标速率。
4.根据权利要求3所述的端网协同流量调度方法，其特征在于，所述在流启动阶段以周期性和主动性的方式将所述当前数据流传输速率调整至所述基础目标速率，包括：
判断流启动时长是否超过检测周期；
若所述流启动时长超过所述检测周期，则通过所述发送端在所述数据包的头部设置带宽分配检测字段；
根据所述带宽分配检测字段执行带宽分配算法；
根据所述竞争流信息和所述差异化调度目标计算所述网络侧的基础目标速率；
将所述当前数据流传输速率调整至所述基础目标速率。
5.根据权利要求4所述的端网协同流量调度方法，其特征在于，所述根据带宽分配检测字段执行带宽分配算法，之前还包括：
判断距离上次分配时长是否超过检测周期；
若距离上次分配时长超过所述检测周期，则通过所述发送端在所述数据包的头部设置带宽分配检测字段。
6.根据权利要求4所述的端网协同流量调度方法，其特征在于，所述根据竞争流信息和所述差异化调度目标计算所述网络侧的基础目标速率，之后还包括：
将所述基础目标速率的计算结果与所述数据包中携带的带宽分配值进行对比；
根据对比结果选择较小值，并将选择的较小值嵌入所述数据包中；
将嵌入后的数据包发送至接收端，以通过所述接收端将带宽分配结果嵌入确认字符中。
7.根据权利要求1所述的端网协同流量调度方法，其特征在于，所述网络利用率算法的参数包括：控制周期、暂停发生倍数以及效率参数。
8.根据权利要求1所述的端网协同流量调度方法，其特征在于，所述端网协同流量调度方法还包括：
根据所述网络利用率算法更新所述数据包中的利用率信息，并计算及嵌入拥塞队列长度；
根据所述拥塞队列长度暂停发生倍数的排列时间；
根据暂停的排列时间重新在所述发送端中计算所述利用率。
9.一种端网协同流量调度装置，其特征在于，包括：处理器以及存储器，所述存储器存储有端网协同流量调度程序，所述端网协同流量调度程序被所述处理器执行时用于实现如权利要求1-8中任意一项所述的端网协同流量调度方法。
10.一种端网协同流量调度***，其特征在于，包括：发送端、接收端以及如权利要求9所述的端网协同流量调度装置；
所述发送端用于发送数据包；
所述发送端还用于接收所述端网协同流量调度装置发送的速率调整决策信息，基于所述速率调整决策信息计算及更新所述数据包的发送速率，将计算结果及更新的发送速率反馈至所述端网协同流量调度装置；
所述端网协同流量调度装置用于将网络侧的速率调整决策信息反馈至发送端；根据流启动阶段的数据流计算所述网络侧的基础目标速率，并将所述网络侧的当前数据流传输速率调整至所述基础目标速率；
所述端网协同流量调度装置还用于获取剩余带宽信息，并根据所述基础目标速率和所述剩余带宽信息占据剩余带宽；接收所述发送端反馈的实时发送速率计算结果，根据所述实时发送速率计算结果向所述发送端嵌入对应的带宽，并基于利用率调整所述网络侧的传输速率；所述基于利用率调整所述网络侧的传输速率，包括：根据网络利用率算法及参数在所述发送端中计算所述利用率；根据所述利用率以乘性增和/或乘性减的方式更新所述流传输速率，以维持所述网络侧的带宽分配目标；所述根据利用率以乘性增和/或乘性减的方式更新所述流传输速率，包括：在所述发送端的数据包中嵌入预设的头部信息，并将所述数据包中的字段类型设置为拥塞控制；接收设置后的数据包，并根据所述数据包中的拥堵类型判断当前的队列长度；根据判断结果及利用率算法更新所述数据包的利用率信息；将更新后的数据包发送至接收端，并通过所述接收端的确认字符将拥塞信息反馈至所述发送端；在所述发送端中以乘性增和/或乘性减的方式更新流传输速率信息；根据所述发送端反馈的流传输速率信息更新所述流传输速率；
所述接收端用于接收所述数据包，将所述数据包中的反馈信息嵌入确认字符中，以及将所述确认字符反馈至所述发送端。
11.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质存储有端网协同流量调度程序，所述端网协同流量调度程序被处理器执行时用于实现如权利要求1-8中任意一项所述的端网协同流量调度方法。
CN202210483562.0A 2022-04-29 2022-04-29 一种端网协同流量调度方法、装置、***及存储介质 Active CN114866474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210483562.0A CN114866474B (zh) 2022-04-29 2022-04-29 一种端网协同流量调度方法、装置、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210483562.0A CN114866474B (zh) 2022-04-29 2022-04-29 一种端网协同流量调度方法、装置、***及存储介质

Publications (2)

Publication Number Publication Date
CN114866474A CN114866474A (zh) 2022-08-05
CN114866474B true CN114866474B (zh) 2023-07-25

Family

ID=82635345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210483562.0A Active CN114866474B (zh) 2022-04-29 2022-04-29 一种端网协同流量调度方法、装置、***及存储介质

Country Status (1)

Country Link
CN (1) CN114866474B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086185B (zh) * 2022-06-10 2024-04-02 清华大学深圳国际研究生院 一种数据中心网络***及数据中心传输方法
CN115473855B (zh) * 2022-08-22 2024-04-09 阿里巴巴（中国）有限公司 网络***、数据传输方法
CN115865827B (zh) * 2023-02-09 2023-05-23 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于事件驱动的跨层端网协同拥塞控制方法
CN115996195B (zh) * 2023-03-23 2023-05-30 腾讯科技（深圳）有限公司 一种数据传输方法、装置、设备及介质
CN116761211B (zh) * 2023-08-17 2023-11-17 鹏城实验室 基于多径传输的数据包调度方法、装置、设备及存储介质
CN117221126B (zh) * 2023-11-09 2024-02-13 之江实验室 一种面向网络协同流量的路由调度方法与***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827014A (zh) * 2009-03-03 2010-09-08 华为技术有限公司 一种切换控制方法、网关服务器及通信网络
CN104113446A (zh) * 2014-07-03 2014-10-22 南京航空航天大学 一种突发背景流环境下单端可用带宽的测量方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188562B (zh) * 2007-12-20 2011-02-09 杭州华三通信技术有限公司 流量控制方法、***和装置
CN101217783B (zh) * 2007-12-29 2011-04-20 华为技术有限公司 控制用户接入网络的方法及其设备
US9565088B2 (en) * 2012-05-01 2017-02-07 Getgo, Inc. Managing bandwidth utilization in different modes by monitoring network metrics and adjusting a current network data rate
CN106301679B (zh) * 2015-06-10 2020-10-23 华为技术有限公司 业务速率的调整方法和装置
CN109995608B (zh) * 2018-01-03 2022-08-26 华为技术有限公司 网络速率计算方法和装置
CN114401230B (zh) * 2021-12-27 2023-10-20 鹏城实验室 基于跨数据中心网络通信的发送速率控制方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827014A (zh) * 2009-03-03 2010-09-08 华为技术有限公司 一种切换控制方法、网关服务器及通信网络
CN104113446A (zh) * 2014-07-03 2014-10-22 南京航空航天大学 一种突发背景流环境下单端可用带宽的测量方法

Also Published As

Publication number Publication date
CN114866474A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN114866474B (zh) 一种端网协同流量调度方法、装置、***及存储介质
Wei et al. Shared bottleneck-based congestion control and packet scheduling for multipath TCP
EP3044918B1 (en) Network-based adaptive rate limiting
Xue et al. DPSAF: Forward prediction based dynamic packet scheduling and adjusting with feedback for multipath TCP in lossy heterogeneous networks
CN107733689A (zh) 基于优先级的动态加权轮询调度策略方法
Rojas-Cessa et al. Schemes for fast transmission of flows in data center networks
Chen et al. Towards minimal-delay deadline-driven data center TCP
JP2010538581A (ja) 集約帯域幅制御のための方法及びシステム
CN106302228B (zh) 一种数据中心网络中基于任务感知的传输控制方法
Lan et al. A deep reinforcement learning based congestion control mechanism for NDN
CN115412497A (zh) 一种bbr拥塞控制算法的性能优化方法
CN113890854B (zh) 一种基于深度增强学习的数据中心网络传输方法
CN114500394B (zh) 一种区分服务的拥塞控制方法
Qazi et al. Congestion control with multipacket feedback
CN114760644A (zh) 基于深度强化学习的多链路传输智能报文调度方法
Ito et al. A bandwidth allocation scheme to meet flow requirements in mobile edge computing
Zhang et al. Qoe-driven data communication framework for consumer electronics in tele-healthcare system
Iqbal et al. Instant queue occupancy used for automatic traffic scheduling in data center networks
CN110891027B (zh) 基于队列调度的命名数据网络传输控制方法、装置和设备
CN110943927B (zh) 基于时延管理的命名数据网络传输控制方法、装置和设备
Li et al. CoopCon: Cooperative hybrid congestion control scheme for named data networking
CN106685849B (zh) 基于sdn的wred报文丢弃方法及***
Gonsai et al. Design of congestion control protocol for wireless networks with small flow completion time
Li et al. Rpq: Resilient-priority queue scheduling for delay-sensitive applications
CN114845338A (zh) 一种面向用户接入的随机退避方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant