CN111666130A - 一种容器均衡部署的方法、装置、电子设备及存储介质 - Google Patents
一种容器均衡部署的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111666130A CN111666130A CN202010496049.6A CN202010496049A CN111666130A CN 111666130 A CN111666130 A CN 111666130A CN 202010496049 A CN202010496049 A CN 202010496049A CN 111666130 A CN111666130 A CN 111666130A
- Authority
- CN
- China
- Prior art keywords
- service
- deployed
- service node
- container
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种容器均衡部署的方法、装置、电子设备及存储介质,涉及容器技术领域。具体方案为:接收容器部署指令;其中,容器部署指令中包括待部署的服务的需求信息;根据待部署服务的需求信息以及预先确定的各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在服务节点的集合中确定出待部署的服务对应的至少一个服务节点;将待部署的服务部署至至少一个服务节点中的各个服务节点对应的容器中。本申请实施例能够在不同性能的服务器中均衡地部署容器,更加有效地均衡不同性能的服务器的负载,避免因容器部署而导致的影响服务稳定性和服务质量的问题。
Description
技术领域
本申请涉及计算机技术领域,进一步涉及容器技术,尤其是一种容器均衡部署的方法、装置、电子设备及存储介质。
背景技术
目前微服务和容器化技术在业界中正在大规模的应用。对于大型的站点或项目来说,通常会将整个***拆分为几十甚至数百个小型的服务单元(即微服务),每个服务单元则部署若干个服务实例或容器,并将这些实例部署到数百至数千台服务器提供服务。在大规模部署服务实例或容器时,经常会遇到的困难是如何合理的部署服务实例,使得生产环境上这些服务器的利用率尽可能合理,充分利用的同时又不至于过载。
对于部署在生产环境的服务器资源来说,由于采购时间、厂商等的不同,服务器的硬件能力各不相同,新采购的服务器资源往往是旧服务器的数倍。对于上游访问的服务,往往将下游每个实例或容器视为同等服务能力,因此,上游服务器向视为同等服务能力的下游服务器转发大致相等的流量,这样则会导致一部分性能较好的服务器无法被充分利用,而另一部分性能较差的服务器却可能发生过载,严重影响服务稳定性和服务质量。
发明内容
本申请提供了一种容器均衡部署的方法、装置、设备以及存储介质,能够在不同性能的服务器中均衡地部署容器,更加有效地均衡不同性能的服务器的负载,避免因容器部署而导致的影响服务稳定性和服务质量的问题。
第一方面,本申请提供了一种容器均衡部署的方法,所述方法包括:
接收容器部署指令;其中,所述容器部署指令中包括待部署的服务的需求信息;
根据所述待部署服务的需求信息以及预先确定的各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值,在服务节点的集合中确定出所述待部署的服务对应的至少一个服务节点;
将所述待部署的服务部署至所述至少一个服务节点中的各个服务节点对应的容器中。
第二方面,本申请提供了一种容器均衡部署的装置,所述装置包括:接收模块、确定模块和部署模块;其中,
所述接收模块,用于接收容器部署指令;其中,所述容器部署指令中包括待部署的服务的需求信息;
所述确定模块,用于根据所述待部署服务的需求信息以及预先确定的各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值,在服务节点的集合中确定出所述待部署的服务对应的至少一个服务节点;
所述部署模块,用于将所述待部署的服务部署至所述至少一个服务节点中的各个服务节点对应的容器中。
第三方面,本申请实施例提供了一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本申请任意实施例所述的容器均衡部署的方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现本申请任意实施例所述的容器均衡部署的方法。
根据本申请的技术解决了现有技术中上游服务器向视为同等服务能力的下游服务器转发大致相等的流量,导致一部分性能较好的服务器无法被充分利用,而另一部分性能较差的服务器却可能发生过载,严重影响服务稳定性和服务质量的技术问题,本申请提供的技术方案,能够在不同性能的服务器中均衡地部署容器,更加有效地均衡不同性能的服务器的负载,避免因容器部署而导致的影响服务稳定性和服务质量的问题。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是本申请实施例一提供的容器均衡部署的方法的流程示意图;
图2是本申请实施例二提供的容器均衡部署的方法的流程示意图;
图3是本申请实施例三提供的容器均衡部署的方法的流程示意图;
图4是本申请实施例四提供的容器均衡部署的装置的结构示意图;
图5是本申请实施例四提供的确定模块的装置的结构示意图
图6是用来实现本申请实施例的容器均衡部署的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
实施例一
图1是本申请实施例一提供的容器均衡部署的方法的流程示意图,该方法可以由容器均衡部署的装置或者电子设备来执行,该装置或者电子设备可以由软件和/或硬件的方式实现,该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示,容器均衡部署的方法可以包括以下步骤:
S101、接收容器部署指令;其中,容器部署指令中包括待部署的服务的需求信息。
容器技术是云技术中的一个重要内容。在云服务中,若希望通过容器的方式部署应用或提供服务,首先需要在集群(一组计算机)中确定一个目标节点(单个计算机)用于以部署容器。而对于目标节点的选择是具有一定要求的,这个用以部署容器的目标节点所能提供的资源(如:CPU性能、内存体积等)必须满足容器资源需求;因此,在部署容器之前,需要收集集群中所有节点的资源数据,然后在这些节点中确定满足容器资源需求的目标节点,完成容器的部署。
微服务架构是一种架构模式,它提倡将单一应用程序划分为一组小的服务,服务之间相互协调、相互配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务和服务之间采用轻量级的通信机制相互沟通,每个服务都围绕着具体的业务进行构建,并且能够被独立地部署到生产环境、类生产环境中。Docker容器是一种开源的应用容器引擎,其可以让开发者打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何Linux机器上。容器使用完全使用沙箱机制,相互之间没有任何接口,几乎没有性能开销,可以很容易地在机器和数据中心运行,并且容器不依赖于任何语言、框架和***。
在本申请的具体实施例中,电子设备可以接收容器部署指令;其中,容器部署指令中包括待部署的服务的需求信息。具体地,待部署的服务的需求信息包括:待部署的服务所需要的实例数以及每个实例所占用的算力配额。例如,假设待部署的服务所需要的实例数为20,每个实例所占用的额算力配额为10,则待部署的服务的需求值为:20×10=200。
S102、根据待部署服务的需求信息以及预先确定的各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在服务节点的集合中确定出待部署的服务对应的至少一个服务节点。
在本申请的具体实施例中,电子设备可以根据待部署服务的需求信息以及预先确定的各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在服务节点的集合中确定出待部署的服务对应的至少一个服务节点。较佳地,预定资源包括以下至少其中之一:CPU、内存、磁盘、网络带宽。具体地,电子设备可以先根据待部署的服务的需求信息,将待部署的服务划分为N个单元;其中,N为大于等于1的自然数;然后根据每个单元的需求信息以及各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在服务节点的集合中确定出每个单元对应的至少一个服务节点。例如,假设待部署的服务所需要的实例数为20,每个实例所占用的额算力配额为10,则待部署的服务的需求值为:20×10=200;假设服务节点的集合中包括:服务节点1、服务节点2和服务节点3;其中,服务节点1在当前时刻针对预定资源的实例服务能力的测量值为100;服务节点2在当前时刻针对预定资源的实例服务能力的测量值为50,服务节点3在当前时刻针对预定资源的实例服务能力的测量值为50,则在本步骤中,电子设备可以先将待部署的服务划分为三个单元,将第一单元部署在服务节点1中的测量值为100的预定资源中;将第二单元部署在服务节点2中的测量值为50的预定资源中;将第三单元部署在服务节点3中的测量值为50的预定资源中。
S103、将待部署的服务部署至少一个服务节点中的各个服务节点对应的容器中。
在本申请的具体实施例中,电子设备可以将待部署的服务部署至少一个服务节点中的各个服务节点对应的容器中。具体地,电子设备可以根据待部署的服务的需求信息,确定出至少一个服务节点中的各个服务节点对应的服务值;然后根据至少一个服务节点中的各个服务节点对应的服务值,以及预先确定的至少一个服务节点中的各个服务节点的总算力和总容器数,计算出至少一个服务节点中的各个服务节点分配给待部署的服务的容器数;再按照至少一个服务节点中的各个服务节点分配给待部署的服务的容器数,将待部署的服务部署至至少一个服务节点对应的容器中。
本申请实施例提出的容器均衡部署的方法,先接收容器部署指令;然后根据容器部署指令中的待部署服务的需求信息以及预先确定的各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在服务节点的集合中确定出待部署的服务对应的至少一个服务节点;再将待部署的服务部署至至少一个服务节点中的各个服务节点对应的容器中。也就是说,本申请可以根据待部署服务的需求信息以及预先确定的各个服务节点在当前时刻针对预定资源的实际服务能力的测量值实现容器部署。而在现有的容器部署的方法中,上游服务器向视为同等服务能力的下游服务器转发大致相等的流量,导致一部分性能较好的服务器无法被充分利用,而另一部分性能较差的服务器却可能发生过载,严重影响服务稳定性和服务质量。因为本申请采用了预先确定各个服务节点在当前时刻针对预定资源的实际服务能力的测量值的技术手段,克服了现有技术中无法在不同性能的服务器中均衡地部署容器的技术问题,本申请提供的技术方案,能够在不同性能的服务器中均衡地部署容器,更加有效地均衡不同性能的服务器的负载,避免因容器部署而导致的影响服务稳定性和服务质量的问题;并且,本申请实施例的技术方案实现简单方便、便于普及,适用范围更广。
实施例二
图2是本申请实施例二提供的容器均衡部署的方法的流程示意图。如图2所示,容器均衡部署的方法可以包括以下步骤:
S201、接收容器部署指令;其中,容器部署指令中包括待部署的服务的需求信息。
S202、根据待部署的服务的需求信息将待部署的服务划分为N个单元;其中,N为大于等于1的自然数。
在本申请的具体实施例中,电子设备可以根据待部署的服务的需求信息将待部署的服务划分为N个待部署单元;其中,N为大于等于1的自然数。具体地,电子设备可以先将待部署的服务所需要的实例数划分为N个实例单元;然后按照N个实例单元所包括的实例数以及每个实例所占用的算力配额,将待部署的服务划分为N个待部署单元。例如,假设待部署的服务所需要的实例数为20,则在本步骤中,可以先将待部署的服务所需要的实例数划分为三个实例单元;其中,第一个实例单元包括10个实例;第二个实例单元包括5个实例;第三个实例单元包括5个实例;由于每个实例所占用的算力配额为10,因此可以将待部署的服务划分为三个待部署单元;其中,第一个待部署单元的需求值为:10×10=100;第二个待部署单元的需求值为:5×10=50;第三个待部署单元的需求值为:5×10=50。
S203、根据每个待部署单元的需求信息以及各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在服务节点的集合中确定出每个待部署单元对应的服务节点。
在本申请的具体实施例中,电子设备可以根据每个待部署单元的需求信息以及各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在服务节点的集合中确定出每个待部署单元对应的服务节点。具体地,电子设备可以先在N个待部署单元中选择一个待部署单元作为当前待部署单元;然后在服务节点的集合中确定出一个服务节点作为当前待部署单元对应的服务节点;其中,当前待部署单元对应的服务节点在当前时刻针对预定资源的实际服务能力的测量值大于等于当前待部署单元的需求值;当前待部署单元的需求值等于当前待部署单元所需要的实例数乘以每个实例所占用的算力配额;重复执行上述操作,直到确定出N个待部署单元中的各个待部署单元对应的服务节点。
S204、将待部署的服务部署至至少一个服务节点中的各个服务节点对应的容器中。
在本申请的具体实施例中,电子设备可以将待部署的服务部署至至少一个服务节点中的各个服务节点对应的容器中。具体地,电子设备可以先根据每个待部署单元的需求值以及预先确定的至少一个服务节点中的各个服务节点的总算力和总容器数,计算出至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数;其中,每个待部署单元的需求值等于每个待部署单元所需要的实例数乘以每个实例所占用的算力配额;然后按照至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数,将每个待部署单元部署至与其对应的容器中。
较佳地,在本申请的具体实施例中,电子设备在接收容器部署指令之前,还可以采用预定资源对应的测量方式,对各个服务节点针对预定资源的实际服务能力进行基准性能测量,获取到各个服务节点在当前时刻针对预定资源的实际服务能力的测量值;然后将各个服务节点在当前时刻针对预定资源的实际服务能力的测量值保存至预设数据库中。具体地,预定格式为:各个服务节点的机器名/IP地址/针对预定资源的实际服务能力的测量值。
本申请实施例提出的容器均衡部署的方法,先接收容器部署指令;然后根据容器部署指令中的待部署服务的需求信息以及预先确定的各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在服务节点的集合中确定出待部署的服务对应的至少一个服务节点;再将待部署的服务部署至至少一个服务节点中的各个服务节点对应的容器中。也就是说,本申请可以根据待部署服务的需求信息以及预先确定的各个服务节点在当前时刻针对预定资源的实际服务能力的测量值实现容器部署。而在现有的容器部署的方法中,上游服务器向视为同等服务能力的下游服务器转发大致相等的流量,导致一部分性能较好的服务器无法被充分利用,而另一部分性能较差的服务器却可能发生过载,严重影响服务稳定性和服务质量。因为本申请采用了预先确定各个服务节点在当前时刻针对预定资源的实际服务能力的测量值的技术手段,克服了现有技术中无法在不同性能的服务器中均衡地部署容器的技术问题,本申请提供的技术方案,能够在不同性能的服务器中均衡地部署容器,更加有效地均衡不同性能的服务器的负载,避免因容器部署而导致的影响服务稳定性和服务质量的问题;并且,本申请实施例的技术方案实现简单方便、便于普及,适用范围更广。
实施例三
图3是本申请实施例三提供的容器均衡部署的方法的流程示意图。如图3所示,容器均衡部署的方法可以包括以下步骤:
S301、接收容器部署指令;其中,容器部署指令中包括待部署的服务的需求信息。
S302、根据待部署的服务的需求信息将待部署的服务划分为N个待部署单元;其中,N为大于等于1的自然数。
S303、根据每个单元的需求信息以及各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在服务节点的集合中确定出每个待部署单元对应的服务节点。
S304、根据每个待部署单元的需求值以及预先确定的至少一个服务节点中的各个服务节点的总算力和总容器数,计算出至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数。
在本申请的具体实施例中,电子设备可以根据每个待部署单元的需求值以及预先确定的至少一个服务节点中的各个服务节点的总算力和总容器数,计算出至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数。具体地,电子设备可以按照以下公式计算出至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数:其中,v表示至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数;q表示至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的需求值;t表示至少一个服务节点中的各个服务节点的总算力;c表示至少一个服务节点中的各个服务节点的总容器数。例如,假设某一个服务节点的总算力为100,该服务节点的总容器数为20,若该服务节点分配给与其对应的待部署单元的需求值为20,则该服务节点分配给与其对应的待部署单元的容器数为4。
S305、按照至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数,将每个待部署单元部署至与其对应的容器中。
在本申请的具体实施中,电子设备可以按照至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数,将每个待部署单元部署至与其对应的容器中。例如,某一个服务节点分配给与其对应的部署单元的容器数为4,则在本步骤中,电子设备可以将该部署单元部署至该服务节点的4个容器中。
需要说明的是,在本申请的具体实施例中,待部署的服务所需要的实例数以及每个实例所占用的算力配额可以根据实际性能测试的情况进行灵活调整,若算力配额设置太大,则会造成一定程度的算力碎片,并且如果有单机故障,那么造成的流量损失则会更大。若算力配额设置太小,则会导致一个机器上的实例太多,也会导致***上下文切换的负载变大。
上述容器部署方法主要为资源申请时静态分配策略,在实际生产环境运行时,同时要对资源使用进行实时监控和预警。对于负载较高的机器,需要动态迁移其中的容器到负载低的机器,通过动态运行时的实例迁移机制,进一步保证生产环境资源使用的均衡。另外,为了使线上服务质量更高,本申请还可以在整个流程中增加扩展功能,在部署容器时,增加更多的约束。例如:同一个服务在一台服务器上最多部署M个容器,其中,M为大于等于1的自然数;当无法满足需要申请的实例数时,可在算力空闲的服务器上部署超过M个,但不得超过M+1个,否则申请资源失败,避免服务器单个服务容器太密集,机器故障受损较大。
本申请实施例提出的容器均衡部署的方法,先接收容器部署指令;然后根据容器部署指令中的待部署服务的需求信息以及预先确定的各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在服务节点的集合中确定出待部署的服务对应的至少一个服务节点;再将待部署的服务部署至至少一个服务节点中的各个服务节点对应的容器中。也就是说,本申请可以根据待部署服务的需求信息以及预先确定的各个服务节点在当前时刻针对预定资源的实际服务能力的测量值实现容器部署。而在现有的容器部署的方法中,上游服务器向视为同等服务能力的下游服务器转发大致相等的流量,导致一部分性能较好的服务器无法被充分利用,而另一部分性能较差的服务器却可能发生过载,严重影响服务稳定性和服务质量。因为本申请采用了预先确定各个服务节点在当前时刻针对预定资源的实际服务能力的测量值的技术手段,克服了现有技术中无法在不同性能的服务器中均衡地部署容器的技术问题,本申请提供的技术方案,能够在不同性能的服务器中均衡地部署容器,更加有效地均衡不同性能的服务器的负载,避免因容器部署而导致的影响服务稳定性和服务质量的问题;并且,本申请实施例的技术方案实现简单方便、便于普及,适用范围更广。
实施例四
图4是本申请实施例四提供的容器均衡部署的装置的结构示意图。如图4所示,所述装置400包括:接收模块401、确定模块402和部署模块403;其中,
所述接收模块401,用于接收容器部署指令;其中,所述容器部署指令中包括待部署的服务的需求信息;
所述确定模块402,用于根据所述待部署服务的需求信息以及预先确定的各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值,在服务节点的集合中确定出所述待部署的服务对应的至少一个服务节点;
所述部署模块403,用于将所述待部署的服务部署至所述至少一个服务节点中的各个服务节点对应的容器中。
进一步的,所述装置还包括:测量模块404(图中未示出),用于采用所述预定资源对应的测量方式,对各个服务节点针对所述预定资源的实际服务能力进行基准性能测量,获取到各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值;将各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值保存至预设数据库中。
进一步的,所述待部署的服务的需求信息包括:所述待部署的服务所需要的实例数以及每个实例所占用的算力配额;所述预定资源包括以下至少其中之一:CPU、内存、磁盘、网络带宽。
图5是本申请实施例四提供的确定模块的装置的结构示意图。如图5所示,所述确定模块402包括:划分子模块4021和确定子模块4022;其中,
所述划分子模块4021,用于根据待部署的服务的需求信息将待部署的服务划分为N个待部署单元;其中,N为大于等于1的自然数;
所述确定子模块4022,用于根据每个待部署单元的需求信息以及各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在所述服务节点的集合中确定出每个待部署单元对应的服务节点;其中,所述待部署单元的需求信息包括:所述待部署单元所需要的实例数以及每个实例所占用的算力配额。
进一步的,所述确定子模块4022,具体用于根据每个待部署单元的需求值以及预先确定的所述至少一个服务节点中的各个服务节点的总算力和总容器数,计算出所述至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数;其中,每个待部署单元的需求值等于每个待部署单元所需要的实例数乘以每个实例所占用的算力配额;按照所述至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数,将每个待部署单元部署至与其对应的容器中。
进一步的,所述确定子模块4022,具体用于按照以下公式计算出所述至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数:其中,v表示所述至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数;q表示所述至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的需求值;t表示所述至少一个服务节点中的各个服务节点的总算力;c表示所述至少一个服务节点中的各个服务节点的总容器数。
上述容器均衡部署的装置可执行本申请任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请任意实施例提供的容器均衡部署的方法。
实施例五
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是根据本申请实施例的容器均衡部署的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的容器均衡部署的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的容器均衡部署的方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的容器均衡部署的方法对应的程序指令/模块(例如,附图4所示的接收模块401、确定模块402和部署模块403)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的容器均衡部署的方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据容器均衡部署的方法的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至容器均衡部署的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
容器均衡部署的方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与容器均衡部署的方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,先接收容器部署指令;然后根据容器部署指令中的待部署服务的需求信息以及预先确定的各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在服务节点的集合中确定出待部署的服务对应的至少一个服务节点;再将待部署的服务部署至至少一个服务节点中的各个服务节点对应的容器中。也就是说,本申请可以根据待部署服务的需求信息以及预先确定的各个服务节点在当前时刻针对预定资源的实际服务能力的测量值实现容器部署。而在现有的容器部署的方法中,上游服务器向视为同等服务能力的下游服务器转发大致相等的流量,导致一部分性能较好的服务器无法被充分利用,而另一部分性能较差的服务器却可能发生过载,严重影响服务稳定性和服务质量。因为本申请采用了预先确定各个服务节点在当前时刻针对预定资源的实际服务能力的测量值的技术手段,克服了现有技术中无法在不同性能的服务器中均衡地部署容器的技术问题,本申请提供的技术方案,能够在不同性能的服务器中均衡地部署容器,更加有效地均衡不同性能的服务器的负载,避免因容器部署而导致的影响服务稳定性和服务质量的问题;并且,本申请实施例的技术方案实现简单方便、便于普及,适用范围更广。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (14)
1.一种容器均衡部署的方法,其特征在于,所述方法包括:
接收容器部署指令;其中,所述容器部署指令中包括待部署的服务的需求信息;
根据所述待部署服务的需求信息以及预先确定的各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值,在服务节点的集合中确定出所述待部署的服务对应的至少一个服务节点;
将所述待部署的服务部署至所述至少一个服务节点中的各个服务节点对应的容器中。
2.根据权利要求1所述的方法,其特征在于,在所述接收容器部署指令之前,所述方法还包括:
采用所述预定资源对应的测量方式,对各个服务节点针对所述预定资源的实际服务能力进行基准性能测量,获取到各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值;
将各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值保存至预设数据库中。
3.根据权利要求1所述的方法,其特征在于,所述待部署的服务的需求信息包括:所述待部署的服务所需要的实例数以及每个实例所占用的算力配额;所述预定资源包括以下至少其中之一:CPU、内存、磁盘、网络带宽。
4.根据权利要求1所述的方法,其特征在于,所述根据所述待部署服务的需求信息以及预先确定的各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值,在服务节点的集合中确定出所述待部署的服务对应的至少一个服务节点,包括:
根据待部署的服务的需求信息将待部署的服务划分为N个待部署单元;其中,N为大于等于1的自然数;
根据每个待部署单元的需求信息以及各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在所述服务节点的集合中确定出每个待部署单元对应的服务节点;其中,所述待部署单元的需求信息包括:所述待部署单元所需要的实例数以及每个实例所占用的算力配额。
5.根据权利要求4所述的方法,其特征在于,所述将所述待部署的服务部署至所述至少一个服务节点中的各个服务节点对应的容器中,包括:
根据每个待部署单元的需求值以及预先确定的所述至少一个服务节点中的各个服务节点的总算力和总容器数,计算出所述至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数;其中,每个待部署单元的需求值等于每个待部署单元所需要的实例数乘以每个实例所占用的算力配额;
按照所述至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数,将每个待部署单元部署至与其对应的容器中。
7.一种容器均衡部署的装置,其特征在于,所述装置包括:接收模块、确定模块和部署模块;其中,
所述接收模块,用于接收容器部署指令;其中,所述容器部署指令中包括待部署的服务的需求信息;
所述确定模块,用于根据所述待部署服务的需求信息以及预先确定的各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值,在服务节点的集合中确定出所述待部署的服务对应的至少一个服务节点;
所述部署模块,用于将所述待部署的服务部署至所述至少一个服务节点中的各个服务节点对应的容器中。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:测量模块,用于采用所述预定资源对应的测量方式,对各个服务节点针对所述预定资源的实际服务能力进行基准性能测量,获取到各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值;将各个服务节点在所述当前时刻针对所述预定资源的实际服务能力的测量值保存至预设数据库中。
9.根据权利要求7所述的装置,其特征在于,所述待部署的服务的需求信息包括:所述待部署的服务所需要的实例数以及每个实例所占用的算力配额;所述预定资源包括以下至少其中之一:CPU、内存、磁盘、网络带宽。
10.根据权利要求7所述的装置,其特征在于,所述确定模块包括:划分子模块和确定子模块;其中,
所述划分子模块,用于根据待部署的服务的需求信息将待部署的服务划分为N个待部署单元;其中,N为大于等于1的自然数;
所述确定子模块,用于根据每个待部署单元的需求信息以及各个服务节点在当前时刻针对预定资源的实际服务能力的测量值,在所述服务节点的集合中确定出每个待部署单元对应的服务节点;其中,所述待部署单元的需求信息包括:所述待部署单元所需要的实例数以及每个实例所占用的算力配额。
11.根据权利要求10所述的装置,其特征在于:
所述确定子模块,具体用于根据每个待部署单元的需求值以及预先确定的所述至少一个服务节点中的各个服务节点的总算力和总容器数,计算出所述至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数;其中,每个待部署单元的需求值等于每个待部署单元所需要的实例数乘以每个实例所占用的算力配额;按照所述至少一个服务节点中的各个服务节点分配给与其对应的待部署单元的容器数,将每个待部署单元部署至与其对应的容器中。
13.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010496049.6A CN111666130A (zh) | 2020-06-03 | 2020-06-03 | 一种容器均衡部署的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010496049.6A CN111666130A (zh) | 2020-06-03 | 2020-06-03 | 一种容器均衡部署的方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111666130A true CN111666130A (zh) | 2020-09-15 |
Family
ID=72385871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010496049.6A Pending CN111666130A (zh) | 2020-06-03 | 2020-06-03 | 一种容器均衡部署的方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111666130A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112148494A (zh) * | 2020-09-30 | 2020-12-29 | 北京百度网讯科技有限公司 | 用于算子服务的处理方法、装置、智能工作站和电子设备 |
CN112214321A (zh) * | 2020-10-10 | 2021-01-12 | 中国联合网络通信集团有限公司 | 一种新增微服务的节点选择方法、装置及微服务管理平台 |
CN113360172A (zh) * | 2021-06-30 | 2021-09-07 | 平安普惠企业管理有限公司 | 应用部署方法、装置、计算机设备及存储介质 |
CN114039974A (zh) * | 2021-10-20 | 2022-02-11 | 支付宝(杭州)信息技术有限公司 | 一种云容器生成方法、装置、存储介质及电子设备 |
CN114995900A (zh) * | 2022-05-23 | 2022-09-02 | 中国联合网络通信集团有限公司 | 多个微服务模块的部署方法、装置及计算机可读存储介质 |
US20220398134A1 (en) * | 2021-06-11 | 2022-12-15 | International Business Machines Corporation | Allocation of services to containers |
CN114039974B (zh) * | 2021-10-20 | 2024-05-31 | 支付宝(杭州)信息技术有限公司 | 向用户提供设备服务的方法、装置、存储介质及电子设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105808347A (zh) * | 2014-12-31 | 2016-07-27 | 北京神州泰岳软件股份有限公司 | 集群服务器部署计算方法及装置 |
CN106126339A (zh) * | 2016-06-21 | 2016-11-16 | 青岛海信传媒网络技术有限公司 | 资源调整方法和装置 |
CN108170517A (zh) * | 2018-01-08 | 2018-06-15 | 武汉斗鱼网络科技有限公司 | 一种容器分配方法、装置、服务器及介质 |
CN108900435A (zh) * | 2018-06-20 | 2018-11-27 | 郑州云海信息技术有限公司 | 一种业务部署的方法、装置及计算机存储介质 |
CN109324802A (zh) * | 2018-09-29 | 2019-02-12 | 北京百度网讯科技有限公司 | 用于配置服务器的方法和装置 |
CN109891391A (zh) * | 2016-09-02 | 2019-06-14 | 皮沃塔尔软件公司 | 按需资源供应 |
CN109960579A (zh) * | 2017-12-22 | 2019-07-02 | 航天信息股份有限公司 | 一种调整业务容器的方法及装置 |
CN110417903A (zh) * | 2019-08-01 | 2019-11-05 | 广州知弘科技有限公司 | 一种基于云计算的信息处理方法和*** |
CN110597623A (zh) * | 2019-08-13 | 2019-12-20 | 平安普惠企业管理有限公司 | 容器资源分配方法、装置、计算机设备和存储介质 |
CN110764901A (zh) * | 2019-09-17 | 2020-02-07 | 阿里巴巴集团控股有限公司 | 基于gpu资源的数据处理方法、电子设备及*** |
US20200073717A1 (en) * | 2018-08-30 | 2020-03-05 | Intuit Inc. | Cost optimized dynamic resource allocation in a cloud infrastructure |
-
2020
- 2020-06-03 CN CN202010496049.6A patent/CN111666130A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105808347A (zh) * | 2014-12-31 | 2016-07-27 | 北京神州泰岳软件股份有限公司 | 集群服务器部署计算方法及装置 |
CN106126339A (zh) * | 2016-06-21 | 2016-11-16 | 青岛海信传媒网络技术有限公司 | 资源调整方法和装置 |
CN109891391A (zh) * | 2016-09-02 | 2019-06-14 | 皮沃塔尔软件公司 | 按需资源供应 |
CN109960579A (zh) * | 2017-12-22 | 2019-07-02 | 航天信息股份有限公司 | 一种调整业务容器的方法及装置 |
CN108170517A (zh) * | 2018-01-08 | 2018-06-15 | 武汉斗鱼网络科技有限公司 | 一种容器分配方法、装置、服务器及介质 |
CN108900435A (zh) * | 2018-06-20 | 2018-11-27 | 郑州云海信息技术有限公司 | 一种业务部署的方法、装置及计算机存储介质 |
US20200073717A1 (en) * | 2018-08-30 | 2020-03-05 | Intuit Inc. | Cost optimized dynamic resource allocation in a cloud infrastructure |
CN109324802A (zh) * | 2018-09-29 | 2019-02-12 | 北京百度网讯科技有限公司 | 用于配置服务器的方法和装置 |
CN110417903A (zh) * | 2019-08-01 | 2019-11-05 | 广州知弘科技有限公司 | 一种基于云计算的信息处理方法和*** |
CN110597623A (zh) * | 2019-08-13 | 2019-12-20 | 平安普惠企业管理有限公司 | 容器资源分配方法、装置、计算机设备和存储介质 |
CN110764901A (zh) * | 2019-09-17 | 2020-02-07 | 阿里巴巴集团控股有限公司 | 基于gpu资源的数据处理方法、电子设备及*** |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112148494A (zh) * | 2020-09-30 | 2020-12-29 | 北京百度网讯科技有限公司 | 用于算子服务的处理方法、装置、智能工作站和电子设备 |
CN112148494B (zh) * | 2020-09-30 | 2023-07-25 | 北京百度网讯科技有限公司 | 用于算子服务的处理方法、装置、智能工作站和电子设备 |
CN112214321A (zh) * | 2020-10-10 | 2021-01-12 | 中国联合网络通信集团有限公司 | 一种新增微服务的节点选择方法、装置及微服务管理平台 |
CN112214321B (zh) * | 2020-10-10 | 2023-06-16 | 中国联合网络通信集团有限公司 | 一种新增微服务的节点选择方法、装置及微服务管理平台 |
US20220398134A1 (en) * | 2021-06-11 | 2022-12-15 | International Business Machines Corporation | Allocation of services to containers |
CN113360172A (zh) * | 2021-06-30 | 2021-09-07 | 平安普惠企业管理有限公司 | 应用部署方法、装置、计算机设备及存储介质 |
CN113360172B (zh) * | 2021-06-30 | 2024-02-27 | 李建 | 应用部署方法、装置、计算机设备及存储介质 |
CN114039974A (zh) * | 2021-10-20 | 2022-02-11 | 支付宝(杭州)信息技术有限公司 | 一种云容器生成方法、装置、存储介质及电子设备 |
CN114039974B (zh) * | 2021-10-20 | 2024-05-31 | 支付宝(杭州)信息技术有限公司 | 向用户提供设备服务的方法、装置、存储介质及电子设备 |
CN114995900A (zh) * | 2022-05-23 | 2022-09-02 | 中国联合网络通信集团有限公司 | 多个微服务模块的部署方法、装置及计算机可读存储介质 |
CN114995900B (zh) * | 2022-05-23 | 2024-05-14 | 中国联合网络通信集团有限公司 | 多个微服务模块的部署方法、装置及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111666130A (zh) | 一种容器均衡部署的方法、装置、电子设备及存储介质 | |
US10389598B2 (en) | Container management and application ingestion engine | |
US11088961B2 (en) | Monitoring data streams and scaling computing resources based on the data streams | |
US11416308B2 (en) | Distributed load balancing for processing of high-volume data streams | |
US9680708B2 (en) | Method and apparatus for cloud resource delivery | |
US20130205005A1 (en) | Allocation and balancing of storage resources | |
US20070233838A1 (en) | Method for workload management of plural servers | |
CN107534570A (zh) | 虚拟化网络功能监控 | |
JP2022003507A (ja) | ストレステスト方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム | |
US10394971B2 (en) | Hybrid simulation of a computing solution in a cloud computing environment with a simplified computing solution and a simulation model | |
CN111913670B (zh) | 负载均衡的处理方法、装置、电子设备及存储介质 | |
CN110489238A (zh) | 节点检测方法、装置、电子设备及存储介质 | |
CN111835592A (zh) | 用于确定健壮性的方法、装置、电子设备及可读存储介质 | |
CN114911598A (zh) | 任务调度方法、装置、设备以及存储介质 | |
CN116319240A (zh) | 使用用于确定性微服务性能的交互式矩阵的规模化遥测 | |
CN111865720A (zh) | 用于处理请求的方法、装置、设备以及存储介质 | |
CN111740859A (zh) | 一种测试环境的部署方法、装置、电子设备及存储介质 | |
Datt et al. | Analysis of infrastructure monitoring requirements for OpenStack Nova | |
CN112965836B (zh) | 服务控制方法、装置、电子设备及可读存储介质 | |
CN110609744A (zh) | 处理计算任务的方法、设备和计算机程序产品 | |
CN111416860B (zh) | 基于区块链的事务处理方法、装置、电子设备和介质 | |
CN112181605A (zh) | 负载均衡方法、装置、电子设备和计算机可读介质 | |
JP2014134904A (ja) | 仮想マシン管理プログラム及びその方法 | |
CN111292223A (zh) | 图计算的处理方法、装置、电子设备及存储介质 | |
US20170134238A1 (en) | Physical machine management device and physical machine management method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |