CN109144734A - 一种容器资源配额分配方法和装置 - Google Patents

Abstract

本发明公开了一种容器资源配额分配方法和装置。涉及计算集群技术，解决了容器计算资源分配的问题。该方法包括：监控计算机集群及容器，收集得到历史运行数据；根据所述历史运行数据，生成各容器的资源配额配置方案；根据所述资源配额配置方案启动容器应用或任务。本发明提供的技术方案适用于容器运算，实现了基于实际资源使用情况的容器资源配置。

Description

一种容器资源配额分配方法和装置

技术领域

本发明涉及计算集群技术，尤指一种容器资源配额分配方法和装置。

背景技术

容器是轻量级的操作***级虚拟化，可以在一个资源隔离的进程中运行应用及其依赖项。运行应用程序所必需的组件都将打包成一个镜像并可以复用。执行镜像时，镜像会运行在一个隔离环境中，并且不会共享宿主机的内存、CPU、GPU以及磁盘，这就保证了容器内进程不能监控容器外的任何进程。容器启动运行时的资源初始分配往往决定了容器中任务的运行效率，合理的资源配额分配既能够保障容器的稳定高效的运行又能充分的利用计算资源来完成所要求的任务。

发明内容

为了解决上述技术问题，本发明提供了一种容器资源配置分配依法和装置，解决了容器计算资源分配的问题。

为了达到本发明目的，本发明提供了一种容器资源配额分配方法，包括：

监控计算机集群及容器，收集得到历史运行数据；

根据所述历史运行数据，生成各容器的资源配额配置方案；

根据所述资源配额配置方案启动容器应用或任务。

优选的，所述历史运行数据包括CPU、GPU、内存、磁盘使用率和运行总时长，所述监控计算机集群及容器，收集得到历史运行数据的步骤包括：

收集正在运行的容器的运行状态实时日志文件；

按照不同的容器应用类型对所述运行状态实时日志文件进行归类；

提取归类后运行状态实时日志文件中的CPU、GPU、内存、磁盘使用率和运行总时长信息，生成历史运行数据，形成数据库。

优选的，根据所述历史运行数据，生成各容器的资源配额配置方案的步骤包括：

根据所述历史运行数据，分析不同类型容器应用和/或容器任务的资源使用情况；

使用分析结果，生成优化的各容器的资源配额配置方案。

优选的，所述资源配额配置方案中包含以下任一或任意多项资源的配置信息：

CPU、GPU、内存。

本发明还提供了一种容器资源配额分配装置，包括：

监控模块，用于监控计算机集群及容器，收集得到历史运行数据；

深度学习模块，用于根据所述历史运行数据，生成各容器的资源配额配置方案；

配置执行模块，用于根据所述资源配额配置方案启动容器应用或任务。

优选的，所述历史运行数据包括CPU、GPU、内存、磁盘使用率和运行总时长，所述监控模块包括：

日志采集单元，用于收集正在运行的容器的运行状态实时日志文件；

日志归类单元，用于按照不同的容器应用类型对所述运行状态实时日志文件进行归类；

数据预处理单元，用于提取归类后运行状态实时日志文件中的CPU、GPU、内存、磁盘使用率和运行总时长信息，生成历史运行数据，形成数据库。

优选的，所述深度学习模块包括：

分析单元，用于根据所述历史运行数据，分析不同类型容器应用和/或容器任务的资源使用情况；

方案生成单元，用于使用分析结果，生成优化的各容器的资源配额配置方案。

本发明提供了一种容器资源配额分配方法和装置，监控计算机集群及容器，收集得到历史运行数据，根据所述历史运行数据，生成各容器的资源配额配置方案，然后根据所述资源配额配置方案启动容器应用或任务。实现了基于实际资源使用情况的容器资源配置，解决了容器计算资源分配的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明的一实施例提供的一种容器资源配额分配方法的流程示意图；

图2为图1中步骤101的具体流程示意图；

图3为图1中步骤102的具体流程示意图；

图4为本发明的一实施例提供的一种容器资源配额分配方法的实现原理示意图；

图5为本发明的一实施例提供的一种容器资源配额分配装置的结构示意图；

图6为图5中监控模块501的结构示意图；

图7为图5中深度学习模块502的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

执行镜像时，它会运行在一个隔离环境中，并且不会共享宿主机的内存、CPU、GPU以及磁盘，这就保证了容器内进程不能监控容器外的任何进程。容器启动运行时的资源初始分配往往决定了容器中任务的运行效率，合理的资源配额分配既能够保障容器的稳定高效的运行又能充分的利用计算资源来完成所要求的任务。

为了解决容器计算资源分配的问题，本发明的实施例提供了一种容器资源配额分配方法和装置，利用深度学习技术对历史监测数据进行分析，然后生成针对不同容器应用/任务的资源配额合理分配的解决方案。下面结合附图，对本发明的实施例进行详细说明。

本发明的一实施例提供了一种窗口资源配额分配方法，使用该方法完成容器资源配置的流程如图1所示，包括：

步骤101、监控计算机集群及容器，收集得到历史运行数据。

本发明实施例中，所述历史运行数据包括CPU、GPU、内存、磁盘使用率和运行总时长。

可采用cAdvisor等第三方开源软件，对正在运行的容器、计算集群、容器内任务的状态进行实时监控，对CPU，GPU，内存，容器的运行状态有实时日志文件输出并保存记录。数据的预处理包括首先对各种不同的容器应用类型归类，然后对历史监控数据中的CPU、GPU、内存、磁盘使用率和运行总时长进行查询和记录形成数据库，同一类同一种容器应用或任务尽可能的多采集在不同时间、不同状况下的运行记录以具有普适性。

本步骤具体如图2所示，包括：

步骤1011、收集正在运行的容器的运行状态实时日志文件。

步骤1012、按照不同的容器应用类型对所述运行状态实时日志文件进行归类。

步骤1013、提取归类后运行状态实时日志文件中的CPU、GPU、内存、磁盘使用率和运行总时长信息，生成历史运行数据，形成数据库。

步骤102、根据所述历史运行数据，生成各容器的资源配额配置方案。

所述资源配额配置方案中包含以下任一或任意多项资源的配置信息：CPU、GPU、内存。

本步骤中，利用深度学习对预处理后的数据进行训练和分析，提出优化的资源配额配置方案。通过对容器应用或者任务和计算集群的CPU、GPU、内存和磁盘利用率和运行总时长的监控信息分析不同类型容器应用和任务的资源使用情况，然后根据训练得出优化后的容器资源配额方案，帮助在启动容器应用或者任务时自动配置好容器的CPU、GPU、内存等计算资源。

本步骤具体如图3所示，包括：

步骤1021、根据所述历史运行数据，分析不同类型容器应用和/或容器任务的资源使用情况；

步骤1022、使用分析结果，生成优化的各容器的资源配额配置方案。

可将生成的资源配额配置方案存储至解决方案数据库。

步骤103、根据所述资源配额配置方案启动容器应用或任务。

本步骤中，在需要启动容器应用或任务时，首先访问解决方案数据库获取资源配额配置方案，然后根据该资源配额配置方案进行资源调度，为容器应用或者任务分配起始运行资源。

本发明的一实施例还提供了一种容器资源配额分配方法，通过对容器、计算集群以及容器内任务状态、容器中应用的监控信息历史数据进行深度学习分析，进行综合评估，然后针对不同类型的容器应用、容器任务制定针对性强的容器资源配额分配方法，这样可以提高闲置资源的利用率，根据深度学习给出的资源配额分配方案给容器应用或者任务分配起始运行资源，这样既能够保障容器的稳定高效的运行又能充分的利用计算资源来完成所要求的任务。

本发明实施例主要包括深度学习进行分析数据和提出优化方案，经过预处理的容器状态、计算集群资源、容器内应用或者任务的状态监控信息的历史数据。

实现原理如图4所示，具体实施过程如下：

1)通过第三方开源的容器、计算集群、容器任务的监控工具对容器的资源使用，计算集群的在用和闲置资源进行实时监控和记录，同一类同一种容器应用或任务尽可能的多采集不同时间、不同状况下的运行记录以具有普适性。

2)实时监控的容器、容器内任务、计算集群的资源利用信息进行转存，统一归类记录到一个数据库进行存储。

3)历史监控信息数据的预处理会对已经记录在数据库中的容器应用或者任务的CPU，GPU，内存，容器的运行状态的数据进行分析和处理，预处理包括首先对各种不同的容器应用类型归类，提取数据库中的关键信息，如历史监控数据中的CPU、GPU、内存、磁盘使用率和运行总时长进行查询和记录行成数据库，然后归类和按类别的形成能够被深度学习算法所使用的数据形式。

4)深度学习进行分析数据和提出优化方案：通过对容器应用或者任务和计算集群的CPU、GPU、内存和磁盘利用率和运行总时长的监控信息分析不同类型容器应用和任务的资源使用情况，然后根据训练得出优化后的容器资源配额方案，并相应的保存成能被访问的数据库，在启动容器应用或者任务时，任务调度程序可以访问数据库并自动配置好容器的CPU、GPU、内存等计算资源。

本发明的一实施例还提供了一种容器资源配额分配装置，其结构如图5所示，包括：

监控模块501，用于监控计算机集群及容器，收集得到历史运行数据；

深度学习模块502，用于根据所述历史运行数据，生成各容器的资源配额配置方案；

配置执行模块503，用于根据所述资源配额配置方案启动容器应用或任务。

优选的，所述历史运行数据包括CPU、GPU、内存、磁盘使用率和运行总时长，所述监控模块501的结构如图6所示，包括：

日志采集单元5011，用于收集正在运行的容器的运行状态实时日志文件；

日志归类单元5012，用于按照不同的容器应用类型对所述运行状态实时日志文件进行归类；

数据预处理单元5013，用于提取归类后运行状态实时日志文件中的CPU、GPU、内存、磁盘使用率和运行总时长信息，生成历史运行数据，形成数据库。

优选的，所述深度学习模块502的结构如图7所示，包括：

分析单元5021，用于根据所述历史运行数据，分析不同类型容器应用和/或容器任务的资源使用情况；

方案生成单元5022，用于使用分析结果，生成优化的各容器的资源配额配置方案。

本发明的实施例提供了一种容器资源配额分配方法和装置，监控计算机集群及容器，收集得到历史运行数据，根据所述历史运行数据，生成各容器的资源配额配置方案，然后根据所述资源配额配置方案启动容器应用或任务。实现了基于实际资源使用情况的容器资源配置，解决了容器计算资源分配的问题。

通过对容器、计算集群或者容器内任务状态、容器中应用的监控信息历史数据进行深度学习分析，进行综合的评估，然后针对不同类型的容器应用、容器中的任务指定针对性强的容器资源配额分配方法，这样可以提高闲置资源的利用率，根据深度学习给出的资源配额分配方案给容器应用或者任务分配起始运行资源，这样既能够保障容器的稳定高效的运行又能充分的利用计算资源来完成所要求的任务。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (7)

1.一种容器资源配额分配方法，其特征在于，包括：

监控计算机集群及容器，收集得到历史运行数据；

根据所述历史运行数据，生成各容器的资源配额配置方案；

根据所述资源配额配置方案启动容器应用或任务。

2.根据权利要求1所述的容器资源配额分配方法，其特征在于，所述历史运行数据包括CPU、GPU、内存、磁盘使用率和运行总时长，所述监控计算机集群及容器，收集得到历史运行数据的步骤包括：

收集正在运行的容器的运行状态实时日志文件；

按照不同的容器应用类型对所述运行状态实时日志文件进行归类；

提取归类后运行状态实时日志文件中的CPU、GPU、内存、磁盘使用率和运行总时长信息，生成历史运行数据，形成数据库。

3.根据权利要求2所述的容器资源配额分配方法，其特征在于，根据所述历史运行数据，生成各容器的资源配额配置方案的步骤包括：

根据所述历史运行数据，分析不同类型容器应用和/或容器任务的资源使用情况；

使用分析结果，生成优化的各容器的资源配额配置方案。

4.根据权利要求3所述的容器资源配额分配方法，其特征在于，所述资源配额配置方案中包含以下任一或任意多项资源的配置信息：

CPU、GPU、内存。

5.一种容器资源配额分配装置，其特征在于，包括：

监控模块，用于监控计算机集群及容器，收集得到历史运行数据；

深度学习模块，用于根据所述历史运行数据，生成各容器的资源配额配置方案；

配置执行模块，用于根据所述资源配额配置方案启动容器应用或任务。

6.根据权利要求5所述的容器资源配额分配装置，其特征在于，所述历史运行数据包括CPU、GPU、内存、磁盘使用率和运行总时长，所述监控模块包括：

日志采集单元，用于收集正在运行的容器的运行状态实时日志文件；

日志归类单元，用于按照不同的容器应用类型对所述运行状态实时日志文件进行归类；

数据预处理单元，用于提取归类后运行状态实时日志文件中的CPU、GPU、内存、磁盘使用率和运行总时长信息，生成历史运行数据，形成数据库。

7.根据权利要求6所述的容器资源配额分配装置，其特征在于，所述深度学习模块包括：

分析单元，用于根据所述历史运行数据，分析不同类型容器应用和/或容器任务的资源使用情况；

方案生成单元，用于使用分析结果，生成优化的各容器的资源配额配置方案。