CN114625474A - 容器迁移方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种容器迁移方法、装置、电子设备及存储介质。该方法包括：确定部署在第一服务器内的各个备选容器的资源消耗比率；其中，所述资源消耗比率为：对应备选容器消耗的资源量与所述第一服务器内具备的资源量之间的比值；确定部署在第一服务器内的各个备选容器的资源增长率；根据各所述资源消耗比率及各所述资源增长率，从各个备选容器中确定待迁出所述第一服务器的目标容器；将所述目标容器迁移至第二服务器；其中，所述第二服务器的负载率低于所述第一服务器的负载率。

Description

容器迁移方法、装置、电子设备及存储介质

技术领域

本发明涉及容器迁移技术领域，尤其涉及一种容器迁移方法、装置、电子设备及存储介质。

背景技术

随着云计算技术的迅猛发展，目前资源大多部署在云服务器上，在容器技术出现前，虚拟机一直都是云计算平台的重要载体。由于虚拟机的运维和管理的成本较高，配置较为杂乱。而容器技术的出现有效的解决的传统虚拟机的配置麻烦、不易维护的问题，并且由于容器启动快、占用资源少等特点，逐渐被大家所使用。

但是在服务器集群中，由于不同服务器上所部署的容器的数量通常不同，并且不同的容器所消耗的服务器资源也可能不同，这样往往会导致服务器集群中的不同服务器之间出现负载不均衡的问题，比如某个或某几个服务器负载过大，而其他服务器负载不足。

发明内容

本发明实施例提供一种容器迁移方法、装置、电子设备及存储介质。

本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供一种容器迁移方法，包括：

确定部署在第一服务器内的各个备选容器的资源消耗比率；其中，所述资源消耗比率为：对应备选容器消耗的资源量与所述第一服务器内具备的资源量之间的比值；

确定部署在第一服务器内的各个备选容器的资源增长率；

根据各所述资源消耗比率及各所述资源增长率，从各个备选容器中确定待迁出所述第一服务器的目标容器；

将所述目标容器迁移至第二服务器；其中，所述第二服务器的负载率低于所述第一服务器的负载率。

第二方面，本发明实施例提供一种容器迁移装置，包括：

确定模块，用于确定部署在第一服务器内的备选容器的资源消耗比率；确定部署在第一服务器内的备选容器的资源增长率；根据所述资源消耗比率及所述资源增长率，确定待迁出所述第一服务器的目标容器；

迁移模块，用于将所述目标容器迁移到第二服务器。

第三方面，本发明实施例提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现如前述一个或多个技术方案提供的容器迁移方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述一个或多个技术方案提供的容器迁移方法。

本发明实施例提供的一种容器迁移方法、装置、电子设备及存储介质。通过确定部署在第一服务器内的备选容器的资源消耗比率；确定部署在第一服务器内的备选容器的资源增长率；根据所述资源消耗比率及所述资源增长率，确定待迁出所述第一服务器的目标容器；将所述目标容器迁移到第二服务器。

如此，根据资源消耗比率和资源增长率，从备选容器中选择出资源消耗比率高、资源增长率高的目标容器，并将目标容器从第一服务器迁移至第二服务器，既能够缓解第一服务器的负载压力，实现服务器间的负载均衡；也能更多的容器运行在负载率低的服务器上，从而能够获得更快的响应速率和容器服务质量。

附图说明

图1是一种基于用户空间的检查点/恢复(Checkpoint/Restore In Userspace，CRIU)工具进行热迁移的示意图；

图2是另一种基于CRIU工具进行热迁移的示意图；

图3是基于预拷贝的容器迁移方法的流程示意图；

图4是本发明实施例提供的一种容器迁移方法的流程示意图；

图5是图4对应实施例中目标容器确定步骤的细节流程示意图；

图6是图4对应实施例中目标容器迁移至第二服务器步骤的细节流程示意图；

图7是本发明实施例提供的一种容器迁移装置的结构示意图；

图8是本发明实施例提供的一种目标容器确定方法的流程示意图；

图9是本发明实施例提供的一种目标容器迁移方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

相关技术中，容器迁移过程可分为服务器和目标容器的确定和目标容器的迁移两个步骤。

对于服务器和目标容器确定过程来说，相关技术中通常通过遍历所有的备选服务器，执行top指令，不断将负载最大和最小的服务器进行记录更新，选出待迁出(负载最大)和待迁入(负载最小)的服务器，然后在待迁出的服务器中，找出资源消耗最大的容器作为目标容器。但由于服务器本身消耗的资源是动态，仅根据容器的资源消耗情况确定目标容器的方法，无法有效的缓解服务器的负载压力。

而对于目标容器的迁移过程来说，为了将源服务器上的目标容器运行时的内存、文件***以及网络链接等状态信息迁移至目标服务器，同时保证目标容器迁移到目标服务器后能够正常运行。相关技术中目标容器的迁移方法可分为：

1.冷迁移的方式，即在迁移的时候，将容器上所运行的业务停止，并将容器从源服务器迁移到目标服务器。但这种冷迁移方式需要中断业务。

2.热迁移的方式，即通过在源服务器将容器服务的运行状态保存下来，然后传输到目标服务器，在目标服务器上恢复服务。这种热迁移方式对用户的业务影响非常小。

容器的热迁移通常通过调用进程热迁移工具CRIU来实现，CRIU可冻结容器的进程，将冻结的进程文件传输至目标服务器，利用这些进程文件还原被冻结的进程，在目标服务器上恢复服务。如图1、图2所示，图1是一种基于CRIU工具进行热迁移的示意图，图2是另一种基于CRIU工具进行热迁移的示意图。

相关技术中有很多热迁移方案都在虚拟机上有较为成熟的应用，而对于容器的热迁移还没有一套非常成熟的解决方案。

学术界参照了虚拟机热迁移的模式，提出了容器的“停止-拷贝”和“预拷贝”迁移策略，实现容器的热迁移。例如，如图3所示，图3是基于预拷贝的容器迁移方法的流程示意图。通过迭代拷贝的方式进行容器迁移，但是容器内的内存页存在更改，这种方式会使得更改非常小的内存页被重复传输，降低了容器迁移效率。

本发明实施例提供一种容器迁移方法，图4是本发明实施例提供的一种容器迁移方法的流程示意图，如图4所示，包括以下步骤：

步骤401，确定部署在第一服务器内的各个备选容器的资源消耗比率；其中，所述资源消耗比率为：对应备选容器消耗的资源量与所述第一服务器内具备的资源量之间的比值；

步骤402，确定部署在第一服务器内的各个备选容器的资源增长率；

步骤403，根据各所述资源消耗比率及各所述资源增长率，从各个备选容器中确定待迁出所述第一服务器的目标容器；

步骤404，将所述目标容器迁移至第二服务器；其中，所述第二服务器的负载率低于所述第一服务器的负载率。

在本发明实施例中，所述备选容器可为虚拟化容器，例如Docker容器、containerd容器、cri-o容器或rkt容器。

需要说明的是，容器为应用程序提供了隔离的运行空间；每个容器内都包含一个独享的完整用户环境空间，并且一个容器内的变动不会影响其他容器的运行环境。因而，对目标容器进行迁移，并不会影响到第一服务器内其他备选容器的运行。

考虑到由于各个容器对应的服务所消耗的资源是动态的，为了更准确的确定出目标容器，本发明实施例根据所述备选容器的资源消耗比率和资源增长率，综合确定目标容器，从而既能够保证第一服务器的负载压力降低，也能保证在一段时间内不会因为容器业务消耗的资源增长而再次过载。

在实际应用中，所述资源消耗比率是：所述第一服务器内的对应备选容器消耗资源量与所述第一服务器内包含的资源量的比值。例如，第一服务器内运行容器1、容器2一直到容器N。N可为大于2的任意正整数。

容器n的资源消耗比率为：容器n消耗的资源量比上所述第一服务器内所包含的总资源。n为小于或等于N的任意正整数。

在一些实施例中，可通过容器的可视化管理工具(如DockerUI、Portainer或shipyard)，直接查看所述备选容器的资源消耗情况，例如，查看备选容器的资源消耗总量。

在本发明实施例中，备选容器可为部署在第一服务器中的任意容器，此处的“备选容器”的含义为：被选择为迁移到第二服务器的潜在容器。

在一些实施例中，可通过获取所述备选容器的资源消耗情况和所述第一服务器的资源数量；根据所述备选容器的资源消耗情况与所述第一服务器的资源数量，确定所述备选容器对应的资源消耗比值。

在本发明实施例中，所述资源增长率为单位时间内所述备选容器的数据增长率；可根据所述备选容器的资源消耗比值的增长情况，确定单位时间内所述备选容器的数据增长率。

在步骤403中，可根据分别根据各所述资源消耗比率和各所述资源增长率对所述备选容器进行排序，并根据两个排序结果，从各个备选容器中确定出待迁出所述第一服务器的目标容器。

例如，第一服务器内包含有4个备选容器，分别为容器A、容器B、容器C和容器D；分别获取所述容器A、容器B、容器C和容器D的资源消耗比率和资源增长率，根据资源消耗比率从大到小进行排序，得到排序结果依次为：容器A、容器D、容器C、容器B；根据资源消耗增长率从大到小进行排序，得到排序结果依次为，容器B、容器A、容器C、容器D；可分别获取两个排序结果的第一和第二；并对两个排序结果的第一和第二取交集，根据得到的交集(即容器A)确定目标容器。

在步骤404中，所述目标容器内包含有静态数据和动态数据，其中，静态数据可包括：目标容器的基本镜像文件；所述动态数据可包括：目标容器的运行数据，通常存储在内存中。

所述静态数据为修改频次低于动态数据的数据。例如，静态数据的修改频次可为低于频次阈值的数据，动态数据可为高于频次阈值的数据。

这里，所述静态数据是指运行过程中作为控制或参考用的数据，一般不会随运行而改变；例如，config配置文件、images镜像文件等。而所述动态数据是指在***应用中随时间变化而改变的数据。动态数据是用于反映运行过程的数据，修改频率较高，因而存储在内存中；例如，容器对应的进程数据、文件的读写数据等。所述目标容器的基本镜像文件包含有目标容器的文件***里的内容，是创建所述目标容器的基础。

在一些实施例中，在将所述目标容器迁移到第二服务器之前，基于第一服务器与第二服务器之间的网络连接，优先将所述目标容器的静态数据迁移至所述第二服务器；并在所述静态数据迁移成功后，将所述目标容器内包含的内存页迁移至第二服务器。

在实际应用中，所述目标容器的静态数据可包括所述目标容器的配置信息；其中，所述目标容器的配置信息可用于重构出目标容器的创建命令，以便于根据所述目标容器的配置信息，在第二服务器重建的容器中重现所述目标容器的配置。

在一些实施例中，所述方法还包括：

在将所述目标容器成功迁移到所述第二服务器之后，删除所述第一服务器中的所述目标容器。

将所述目标容器迁移到第二服务器，包括：

根据第一服务器中的目标容器的状态信息，建立与所述第一服务器中状态相同的所述目标容器；

将所述第一服务器中的所述目标容器的内存页，迁移到所述第二服务器的所述目标容器。

其中，所述状态信息包括以下至少之一：

运行状态信息，指示所述目标容器的运行状态；

属性状态信息，指示所述目标容器的属性，例如，所述目标容器的属性包括：存储属性、计算属性和/或计算和存储属性混合属性。

可选地，如图5所示，图5是图4对应实施例中目标容器确定步骤的细节流程示意图。步骤403包括：

步骤4031，根据各所述资源消耗比率、与各所述资源消耗比率对应的第一权值、各所述资源增长率及与各所述资源增长率对应的第二权值，确定迁移值；所述迁移值用于表征对应备选容器的迁移概率；

步骤4032，根据所述迁移值，从所述各个备选容器中选择所述目标容器。

所述迁移值可为：从所述备选容器中选择目标容器的参考参数值。

在一个实施例中，根据所述迁移值，确定所述备选容器中是否有满足迁移条件的目标容器，若有备选容器满足迁移条件的备选容器，则将满足迁移条件的备选容器作为待迁移到第二服务器的目标容器。

例如，满足迁移条件的备选容器，包括：

迁移值位于迁移条件设置的预设范围内的备选容器，为所述满足迁移条件的备选容器。

在本发明实施例中，所述迁移值用于表征对应备选容器的迁移概率；若迁移值与迁移概率正相关，即迁移值越大，则对应备选容器作为目标容器的迁移概率越大，则此时，所述迁移值大于预设范围设置对应的迁移下限阈值，可认为：满足迁移条件。若迁移值与迁移概率负相关，即迁移值越小，则对应备选容器作为目标容器的迁移概率越大，则此时，所述迁移值小于预设范围设置对应的迁移下限阈值，可认为：满足迁移条件。

在另一些实施例中，根据迁移值，从备选容器中选择至少一个目标容器。对迁移值进行排序，根据排序结果，在迁移值与迁移概率正相关时选择排序靠前的一个或多个迁移值对应的备选容器作为所述目标容器；或者，在迁移值与迁移概率负相关时选择排序靠前的一个或多个迁移值对应的备选容器作为所述目标容器。

在一些实施例中，可通过下式，确定所述目标容器的迁移值：

迁移值＝资源消耗比率*第一权值+资源增长率*第二权值；

其中，所述第一权值和第二权值可根据用户需求进行设置，例如，若用户认为容器的资源消耗比率更重要，可将第一权值设置的较大。

通过所述备选容器的资源消耗比率和资源增长率之和，确定所述备选容器的迁移值，根据所述迁移值，将第一服务器中资源增长率高，且资源消耗比率高的备选容器确定为目标容器，通过对目标容器的迁移，保证第一服务器的负载压力降低，同时也能保证在一段时间内，第一服务器不会因为容器业务资源的增长而再次过载。

在一些实施例中，还可根据所述第一服务器的负载率、所述备选容器的资源消耗比率、与所述资源消耗比率对应的第一权值、所述资源增长率及与所述资源增长率对应的第二权值，确定迁移值。

在步骤4032中，可根据所述迁移值，对所述各个备选容器进行排序，根据所述排序结果，从所述各个备选容器中选择出至少一个所述目标容器。

在一些实施例中，所述第一权值可为预设值或默认值。所述第一权值的默认值可为1；在另一些实施例中，所述第一权值可以根据第一服务器的类型和/或第一服务器的资源调度策略等，预先设置所述第一权值的预设值为0到1之间的任意数值。

可选地，步骤4031包括：

从所述各个备选容器中，选择出资源消耗比率最高的N个参加所述迁移值计算的备选容器。

这里，所述N为小于1的整数。

在实际应用中，为了降低计算量，可先根据所述各个备选容器的资源消耗比值，对所述各个备选容器进行排序；根据所述排序结果，从所述各个备选容器中选择出资源消耗比值最高的N个备选容器。再获取所述N个备选容器的资源增长率；根据所述N个备选容器的资源增长率和资源消耗比值，计算所述N个备选容器的迁移值。根据所述迁移值，对所述N个备选容器进行排序；根据所述排序结果，从所述N个备选容器中确定出至少一个目标容器。

可选地，所述方法还包括：

根据所述备选容器的服务类型，确定所述第二权值。

在实际应用中，可根据备选容器对应的服务类型的重要性，确定所述备选容器对应的所述第二权重。例如，若容器A对应的服务类型是存储数据，容器B对应的服务类型是云计算，则容器A对应的第二权重小于容器B对应的第二权重。

可选地，如图6所示，图6是图4对应实施例中目标容器迁移至第二服务器步骤的细节流程示意图。步骤404包括：

步骤4041，确定所述目标容器所包含内存页中脏页的变化率；

步骤4042，根据所述脏页的变化率，确定所述目标容器多个内存页迁移至第二服务器的迁移顺序；

步骤4043，将所述目标容器的内存页，按照所述迁移顺序依次迁移至所述第二服务器。

本发明实施例可以在第一服务器内设置内存监控模块，用于监控所述第一服务器内目标容器的内存页，当所述目标容器内的内存页被更改时，对该内存页进行标记，并将该内存页记录到脏页集中。

在步骤4041中，所述脏页的变化率可用于表示所述脏页上被更改的数据占所述脏页存储数据的比值。

在实际应用中，所述脏页的变化率可通过两次采集的脏页中发生变化的数据对应的字节数与第一次采集的脏页数据对应的字节数的比值来确定。

在实际实施时，只要所述脏页的变化率能够反映所述脏页内数据的更改情况，本发明实施例不对脏页的变化率的具体计算公式进行限定。

可选地，步骤4042可包括：

若所述脏页的变化率大于第一阈值，确定所述脏页的迁移顺序为第三顺序；

若所述脏页的变化率小于第一阈值且大于第二阈值，确定所述脏页的迁移顺序为第二顺序；

若所述脏页的变化率小于第二阈值，确定所述脏页的迁移顺序为第一顺序；

其中，所述第一顺序比所述第二顺序靠前，所述第二顺序比所述第三顺序靠前。

在本发明实施例中，所述第一阈值和第二阈值可根据用户需求来设定，其中，第一阈值大于第二阈值。例如将第一阈值设置为50％，第二阈值设置为10％。本发明不对此进行限定。

这里，所述脏页是指数据和磁盘的数据页不一致的内存页。

在实际应用中，若所述脏页的变化率大于第一阈值，说明所述脏页的更改频率较高，将更改频率较高的脏页设置在最后迁移，以减少脏页的重复传输。若所述脏页的变化率小于第一阈值，且大于第二阈值，说明所述脏页存在更改，但更改频率不高，将所述脏页设置在所述更改频率较高的脏页前面进行迁移；若所述脏页的变化率小于第二阈值，说明所述脏页的更改非常少，可在对脏页集内的脏页进行迁移时，优先迁移该脏页。

在一些实施例中，可根据所述脏页的变化率，对所述目标容器内的脏页进行分类，确定所述各个集合对应的第一迁移顺序；并根据各个集合内的脏页的变化率，确定各个集合内的脏页的第二迁移顺序。

在实际应用中，可根据所述脏页的变化率与第一阈值、第二阈值的比对结果，将所述目标容器内的脏页进行分类。

若所述脏页的变化率大于第一阈值，说明所述脏页的更改次数较多，可将所述脏页分类至高更改内存页集合；若所述脏页的变化率小于第一阈值且大于第二阈值，说明所述脏页存在更改，但更改次数不多，可将所述脏页分类至中更改内存页集合；若所述脏页的变化率小于第二阈值，说明所述脏页基本没有更改，将所述脏页分类至无更改内存页集合。并确定无更改内存页集合的第一迁移顺序优先于中更改内存集合的第一迁移顺序，中更改内存集合的第一迁移顺序优先于高更改内存集合的第一迁移顺序。

并根据所述各个集合内的脏页的变化率，对各个集合内的脏页进行排序，根据排序结果，确定各个集合内的脏页的第二迁移顺序；按照所述各个集合对应的第一迁移顺序和所述各个集合内的脏页对应的第二迁移顺序，依次对集合内的脏页进行迁移。

如此，根据内存中脏页的变化率，确定所述脏页的迁移顺序，有效的减少重复脏页的传输，减少了传输的次数，减少容器迁移时间。

可选地，步骤4043可包括：

将所述目标容器脏页以外的内存页迁移至所述第二服务器；

在所述脏页以外的内存页迁移成功之后，按照所述迁移顺序将所述目标容器的所述脏页迁移至第二服务器。

在实际应用中，所述内存页包括脏页和脏页以外的内存页，其中所述脏页以外的内存页是指未进行更改的内存页；其迁移顺序优先于脏页的迁移顺序。

通过所述第一服务器和所述第二服务器之间的通信连接，将所述目标容器中包含的内存页中的脏页以外的内存页优先迁移至第二服务器；在脏页以外的内存页迁移成功之后，再按照脏页对应的迁移顺序，将脏页依次迁移至第二服务器。

可选地，在所述步骤401之前，所述方法还可包括：

步骤405，确定集群内服务器的负载状况信息；根据负载均衡策略及所述负载状况信息，确定待迁出至少一个容器的所述第一服务器和能够接受容器迁入的所述第二服务器。

其中，所述负载状况信息可包括：平均负载、CPU使用率、内存使用率和/或网络带宽使用率。

平均负载是指一段时间内占用CPU时间的进程和等待CPU时间的进程数；CPU使用率是指当前运行的程序占用的CPU资源；所述内存使用率是当前的所有进程所开销的内存；所述网络带宽利用率是指带宽每秒收到、发送信息的效率。

在实际应用中，由于服务器处理的任务呈现多样性，往往既有大量的实时在线处理业务，又有大量异步处理业务。实时在线业务处理时间短，需求波动大，而异步业务处理时间长，数据量庞大。随着任务的执行，各个容器中任务的完成情况各不相同。因此，集群中服务器包含的容器的负载会随着任务的执行而产生动态的变化。

有的服务器由于任务较早完成而新任务没有及时到来，使得服务器内的容器处于空闲状态，造成资源利用率较低，服务器负载较低；有的服务器由于任务过长而又分配新的任务，使得服务器内的容器处于繁忙状态，造成资源利用率过高，服务器负载过重。无论是服务器负载较低还是服务器负载过重，都会造成集群服务器的不稳定。因此，需要根据集群内各个服务器的负载状况信息，确定负载过重和负载较低的服务器，通过容器迁移的方式，使得集群内的服务器之间负载均衡。

在实际应用中，可通过遍历所述集群内各个服务器，获取所述各个服务器的负载率；根据所述各个服务器的负载率和负载均衡策略，从集群中选择出最大负载服务器和最小负载服务器，并将最大负载服务器确定为第一服务器，将最小负载服务器确定为第二服务器。

在一些实施例中，可通过获取集群内各个服务器的CPU、内存和网络带宽使用率，确定所述各个服务器的综合负载状况信息，进而确定第一服务器和第二服务器。

在一些实施例中，可预先设置负载阈值，并对集群内的备选服务器进行监控，根据集群内的各个备选服务器的负载状况信息，若所述备选服务器的负载状况信息超过预设的负载阈值，则将所述备选服务器确定为待迁出至少一个容器的第一服务器；并从所述各个备选服务器确定出最小负载服务器，将所述最小负载服务器确定为待迁入的第二服务器。

在一些实施例中，在确定第一服务器和第二服务器之前，所述方法还包括：

获取集群内各个服务器的迁移配置信息；根据所述迁移配置信息，对所述集群内的各个服务器进行配置；获取集群内各个服务器的网络配置信息，基于所述网络配置信息，建立所述集群内各个服务器之间的通信连接。

其中，所述迁移配置信息可为所述各个服务器内容器迁移工具的配置信息。

在实际应用中，根据所述迁移配置信息，对所述集群内的各个服务器内的容器迁移工具进行配置，以使所述各个服务器内的容器迁移工具配置相同，从而能够支持容器在不同服务器之间的迁移。并获取集群内各个服务器的网络配置信息，基于网络配置信息，建立各个服务器之间的通信连接，使得能够基于所述各个服务器之间的网络连接进行容器的迁移。

下面，本发明实施例提供一种容器迁移装置70，如图7所示，图7是本发明实施例提供的一种容器迁移装置的结构示意图。所述装置包括：

确定模块71，用于确定部署在第一服务器内的各个备选容器的资源消耗比率；确定部署在第一服务器内的各个备选容器的资源增长率；根据各所述资源消耗比率及个所述资源增长率，从各个备选容器中确定待迁出所述第一服务器的目标容器；其中，所述资源消耗比率为：对应备选容器消耗的资源量与所述第一服务器内具备的资源量之间的比值；

迁移模块72，用于将所述目标容器迁移至第二服务器，其中，所述第二服务器的负载率低于所述第一服务器的负载率。

可选地，所述确定模块71，具体用于：

根据各所述资源消耗比率、与各所述资源消耗比率对应的第一权值、各所述资源增长率及与各所述资源增长率对应的第二权值，确定迁移值；所述迁移值用于表征对应备选容器的迁移概率；

根据所述迁移值，从所述各个备选容器中选择所述目标容器。

可选地，所述确定模块71，还具体用于：

从所述各个备选容器中，选择出资源消耗比率最高的N个参加所述迁移值计算的备选容器。

可选地，所述确定模块71还用于：

根据所述备选容器的服务类型，确定所述第二权值。

可选地，所述迁移模块72具体用于：

确定所述目标容器所包含内存页中脏页的变化率；

根据所述脏页的变化率，确定所述目标容器多个内存页迁移至第二服务器的迁移顺序；

将所述目标容器的内存页，按照所述迁移顺序依次迁移至所述第二服务器。

可选地，所述迁移模块72还用于：

若所述脏页的变化率大于第一阈值，确定所述脏页的迁移顺序为第三顺序；

若所述脏页的变化率小于第一阈值且大于第二阈值，确定所述脏页的迁移顺序为第二顺序；

若所述脏页的变化率小于第二阈值，确定所述脏页的迁移顺序为第一顺序；

其中，所述第一顺序比所述第二顺序靠前，所述第二顺序比所述第三顺序靠前。

可选地，所述迁移模块72还用于：

将所述目标容器脏页以外的内存页迁移至所述第二服务器；

并在所述脏页以外的内存页迁移成功之后，按照所述迁移顺序将所述目标容器的所述脏页迁移至第二服务器。

可选地，所述确定模块71还用于：

确定集群内服务器的负载状况信息；

根据负载均衡策略及所述负载状况信息，确定待迁出至少一个容器的所述第一服务器和能够接受容器迁入的所述第二服务器。

如此，根据资源消耗比率和资源增长率，从备选容器中选择出资源消耗比率高、资源增长率高的目标容器，并将目标容器从第一服务器迁移至第二服务器，既能够缓解第一服务器的负载压力，实现服务器间的负载均衡；也能保证一段时间内第一服务器不会因为容器的资源增长而再度过载。

结合本发明上述实施例，下面将说明本发明实施例在一个实际的应用场景中的示例性应用。

本示例提供了一种容器迁移方法，具体步骤如下：

步骤801，搭建容器迁移的所需环境；

在实际应用中，基于服务器集群的网络配置参数，建立所述集群内各个服务器节点之间的网络连接，确保集群内各个服务器节点互相可以通信；并将各个服务器节点的时间进行同步，将各个服务器节点内的防火墙和swap分区关闭。并检查各个服务器节点的docker的软件版本是否一致，若不一致时，获取服务器节点的docker的软件版本的最高版本信息；将所述集群内的各个服务器节点的docker升级至最高版本。

步骤802，根据所述集群内服务器的负载状况信息，从所述服务器集群中确定待迁入服务器、待迁出服务器；

在实际应用中，可通过top指令来参看服务器的负载状况信息，通过遍历所述集群内的服务器，根据所述服务器的负载状况信息，从集群中确定出最大负载服务器和最小负载服务器，并将所述最大负载服务器确定为待迁出服务器，将最小负载服务器确定为待迁入服务器。

在一些实施例中，可通过设置负载阈值，根据所述负载阈值，确定待迁出服务器。

在实际应用中，获取所述集群内服务器的负载状况信息，根据所述服务器的负载状况信息，从集群中确定出最小负载服务器；将所述最小负载服务器确定为待迁入服务器；并根据集群内其它服务器的负载状况信息与预设的负载阈值进行比对，若服务器的负载状况信息大于所述负载阈值，则将所述服务器确定为待迁出服务器。

步骤803，获取部署在所述待迁出服务器内的备选容器的资源消耗比率和资源消耗增长率，根据所述资源消耗比率和所述资源消耗增长率，确定目标容器；

其中，所述资源消耗比率为所述备选容器消耗的资源量与所述待迁出服务器内具备的资源量的比值；所述资源消耗增长率为单位时间内所述备选容器内的资源数据增长变化值。

在实际应用中，根据所述备选容器的资源消耗比率、与所述资源消耗比率对应的第一权值、所述资源消耗增长率、与所述资源消耗增长率对应的第二权值，确定迁移值。

这里，所述第一权值、第二权值可根据用户需求进行设置。

在一些实施例中，可根据所述备选容器的服务类型，确定所述第二权值。

在实际应用中，可根据所述备选容器提供的服务类型的重要性，确定所述服务类型对应的第二权值。例如，若所述备选容器提供的服务类型是用于存储数据，可将所述服务类型对应的第二权值设置为较小的数；若所述备选容器提供的服务类型是用于云计算，可将所述服务类型对应的第二权值设置为较大的数。

这里，可根据用户需求，确定不同服务类型对应的重要性，进而设置不同的服务类型对应的第二权值，本申请不对此进行限定。

在一些实施例中，可先获取部署在所述待迁出服务器内的备选容器的资源消耗比率，根据所述资源消耗比率，选择出资源消耗比率最高的N个备选容器；获取所述N个备选容器的资源消耗增长率，根据所述N个备选容器的资源消耗比率和所述资源消耗增长率，确定所述N个备选容器的迁移值，根据所述迁移值，从所述N个备选容器中，确定出目标容器。其中，N为大于1的整数。

例如，如图8所示，图8是本发明实施例提供的一种目标容器确定方法的流程示意图。获取所述集群内服务器的负载率，根据所述服务器的负载率，从集群中确定出最小负载服务器；将所述最小负载服务器确定为待迁入服务器；并根据集群内其它服务器的负载率与预设的负载阈值进行比对，若服务器的负载率大于所述负载阈值，则将所述服务器确定为待迁出服务器。获取所述待迁出服务器中各个备选容器的资源消耗比率，对所述各个备选容器的资源消耗比率按照从大到小的方式进行排序，确定出资源消耗比率最高的前3个备选容器；获取这3个备选容器的资源消耗增长率，根据所述资源消耗增长率和所述资源消耗比率之和，确定这3个备选容器的迁移值，并对所述迁移值进行排序，根据排序结果确定出目标容器。

步骤804，将所述目标容器迁移到所述待迁入服务器中。

在实际应用中，所述目标容器内包含有静态数据和动态数据，其中，所述静态数据可为目标容器的镜像文件；所述动态数据是所述目标容器运行时产生的数据，存储在所述目标容器包含的内存页中。

在一些实施例中，所述步骤804可包括：

获取所述目标容器所包含的内存页中脏页的变化率；

根据所述脏页的变化率，确定所述目标容器内多个内存页迁移到待迁入服务器的迁移顺序；

将所述目标容器的内存页，按照所述迁移顺序依次迁移到所述待迁入服务器。

其中，所述脏页是存储数据与磁盘存储数据不一致的内存页。

在实际应用中，通过监控所述目标容器内所包含的内存页，若所述内存页被更改，将所述内存页记录到脏页集中；统计所述脏页集中各个脏页的变化率，根据变化率对所述脏页集中的脏页进行排序，按照所述排序结果，确定脏页集中脏页的迁移顺序；先将目标容器所包含的内存页中的脏页以外的内存页优先迁移到待迁入服务器中，并在脏页以外的内存页迁移成功之后，按照迁移顺序将脏页集中的脏页迁移到待迁入服务器中。

其中，所述脏页变化率＝sizeof(第二次内存页采集数据-第一次内存页采集数据)-sizeof(第一次内存页采集数据量)。

这里，所述sizeof()用于计算所述数据的字节数。通过两次采集的脏页中发生变化的数据对应的字节数与第一次采集的脏页数据对应的字节数的比值来确定所述脏页变化率。

在一些实施例中，可在脏页集中设立3种类型的区域，分别为高更改区，过渡更改区和无更改区；根据所述脏页的变化率，确定脏页对应的区域。

在实际应用中，若所述脏页的变化率大于第一阈值，说明所述脏页的变化频率较高，将所述脏页存储至高更改区；若所述脏页的变化率小于第一阈值且大于第二阈值，说明所述脏页存在更改，但更改频率不高，将所述脏页存储至过渡更改区；若所述脏页的变化率小于第二阈值，说明所述脏页的更改频率非常小，将所述脏页存储至低更改区。根据所述脏页对应的区域，确定所述脏页的迁移顺序，其中，低更改区的迁移顺序比过渡更改区的迁移顺序靠前，过渡更改区的迁移顺序比高更改区的迁移顺序靠前。

在实际实施时，所述第一阈值、第二阈值可根据用户需求进行设置，例如第一阈值为50％，第二阈值为10％。本发明实施例中不对此进行限定。

在一些实施例中，可根据脏页的变化率，确定各个区域内的脏页的迁移顺序。

在实际应用中，可根据各个区域内的脏页的变化率，对所述各个区域内的脏页进行排序，根据排序结果确定各个区域内的脏页对应的迁移顺序。如此，从低更改区中变化率最小的脏页开始迁移，依次迁移至高更改区中变化率最大的脏页。

在一些实施例中，可确定目标容器后，可优先将目标容器中的静态数据进行迁移；在所述静态数据迁移成功后，将目标容器所包含的内存页中的脏页以外的内存页优先迁移；在所述脏页以外的内存页迁移成功后，按照脏页对应的迁移顺序，依次迁移所述目标容器内的脏页，并在脏页迁移成功后，在待迁入服务器中将所述目标容器的业务拉起，将待迁出服务器中的目标容器删除。

例如，如图9所示，图9是本发明实施例提供的一种目标容器迁移方法的流程示意图。在迁移准备阶段，先根据确定好的待迁入服务器和待迁出服务器，建立待迁入服务器和待迁出服务器之间的socket通信连接；待迁出服务器向待迁入服务器发送容器迁移请求，并在接收到待迁入服务器的容器迁移响应后，将目标容器的静态数据(如images、volumns和config文件等)通过socket传输至待迁入服务器；在目标容器的静态数据传输成功后，对目标容器的内存页进行传输；获取内存页中脏页的变化率，根据所述第一阈值和第二阈值，对脏页进行分类，将各个区域内的脏页按照变化率进行排序，得到脏页的传输顺序；优先将内存页中的脏页以外的内存页传输至待迁入服务器，在脏页以外的内存页成功传输后，按照传输顺序，将内存页中的脏页传输至待迁入服务器，并在脏页成功传输后，在待迁入服务器中将目标容器的服务运行，在待迁出服务器中将目标容器的信息删除。

本发明实施例还提供一种电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的一种容器迁移方法。

下面对本发明实施例提供的一种电子设备的硬件结构做详细说明，电子设备包括但不限于服务器或终端。所述电子设备包括：至少一个处理器、存储器，可选的，电子设备可进一步包括至少一个通信接口，电子设备中的各个组件通过总线***耦合在一起，可理解，总线***用于实现这些组件之间的连接通信。总线***除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

可以理解，存储器可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本发明实施例中的存储器用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序，实现本发明实施例方法的程序可以包含在存储器中。

上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行上述方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行后，并执行前述一个或多个技术方案提供的容器迁移方法，例如，可执行如图4所示的方法。

本发明实施例提供的计算机存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。可选为，所述计算机存储介质可为非瞬间存储介质。这里的非瞬间存储介质又可以称为非易失性存储介质。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件***中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(H TML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (11)

1.一种容器迁移方法，其特征在于，包括：

确定部署在第一服务器内的各个备选容器的资源消耗比率；其中，所述资源消耗比率为：对应备选容器消耗的资源量与所述第一服务器内具备的资源量之间的比值；

确定部署在第一服务器内的各个备选容器的资源增长率；

根据各所述资源消耗比率及各所述资源增长率，从各个备选容器中确定待迁出所述第一服务器的目标容器；

将所述目标容器迁移至第二服务器；其中，所述第二服务器的负载率低于所述第一服务器的负载率。

2.根据权利要求1所述的方法，其特征在于，所述根据各所述资源消耗比率及各所述资源增长率，从各个备选容器中确定待迁出所述第一服务器的目标容器，包括：

根据各所述资源消耗比率、与各所述资源消耗比率对应的第一权值、各所述资源增长率及与各所述资源增长率对应的第二权值，确定迁移值；所述迁移值用于表征对应备选容器的迁移概率；

根据所述迁移值，从所述各个备选容器中选择所述目标容器。

3.根据权利要求2所述的方法，其特征在于，所述根据各所述资源消耗比率及各所述资源增长率，从各个备选容器中确定待迁出所述第一服务器的目标容器，包括：

从所述各个备选容器中，选择出资源消耗比率最高的N个参加所述迁移值计算的备选容器。

4.权利要求2所述的方法，其特征在于，所述方法还包括：

根据所述备选容器的服务类型，确定所述第二权值。

5.根据权利要求1所述的方法，其特征在于，所述将所述目标容器迁移至第二服务器，包括：

确定所述目标容器所包含内存页中脏页的变化率；

根据所述脏页的变化率，确定所述目标容器多个内存页迁移至第二服务器的迁移顺序；

将所述目标容器的内存页，按照所述迁移顺序依次迁移至所述第二服务器。

6.根据权利要求5所述的方法，其特征在于，所述根据所述脏页的变化率，确定所述目标容器多个内存页迁移至第二服务器的迁移顺序，包括：

若所述脏页的变化率大于第一阈值，确定所述脏页的迁移顺序为第三顺序；

若所述脏页的变化率小于第一阈值且大于第二阈值，确定所述脏页的迁移顺序为第二顺序；

若所述脏页的变化率小于第二阈值，确定所述脏页的迁移顺序为第一顺序；

其中，所述第一顺序比所述第二顺序靠前，所述第二顺序比所述第三顺序靠前。

7.根据权利要求6所述的方法，其特征在于，所述将所述目标容器的内存页，按照所述迁移顺序依次迁移至所述第二服务器，包括：

将所述目标容器脏页以外的内存页迁移至所述第二服务器；

并在所述脏页以外的内存页迁移成功之后，按照所述迁移顺序将所述目标容器的所述脏页迁移至第二服务器。

8.根据权利要求1所述的方法，其特征在于，在所述确定部署在第一服务器内的各个备选容器的资源消耗比率之前，所述方法还包括：

确定集群内服务器的负载状况信息；

根据负载均衡策略及所述负载状况信息，确定待迁出至少一个容器的所述第一服务器和能够接受容器迁入的所述第二服务器。

9.一种容器迁移装置，其特征在于，包括：

确定模块，用于确定部署在第一服务器内的各个备选容器的资源消耗比率；确定部署在第一服务器内的各个备选容器的资源增长率；根据各所述资源消耗比率及各所述资源增长率，从各个备选容器中确定待迁出所述第一服务器的目标容器；其中，所述资源消耗比率为：对应备选容器消耗的资源量与所述第一服务器内具备的资源量之间的比值；

迁移模块，用于将所述目标容器迁移至第二服务器；其中，所述第二服务器的负载率低于所述第一服务器的负载率。

10.一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现如权利要求1-8任一项所述的容器迁移方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行指令，所述可执行指令被处理器执行时，实现如权利要求1-8任一项所述的容器迁移方法。

Images