CN105573889A - 虚拟机监控数据的存取方法及装置 - Google Patents

Abstract

本发明提出一种虚拟机监控数据的存取方法及装置，包括：配置至少一个缓存块，在每个缓存块中设置有至少秒级时间窗口、分钟级时间窗口、小时级时间窗口和天级时间窗口；每隔一定时间将获取的监控数据存入秒级时间窗口的一个单元中；秒级时间窗口每隔1分钟将缓存的数据作均值，并将均值存入分钟级时间窗口的一个单元中；分钟级时间窗口每隔1小时将缓存的数据作均值，并将均值存入小时级时间窗口的一个单元中；小时级时间窗口每隔1天将缓存的数据作均值，并将均值存入天级时间窗口的一个单元中；从而缓存的数据均具有时间特性；根据时间特性从各窗口中调取对应时间的数据。本发明即使在监控数据量很大时，用户依然可以快速获得资源使用情况。

Description

虚拟机监控数据的存取方法及装置

技术领域

本发明涉及虚拟化技术，尤其涉及的是虚拟机监控数据的存取技术。

背景技术

随着云计算的日益发展，虚拟化技术得到了广泛的应用。云服务将大量实体计算资源和存储资源集中起来，并且拥有大量的虚拟机，对每台虚拟机配置不同的资源量，实现资源共享，大大提高了实体资源的利用率。作为虚拟化云服务的主体，虚拟机的运行状态间接体现了服务器的运行状态，因而需要对虚拟机的运行状态进行监控，例如OpenStack(一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作)架构中的虚拟机监控技术，ceilometer(OpenStack中的组件)可能产生大量的后台数据，操作者需要根据冗杂的数据进行统计来实现监控的目的，在数据量较小的时候，数据能够较快得到统计处理，查询也可以较为及时，而当后台数据量过大时，往往需要花费大量时间才能统计出资源的使用情况，此外，当操作者希望获得相应时间的监控数据时，也许要很长的时间进行查询，因而需要对其进行优化。

发明内容

本发明所要解决的技术问题是提供一种虚拟机监控数据的存取方法及装置，即使在监控数据量很大时，用户依然可以快速获得资源使用情况。

为解决上述问题，本发明提出一种虚拟机监控数据的存取方法，包括：

配置至少一个缓存块，在每个缓存块中设置有至少秒级时间窗口、分钟级时间窗口、小时级时间窗口和天级时间窗口；

每隔一定时间将获取的监控数据存入所述秒级时间窗口的一个单元中；所述秒级时间窗口每隔1分钟将缓存的数据作均值，并将均值存入所述分钟级时间窗口的一个单元中；所述分钟级时间窗口每隔1小时将缓存的数据作均值，并将均值存入所述小时级时间窗口的一个单元中；所述小时级时间窗口每隔1天将缓存的数据作均值，并将均值存入所述天级时间窗口的一个单元中；从而缓存的数据均具有时间特性；

根据时间特性从各窗口中调取对应时间的数据。

根据本发明的一个实施例，在每个缓存块中还设置有月级时间窗口和年级时间窗口；

所述天级时间窗口每隔1月将缓存的数据作均值，并将均值存入所述月级时间窗口的一个单元中；所述月级时间窗口每隔1年将缓存的数据作均值，并将均值存入所述年级时间窗口的一个单元中。

根据本发明的一个实施例，各级别时间窗口在相应作出均值后或者到达设定时间期限点后清空本身的数据；或者，各级别时间窗口的各单元的旧数据由新数据替换。

根据本发明的一个实施例，在所述年级时间窗口到达设定时间期限点时，给出需要备份数据的提示。

根据本发明的一个实施例，各级别时间窗口的各单元的缓存数据大小根据获取的监控数据特征而定，并且固定不变。

根据本发明的一个实施例，各所述缓存块的后端采用数据库进行存储，存储方式根据时间窗口的级别关联存储，用户根据时间特性从数据库中调取对应时间的数据。

根据本发明的一个实施例，若所述秒级时间窗口在所述一定时间内没有获取到监控数据，或所述秒级时间窗口获取到的监控数据异常时，则生成一标记数据缓存到相应单元中；在所述秒级时间窗口到达设定时间期限点时，将排除该标记数据之后的数据作均值，并将均值存入所述分钟级时间窗口的一个单元中。

根据本发明的一个实施例，所述监控数据由ceilometer产生，不同来源的监控数据由虚拟机不同的实例获取，同一来源的监控数据缓存到一个缓存块中，将虚拟机的实例标识作为监控数据的关键字。

为解决上述问题，本发明还提出一种虚拟机监控数据的存取装置，包括：

缓存模块，具有至少一个缓存块，在每个缓存块中设置有至少秒级时间窗口、分钟级时间窗口、小时级时间窗口和天级时间窗口；

数据处理模块，用以：每隔一定时间将获取的监控数据存入所述秒级时间窗口的一个单元中；将所述秒级时间窗口每隔1分钟将缓存的数据作均值，并将均值存入所述分钟级时间窗口的一个单元中；将所述分钟级时间窗口每隔1小时将缓存的数据作均值，并将均值存入所述小时级时间窗口的一个单元中；将所述小时级时间窗口每隔1天将缓存的数据作均值，并将均值存入所述天级时间窗口的一个单元中；从而缓存的数据均具有时间特性；

数据调取接口模块，用以根据时间特性从各窗口中调取对应时间的数据。

根据本发明的一个实施例，所述缓存模块的每个缓存块中还包括有月级时间窗口和年级时间窗口；

所述数据处理模块还用以，将所述天级时间窗口每隔1月将缓存的数据作均值，并将均值存入所述月级时间窗口的一个单元中；将所述月级时间窗口每隔1年将缓存的数据作均值，并将均值存入所述年级时间窗口的一个单元中。

采用上述技术方案后，本发明相比现有技术具有以下有益效果：通过设置缓存块，并且各缓存块中，设置分级别的时间窗口，将上一级别的时间窗口获得的数据量计算均值后存入下一级别的时间窗口，由于是根据时间的推移而在各时间窗口中流动缓存的，因此各数据的存储均具有时间特性，用户可以根据这些时间特性快速的找到相应时间段的数据，当用户需要获取资源使用情况时，能够快速准确地查询访问到数据，并且不论后台数据量是否不断增大，均能够保证用户访问数据的时间不变。

附图说明

图1为本发明一实施例的虚拟机监控数据的存取方法的流程示意图；

图2为本发明另一实施例的虚拟机监控数据的存取方法的流程示意图；

图3为本发明一实施例的数据流动示意图；

图4为本发明一实施例的虚拟机监控数据的存取装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

在本实施例中，虚拟机监控数据的存取方法，包括：

配置至少一个缓存块，在每个缓存块中设置有至少秒级时间窗口、分钟级时间窗口、小时级时间窗口和天级时间窗口；

每隔一定时间将获取的监控数据存入所述秒级时间窗口的一个单元中；所述秒级时间窗口每隔1分钟将缓存的数据作均值，并将均值存入所述分钟级时间窗口的一个单元中；所述分钟级时间窗口每隔1小时将缓存的数据作均值，并将均值存入所述小时级时间窗口的一个单元中；所述小时级时间窗口每隔1天将缓存的数据作均值，并将均值存入所述天级时间窗口的一个单元中；从而缓存的数据均具有时间特性；

根据时间特性从各窗口中调取对应时间的数据。

具体的，参看图1，首先，需要配置缓存块，缓存块的数目可以有多个，分别用来存储相同或不同的监控数据，在此所说的相同或不同的监控数据，可以是指来源相同或不同，当然也可以指数据特征相同或不同，在各缓存块中配置秒级时间窗口、分钟级时间窗口、小时级时间窗口和天级时间窗口，各时间窗口均具有多个存储单元，该配置之后便可以一直运行，而无需重复本配置步骤。

接着，获取监控数据，在一个可选的实施例中，秒级时间窗口可以配置6个存储单元，则每隔10秒获取一次数据，在秒级时间窗口未满时，将数据存入到秒级时间窗口的一个单元中，如果窗口已满则发生数据转移，那么到达1分钟的时候秒级时间窗口就存满数据，可以理解，存储单元的数目和相隔时间的具体值均不作为限制，可以根据情况进行配置，满足到达1分钟时将缓存的数据作均值即可，该缓存的数据指的是在到达1分钟内所存的所有数据，并且这些数据之间不具有因先后存储而被覆盖的可能，也就是缓存的数据存入到不同的单元中，将均值存入到分钟级时间窗口的一个单元中，并将每次本级计算所得均值保存在本级(秒级时间窗口)的一个单元中，该均值可以由新产生的均值覆盖，也就是说，本级窗口可以仅提供一个单元用来存储本级的均值，防止最后时间窗口所有单元均为空。

在一个实施例中，在获取监控数据存入到秒级时间窗口之前，还进行判断监控数据是否有问题的步骤，如果有问题则要生成标记值，监控数据产生的问题例如是秒级时间窗口在所述一定时间内没有获取到监控数据，而是获得了空白数据，或秒级时间窗口获取到的监控数据异常，该异常可以是获取到了特征不一致的数据或来源不一致的数据，则生成一标记数据缓存到相应单元中，该标记数据用以被识别后排除在作均值的数据之内，从而保证了缓存块中不会产生垃圾数据，影响存储统计的监控数据的正确性；在之后的作均值步骤中，也就是在秒级时间窗口到达设定时间期限点(1分钟)时，将排除该标记数据之后的数据作均值，并将均值存入分钟级时间窗口的一个单元中。

分钟级时间窗口各单元存储的均是秒级时间窗口不同时间段传递过来的监控数据的均值，每次接收秒级时间窗口的均值之后，需要判断分钟级时间窗口是否已满，如果未满则继续接收均值，如果已满，则表明分钟级时间窗口到达设定时间期限点(1小时)，将分钟级时间窗口在此1小时内存储的数据作均值，将均值存储到小时级时间窗口的一个单元中，同样的，将每次本级计算所得均值保存在本级(分钟级时间窗口)的一个单元中，该均值可以由新产生的均值覆盖。

小时级时间窗口各单元存储的均是分钟级时间窗口不同时间段传递过来的监控数据的均值，每次接收分钟级时间窗口的均值之后，需要判断小时级时间窗口是否已满，如果未满则继续接收均值，如果已满，则表明小时级时间窗口到达设定时间期限点(1天)，将小时级时间窗口在此1天内存储的数据作均值，将均值存储到天级时间窗口的一个单元中，同样的，将每次本级计算所得均值保存在本级(小时级时间窗口)的一个单元中，该均值可以由新产生的均值覆盖。而天级时间窗口作为最高级时，本级可以不作均值，也就时可以仅保存上一级的均值。

由于监控数据的存储是根据时间的推移而流动存储的，因而监控数据携带有时间特性，当用户需要进行查询访问某一时间点或时间段的监控数据时，可以快速的根据时间特性查询到，并且越是上级的时间窗口存储的是经过数值统计后的均值，因而不会产生大量的访问数据，访问速度可以很快，无论后台产生的数据量多大，查询访问速度一般不会受到影响。

参看图2，在本实施例中，在每个缓存块中还设置有月级时间窗口和年级时间窗口；所述天级时间窗口每隔1月将缓存的数据作均值，并将均值存入所述月级时间窗口的一个单元中，同时天级时间窗口计算的均值还保存在天级时间窗口的一个单元中；所述月级时间窗口每隔1年将缓存的数据作均值，并将均值存入所述年级时间窗口的一个单元中，同时月级时间窗口计算的均值还保存在月级时间窗口的一个单元中。而在本实施例中，年纪时间窗口作为最高级，本级可以不作均值，而仅保存月级产生的均值。本实施例和图1描述的实施例的区别之处在于，还包括更高分级的时间窗口，从而将时间精确到年月日时分秒，可以根据实际时间值存储和获取数据。

具体的，天级时间窗口每隔1月将缓存的数据作均值，并将均值存入所述月级时间窗口的一个单元中，月级时间窗口各单元存储的均是天级时间窗口不同时间段传递过来的监控数据的均值，每次接收天级时间窗口的均值之后，需要判断月级时间窗口是否已满，如果未满则继续接收均值，如果已满，则表明月级时间窗口到达设定时间期限点(1年)，将月级时间窗口在此1年内存储的数据作均值，将均值存储到年级时间窗口的一个单元中。

在一个实施例中，各级别时间窗口在相应作出均值后或者到达设定时间期限点后清空本身的数据；或者，各级别时间窗口的各单元的旧数据由新数据替换。清空的数据或替换的数据，不仅包括监控数据，也包括其他数据，譬如是标记数据，年级时间窗口的数据例如可以设置为100年清空一次。清空数据可以避免冗余数据的产生，但是如果设置各时间窗口能够容纳的数据量正好是其达到设定时间期限点时正好获取的数据量，那么仅仅数据替换也是可以的。

进一步的，在年级时间窗口到达设定时间期限点时，给出需要备份数据的提示，例如可以提示管理员，首先进行数据备份，以便日后还需使用这些数据。

较佳的，各级别时间窗口的各单元的缓存数据大小根据获取的监控数据特征而定，并且固定不变，根据数据特征确定固定大小单元的时间窗口，可以避免冗余数据的存储，如果数据特征不符合时间窗口的单元可存储数据大小，则去除该数据。

较佳的，各所述缓存块的后端采用数据库进行存储，该数据库例如是mongodb数据库，在数据库中存储时不破坏数据的时间特性，存储方式根据时间窗口的级别关联存储，用户根据时间特性从数据库中调取对应时间的数据。

参看图3，在一个更加具体的实施例中，基于OpenStack架构，虚拟机的监控数据由组件ceilometer产生，不同来源的监控数据由虚拟机不同的实例(即instance)获取，同一来源的监控数据缓存到一个缓存块中，将虚拟机的实例标识作为监控数据的关键字，代表同一个来源数据或者同一类数据。在图3中，可以看到，数据是传递的，ceilometer可以从网络、处理器、存储器等各种资源中获取到监控数据，当然这些是虚拟情景中的资源，监控数据可以表示这些资源的运行状况。ceilometer产生这些数据后传递到秒级时间窗口，从而通过本发明解决在其产生大量后台数据时，资源使用情况需大量计算时间才能查询统计出来的问题。

参看图4，本实施例中，虚拟机监控数据的存取装置包括缓存模块11、数据处理模块12及数据调取接口模块13。

缓存模块具有至少一个缓存块，在每个缓存块中设置有至少秒级时间窗口、分钟级时间窗口、小时级时间窗口和天级时间窗口；数据处理模块用以将监控数据处理并存入到各时间窗口中去，每隔一定时间将获取的监控数据存入所述秒级时间窗口的一个单元中；将所述秒级时间窗口每隔1分钟将缓存的数据作均值，并将均值存入所述分钟级时间窗口的一个单元中；将所述分钟级时间窗口每隔1小时将缓存的数据作均值，并将均值存入所述小时级时间窗口的一个单元中；将所述小时级时间窗口每隔1天将缓存的数据作均值，并将均值存入所述天级时间窗口的一个单元中；从而缓存的数据均具有时间特性；数据调取接口模块用以根据时间特性从各窗口中调取对应时间的数据。

进一步的，缓存模块的每个缓存块中还包括有月级时间窗口和年级时间窗口；所述数据处理模块还用以将所述天级时间窗口每隔1月将缓存的数据作均值，并将均值存入所述月级时间窗口的一个单元中；将所述月级时间窗口每隔1年将缓存的数据作均值，并将均值存入所述年级时间窗口的一个单元中。

本发明的装置的具体实施方式可以参看前述的方法的相关内容，关于方法所描述的内容均适用于装置，因而在此不再赘述。

本发明虽然以较佳实施例公开如上，但其并不是用来限定权利要求，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (10)

1.一种虚拟机监控数据的存取方法，其特征在于，包括：

配置至少一个缓存块，在每个缓存块中设置有至少秒级时间窗口、分钟级时间窗口、小时级时间窗口和天级时间窗口；

每隔一定时间将获取的监控数据存入所述秒级时间窗口的一个单元中；所述秒级时间窗口每隔1分钟将缓存的数据作均值，并将均值存入所述分钟级时间窗口的一个单元中；所述分钟级时间窗口每隔1小时将缓存的数据作均值，并将均值存入所述小时级时间窗口的一个单元中；所述小时级时间窗口每隔1天将缓存的数据作均值，并将均值存入所述天级时间窗口的一个单元中；从而缓存的数据均具有时间特性；

根据时间特性从各窗口中调取对应时间的数据。

2.如权利要求1所述的虚拟机监控数据的存取方法，其特征在于，在每个缓存块中还设置有月级时间窗口和年级时间窗口；

所述天级时间窗口每隔1月将缓存的数据作均值，并将均值存入所述月级时间窗口的一个单元中；所述月级时间窗口每隔1年将缓存的数据作均值，并将均值存入所述年级时间窗口的一个单元中。

3.如权利要求1或2所述的虚拟机监控数据的存取方法，其特征在于，各级别时间窗口在相应作出均值后或者到达设定时间期限点后清空本身的数据；或者，各级别时间窗口的各单元的旧数据由新数据替换。

4.如权利要求2所述的虚拟机监控数据的存取方法，其特征在于，在所述年级时间窗口到达设定时间期限点时，给出需要备份数据的提示。

5.如权利要求1所述的虚拟机监控数据的存取方法，其特征在于，各级别时间窗口的各单元的缓存数据大小根据获取的监控数据特征而定，并且固定不变。

6.如权利要求1所述的虚拟机监控数据的存取方法，其特征在于，各所述缓存块的后端采用数据库进行存储，存储方式根据时间窗口的级别关联存储，用户根据时间特性从数据库中调取对应时间的数据。

7.如权利要求1所述的虚拟机监控数据的存取方法，其特征在于，若所述秒级时间窗口在所述一定时间内没有获取到监控数据，或所述秒级时间窗口获取到的监控数据异常时，则生成一标记数据缓存到相应单元中；在所述秒级时间窗口到达设定时间期限点时，将排除该标记数据之后的数据作均值，并将均值存入所述分钟级时间窗口的一个单元中。

8.如权利要求1所述的虚拟机监控数据的存取方法，其特征在于，所述监控数据由ceilometer产生，不同来源的监控数据由虚拟机不同的实例获取，同一来源的监控数据缓存到一个缓存块中，将虚拟机的实例标识作为监控数据的关键字。

9.一种虚拟机监控数据的存取装置，其特征在于，包括：

缓存模块，具有至少一个缓存块，在每个缓存块中设置有至少秒级时间窗口、分钟级时间窗口、小时级时间窗口和天级时间窗口；

数据处理模块，用以：每隔一定时间将获取的监控数据存入所述秒级时间窗口的一个单元中；将所述秒级时间窗口每隔1分钟将缓存的数据作均值，并将均值存入所述分钟级时间窗口的一个单元中；将所述分钟级时间窗口每隔1小时将缓存的数据作均值，并将均值存入所述小时级时间窗口的一个单元中；将所述小时级时间窗口每隔1天将缓存的数据作均值，并将均值存入所述天级时间窗口的一个单元中；从而缓存的数据均具有时间特性；

数据调取接口模块，用以根据时间特性从各窗口中调取对应时间的数据。

10.如权利要求9所述的虚拟机监控数据的存取装置，其特征在于，所述缓存模块的每个缓存块中还包括有月级时间窗口和年级时间窗口；

所述数据处理模块还用以，将所述天级时间窗口每隔1月将缓存的数据作均值，并将均值存入所述月级时间窗口的一个单元中；将所述月级时间窗口每隔1年将缓存的数据作均值，并将均值存入所述年级时间窗口的一个单元中。