CN103237042A

CN103237042A - 一种基于xen的弹性云平台存储和调度***模型

Info

Publication number: CN103237042A
Application number: CN2012104884074A
Authority: CN
Inventors: 蒋天耀; 李善明; 张进飞
Original assignee: PCI Suntek Technology Co Ltd
Current assignee: PCI Suntek Technology Co Ltd
Priority date: 2012-11-16
Filing date: 2012-11-16
Publication date: 2013-08-07

Abstract

本发明公开了一种基于XEN的弹性云平台存储和调度***模型，平台中虚拟机都是运行在XEN上，而虚拟机所需要的虚拟磁盘是从分布式虚拟块存储DVBD上模拟出来的，DVBD是基于Hbase以及HDFS上的，而HDFS是Hadoop上的一款分布式文件***，上面所有的数据都是冗余备份的，同时也保证了虚拟机中数据的安全性；另外由于HDFS上的数据是分布式的，与物理位置无关，这意味着我们的虚拟机是跟物理位置无关的。当某一台虚拟机发生故障的时候，平台可以轻松的对它切换或迁移。保证了数据可靠和可持续性；平台中还包括调度***，负责对平台的虚拟机进行资源调度。

Description

一种基于XEN的弹性云平台存储和调度***模型

技术领域

本发明涉及计算机应用领域，特别是涉及一种虚拟存储和调度***的设计

背景技术

随这互联网企业规模的壮大，几乎所有的企业面临以下几个问题：

(1)保证数据的安全：而随着服务器集群的壮大，机器硬盘出现故障是一件非常平常的事情。但是硬盘上的数据不能丢失的，因为数据是互联网企业的生命线，可以说丢失了数据，这个互联网企业可能就丢失了发展的机会。因此所有的互联网企业必须得保证即使物理机硬盘坏掉，数据也不能丢失。

(2)保证服务的可靠性：为了提高用户的体验，互联网上的服务必须是要全天24小时服务的，所以互联网企业要保证即使某些物理机crash掉，这些服务不应浚受到任何的影响。

(3)成本的降低：随着互鞋网的壮大，企业的成本也在急剧增加。据了解，国内某家互联网公司一年的电费都已经超过1亿元，再加上一般企业每年都要更换三分之一的服务器，这些费用都是各大互联网企业所难以承受的。可以说在未来竞争愈束愈强的互联中，谁降低了成本，谁将赢的了天下。

(4)提高资源利用率：由于互联网服务器压力的不平均性，导致了服务器的平均利用率下降。绝大部分web服务器的平均利用率基本保持在10％左右。目前国内互联金业资源利用率较国外还有较大的差距。

发明内容

本发明所要解决的技术问题是提供一种XEN的弹性云平台，解决资源利用率低的问题。

为实现上述发明目的，本发明提供分布式虚拟块存储设计，包括HDFS、Hbase。

所述HDFS，用于：保障数据安全性，由于所有的数据都是有副本备份的，所以个别机器的损坏并不会造成数据的丢失；其次，在分布式文件***中，用户读取远程的文件或者本地的文件***都是一样的。所以文件的具体存放路径、机器位置等，对于用户来说都是透明的。

所述Hbase，用于：解决互联网企业数据急剧膨胀，而传统的关系型数据慢慢的难以支撑如此海量的数据。随着云计算的发展，将会大大推进分布式数据库的发展。和所有普通的KEY-VALEU一样，Hbase提供三个接口：

(1)get(key)：根据key取得相应value；

(2)put(key，value)：新建一个key/value对，或者更新已经存在的key对应的value；

(3)delete(key)：删除一个key及其对应的value。

本发明还提供一种基于XEN弹性云平台调度***，包括：Master、Cluster、Agent

所述Master，用于：调度***的核心，***中所有的物理资源以及VM运行状态都保存在Master中，所有的VM都在它的控制之中。同时还负责接收外部消息。

所述Cluster，用于：负责VM的状态维护以及消息的转发。

所述Agent，用于：控制VM，运行在每一台物理机上，负责控制虚拟机，例如配置虚拟机，上报虚拟机心跳等。

优选的有，上述方法中，还包括：命令消息处理、心跳消息以及VM运行数据处理。

由上述方案可以看出，本发明中虚拟块存储结合资源调度***构成弹性云平台，解决虚拟机资源利用率的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明弹性云平台总体框架；

图2为本发明实施例一中HDFS架构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一，参见图2。

本发明提供一种基于分布式的块存储设计，所述***包括HDFS。

其中：

HDFS、Hbase。

(1)get(key)：根据key取得相应value；

(3)delete(key)：删除一个key及其对应的value。

上述***的工作过程参见图2，具体包括以下步骤：

采用master/slave模式。这种模式下，读是从多点读的，当写的时候，需要向集群中所有的副本写入数据。比如图中读valuel的时候，可以随便找一台拥有valuel的数据，而当写入value3的时候，需要想所有的副本机器写入vahe3，也就是图中的三台机器。这样一来就加快了数据读取速度并保证的数据的安全，就算某一台机器挂了，数据依然健在，另外在HDFS中，我们看到有一个统一的NameNodes，这台机器里面存放了元数据(Metadata).这个Metadata里面保

存了该数据的具体存放位置等基础信息。当然NameNodes仅仅是一个数据的管理者，它管理着所有数据的副本控制、DataNodes的心跳等等。但是所有的数据并不会经过这里，这样就可以大大提高了NameNodes的安全性。当然由于NameNodes是全局数据的唯一管理者，所以给NameNodes加上一个HA服务器。

由上可见，本发明提供的HDFS对于普通的文件***，有以下优点。

(1)数据安全性：由于所有的数据都是有副本备份的，所以个别机器的损坏并不会造成数据的丢失。

(2)资源共享：在分布式文件***中，用户读取远程的文件或者本她的文件

实施例一，参见图1、图2

所述Cluster，用于：负责VM的状态维护以及消息的转发。

通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本发明通过提出分布式虚拟块存、调度***设计，满足虚拟化***中对资源利用率低的问题，用友增强XEN环境下安全性，降低成本等优点。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于XEN的弹性云平台存储和调度***模型，其特征在于，在一个分布式文件***上虚拟出一个个块存储设备，硬盘数据都是存放在分布式文件***中，所有的数据都会被打散的分部在多台物理机上。

2.根据权利要求1所述的方法，其特征在于，优化资源分配：整个弹性云平台的一大目的就是降低成本，尽量挖掘服务器的潜能。所以分配虚拟机遵循一定策略，将多台高I/O的VM集中在某一台物理机，由于物理机总体I/O是有限的，所以这样的分配会导致CPU空闲，I/O却严重不足，但是如果将这些高I/O的VM和那些高计算的VM分配在一起，整体***的利用率就提升。

3.根据权利要求1所述的方法，其特征在于，保证虚拟机的健壮运行：弹性云平台另一大目标是为了保证服务的不中断、数据的安全性，所以整个调度***需要去维护自己名下所有虚拟机的运行状态，当某一台虚拟机出现故障的时候，就可以根据一定策略对其进行恢复，当然这里恢复包括人工恢复以及自动故障切换，总而言之就是调度***需要实时维护VM状态，并根据相应的故障做出正确的处理。

4.根据权利要求1所述的方法，其特征在于，虚拟机运行数据的采集：通过收集VM的运行数据，并根据这些数据去评判VM的类型。

5.根据权利要求1所述的方法，其特征在于，还包括：分布式文件***中的数据冗余备份保证了数据的安全性。而运行在分布式虚拟块存储设备之上的虚拟机，因为虚拟机的特性，可以随意的迁移，大大增加了服务的可靠性。这两方面的配合就保障了数据的安全性及服务的不中断性。

6.根据权利要求1所述的方法，其特征在于，还包括：

(1)分布式文件***以及key-value***：把实现在上分布式文件***的key-valuc***虚拟成一个块设备，由于分布式***的原因，就保证了数据的安全性。采用著名开源软hadoop中的HDFS以及实现在它上面的Hbase来实现；

(2)虚拟块存储：把从key-value***中虚拟出来的块设备应用到虚拟机里面去，这样就可以保证了虚拟机数据的安全性；

(3)基于分布式虚拟块存储设备的image snapshot以及cow(copy on write)的实现。