CN108306976B

CN108306976B - 一种用于云计算网络虚拟化中的sdn控制器架构

Info

Publication number: CN108306976B
Application number: CN201810154017.0A
Authority: CN
Inventors: 付宏伟
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-02-22
Filing date: 2018-02-22
Publication date: 2021-01-15
Anticipated expiration: 2038-02-22
Also published as: CN108306976A

Abstract

本发明涉及一种用于云计算网络虚拟化中的SDN控制器架构。现代的云计算平台往往借助于SDN技术来实现网络虚拟化，例如Openstack平台的Neutron插件或者Dragonflow插件。但是现有的网络虚拟化方案都不适应云计算平台具有弹性伸缩的特点。本发明通过将SDN控制器的控制逻辑处理和状态存储分离，实现了一种可以根据各种不同的网络虚拟化应用，灵活地弹性伸缩控制节点和存储节点数量的SDN控制器架构。它同时也是一种相比于传统的高可用实现方法，更节约资源的实现SDN控制器高可用性的方法。

Description

一种用于云计算网络虚拟化中的SDN控制器架构

技术领域

本发明涉及云计算与软件定义网络领域，特别涉及一种用于云计算网络虚拟化中的SDN控制器架构。

背景技术

现代的云计算平台往往借助于SDN技术来实现网络虚拟化，例如Openstack平台的Neutron 插件或者Dragonflow插件。因为SDN比传统的架构提供更高的灵活性，更适应云计算平台中动态为虚拟机创建和分配各种网络服务的需求。Neutron插件只使用了部分的SDN技术，而Dragonflow插件则比较完整地采用了SDN技术。

最早的Openstack的Dragonflow插件，采用了单控制节点与多个agent的架构。单个控制节点在性能上可能成为瓶颈，在可用性上存在单点失效的问题。Dragonflow后来推出了新的分布式Dragonflow。分布式Dragonflow需要在所有的计算节点上安装SDN控制器，控制节点的数量与云计算平台的计算节点数量一致，各个SDN控制器之间通过分布式数据库同步数据。分布式Dragonflow解决了单点问题，但是这样的缺点是，控制节点需要与计算节点竞争资源，在计算节点负荷较大时，控制节点可能缺少足够的资源处理SDN请求。云计算平台具有弹性伸缩的特点，计算节点的增加和减少是根据计算节点的负荷决定的。***不能根据SDN控制节点的负荷增加减少控制节点数量。

传统的SDN控制器大多使用关系数据库作为数据存储层。关系数据库的优点是提供较强的数据一致性和可用性，也就是从CAP原理（任何分布式***只可同时满足一致性、可用性、分区容错性三者中的二点。）的角度来说，关系数据库属于CA数据库。也就是说关系数据库强调数据的一致性，但是很难做到弹性伸缩。但是在云环境下，SDN控制器的数据存储吞吐量往往会有较大的涨落，而基于key/value的数据库，例如redis，更适合云环境下的数据存储。

关系数据库的另一个缺点是，因为关系数据库的查询使用SQL语句，常用的编写SDN控制器的语言例如Python、Java，是面向对象的。导致阻抗不匹配。使用key/value数据库也有助于解决这个问题。

发明内容

本发明所要解决的技术问题是应用于云计算网络虚拟化中的SDN控制器架构。它通过将SDN控制器的控制逻辑处理和状态存储分离，实现了一种可以根据各种不同的网络虚拟化应用，灵活地弹性伸缩控制节点和存储节点数量的SDN控制器架构。它同时也是一种相比于传统的高可用实现方法，更节约资源的实现SDN控制器高可用性的方法。

与传统的SDN控制器不同的是，为了使控制节点的数量能够弹性伸缩，本发明中的控制节点应该只提供无状态服务。这里的无状态指的是控制节点上不保存应用状态，处理一次请求所需的全部信息，要么都包含在这个请求里，要么可以从存储节点获取到。无状态服务的好处是，一次请求在任何一个控制节点上处理的结果都是一样的，计算节点上的代理可以将一次请求发送到一个控制节点，下一次请求发送到另一个控制节点。***可以只根据控制节点的负载情况分配请求，对处理的结果没有任何影响。增加新的控制节点时，***只需要将新的请求发送到新增的控制节点，因为处理请求的上下文都在请求中，或者存储在存储节点上，新增的控制节点处理请求的结果与已有的控制节点完全一样。当***需要删除某一控制节点数量时，***可以等待当前节点正在处理的请求处理完成后关闭并删除这个节点，其余的控制节点可以继续处理后续的请求，程序的正确性不受任何影响。

控制节点通过插件API的方式访问存储集群。存储集群可以是任意的key/value分布式数据库集群，例如，redis。***可以根据不同的场景和需求更换存储集群。存储集群负责应用状态的持久化，具体的细节根据具体的存储集群配置。

***可以根据应用和负载的需要弹性伸缩存储节点数量，并且通过能够重新平衡存储节点的哈希算法，例如一致性哈希算法，平衡存储集群上的负载。

为了保证存储集群能够弹性伸缩，所用的哈希算法应该具有以下特点：

（1）将应用状态的key和存储节点集群中的存储节点建立映射关系，从而将key分布到不同的存储节点上；

（2）保证平衡性，即key尽可能的分布到所有存储节点上，使所有存储节点都得到利用；

（3）保证单调性，即有新的存储节点加入到存储节点集群中时，已分配到原有存储节点上的key可以被映射到新的存储节点上；

（4）保证一个特定的存储节点，在不同的控制节点上映射为相同的内容。

存储集群弹性伸缩的方法如下：

(1) 在进行实际的伸缩之前，根据伸缩后的存储节点集群计算重新计算已存储的应用状态ID的哈希值;

(2) 如果有需要添加的存储节点，将其加入集群，并将映射到新存储节点上的应用状态key/value从旧的存储节点移动到新的存储节点上;

(3) 如果有需要移除的节点，先将其上存储的应用状态key/value移动到重新计算哈希值后映射的存储节点上，然后将其移除出存储集群。

每个控制节点在加入集群时都会被分配一个唯一的ID。

控制节点为收到的每个事件分配一个唯一的序列号ID，后接受的事件ID应该大于先接受的事件ID。

控制节点的应用状态以key/value的形式存储在存储节点上。key应该是根据请求中全局唯一的信息生成的，例如，对于为虚拟机分配IP地址的应用，虚拟机的OpenstackUUID是唯一的，可以用虚拟机的uuid作为key，虚拟机的网络信息，比如mac地址，IP等作为value。

控制节点失效应该被及时的检测到，失效检测机制可以由Zookeeper或者某种gossip协议实现。

控制节点失效时。要保证事件处理的交易完整性。控制节点改变存储在存储节点上的状态的操作分为四种：1、增加，增加一个键值对；2、删除，删除一个键值对；3、更新，更新一个键值对，将某个键的值更新为另一个值；4、查询，查询一个键值对，即查询一个给定的键对应的值。其他更复杂的操作都可以分解成这四种操作的组合。

在处理事件之前先对事件进行保存，保存的方法是，步骤一：根据收到事件的控制节点ID和事件ID生成一个唯一的key，这个key是使用哈希算法根据控制节点ID和事件ID生成的哈希值；步骤二，控制节点依据收到事件生成value，这个value的属性包括：一）事件的二进制表示，或者事件的某种序列化，控制节点应该能够通过解析或者反序列化value重新生成事件，二）收到时间的控制节点ID，三）事件ID四）事件交易完成标记，如果设为true，代表事件交易已经处理成功；步骤三，控制节点将key,value保存在存储节点上。

***应该根据事件的控制节点ID和事件ID生成和维护二级索引，方便控制节点根据控制节点ID和事件ID查询事件。

处理事件中，如果被处理的事件需要交易完整性，则控制节点要保存操作信息和回滚信息。保存的方法是：步骤一：每次执行更改控制器状态的操作之前，首先生成一个唯一序列号。后执行操作的序列号必须大于先执行操作的序列号，例如，先执行一个增加操作，后执行一个更新操作，增加操作和更新操作的序列号可以分别是1和2。步骤二：根据控制节点ID，事件ID和序列号生成的哈希值；步骤三，为每个需要保存的操作生成value，这个value中应该包含以下属性，一）操作类型。操作类型应该是增加、删除、更新三种操作之一。二）操作信息，对于增加操作，操作信息的内容是新增加的key/value；对于删除操作，操作信息的内容是删除的key/value；对于跟新操作操作信息的内容是key、更新前的旧value和更新后的新value；步骤三，控制节点将key,value保存在存储节点上；三）控制节点ID；四）事件ID；五）操作序列号；六）操作完成标记，如果设为true，代表操作已经完成。

每个操作完成之后要标记该操作已经完成，例如，在操作信息中增加一个标志操作是否已经完成的标记。处理事件的操作和标记操作是否已经完成应该是原子化的。如果***使用的分布式key/value数据库不支持原子化操作，可以使用支持原子化操作的关系数据库存储操作信息，因为只需要保存当前正在处理的需要交易完整性的事件的操作，所以并发的读写量不大，不会影响***性能。或者通过Zookeeper实现两阶段提交协议。

***应该生成和维护操作信息的二级索引，以方便根据控制节点ID，事件ID和操作序列号查询操作信息。

处理事件之后，要通过修改事件的完成标记保存交易是否已经完成。

一个控制节点失效时，另一个控制节点可以继续处理。另一个控制节点首先检查是否有未完成的事件处理，可以根据存储节点上存储的操作信息决定继续处理事件还是回滚。继续处理的方法是：步骤一,查询失效控制节点的未完成事件；步骤二，查询未完成事件的操作信息；步骤三，根据操作信息和***状态决定是继续完成交易，放弃交易还是回滚交易。

回滚交易的方法是：步骤一，查找未完成事件的操作信息中序列号最大的已完成并且未被回滚的操作；步骤二，回滚这一步操作，回滚一个操作的方法是执行一个反操作，反操作分为三种1）新增操作的反操作是删除操作，删除新增的key/value；2）删除操作的反操作是新增操作，新增被删除的key/value；3）更新操作的反操作是更新操作，将key的value更新为保存在操作信息中的旧value；步骤三，标记此操作为已经回滚；步骤四，重复步骤一到步骤三直到所有已完成操作都已经被回滚。

Claims

1.一种应用于云计算平台网络虚拟化的SDN控制器架构***，其特征在于，包括控制节点集群和存储节点集群；

所述控制节点集群存储所有的应用状态在存储节点上，并可以根据控制节点集群的负载弹性伸缩；

所述存储节点集群是key-value数据库的集群，并可以根据存储节点集群的负载弹性伸缩；

其中，所述应用于云计算平台网络虚拟化的SDN控制器架构***包括一种将所有应用状态的存储在存储节点上的方法，方法包括如下步骤：

2.1为每一个控制节点生成唯一的控制节点ID；

2.2为每一个控制节点收到的请求，生成唯一的递增的事件ID；所述事件ID的生成方法保证，后收到的事件ID大于先收到的事件ID

2.3为每一个应用状态都需要根据其内容、所在控制节点ID和事件ID生成全局唯一的应用状态ID；

2.4采用哈希算法计算应用状态ID的哈希值作为key，并且根据应用状态生成value；

2.5将步骤2.4生成的key和value存储在存储节点上；

其中，所述控制节点应该只提供无状态服务；这里的无状态指的是控制节点上不保存应用状态，处理一次请求所需的全部信息，要么都包含在这个请求里，要么可以从存储节点获取到；无状态服务的好处是，一次请求在任何一个控制节点上处理的结果都是一样的，计算节点上的代理可以将一次请求发送到一个控制节点，下一次请求发送到另一个控制节点；***可以只根据控制节点的负载情况分配请求，对处理的结果没有任何影响；增加新的控制节点时，***只需要将新的请求发送到新增的控制节点，因为处理请求的上下文都在请求中，或者存储在存储节点上，新增的控制节点处理请求的结果与已有的控制节点完全一样；当***需要删除某一控制节点数量时，***可以等待当前节点正在处理的请求处理完成后关闭并删除这个节点，其余的控制节点可以继续处理后续的请求，程序的正确性不受影响。

2.权利要求1所述的一种应用于云计算平台网络虚拟化的SDN控制器架构***，所述的将所有应用状态存储在存储节点上的方法，其特征在于，所述哈希算法将应用状态的key和存储节点集群中的存储节点建立映射关系，从而将key分布到不同的存储节点上；

所述将key与存储节点建立映射关系的哈希算法保证平衡性，即key尽可能的分布到所有存储节点上，使所有存储节点都得到利用；

所述的哈希算法保证单调性，即有新的存储节点加入到存储节点集群中时，已分配到原有存储节点上的key可以被映射到新的存储节点上；

所述哈希算法保证一个特定的存储节点，在不同的控制节点上映射为相同的内容。

3.权利要求1所述的一种应用于云计算平台网络虚拟化的SDN控制器架构***，所述的将所有应用状态存储在存储节点上的方法，其特征在于，存储节点集群可以根据负载弹性伸缩，方法包括如下步骤：

(1)根据伸缩后的存储节点集群重新计算已存储的应用状态ID的哈希值；

(2)如果有需要添加的存储节点，将其加入集群，并将映射到新存储节点上的应用状态key和value从旧的存储节点移动到新的存储节点上；

(3)如果有需要移除的节点，先将其上存储的应用状态key和value移动到重新计算哈希值后映射的存储节点上，然后将其移除出存储集群。

4.权利要求1所述一种应用于云计算平台网络虚拟化的SDN控制器架构***，其特征在于，控制节点在处理请求事件之前先对事件进行保存，保存的方法包括如下步骤：

(1)为每个收到的事件生成全局唯一的递增的ID；

(2)根据收到事件的控制节点ID和事件ID计算哈希值作为key；

(3)根据收到事件的内容生成value，value的属性包括：1)事件的二进制表示，或者事件的某种序列化，任意一个控制节点应该能够通过解析或者反序列化value重新生成事件；2)收到事件的控制节点ID；3)事件ID；4)收到事件时间的时间戳5)交易是否完成的标记；

(4)将key和value保存在存储节点上；

(5)为收到事件的控制节点ID和收到事件时间的时间戳生成和维护二级索引，使得***可以根据控制节点ID和时间查询事件。

5.权利要求1所述一种应用于云计算平台网络虚拟化的SDN控制器架构***，其特征在于，包括一种实现事件处理交易完整性的方法，方法包括如下步骤：

(1)控制节点收到事件后，在处理事件之前先保存事件；

(2)控制节点在处理事件中，在每次更改控制节点应用状态的操作前，保存操作；

(3)每个操作执行完成之后，更改保存操作的操作完成标记为已经完成，实际执行操作的动作与更改操作完成标记的动作应该是原子化的，所述原子化是指，***或者处于两个动作或者都成功的状态，或者处于两个动作都没有执行的状态；

(4)事件处理完成后，更改保存事件的完成标记为已完成；

(5)如果控制节点在处理事件的过程中失效，另一个控制节点可以读取保存的事件和操作信息并根据***当时的状态决定继续事件处理还是回滚***状态。

6.权利要求5所述的一种应用于云计算平台网络虚拟化的SDN控制器架构***，所述的实现事件处理交易完整性的方法，其特征在于，包括一种保存事件操作的方法，方法包括如下步骤：

7.1每次执行更改控制器状态的操作之前，首先生成一个唯一序列号；

后执行操作的序列号必须大于先执行操作的序列号；

7.2根据控制节点ID，事件ID和序列号计算哈希值作为key；

7.3为每个需要保存的操作生成value，这个value中应该包含以下属性，一)操作类型，

操作类型应该是增加、删除、更新三种操作之一；

二)操作信息，对于增加操作，操作信息的内容是新增加的key/value；对于删除操作，操作信息的内容是删除的key/value；对于更新操作操作信息的内容是key、更新前的旧value和更新后的新value；

三)控制节点ID；四)事件ID；五)操作序列号；六)操作完成标记，如果设为true，代表操作已经完成；

7.4将key和value保存在存储节点上；

7.5为收到事件的控制节点ID和事件ID生成和维护二级索引，使得***可以根据控制节点ID和事件ID查询操作。

7.权利要求5所述的一种应用于云计算平台网络虚拟化的SDN控制器架构***，所述的实现事件处理交易完整性的方法，其特征在于，包括一种回滚应用状态的方法，方法包括如下步骤：

8.1查找未完成事件的操作信息中序列号最大的已完成并且未被回滚的操作；

8.2回滚这一步操作，回滚一个操作的方法是执行一个反操作，反操作分为三种1)新增操作的反操作是删除操作，删除新增的key/value；2)删除操作的反操作是新增操作，新增被删除的key/value；3)更新操作的反操作是更新操作，将key的value更新为保存在操作信息中的旧value；

8.3标记此操作为已经回滚；

8.4重复步骤8.1到步骤8.3直到所有已完成操作都已经被回滚。