WO2011113394A2 - 一种路由器、虚拟集群路由器***及建立方法 - Google Patents

一种路由器、虚拟集群路由器***及建立方法 Download PDF

Info

Publication number
WO2011113394A2
WO2011113394A2 PCT/CN2011/073383 CN2011073383W WO2011113394A2 WO 2011113394 A2 WO2011113394 A2 WO 2011113394A2 CN 2011073383 W CN2011073383 W CN 2011073383W WO 2011113394 A2 WO2011113394 A2 WO 2011113394A2
Authority
WO
WIPO (PCT)
Prior art keywords
router
forwarding
control device
virtual cluster
control
Prior art date
Application number
PCT/CN2011/073383
Other languages
English (en)
French (fr)
Other versions
WO2011113394A3 (zh
Inventor
刘恩慧
王歆平
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to PCT/CN2011/073383 priority Critical patent/WO2011113394A2/zh
Priority to CN201180000840.2A priority patent/CN102511151B/zh
Priority to EP11755711.6A priority patent/EP2608459B1/en
Publication of WO2011113394A2 publication Critical patent/WO2011113394A2/zh
Publication of WO2011113394A3 publication Critical patent/WO2011113394A3/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/58—Association of routers
    • H04L45/586—Association of routers of virtual routers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/42—Centralised routing

Definitions

  • the present invention relates to a communication technology, and in particular, to a router, a virtual cluster router system, and a method for establishing the same.
  • BACKGROUND With the continuous development of the Internet, router cluster technology emerges as the times require.
  • the so-called router cluster is to interconnect multiple physically independent routers to form a logically integrated router system. Each independent router is centrally and uniformly managed, and operates like a router, which greatly simplifies the operation and maintenance of the equipment.
  • the network interconnection is implemented by using a central switching frame, and the topology structure between routers in the cluster is required to be single, resulting in limited system scale capacity and inability to adapt.
  • the embodiment of the present invention provides a router, a virtual cluster router system, and a method for establishing the foregoing, which can solve the above-mentioned problems of the prior art.
  • the virtual cluster router system can implement control forwarding separation, and improve network expansion flexibility and reliability.
  • the present invention provides a virtual cluster router system, where the system includes a control device and at least two forwarding routers, and the at least two forwarding routers respectively pass through respective external interfaces and other network devices outside the system.
  • the control device is configured to collect control protocol information sent by other network devices outside the system received by each external connection port of the virtual cluster router system, Centrally calculating and generating a routing information database external to the virtual cluster system;
  • the control device performs control protocol communication on behalf of the cluster system with other routers outside the system, so that the virtual cluster system is external to the control protocol layer
  • the control device is further configured to collect control protocol information between each forwarding router and the control device in the virtual cluster router system, and centrally calculate and generate a routing information database inside the virtual cluster router system.
  • the control device combines the external routing information base of the system and the routing information database of the system pair to generate a final forwarding information base, and passes the final forwarding
  • the present invention provides a router, where the router is applied to the virtual cluster router system of claim 1, and a control management channel is established between the router and a control device in the system;
  • the message processing module and the sending module are configured to: when receiving the message including the control protocol sent by the virtual cluster router system, extract the destination board identifier in the message, if the destination board identifier is located And sending, by the control device, the message to the sending module, where the sending module is configured to receive the message, and send the message to the control device by using an established control management channel.
  • the present invention further provides a control device, the router being applied to the virtual cluster router system according to claim 1, wherein a control management channel is established between the router and a control device in the system;
  • the router includes a message processing module and a sending module: the message processing module is configured to: when receiving the message including the control protocol sent by the virtual cluster router system, extract the destination board identifier in the message, if the destination board The identifier is located on the control device, and the message is sent to the sending module; the sending module is configured to receive the message, and send the message to the control device by using an established control management channel.
  • the present invention provides a method for establishing a virtual cluster router, and the method is applied to The virtual cluster router system of claim 1, wherein the virtual cluster router system comprises a control device and at least two forwarding routers; the method comprises: establishing control between the control device and the at least two forwarding routers respectively
  • the control device collects control protocol information sent by other network devices outside the system received by each external connection port of the virtual cluster router system, and centrally calculates and generates an external routing information database of the virtual cluster system.
  • the control device performs control protocol communication on behalf of the cluster system with other routers outside the system, so that the virtual cluster system is externally embodied as a router at the control protocol level;
  • the control protocol information between the forwarding router and the control device in the virtual cluster router system is centralized to generate a routing information database inside the virtual cluster router system;
  • the control device uses the system external routing information database And the routing information base in the system And generate the final forwarding information base, and the final forwarding information base under the management by the control channel of the at least two distributed forwarding Router.
  • the topology of the virtual cluster router is not limited, and can support any topology, such as a star, a tree, a ring, and a fully connected FullMesh type. Or a hybrid topology; and the forwarding routers inside the virtual cluster router can be connected through a standard interface to reduce costs, and for the network outside the virtual cluster router, there is no need to modify the existing routing protocol, and through control
  • the device and the forwarding router perform functional differentiation, which realizes separation of control and forwarding, and improves flexibility and reliability of network expansion.
  • FIG. 1 is a schematic diagram of establishing a control management channel according to an embodiment of the present invention
  • 2-1 is a schematic diagram of a virtual cluster router system of a star structure according to an embodiment of the present invention
  • FIG. 2-2 is a schematic diagram of a virtual cluster router system of a tree structure according to an embodiment of the present invention
  • FIGS. 2-4 are schematic diagrams of a virtual cluster router system of a FullMesh type structure according to an embodiment of the present invention
  • FIGS. 2-5 are schematic diagrams of a virtual cluster router system of any topology structure according to an embodiment of the present invention.
  • the purpose of the present invention is to clearly and completely describe the technical solutions in the embodiments of the present invention, and it is obvious that the technical solutions in the embodiments of the present invention are clearly and completely described.
  • the described embodiments are a part of the embodiments of the invention, and not all of the embodiments. All other embodiments obtained by a person of ordinary skill in the art based on the embodiments of the present invention without creative efforts are within the scope of the present invention.
  • Embodiment 1 is a diagrammatic representation of Embodiment 1:
  • the embodiment of the present invention provides a virtual cluster router system, where the system includes a control device Controller and at least two forwarding routers Router; the at least two forwarding routers respectively pass through respective external connection ports and other networks outside the system.
  • the device establishes communication;
  • the control device is configured to collect control protocol information sent by other network devices outside the system that are received by each external connection port of the virtual cluster router system, and centrally calculate and generate an external routing information database of the virtual cluster system.
  • the control device performs control protocol communication on behalf of the cluster system with other routers outside the system, so that the virtual cluster system is externally embodied as a router at the control protocol level;
  • the control device is further configured to collect each forwarding in the virtual cluster router system
  • the control protocol information between the router and the control device is centrally calculated to generate a routing information database inside the virtual cluster router system;
  • the control device combines the external routing information database of the system with the routing information database of the system to generate a final forwarding information database, and sends the final forwarding information database to the control management channel.
  • the at least two forwarding routers are used to generate a final forwarding information database, and sends the final forwarding information database to the control management channel.
  • control device may send the other network devices outside the system that are received by the external connection ports of the virtual cluster router system through static configuration or through the control management channel.
  • the manner in which the control device collects the foregoing information through the control management channel may be as follows: the at least two forwarding routers are configured to receive a message including a control protocol sent by the virtual cluster router system. Extracting the destination board identifier in the message. If the destination board identifier is located on the control device, the message is sent to the control device through the established control management channel.
  • control protocol information sent by the forwarding routers sent by the at least two forwarding routers to the control device by using the control management channel.
  • control device and each forwarding router are respectively enabled according to the specific physical form of the control device.
  • Function for convenience of description, it can be considered that the communication agent is installed separately on the control device and each forwarding router, or the communication agent is separately installed on each forwarding router, that is, the above functions are performed by the communication agent.
  • the above functions are enabled on the forwarding router.
  • the function is enabled on the interconnect interface board where the interface on the router is forwarded. Enable the above functions on the control device. In the specific implementation, you can enable the above functions on the interconnect interface board where the control device between the control device and each forwarding router is located on the control device. The control device and each device. When the interface between the control planes on the control device is on the MPU of the main control board, you do not need to enable the above functions.
  • control device is configured with: an identifier of the control device, an interface identifier of the control management channel between the control device and each forwarding router, and an IP address of the interface.
  • the at least two forwarding routers are respectively configured to: forward each router's identity, control the interface IP address of the control and management channel between the router and the control device, and control the forwarding between the router and the control device.
  • the management channel forwards the interface identifier of the Router and the IP address of the interface.
  • the topology of the at least two forwarding routers is a combination of at least one topology or any topology described below, a star, a tree, a ring, and a fully connected FullMesh.
  • the forwarding router is configured as a star/tree/ring topology cluster by standard interface interconnection.
  • the standard internal connection port can be a GE/10GE Ethernet interface or a POS interface.
  • the cluster is represented by a router on the external IP protocol control level.
  • the Root Router acts as the root node of the star/tree/ring topology
  • the Leaf Router acts as the leaf node for the star/tree/ring topology.
  • the intermediate node may be a router, a switch, an optical transmission device, or the like.
  • FIG. 1 is a schematic diagram of establishing a control management channel according to an embodiment of the present invention.
  • the controller in Figure 1 is the control device in this application.
  • the forwarding routers are Root Router1, Leaf Router2, and Leaf Router3.
  • Control the ID of the device control the ID of the interface A on the device, the IP address of the interface A, the ID of the interface B on the device, the IP address of the interface B, the ID of the interface C on the control device, and the IP address of the interface C.
  • the IP address of the interface is forwarded, and the IP address of interface a is forwarded.
  • the IP address of interface a is forwarded.
  • the IP address of interface a is forwarded.
  • the IP address of interface a is forwarded.
  • the IP address of interface a is forwarded.
  • the router is the root router.
  • the router is forwarded to the router.
  • the router is forwarded to the leaf.
  • Router 1 Forwards the ID of Router 1 and forwards Router1 to the root router. It forwards the identifier of interface a on Router1 and the IP address of interface a, and controls the identifier of interface A on the device and the IP address of interface A.
  • Router 2 The ID of Router 2 is forwarded, and Router 2 is forwarded to the Leaf Router.
  • the ID of interface b on Router 2 and the IP address of interface b are forwarded.
  • the ID of interface B on the device and the IP address of interface B are controlled.
  • the at least two forwarding routers respectively include: an interface information reporting module, configured to perform the control The device reports interface information, where the interface information includes all interfaces that are connected to the outside of the virtual cluster router and interface information of all interfaces that are connected to the virtual cluster router.
  • the control device includes: an interface management module, configured to receive interface information reported by the at least two forwarding routers, and save the interface information.
  • connection manner of the control device and each forwarding router is not specifically limited.
  • the control management channel is implemented in an in-band or out-of-band manner;
  • the control device needs to further configure the control device to respectively perform static routes to the at least two forwarding routers; and the at least two forwarding routers need to further configure themselves to the Control the static route of the device.
  • the control device when there is no interconnect interface board in the control device, the control device establishes a control management channel with each forwarding R 0Uter through the switch; when the control device includes the main control board and the interconnect interface board, the control device and the The at least two forwarding routers respectively establish a control management channel, which includes: establishing, by the interconnecting interface board of the control device, and the at least two forwarding routers, respectively, a control management channel; the interconnecting interface board, configured to receive The message is extracted from the destination board identifier in the message. If the destination board identifier is located in the message, the message is sent to the main control board to process the message.
  • FIG. 2-1 is a schematic diagram of a virtual cluster router system of a star structure according to an embodiment of the present invention
  • FIG. 2-2 is a schematic diagram of a virtual cluster router system of a tree structure according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a virtual cluster router system of a FullMesh type structure according to an embodiment of the present invention
  • FIG. 2-5 is an arbitrary topology structure provided by an embodiment of the present invention
  • Schematic diagram of a virtual cluster router system The controller in the drawing is the control device in the present application.
  • the root router is the root node in the forwarding router.
  • the leaf router is the leaf node in the forwarding router.
  • the dotted line indicates the control flow sent by the control device and each forwarding router through the established control management channel.
  • the solid line indicates the actual physical connection between the forwarding routers.
  • Solid points represent the internal ports within the cluster system, interconnected using standard interfaces.
  • the forwarding router establishes communication with other network devices outside the system through the external interface.
  • a person skilled in the art can perform protocol adaptation on the inside of the virtual cluster router to support various control protocols, such as IP, MPLS, VPN, etc., on the basis of the virtual cluster router system described in the embodiment of the present invention, so that the virtual cluster router can be used. It is embodied as a router at the protocol control level. The following uses the virtual cluster router to support IP service forwarding as an example.
  • the control device specifically includes: a forwarding information base collection module, configured to collect other network devices sent by the external connection ports of the virtual cluster router system
  • the routing control protocol information is obtained, and the external routing information base eFIB of the virtual cluster system is generated, and the control protocol information between each forwarding router and the control device in the virtual cluster router system is collected, and each forwarding is obtained.
  • the internal interconnect topology information between the routers is calculated and generated to generate the routing information database iFIB in the virtual cluster router system.
  • the iFIB includes: a node ID of each forwarding router, a connection port ID in the data channel, and an IP address thereof;
  • the eFIB includes: an identifier of an external connection port of each forwarding router and an IP address thereof; a merging module, configured to merge the iFIB and the eFIB to generate a final forwarding information base of the virtual cluster router;
  • a sending module configured to send the final forwarding information base of the virtual cluster router to the at least two forwarding routers through the control management channel.
  • the merging module further includes:
  • the forwarding information obtaining unit is configured to obtain, according to the external connection port information in the eFIB, the forwarding router where the external connection port is located; obtain routing information of the forwarding router where the external connection port is located in the iFIB;
  • a forwarding information merging unit configured to merge the destination address corresponding to the external connection port information in the eFIB, and the routing information of the forwarding router where the external connection port is located in the iFIB into the The final forwarding information base of the virtual cluster router system.
  • the control device in order to establish an iFIB, needs to configure at least the identity of each forwarding router, and the information of the connection port identifier and IP address in the data channel of the forwarding router, which is used to establish and maintain the cluster topology. database.
  • the topology of the root node such as a star, a tree, and a ring, is required to be forwarded in the forwarding information base.
  • the following information is further configured on the setup module: The topology type of the Router interconnect is forwarded in the cluster router, and the topology role of the Router is forwarded.
  • the generation of the iFIB may have different generation methods for different virtual cluster topology structures.
  • the intermediate system may be passed to the intermediate system.
  • ISIS To Intermediate - System, ISIS) protocol and Transparent Interconnection of Lots of Links (TRILL) encapsulation.
  • TRILL Transparent Interconnection of Lots of Links
  • the control device collects the iFIBs of each forwarding router in a centralized manner and sends them to the routers through the control channel.
  • iFIB can be calculated centrally by the control device, or can be calculated by each forwarding router.
  • eFIB and iFIB can be completed centrally by the control device or by each forwarding router itself.
  • the virtual cluster router can be embodied as a router.
  • the embodiment of the present invention can generate two control node Controllers through static configuration or protocol election to form an active/standby relationship.
  • the virtual cluster router system has no limitation on the topology of the virtual cluster router, and can support any topology, such as a star, a tree, and a ring.
  • Type fully connected FullMesh type, or hybrid arbitrary topology; and the forwarding routers inside the virtual cluster router can be connected through standard interfaces, reducing costs, and for the network outside the virtual cluster router, there is no need to modify the existing The routing protocol, and the function distinguishing between the control device and the forwarding router, realizes the separation of control and forwarding, and improves the flexibility and reliability of network expansion.
  • Embodiment 2 is a diagrammatic representation of Embodiment 1:
  • the embodiment of the present invention further provides a router, where the router is applied to the virtual cluster router system, and the router and the control device in the system establish a control management channel; the router includes a message processing module and a sending module. :
  • the message processing module is configured to: when receiving the message including the control protocol sent by the virtual cluster router system, extract the destination board identifier in the message, if the destination board identifier is located on the control device, Sending the message to the sending module;
  • the sending module is configured to receive the message, and send the message to the control device by using an established control management channel.
  • the identifier of the router itself the control IP address of the control management channel between the router and the control device on the control device side, and the control management channel between the router and the control device forwarding the Router
  • the interface identifier on the side and the IP address of the interface The interface identifier on the side and the IP address of the interface.
  • the router in order to support multiple topology structures between the routers in the virtual cluster, if the topology type of the forwarding router interconnect is a topology of a root node such as a star, a tree, or a ring, the router needs to further Configuration: Its own top role.
  • connection manner of the control device and each forwarding router is not specifically limited, and the control management channel is implemented in an in-band or out-of-band manner; When the channel is implemented in an in-band manner, the router needs to further configure its own static route to the control device.
  • the router further includes: an interface information reporting module, configured to report to the control device, in order to implement unified management of the interface of the forwarding device Port information, the interface information includes all interfaces that are connected to the outside of the virtual cluster router, and interface information of all interfaces that are connected to the virtual cluster router.
  • an interface information reporting module configured to report to the control device, in order to implement unified management of the interface of the forwarding device Port information, the interface information includes all interfaces that are connected to the outside of the virtual cluster router, and interface information of all interfaces that are connected to the virtual cluster router.
  • the router provided in the second embodiment is applied to the above-mentioned virtual cluster router.
  • the router in this embodiment belongs to one of the virtual cluster routers. Therefore, the router in the second embodiment is implemented.
  • the function implementation of the forwarding router in the first embodiment refer to the function implementation of the forwarding router in the first embodiment.
  • Embodiment 3 is a diagrammatic representation of Embodiment 3
  • the third embodiment of the present invention further provides a control device, where the control device is applied to the virtual cluster router system of claim 1, and the control device and at least two forwarding routers in the system respectively establish control a management channel; the at least two forwarding routers respectively establish communication with other network devices outside the system through respective external connection ports;
  • the control device includes:
  • a protocol information collection module configured to collect control protocol information sent by other network devices outside the system received by each external connection port of the virtual cluster router system, and centrally calculate and generate external routing information of the virtual cluster system a library, the virtual cluster system is externally embodied as a router at the control protocol level; and collecting control protocol information between each forwarding router and the control device in the virtual cluster router system, and performing centralized calculation Generating a routing information base inside the virtual cluster router system;
  • a merging module configured to combine the external routing information database of the system and the routing information database of the system to generate a final forwarding information base
  • the sending module sends the final forwarding information base to the at least two forwarding routers through the control management channel.
  • the configuration is further configured on the control device: the topology type of the Router interconnect is forwarded in the cluster router, and the topology of each router is forwarded. Character.
  • the establishing a control management channel between the control device and the at least two forwarding routers includes: establishing, by the control device, a control management channel between the switch and the at least two forwarding routers.
  • the control device includes a main control board and an interconnection interface board;
  • establishing a control management channel between the control device and the at least two forwarding routers specifically includes: establishing, by the interconnecting interface board of the control device, the control management channel between the at least two forwarding routers.
  • the control management channel is implemented in an in-band or out-of-band manner; when the control management channel is implemented in an in-band manner, the control device needs to further configure the control device to the at least two forwarding routers respectively. Static route.
  • the control protocol includes: an IP protocol, an MPLS protocol, or a VPN protocol.
  • the forwarding information base collection module specifically includes: used to collect route forwarding sent by other network devices outside the system received by each external connection port of the virtual cluster router system. And generating, by the centralized calculation, the external routing information base eFIB of the virtual cluster system; and collecting control protocol information between each forwarding router and the control device in the virtual cluster router system, and centrally calculating and generating the virtual cluster router
  • the routing information base iFIB of the system includes: a node ID of each forwarding router, a connection port ID in the data channel, and an IP address thereof;
  • the eFIB includes: an identifier of an external connection port of each forwarding router and an IP address thereof;
  • the merging module specifically includes: combining the iFIB and the eFIB to generate a final forwarding information base of the virtual cluster router;
  • the sending module specifically includes: sending, by the control management channel, the final forwarding information base of the virtual cluster router to the at least two forwarding routers.
  • the merging module further includes:
  • the forwarding information obtaining unit is configured to obtain, according to the external connection port information in the eFIB, the forwarding router where the external connection port is located; obtain routing information of the forwarding router where the external connection port is located in the iFIB;
  • the forwarding information merging unit is configured to merge the destination address corresponding to the external connection port information in the eFIB and the routing information of the forwarding router where the external connection port is located in the iFIB into the final forwarding of the virtual cluster router system. database.
  • the control device further includes: an interface management module, configured to receive interface information reported by the at least two forwarding routers, and save the interface information.
  • control device provided by the embodiment of the present invention is applied to a virtual cluster router.
  • the system has no limitation on the topology of the virtual cluster router, and can support any topology, such as a star, a tree, a ring, and a whole.
  • the function is distinguished by the control device and the forwarding router, which realizes the separation of control and forwarding, and improves the flexibility and reliability of network expansion.
  • Embodiment 4 is a diagrammatic representation of Embodiment 4:
  • a fourth embodiment of the present invention provides a method for establishing a virtual cluster router. The method is applied to the virtual cluster router system according to claim 1, wherein the virtual cluster router system includes a control device and at least two forwarding routers.
  • the method includes:
  • the control device collects control protocol information sent by other network devices outside the system received by each external connection port of the virtual cluster router system, and centrally calculates and generates an external routing information database of the virtual cluster system;
  • Control device represents the cluster system and the system The other routers perform control protocol communication, so that the virtual cluster system is externally embodied as a router at the control protocol level;
  • the control device further collects control protocol information between each forwarding router and the control device in the virtual cluster router system, and centrally calculates and generates a protocol information database inside the virtual cluster router system;
  • the control device combines the external routing information database of the system with the routing information database of the system to generate a final forwarding information database, and sends the final forwarding information database to the control management channel.
  • the at least two forwarding routers are used to generate a final forwarding information database, and sends the final forwarding information database to the control management channel.
  • the virtual cluster router establishment method provided by the embodiment of the present invention is applied to a virtual cluster router.
  • the method has no limitation on the topology of the virtual cluster router, and can support any topology, such as a star, a tree, and a ring.
  • Type fully connected FullMesh type, or hybrid arbitrary topology; and the forwarding routers inside the virtual cluster router can be connected through standard interfaces, reducing costs, and for the network outside the virtual cluster router, there is no need to modify the existing
  • the routing protocol, and the function distinguishing between the control device and the forwarding router realizes the separation of control and forwarding, and improves the flexibility and reliability of network expansion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

一种路由器、 虚拟集群路由器***及建立方法 技术领域 本发明实施例涉及通信技术， 尤其涉及一种路由器、 虚拟集群路由器 ***及建立方法。 背景技术 随着互联网的不断发展， 路由器集群技术应运而生。 所谓路由器集群， 就是将多台物理上独立的路由器互连起来， 形成一套逻辑上一体的路由器 ***。 每一***立的路由器都被集中统一地管理起来， 操作上如同一台路 由器， 极大地简化了设备的运行和维护。
现有的路由器集群形态， 通常需要通过一个特定的中央交换框将多个 独立的路由器以星形拓朴互连。
在实现本发明的过程中， 发明人发现现有技术中至少存在如下问题： 采用中央交换框实现网络互联， 对集群内部的路由器之间的拓朴结构 要求单一， 导致***规模容量有限， 无法适应网络规模变化； 集群内部的 路由器需要设计专门的交换框和专用接口与中央交换框相连， 设计成本高 且不便于扩展。 发明内容
本发明实施例提供一种路由器、 虚拟集群路由器***及建立方法， 可 以解决上述提到的现有技术的问题， 此外， 该虚拟集群路由器***可以实 现控制转发分离， 提高了网络扩展的灵活性以及可靠性。
一方面， 本发明提供一种虚拟集群路由器***， 所述***包括控制设 备和至少两台转发路由器 Router; 所述至少两台转发 Router分别通过各自 的外连接口与所述***外的其它网络设备建立通信； 所述控制设备和所述 至少两台转发 Router之间分别建立控制管理通道； 所述控制设备， 用于收 集所述虚拟集群路由器***的各个外连接口接收到的所述***外的其它网 络设备发来的控制协议信息， 集中计算生成所述虚拟集群***对外的路由 信息库； 所述控制设备代表所述集群***与所述***外的其他路由器进行 控制协议通信， 使所述虚拟集群***在所述控制协议层面上对外体现为一 台路由器； 所述控制设备还用于收集所述虚拟集群路由器***内各个转发 Router 与所述控制设备之间的控制协议信息， 集中计算生成所述虚拟集群 路由器***内部的路由信息库； 所述控制设备将所述***对外的路由信息 库和所述***对内的路由信息库进行合并， 生成最终的转发信息库， 并将 所述最终的转发信息库通过所述控制管理通道下发给所述至少两台转发 Router。
另一方面， 本发明提供一种路由器， 所述路由器应用于权利要求 1 所 述的虚拟集群路由器***内， 所述路由器和所述***中的控制设备之间建 立控制管理通道； 所述路由器包括消息处理模块和发送模块： 所述消息处 理模块， 用于收到所述虚拟集群路由器***外发来的包含控制协议的消息 时， 提取该消息中的目的板卡标识， 如果目的板卡标识位于所述控制设备 上， 则将所述消息发给所述发送模块； 所述发送模块， 用于接收到所述消 息， 通过已建立的控制管理通道将所述消息发送至所述控制设备。
另一方面， 本发明又提供一种控制设备， 所述路由器应用于权利要求 1 所述的虚拟集群路由器***内， 所述路由器和所述***中的控制设备之间 建立控制管理通道； 所述路由器包括消息处理模块和发送模块： 所述消息 处理模块， 用于收到所述虚拟集群路由器***外发来的包含控制协议的消 息时， 提取该消息中的目的板卡标识， 如果目的板卡标识位于所述控制设 备上， 则将所述消息发给所述发送模块； 所述发送模块， 用于接收到所述 消息， 通过已建立的控制管理通道将所述消息发送至所述控制设备。
又一方面， 本发明提供一种虚拟集群路由器建立方法， 该方法应用于 权利要求 1 所述的虚拟集群路由器***， 所述虚拟集群路由器***包括控 制设备和至少两台转发路由器 Router; 该方法包括： 在所述控制设备和所 述至少两台转发 Router之间分别建立控制管理通道； 所述控制设备收集所 述虚拟集群路由器***的各个外连接口接收到的所述***外的其它网络设 备发来的控制协议信息， 集中计算生成所述虚拟集群***对外的路由信息 库； 所述控制设备代表所述集群***与所述***外的其他路由器进行控制 协议通信， 使所述虚拟集群***在所述控制协议层面上对外体现为一台路 由器； 所述控制设备还收集所述虚拟集群路由器***内的各个转发 Router 与所述控制设备之间的控制协议信息， 集中计算生成所述虚拟集群路由器 ***内部的路由信息库； 所述控制设备将所述***对外的路由信息库和所 述***对内的路由信息库进行合并， 生成最终的转发信息库， 并将所述最 终的转发信息库通过所述控制管理通道下发给所述至少两台转发 Router。
可见， 通过本发明实施例提供的路由器、 虚拟集群路由器***及建立 方法， 虚拟集群路由器内部的拓朴结构没有限制， 可以支持任意拓朴， 例 如星型、 树型、 环型、 全连接 FullMesh型、 或者混合型任意拓朴； 且虚拟集 群路由器内部的转发路由器之间可以通过标准接口连接， 降低成本， 且对 虚拟集群路由器外的网络而言， 不需要修改现有的路由协议， 并且通过控 制设备和转发路由器进行功能区分， 实现了控制与转发分离， 提高了网络 扩展的灵活性以及可靠性。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对 实施例或现有技术描述中所需要使用的附图作一简单地介绍， 显而易见地， 下面描述中的附图是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1是本发明实施例提供的控制管理通道建立的示意图； 图 2-1是本发明实施例提供的星型结构的虚拟集群路由器***示意图； 图 2-2是本发明实施例提供的树型结构的虚拟集群路由器***示意图； 图 2-3 是本发明实施例提供的环型结构的虚拟集群路由器***示意 图；
图 2-4 是本发明实施例提供的 FullMesh型结构的虚拟集群路由器*** 示意图；
图 2-5 是本发明实施例提供的任意拓朴型结构的虚拟集群路由器*** 示意图。 具体实肺式 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本 发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描 述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例， 都属于本发明保护的范围。
实施例一：
本发明实施例提供了一种虚拟集群路由器***， 所述***包括控制设 备 Controller和至少两台转发路由器 Router;所述至少两台转发 Router分别 通过各自的外连接口与所述***外的其它网络设备建立通信；
所述控制设备和所述至少两台转发 Router之间分别建立控制管理通 道；
所述控制设备， 用于收集所述虚拟集群路由器***的各个外连接口接 收到的所述***外的其它网络设备发来的控制协议信息， 集中计算生成所 述虚拟集群***对外的路由信息库； 所述控制设备代表所述集群***与所 述***外的其他路由器进行控制协议通信， 使所述虚拟集群***在所述控 制协议层面上对外体现为一台路由器； 所述控制设备还用于收集所述虛拟集群路由器***内的各个转发
Router 与所述控制设备之间的控制协议信息， 集中计算生成所述虚拟集群 路由器***内部的路由信息库；
所述控制设备将所述***对外的路由信息库和所述***内部的路由信 息库进行合并， 生成最终的转发信息库， 并将所述最终的转发信息库通过 所述控制管理通道下发给所述至少两台转发 Router。
在本发明实施例的具体实现时， 所述控制设备可以通过静态配置或者 通过所述控制管理通道收集所述虚拟集群路由器***的各个外连接口接收 到的所述***外的其它网络设备发来的控制协议信息或所述虚拟集群路由 器***内的各个转发 Router与所述控制设备之间的控制协议信息。 进一步 地， 所述控制设备通过所述控制管理通道收集上述信息的方式可以如下： 所述至少两台转发 Router, 用于收到所述虚拟集群路由器***外发来 的包含控制协议的消息时， 提取该消息中的目的板卡标识， 如果目的板卡 标识位于所述控制设备上， 则通过已建立的控制管理通道将所述消息发送 至所述控制设备。
或者， 所述至少两台转发 Router通过控制管理通道向所述控制设备发 送的各个转发 Router发来的控制协议信息。
在本发明实施例的具体实现时， 为了实现本发明实施例提供的虚拟集 群路由器***内部的通信连接， 需要根据控制设备的具体物理形态， 具体 决定在控制设备以及各个转发 Router上分别使能如上功能；为了描述方便， 可以认为在控制设备和各个转发 Router上分别安装通信代理， 或者在各个 转发 Router上分别安装通信代理， 也就是说， 上述的功能由通信代理在执 行，
需要说明的是， 在转发 Router上使能如上功能具体是指转发 Router和 控制设备之间的控制管理通道在转发 Router侧的接口所在互连接口板上的 使能上述功能. 在控制设备上使能如上功能， 具体实现时可以在控制设备分别和各个转 发 Router之间的控制管理通道在控制设备侧的接口所在的互连接口板上使 能上述功能. 当控制设备和各个转发 Router之间的控制通道在控制设备侧 的接口在主控板 MPU上时， 不需要使能上述功能。
进一步地， 本发明实施例的具体实现时， 在所述控制设备上配置： 控 制设备的标识、 控制设备分别和各个转发 Router之间的控制管理通道在控 制设备侧的接口标识以及该接口的 IP地址， 各个转发 Router的标识， 以及 控制设备分别和各个转发 Router之间的控制管理通道在转发 Router侧的接 口标识以及该接口的 IP地址；
在所述至少两台转发 Router上分别配置：各个转发 Router自身的标识， 各个转发 Router和控制设备之间的控制管理通道在控制设备侧的接口 IP地 址， 各个转发 Router和控制设备之间的控制管理通道在转发 Router侧的接 口标识以及该接口的 IP地址。
所述至少两台转发 Router的拓朴结构为下述至少一个拓朴或任意拓朴 的结合， 星型、 树型、 环型、 全连接 FullMesh型。 转发 Router以标准接口 互联构成星型 /树型 /环型拓朴结构集群， 标准内连接口可以是 GE/10GE 以 太网接口、 POS接口等， 集群对外 IP协议控制层面上体现为一台路由器； Root Router作为星型 /树型 /环型拓朴的根节点， Leaf Router作为星型 /树型 / 环型拓朴的叶子节点。 当所述至少两台转发 Router的拓朴结构为任意拓朴 时， 中间节点可以是 Router、 Switch, 光传输设备等。
当所述至少两台转发 Router的拓朴结构为星型、 树型或环型时， 在所 述控制设备上进一步配置： 集群路由器内转发 Router互连的拓朴类型， 各 转发 Router的拓朴角色； 在所述至少两台转发 Router上分别进一步配置： 各个转发 Router自身的拓朴角色。 例如： 拓朴类型为星型， 树型和环形的 根节点的拓朴角色可以定义为根路由器 Root Router, 树型和环形的叶子节 点的拓朴角色可以定义为叶子路由器 LeafRouter。 为了描述清楚， 以三个 转发 Router, 星型拓朴为例进行说明， 请参考图 1 ， 图 1 是本发明实施例 提供的控制管理通道建立的示意图。 图 1中的 Controller为本申请中的控制 设备， 转发 Router分别为 Root Routerl， Leaf Router2, Leaf Router3。
在控制设备上至少配置如下信息：
控制设备的标识，控制设备上接口 A的标识以及接口 A的 IP地址，控 制设备上接口 B的标识以及接口 B的 IP地址，控制设备上接口 C的标识以 及接口 C的 IP地址，星型拓朴、转发 Routerl的标识、转发 Routerl为 Root Router、 转发 Router2的标识， 转发 Router2为 Leaf Router, 转发 Router3 的标识，转发 Router3为 Leaf Router以及转发 Routerl上接口 a的标识以及 接口 a的 IP地址， 转发 Router 2上接口 b的标识以及接口 b的 IP地址， 以 及转发 Router 3上接口 c的标识以及接口 c的 IP地址。
在转发 Routerl上配置如下信息：
转发 Router 1的标识， 转发 Routerl为 Root Router, 转发 Routerl上接 口 a的标识以及接口 a的 IP地址，控制设备上接口 A的标识以及接口 A的 IP地址。
在转发 Router 2上配置如下信息：
转发 Router 2的标识， 转发 Router2为 Leaf Router, 转发 Router 2上的 接口 b的标识以及接口 b的 IP地址， 控制设备上接口 B的标识以及接口 B 的 IP地址。
在转发 Router 3上配置如下信息：
转发 Router 3的标识， 转发 Router3为 Leaf Router, 转发 Router 3上的 接口 c的标识以及接口 c的 IP地址， 控制设备上的接口 C的标识以及接口 C的 IP地址。
上面描述的是建立控制设备和各个转发 Router之间的控制管理通道。 进一步地， 为了实现控制设备对各个转发 Router的接口的统一管理， 所述至少两台转发 Router分别包括： 接口信息上报模块， 用于向所述控制 设备上报接口信息， 所述接口信息包括自身与所述虚拟集群路由器外部相 连的所有接口以及自身与所述虚拟集群路由器内部相连的所有接口的接口 信息；
所述控制设备包括：接口管理模块，用于接收所述至少两台转发 Router 上报的接口信息， 保存所述接口信息。
此外，在本发明实施例的具体实现时，所述控制设备和各个转发 Router 的连接方式本发明不做具体限定， 例如： 所述控制管理通道以带内或带外 的方式实现； 当所述控制管理通道以带内的方式实现时， 所述控制设备需 要进一步配置所述控制设备分别到所述至少两台转发 Router的静态路由； 所述至少两台转发 Router需要分别进一步配置自身到所述控制设备的静态 路由。
进一步地， 当控制设备中没有互连接口板时， 控制设备通过交换机分 别与各个转发 R0Uter建立控制管理通道； 当控制设备包括主控板和互连接 口板时， 所述控制设备和所述至少两台转发 Router之间分别建立控制管理 通道具体包括： 所述控制设备的互连接口板和所述至少两台转发 Router之 间分别建立控制管理通道； 所述互连接口板， 用于接收所述消息， 提取该 消息中的目的板卡标识， 如果目的板卡标识位于自身， 则将所述消息上送 给所述主控板处理所述消息。
上面描述的是如何建立虚拟集群路由器***的实施例。 为了方便所述 虚拟集群路由器***， 具体可参见图 2 -1至图 2-5。 图 2-1是本发明实施例 提供的星型结构的虚拟集群路由器***示意图；图 2-2是本发明实施例提供 的树型结构的虚拟集群路由器***示意图； 图 2-3 是本发明实施例提供的 环型结构的虚拟集群路由器***示意图； 图 2-4 是本发明实施例提供的 FullMesh型结构的虚拟集群路由器***示意图； 图 2-5 是本发明实施例提 供的任意拓朴型结构的虚拟集群路由器***示意图。 其中， 附图中的 Controller为本申请中的控制设备。 Root Router为转发路由器中的根节点， Leaf Router 为转发路由器中的叶子节点， 虚线表示控制设备和各个转发 Router之间通过建立的控制管理通道所发送的控制流；实线表示转发 Router 之间的实际的物理连线。 实心点表示集群***内的内连接口， 使用标准接 口互连。 转发 Router通过外连接口与***外的其它网络设备建立通信。
本领域普通技术人员可以在本发明实施例描述的虚拟集群路由器*** 的基础上， 对虚拟集群路由器内部进行协议适配以支持多种控制协议， 例 如 IP, MPLS, VPN等协议， 以便虚拟集群路由器在协议控制层面上体现为 一台路由器。 下面以虚拟集群路由器支持 IP业务转发为例进行说明。 为了 在虚拟集群路由器内支持 IP业务转发， 所述控制设备具体包括： 转发信息 库收集模块， 用于收集所述虚拟集群路由器***的各个外连接口接收到的 所述***外的其它网络设备发来的路由控制协议信息， 集中计算生成所述 虚拟集群***对外的路由信息库 eFIB； 以及收集所述虚拟集群路由器*** 内的各个转发 Router与所述控制设备之间的控制协议信息， 获得各个转发 Router之间的内部互连拓朴信息， 集中计算生成所述虛拟集群路由器*** 内部的路由信息库 iFIB; 所述 iFIB 包括： 各转发 Router的节点 ID、 数据 通道内连接口 ID及其 IP地址； 所述 eFIB包括： 各转发 Router的外连接口 的标识及其 IP地址； 合并模块， 用于将所述 iFIB和所述 eFIB合并后生成 所述虚拟集群路由器最终的转发信息库；
发送模块， 用于将所述虚拟集群路由器最终的转发信息库通过所述控 制管理通道下发给所述至少两台转发 Router。
所述合并模块进一步包括：
转发信息获取单元， 用于根据所述 eFIB中的外连接口信息， 获得该外 连接口所在的转发 Router; 在所述 iFIB中获得去往该外连接口所在的转发 Router的路由信息；
转发信息合并单元， 用于将所述 eFIB中该外连接口信息对应的目的地 址、 所述 iFIB中去往该外连接口所在的转发 Router的路由信息合并为所述 虛拟集群路由器***最终的转发信息库。
本发明实施例的具体实现时， 为了建立 iFIB， 控制设备至少需要配置 各个转发 Router的标识， 各个转发 Router的数据通道内连接口标识及 IP 地址等信息， 用于建立和维护集群内连拓朴数据库。
进一步地， 为了支持虚拟集群内部转发 Router之间的多种拓朴结构， 对于转发 Router互连的拓朴类型为星型， 树型和环形等有根节点的拓朴， 则需要在转发信息库建立模块上进一步配置如下信息： 集群路由器内转发 Router互连的拓朴类型， 各转发 Router的拓朴角色。
进一步地， 所述 iFIB的生成， 针对不同的虚拟集群拓朴结构还可以有 不同的生成方法， 针对胖树 Fat-tree或者全连接 FullMesh型拓朴， 可以通 过中间***到中间*** （ Intermediate-System to Intermediate -System, ISIS ) 协议和多连接透明互连 (Transparent Interconnection of Lots of Links, TRILL) 封装来实现。
控制设备集中计算各转发 Router的 iFIB , 并汇总通过控制通道下发给 各 Router节点。
需要说明的是， iFIB 的生成可以由控制设备集中计算， 也可以由各个 转发 Router自己计算。
需要说明的是， eFIB和 iFIB的合并可以由控制设备集中完成， 也可以 由各个转发 Router自己完成。
这样， 在 IP协议控制层面， 可以实现虚拟集群路由器对外体现为一台 路由器。
进一步地， 为了提高可靠性以及实现负载分担， 本发明实施例可以通 过静态配置或者协议选举集群内部可以产生两台控制节点 Controller,构成 主备关系。
可见， 通过本发明实施例提供的虚拟集群路由器***， 对虚拟集群路 由器内部的拓朴结构没有限制， 可以支持任意拓朴， 例如星型、 树型、 环 型、 全连接 FullMesh型、 或者混合型任意拓朴； 且虚拟集群路由器内部的 转发路由器之间可以通过标准接口连接， 降低成本， 且对虚拟集群路由器 外的网络而言， 不需要修改现有的路由协议， 并且通过控制设备和转发路 由器进行功能区分， 实现了控制与转发分离， 提高了网络扩展的灵活性以 及可靠性。
实施例二：
本发明实施例还提供了一种路由器， 所述路由器应用于上述的虚拟集 群路由器***内， 所述路由器和所述***中的控制设备建立控制管理通道； 所述路由器包括消息处理模块和发送模块：
所述消息处理模块， 用于收到所述虚拟集群路由器***外发来的包含 控制协议的消息时， 提取该消息中的目的板卡标识， 如果目的板卡标识位 于所述控制设备上， 则将所述消息发给所述发送模块；
所述发送模块， 用于接收到所述消息， 通过已建立的控制管理通道将 所述消息发送至所述控制设备。
在所述路由器上配置： 所述路由器自身的标识， 所述路由器和控制设 备之间的控制管理通道在控制设备侧的接口 IP地址， 所述路由器和控制设 备之间的控制管理通道在转发 Router侧的接口标识以及该接口的 IP地址。
进一步地， 为了支持虚拟集群内部转发 Router之间的多种拓朴结构， 对于转发 Router互连的拓朴类型为星型， 树型和环形等有根节点的拓朴， 则需要所述路由器进一步配置： 自身的拓朴角色。
此外，在本发明实施例的具体实现时，所述控制设备和各个转发 Router 的连接方式本发明不做具体限定， 所述控制管理通道以带内或带外的方式 实现； 当所述控制管理通道以带内的方式实现时， 所述路由器需要进一步 配置自身到所述控制设备的静态路由。
进一步地， 为了实现控制设备对各个转发 Router的接口的统一管理， 所述路由器进一步包括： 接口信息上报模块， 用于向所述控制设备上报接 口信息， 所述接口信息包括自身与所述虛拟集群路由器外部相连的所有接 口以及自身与所述虚拟集群路由器内部相连的所有接口的接口信息。
需要说明的是， 本实施例二提供的路由器应用于上述的虚拟集群路由 器内， 本实施例中的路由器属于上述虚拟集群路由器中的一台转发 Router, 所以， 实施例二中的路由器在具体实现时， 可以参考实施例一中的转发 Router的功能实现。
实施例三：
本发明实施例三还提供了一种控制设备，该控制设备应用于权利要求 1 所述的虚拟集群路由器***内， 所述控制设备和所述***中的至少两台转 发 Router之间分别建立控制管理通道； 所述至少两台转发 Router分别通过 各自的外连接口与所述***外的其它网络设备建立通信；
所述控制设备包括：
协议信息库收集模块， 用于收集所述虚拟集群路由器***的各个外连 接口接收到的所述***外的其它网絡设备发来的控制协议信息 , 集中计算 生成所述虚拟集群***对外的路由信息库， 使所述虚拟集群***在所述控 制协议层面上对外体现为一台路由器； ； 以及收集所述虚拟集群路由器系 统内的各个转发 Router与所述控制设备之间的控制协议信息， 集中计算生 成所述虚拟集群路由器***内部的路由信息库；
合并模块， 用于将所述***对外的路由信息库和所述***内部的路由 信息库进行合并， 生成最终的转发信息库；
发送模块， 将所述最终的转发信息库通过所述控制管理通道下发给所 述至少两台转发 Router。
在所述控制设备上配置： 控制设备的标识、 控制设备分别和各个转发 Router之间的控制管理通道在控制设备侧的接口标识以及该接口的 IP 地 址， 各个转发 Router的标识， 以及控制设备分别和各个转发 Router之间的 控制管理通道在转发 Router侧的接口标识以及该接口的 IP地址。 当所述至少两台转发 Router的拓朴结构为星型、 树型或环型时， 在所 述控制设备上进一步配置： 集群路由器内转发 Router互连的拓朴类型， 各 转发 Router的拓朴角色。
所述控制设备和所述至少两台转发 Router之间分别建立控制管理通道 具体包括： 所述控制设备通过交换机与所述至少两台转发 Router之间分别 建立控制管理通道。
所述控制设备包括主控板和互连接口板；
相应地， 所述控制设备和所述至少两台转发 Router之间分别建立控制 管理通道具体包括：所述控制设备的互连接口板和所述至少两台转发 Router 之间分别建立控制管理通道。
所述控制管理通道以带内或带外的方式实现； 当所述控制管理通道以 带内的方式实现时， 所述控制设备需要进一步配置所述控制设备分别到所 述至少两台转发 Router的静态路由。
所述控制协议包括： IP协议， MPLS协议或 VPN协议。
当所述控制协议为 IP协议时， 所述转发信息库收集模块具体包括， 用 于收集所述虚拟集群路由器***的各个外连接口接收到的所述***外的其 它网络设备发来的路由转发信息， 集中计算生成所述虚拟集群***对外的 路由信息库 eFIB; 以及收集所述虚拟集群路由器***内的各个转发 Router 与所述控制设备之间的控制协议信息， 集中计算生成所述虚拟集群路由器 ***内部的路由信息库 iFIB; 所述 iFIB包括： 各转发 Router的节点 ID、 数据通道内连接口 ID及其 IP地址； 所述 eFIB包括： 各转发 Router的外连 接口的标识及其 IP地址；
所述合并模块具体包括，用于将所述 iFIB和所述 eFIB合并后生成所述 虛拟集群路由器最终的转发信息库；
所述发送模块具体包括， 用于将所述虚拟集群路由器最终的转发信息 库通过所述控制管理通道下发给所述至少两台转发 Router。 所述合并模块进一步包括：
转发信息获取单元， 用于根据所述 eFIB中的外连接口信息， 获得该外 连接口所在的转发 Router; 在所述 iFIB中获得去往该外连接口所在的转发 Router的路由信息；
转发信息合并单元， 用于将所述 eFIB中该外连接口信息对应的目的地 址、 所述 iFIB中去往该外连接口所在的转发 Router的路由信息合并为所述 虚拟集群路由器***最终的转发信息库。
所述控制设备进一步包括： 接口管理模块， 用于接收所述至少两台转 发 Router上报的接口信息， 保存所述接口信息。
可见， 通过本发明实施例提供的控制设备， 应用于虚拟集群路由器内， 该***对虚拟集群路由器内部的拓朴结构没有限制， 可以支持任意拓朴， 例如星型、 树型、 环型、 全连接 FullMesh型、 或者混合型任意拓朴； 且虚 拟集群路由器内部的转发路由器之间可以通过标准接口连接， 降低成本， 且对虚拟集群路由器外的网絡而言， 不需要修改现有的路由协议， 并且通 过控制设备和转发路由器进行功能区分， 实现了控制与转发分离， 提高了 网络扩展的灵活性以及可靠性。
实施例四：
本发明实施例四提供一种虚拟集群路由器建立方法， 该方法应用于权 利要求 1 所述的虚拟集群路由器***， 所述虚拟集群路由器***包括控制 设备和至少两台转发路由器 Router;
该方法包括：
在所述控制设备和所述至少两台转发 Router之间分别建立控制管理通 道；
所述控制设备收集所述虚拟集群路由器***的各个外连接口接收到的 所述***外的其它网络设备发来的控制协议信息， 集中计算生成所述虚拟 集群***对外的路由信息库； 所述控制设备代表所述集群***与所述*** 外的其他路由器进行控制协议通信， 使所述虚拟集群***在所述控制协议 层面上对外体现为一台路由器；
所述控制设备还收集所述虚拟集群路由器***内的各个转发 Router与 所述控制设备之间的控制协议信息， 集中计算生成所述虚拟集群路由器系 统内部的协议信息库；
所述控制设备将所述***对外的路由信息库和所述***内部的路由信 息库进行合并， 生成最终的转发信息库， 并将所述最终的转发信息库通过 所述控制管理通道下发给所述至少两台转发 Router。
可见， 通过本发明实施例提供的虚拟集群路由器建立方法， 应用于虚 拟集群路由器内， 该方法对虚拟集群路由器内部的拓朴结构没有限制， 可 以支持任意拓朴， 例如星型、 树型、 环型、 全连接 FullMesh型、 或者混合 型任意拓朴； 且虚拟集群路由器内部的转发路由器之间可以通过标准接口 连接， 降低成本， 且对虚拟集群路由器外的网络而言， 不需要修改现有的 路由协议， 并且通过控制设备和转发路由器进行功能区分， 实现了控制与 转发分离， 提高了网络扩展的灵活性以及可靠性。
本领域普通技术人员可以理解： 实现上述方法实施例的全部或部分步 骤可以通过程序指令相关的硬件来完成， 前述程序可以存储于一计算机可 读取存储介质中， 该程序在执行时， 执行包括上述方法实施例的步驟； 而 前述的存储介质包括： ROM、 RAM, 磁碟或者光盘等各种可以存储程序代 码的介质。
最后应说明的是： 以上实施例仅用以说明本发明的技术方案， 而非对 其限制； 尽管参照前述实施例对本发明进行了详细的说明， 本领域的普通 技术人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修 改， 或者对其中部分技术特征进行等同替换； 而这些修改或者替换， 并不 使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

权利要求
1、 一种虚拟集群路由器***， 其特征在于， 所述***包括控制设备和 至少两台转发路由器 Router; 所述至少两台转发 Router分别通过各自的外 连接口与所述***外的其它网络设备建立通信；
所述控制设备和所述至少两台转发 Router之间分别建立控制管理通 道；
所述控制设备， 用于收集所述虚拟集群路由器***的各个外连接口接 收到的所述***外的其它网絡设备发来的控制协议信息， 集中计算生成所 述虚拟集群***对外的路由信息库； 所述控制设备代表所述集群***与所 述***外的其他路由器进行控制协议通信， 使所述虚拟集群***在所述控 制协议层面上对外体现为一台路由器；
所述控制设备还用于收集所述虚拟集群路由器***内各个转发 Router 与所述控制设备之间的控制协议信息， 集中计算生成所述虚拟集群路由器 ***内部的路由信息库；
所述控制设备将所述***对外的路由信息库和所述***内部的路由信 息库进行合并， 生成最终的转发信息库， 并将所述最终的转发信息库通过 所述控制管理通道下发给所述至少两台转发 Router。
2、 根据权利要求 1所述的***， 其特征在于， 所述收集所述虚拟集群 路由器***的各个外连接口接收到的所述***外的其它网络设备发来的控 制协议信息具体包括：
所述至少两台转发 Router, 用于收到所述虚拟集群路由器***外发来 的包含控制协议的消息时， 提取该消息中的目的板卡标识， 如果目的板卡 标识位于所述控制设备上， 则通过已建立的控制管理通道将所述消息发送 至所述控制设备。
3、根据权利要求 1所述的***， 其特征在于， 在所述控制设备上配置： 控制设备的标识、 控制设备分别和各个转发 Router之间的控制管理通道在 控制设备侧的接口标识以及该接口的 IP地址， 各个转发 Router的标识， 以 及控制设备分别和各个转发 Router之间的控制管理通道在转发 Router侧的 接口标识以及该接口的 IP地址；
在所述至少两台转发 Router上分别配置：各个转发 Router自身的标识， 各个转发 Router和控制设备之间的控制管理通道在控制设备侧的接口 IP地 址， 各个转发 Router和控制设备之间的控制管理通道在转发 Router侧的接 口标识以及该接口的 IP地址。
4、根据权利要求 1所述的***，其特征在于，所述至少两个转发 Router 通过标准接口建立拓朴结构。
5、根据权利要求 4所述的***，其特征在于，所述至少两个转发 Router 的拓朴结构为下述至少一个拓朴或任意拓朴的结合， 星型、 树型、 环型、 全连接 FullMesh型。
6、 根据权利要求 5 所述的***， 其特征在于， 当所述至少两个转发 Router的拓朴结构为星型、 树型或环型时， 在所述控制设备上进一步配置： 集群路由器内转发 Router互连的拓朴类型， 各转发 Router的拓朴角色； 在 所述至少两台转发 Router上分别进一步配置： 各个转发 Router自身的拓朴 角色。
7、 根据权利要求 1所述的***， 其特征在于， 所述控制设备和所述至 少两台转发 Router之间分别建立控制管理通道具体包括： 所述控制设备通 过交换机与所述至少两台转发 Router之间分别建立控制管理通道。
8、 根据权利要求 1所述的***， 其特征在于， 所述控制设备包括主控 板和互连接口板；
相应地， 所述控制设备和所述至少两台转发 Router之间分别建立控制 管理通道具体包括：所述控制设备的互连接口板和所述至少两台转发 Router 之间分别建立控制管理通道。
9、 根据权利要求 1所述的***， 其特征在于， 所述控制管理通道以带 内或带外的方式实现； 当所述控制管理通道以带内的方式实现时， 所述控 制设备需要进一步配置所述控制设备分别到所述至少两台转发 Router的静 态路由； 所述至少两台转发 Router需要分别进一步配置自身到所述控制设 备的静态路由。
10、 根据权利要求 1 所述的***， 其特征在于， 所述控制设备具体包 括： 转发信息库收集模块， 用于收集所述虚拟集群路由器***的各个外连 接口接收到的所述***外的其它网络设备发来的路由信息， 集中计算生成 所述虚拟集群***对外的路由信息库 eFIB; 以及收集所述虚拟集群路由器 ***内的各个转发 Router与所述控制设备之间的路由信息， 集中计算生成 所述虚拟集群路由器***内部的路由信息库 iFIB; 所述 iFIB包括： 各转发 Router的节点 ID、 数据通道内连接口 ID及其 IP地址； 所述 eFIB包括： 各 转发 Router的外连接口的标识及其 IP地址；
合并模块，用于将所述 iFIB和所述 eFIB合并后生成所述虚拟集群路由 器最终的转发信息库；
发送模块， 用于将所述虚拟集群路由器最终的转发信息库通过所述控 制管理通道下发给所述至少两台转发 Router。
11、 根据权利要求 10所述的***， 其特征在于， 所述合并模块进一步 包括：
转发信息获取单元， 用于根据所述 eFIB中的外连接口信息， 获得该外 连接口所在的转发 Router; 在所述 iFIB中获得去往该外连接口所在的转发 Router的路由信息；
转发信息合并单元， 用于将所述 eFIB中该外连接口信息对应的目的地 址、 所述 iFIB中去往该外连接口所在的转发 Router的路由信息合并为所述 虛拟集群路由器***最终的转发信息库。
12、根据权利要求 1所述的***，其特征在于，所述至少两台转发 Router 分别进一步包括： 接口信息上报模块， 用于向所述控制设备上报接口信息， 所述接口信息包括自身与所述虚拟集群路由器外部相连的所有接口以及自 身与所述虚拟集群路由器内部相连的所有接口的接口信息；
所述控制设备进一步包括： 接口管理模块， 用于接收所述至少两台转 发 Router上报的接口信息， 保存所述接口信息。
13、 一种路由器， 其特征在于， 所述路由器应用于权利要求 1 所述的 虚拟集群路由器***内， 所述路由器和所述***中的控制设备之间建立控 制管理通道；
所述路由器包括消息处理模块和发送模块：
所述消息处理模块， 用于收到所述虚拟集群路由器***外发来的包含 控制协议的消息时， 提取该消息中的目的板卡标识， 如果目的板卡标识位 于所述控制设备上， 则将所述消息发给所述发送模块；
所述发送模块， 用于接收到所述消息， 通过已建立的控制管理通道将 所述消息发送至所述控制设备。
14、 根据权利要求 13所述的路由器， 其特征在于， 在所述路由器上配 置： 所述路由器自身的标识， 所述路由器和控制设备之间的控制管理通道 在控制设备侧的接口 IP地址， 所述路由器和控制设备之间的控制管理通道 在转发 Router侧的接口标识以及该接口的 IP地址。
15、 根据权利要求 14所述的路由器， 其特征在于， 所述路由器进一步 配置： 自身的拓朴角色。
16、 根据权利要求 13所述的路由器， 其特征在于， 所述控制管理通道 以带内或带外的方式实现； 当所述控制管理通道以带内的方式实现时， 所 述路由器需要进一步配置自身到所述控制设备的静态路由。
17、 根据权利要求 13所述的路由器， 其特征在于， 所述路由器进一步 包括： 接口信息上报模块， 用于向所述控制设备上报接口信息， 所述接口 信息包括自身与所述虚拟集群路由器外部相连的所有外连接口以及自身与 所述虚拟集群路由器内部相连的所有内连接口的接口信息。
18、 一种控制设备， 其特征在于， 该控制设备应用于权利要求 1 所述 的虚拟集群路由器***内， 所述控制设备和所述***中的至少两台转发 Router之间分别建立控制管理通道； 所述至少两台转发 Router分别通过各 自的外连接口与所述***外的其它网络设备建立通信；
所述控制设备包括：
路由信息库收集模块， 用于收集所述虚拟集群路由器***的各个外连 接口接收到的所述***外的其它网络设备发来的控制协议信息， 集中计算 生成所述虚拟集群***对外的路由信息库， 使所述虚拟集群***在所述控 制协议层面上对外体现为一台路由器； ； 以及收集所述虚拟集群路由器系 统内的各个转发 Router与所述控制设备之间的控制协议信息， 集中计算生 成所述虚拟集群路由器***内部的路由信息库；
合并模块， 用于将所述***对外的路由信息库和所述***内部的路由 信息库进行合并， 生成最终的转发信息库；
发送模块， 将所述最终的转发信息库通过所述控制管理通道下发给所 述至少两台转发 Router。
19、 根据权利要求 18所述的控制设备， 其特征在于， 在所述控制设备 上配置： 控制设备的标识、 控制设备分别和各个转发 Router之间的控制管 理通道在控制设备侧的接口标识以及该接口的 IP地址，各个转发 Router的 标识， 以及控制设备分别和各个转发 Router 之间的控制管理通道在转发 Router侧的接口标识以及该接口的 IP地址。
20、 根据权利要求 18所述的控制设备， 其特征在于， 当所述至少两台 转发 Router的拓朴结构为星型、 树型或环型时， 在所述控制设备上进一步 配置： 集群路由器内转发 Router互连的拓朴类型， 各转发 Router的拓朴角 色。
21、 根据权利要求 18所述的控制设备， 其特征在于， 所述控制设备和 所述至少两台转发 Router之间分别建立控制管理通道具体包括： 所述控制 设备通过交换机与所述至少两台转发 Router之间分别建立控制管理通道。
22、 根据权利要求 18所述的控制设备， 其特征在于， 所述控制设备包 括主控板和互连接口板；
相应地， 所述控制设备和所述至少两台转发 Router之间分别建立控制 管理通道具体包括：所述控制设备的互连接口板和所述至少两台转发 Router 之间分别建立控制管理通道。
23、 根据权利要求 18所述的控制设备， 其特征在于， 所述控制管理通 道以带内或带外的方式实现； 当所述控制管理通道以带内的方式实现时， 所述控制设备需要进一步配置所述控制设备分别到所述至少两台转发 Router的静态路由。
24、 根据权利要求 18所述的控制设备， 其特征在于， 所述转发信息库 收集模块具体包括， 用于收集所述虚拟集群路由器***的各个外连接口接 收到的所述***外的其它网络设备发来的路由信息， 集中计算生成所述虚 拟集群***对外的路由信息库 eFIB; 以及收集所述虚拟集群路由器***内 的各个转发 Router之间的路由信息， 集中计算生成所述虚拟集群路由器系 统内部的路由信息库 iFIB; 所述 iFIB 包括： 各转发 Router的节点 ID、 数 据通道内连接口 ID及其 IP地址； 所述 eFIB包括： 各转发 Router的外连接 口的标识及其 IP地址；
所述合并模块具体包括，用于将所述 iFIB和所述 eFIB合并后生成所述 虚拟集群路由器最终的转发信息库；
所述发送模块具体包括， 用于将所述虚拟集群路由器最终的转发信息 库通过所述控制管理通道下发给所述至少两台转发 Router。
25、 根据权利要求 24所述的控制设备， 其特征在于， 所述合并模块进 一步包括：
转发信息获取单元， 用于根据所述 eFIB中的外连接口信息， 获得该外 连接口所在的转发 Router; 在所述 iFIB中获得去往该外连接口所在的转发 Router的路由信息；
转发信息合并单元， 用于将所述 eFIB中该外连接口信息对应的目的地 址、 所述 iFIB中去往该外连接口所在的转发 Router的路由信息合并为所述 虚拟集群路由器***最终的转发信息库。
26、 根据权利要求 18所述的控制设备， 其特征在于， 所述控制设备进 一步包括： 接口管理模块， 用于接收所述至少两台转发 Router上报的接口 信息， 保存所述接口信息。
27、 一种虚拟集群路由器建立方法， 其特征在于， 该方法应用于权利 要求 1 所述的虚拟集群路由器***， 所述虚拟集群路由器***包括控制设 备和至少两台转发路由器 Router;
该方法包括：
在所述控制设备和所述至少两台转发 Router之间分别建立控制管理通 道；
所述控制设备收集所述虚拟集群路由器***的各个外连接口接收到的 所述***外的其它网络设备发来的控制协议信息， 集中计算生成所述虚拟 集群***对外的路由信息库； 所述控制设备代表所述集群***与所述*** 外的其他路由器进行控制协议通信， 使所述虚拟集群***在所述控制协议 层面上对外体现为一台路由器；
所述控制设备还收集所述虚拟集群路由器***内的各个转发 Router与 所述控制设备之间的控制协议信息， 集中计算生成所述虚拟集群路由器系 统内部的路由信息库；
所述控制设备将所述***对外的路由信息库和所述***对内的路由信 息库进行合并， 生成最终的转发信息库， 并将所述最终的转发信息库通过 所述控制管理通道下发给所述至少两台转发 Router。
PCT/CN2011/073383 2011-04-27 2011-04-27 一种路由器、虚拟集群路由器***及建立方法 WO2011113394A2 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2011/073383 WO2011113394A2 (zh) 2011-04-27 2011-04-27 一种路由器、虚拟集群路由器***及建立方法
CN201180000840.2A CN102511151B (zh) 2011-04-27 2011-04-27 一种路由器、虚拟集群路由器***及建立方法
EP11755711.6A EP2608459B1 (en) 2011-04-27 2011-04-27 Router, virtual cluster router system and establishing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/073383 WO2011113394A2 (zh) 2011-04-27 2011-04-27 一种路由器、虚拟集群路由器***及建立方法

Publications (2)

Publication Number Publication Date
WO2011113394A2 true WO2011113394A2 (zh) 2011-09-22
WO2011113394A3 WO2011113394A3 (zh) 2012-04-05

Family

ID=44649658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2011/073383 WO2011113394A2 (zh) 2011-04-27 2011-04-27 一种路由器、虚拟集群路由器***及建立方法

Country Status (3)

Country Link
EP (1) EP2608459B1 (zh)
CN (1) CN102511151B (zh)
WO (1) WO2011113394A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103166859A (zh) * 2011-12-14 2013-06-19 中国电信股份有限公司 业务路由方法及***
CN103619067A (zh) * 2013-11-22 2014-03-05 北京奇虎科技有限公司 无线信道重新分配方法和装置
WO2015024524A1 (zh) * 2013-08-22 2015-02-26 华为技术有限公司 转发邻接链路的发布方法
EP2922254A4 (en) * 2013-01-06 2015-12-16 Huawei Tech Co Ltd METHOD FOR ESTABLISHING A SIGNALING CHANNEL, A DELIVERY POINT AND A CONTROL DEVICE
US10117258B2 (en) 2013-11-22 2018-10-30 Beijing Qihoo Technology Comapny Limited Wireless channel redistribution method and apparatus
EP3389231B1 (en) * 2013-01-14 2022-08-03 Huawei Technologies Co., Ltd. Cluster and forwarding method

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6037251B2 (ja) 2012-06-28 2016-12-07 ▲ホア▼▲ウェイ▼技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． ネットワーク経路を制御するための方法、デバイス、及びシステム
JP6014279B2 (ja) * 2013-02-06 2016-10-25 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． ネットワーク仮想化のデータ伝送のための方法、デバイス、及びルーティングシステム
SG11201601206YA (en) * 2013-09-03 2016-03-30 Univ Nanyang Tech A method for managing a data center network
CN104270270B (zh) * 2014-09-28 2018-03-30 国家电网公司 一种中高端机架式大容量设备通信管理方法
CN106302178B (zh) * 2015-05-20 2020-02-21 中兴通讯股份有限公司 一种路由查询方法及装置
CN107171953B (zh) * 2017-05-22 2020-04-28 浙江工商大学 一种虚拟路由器实现方法
CN107547255B (zh) * 2017-06-30 2020-12-01 新华三技术有限公司 集群***的升级方法、主用主控板及集群***
WO2021195990A1 (en) * 2020-03-31 2021-10-07 Alibaba Group Holding Limited Network congestion avoidance over ring-based collective communication
CN114079670B (zh) * 2020-07-30 2023-07-11 华为技术有限公司 传输路由信息的方法、装置和通信***
CN113115402B (zh) 2021-03-16 2023-10-20 北京小米移动软件有限公司 一种接入点的接入方法、装置、电子设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496510B1 (en) * 1997-11-14 2002-12-17 Hitachi, Ltd. Scalable cluster-type router device and configuring method thereof
US6907039B2 (en) * 2002-07-20 2005-06-14 Redback Networks Inc. Method and apparatus for routing and forwarding between virtual routers within a single network element
US8005979B2 (en) * 2002-10-28 2011-08-23 Oracle America, Inc. System and method for uniquely identifying processes and entities in clusters
US6850492B2 (en) * 2002-11-22 2005-02-01 Nokia Corporation Method and system for enabling a route and flow table update in a distributed routing platform
CN1312889C (zh) * 2003-12-17 2007-04-25 浪潮电子信息产业股份有限公司 集群网络的单一地址流量分发器
US7461154B2 (en) * 2004-11-18 2008-12-02 Cisco Technology, Inc. Communication arrangement between virtual routers of a physical router
US7729350B2 (en) * 2004-12-30 2010-06-01 Nokia, Inc. Virtual multicast routing for a cluster having state synchronization
CN101355430B (zh) * 2007-07-27 2012-02-29 华为技术有限公司 交换框、集群路由器
CN101442442B (zh) * 2008-12-17 2011-01-19 华为技术有限公司 管理装置、控制装置、管理控制装置及路由器***
CN101931587A (zh) * 2009-06-19 2010-12-29 华为技术有限公司 虚拟集群路由方法及***
US8532116B2 (en) * 2009-07-21 2013-09-10 Cisco Technology, Inc. Extended subnets
CN101841815B (zh) * 2010-04-14 2012-05-30 曹鹏 基于无线路由器的集群受控方法及网络***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103166859A (zh) * 2011-12-14 2013-06-19 中国电信股份有限公司 业务路由方法及***
EP2922254A4 (en) * 2013-01-06 2015-12-16 Huawei Tech Co Ltd METHOD FOR ESTABLISHING A SIGNALING CHANNEL, A DELIVERY POINT AND A CONTROL DEVICE
US9692697B2 (en) 2013-01-06 2017-06-27 Huawei Technologies Co., Ltd. Control channel establishing method, forwarding point, and controller
EP3389231B1 (en) * 2013-01-14 2022-08-03 Huawei Technologies Co., Ltd. Cluster and forwarding method
WO2015024524A1 (zh) * 2013-08-22 2015-02-26 华为技术有限公司 转发邻接链路的发布方法
US9948575B2 (en) 2013-08-22 2018-04-17 Huawei Technologies Co., Ltd. Issuing method for forwarding adjacency link
CN103619067A (zh) * 2013-11-22 2014-03-05 北京奇虎科技有限公司 无线信道重新分配方法和装置
US10117258B2 (en) 2013-11-22 2018-10-30 Beijing Qihoo Technology Comapny Limited Wireless channel redistribution method and apparatus

Also Published As

Publication number Publication date
WO2011113394A3 (zh) 2012-04-05
CN102511151B (zh) 2014-06-04
EP2608459B1 (en) 2014-12-17
CN102511151A (zh) 2012-06-20
EP2608459A2 (en) 2013-06-26
EP2608459A4 (en) 2013-11-06

Similar Documents

Publication Publication Date Title
WO2011113394A2 (zh) 一种路由器、虚拟集群路由器***及建立方法
US10542076B2 (en) Cloud service control and management architecture expanded to interface the network stratum
US9806983B2 (en) System and method for control flow management in software defined networks
Fu et al. Orion: A hybrid hierarchical control plane of software-defined networking for large-scale networks
CN103179046B (zh) 基于openflow的数据中心流量控制方法及***
RU2651149C2 (ru) Sdn-контроллер, система центра обработки данных и способ маршрутизируемого соединения
CN102546351B (zh) openflow网络和现有IP网络互联的***和方法
CN101442442B (zh) 管理装置、控制装置、管理控制装置及路由器***
US20150019756A1 (en) Computer system and virtual network visualization method
US20160087873A1 (en) Network Topology Discovery Method and System
CN105553849A (zh) 一种传统ip网络与sptn网络互通方法与***
US9054983B2 (en) Centralized control and management planes for different independent switching domains
WO2015062295A1 (zh) 流量清洗方法、装置和计算机存储介质
RU2513918C1 (ru) Кластерный маршрутизатор и способ кластерной маршрутизации
TW201703473A (zh) 混合型網路生成樹建立方法、備援方法與其控制系統
TW201914265A (zh) 自動配置的交換機、自動配置交換機的方法、交換機自動部署的軟體定義網路系統及其方法
CN105306365A (zh) 一种电力通信网络及其扩容与抗毁路由路径确定方法
JP2018023094A (ja) 多様な構成ユニットを支援可能なソフトウェア定義型ネットワークコントローラ
KR20180122513A (ko) Sdn 기반 네트워크 가상화 플랫폼의 네트워크 하이퍼바이저에서 트래픽 엔지니어링 방법 및 프레임워크
US9614758B2 (en) Communication system, integrated controller, packet forwarding method and program
Vdovin et al. Network utilization optimizer for SD-WAN
WO2011124183A2 (zh) 路由器集群转发信息库的获得方法及路由器
Fan et al. An optimization algorithm for spatial information network self-healing based on software defined network
Shiraki et al. Managing storage flows with SDN approach in I/O converged networks
KR20150033498A (ko) 써킷망과 패킷망이 혼재하는 복합망을 위한 단대단 경로 제공 방법 및 이를 위한 통합 소프트웨어 정의 네트워크 컨트롤러

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180000840.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11755711

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2011755711

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE