JP2009539305A - Uninterrupted network control message generation during local node outage - Google Patents

Uninterrupted network control message generation during local node outage Download PDF

Info

Publication number
JP2009539305A
JP2009539305A JP2009513106A JP2009513106A JP2009539305A JP 2009539305 A JP2009539305 A JP 2009539305A JP 2009513106 A JP2009513106 A JP 2009513106A JP 2009513106 A JP2009513106 A JP 2009513106A JP 2009539305 A JP2009539305 A JP 2009539305A
Authority
JP
Japan
Prior art keywords
state machine
cache
messages
message
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009513106A
Other languages
Japanese (ja)
Inventor
ストール,デイーター
ベンツエル,ゲオルク
トーマス,ボルフガング
Original Assignee
アルカテル−ルーセント ユーエスエー インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント ユーエスエー インコーポレーテッド filed Critical アルカテル−ルーセント ユーエスエー インコーポレーテッド
Publication of JP2009539305A publication Critical patent/JP2009539305A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/28Routing or path finding of packets in data switching networks using route fault recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/58Association of routers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一時的な制御プレーン機能停止の場合にパケットネットワーク再構成および関連するトラフィック損失を防止するために提供されるキャッシング機構。  A caching mechanism provided to prevent packet network reconfiguration and associated traffic loss in the event of a temporary control plane outage.

Description

本発明は、一般にコンピュータネットワークに関する。本発明は、特にパケット交換および制御プレーンプロトコルに関する。   The present invention generally relates to computer networks. The present invention particularly relates to packet switching and control plane protocols.

パケット交換ネットワークは、スパニングツリープロトコル(STP)、一般属性登録プロトコル(GARP)および仮想ローカルエリアネットワークに関するそのバージョン、VLAN登録プロトコル(GVRP)、リンク集約制御プロトコル(LACP)、Y.1711高速障害検出(FFD)、ならびに予約プロトコル(RSVP)更新等の制御プレーンプロトコルを含む。制御プロトコルは、例えば、ネットワークを介してどのようにレイヤ2(L2)トラフィックが流れるかのトポロジーおよび分配を制御する責任を有する。これらのプロトコルは、各参加ネットワーク構成要素上で実行中の状態機械で実現されている。一度、安定したネットワーク構成が達成されると、プロトコルは、それらがネットワークに送信したのと同じメッセージを繰り返しがちである。異なるメッセージは、通常、オペレーターかネットワークに変化を発生させる欠陥から生じる。ネットワーク構成要素によるプロトコルへの参加の失敗は、数ミリ秒から数秒の範囲のタイムアウト時間に1回のトラフィック再配置の超過を引き起こす。場合によっては、トラフィック再配置は全ネットワークに関係する。   The packet switched network includes Spanning Tree Protocol (STP), General Attribute Registration Protocol (GARP) and its version for virtual local area network, VLAN Registration Protocol (GVRP), Link Aggregation Control Protocol (LACP), Y. Control plane protocols such as 1711 Fast Failure Detection (FFD) and Reservation Protocol (RSVP) updates. The control protocol is responsible, for example, for controlling the topology and distribution of how layer 2 (L2) traffic flows through the network. These protocols are implemented with state machines running on each participating network component. Once a stable network configuration is achieved, the protocol tends to repeat the same message that they sent to the network. Different messages usually result from defects that cause changes in the operator or the network. A failure to join a protocol by a network component causes one traffic relocation to be exceeded during a timeout period ranging from a few milliseconds to a few seconds. In some cases, traffic relocation is relevant to the entire network.

現在のネットワーク構成要素では、パケット制御プロトコルは、3つのカテゴリの1つに分類される。それらは(1)非防護、(2)制御プレーン機能停止の前に近隣ネットワーク構成要素との専用通信を介した防護、または(3)プロトコル機能停止の少し前もしくは後に近隣ネットワークとの対話を必要とする、標準化された緩やかな再起動技術による防護である。非防護の場合、一般に、ネットワークを介したトラフィックフローが再構成される結果になる。再構成の時間の間、全ネットワークドメインと同じ程度の大きさであり得るネットワークの部分でトラフィック損失が生じる。異常を起こしていたネットワーク構成要素が正常状態に戻ると、障害より前のトラフィックフロー分配を再確立するために第2の再構成が行われる。再度、前と同様の規模でトラフィック損失が生じる。専用の実装では、2つの不利益が存在する。第1に、それが問題のシナリオの一部だけ、即ち、(例えば、ネットワーク構成要素におけるオペレーターによるソフトウェアアップグレードの場合に)自発的に入力され、異常を起こすネットワーク構成要素がその近隣に制御プレーン障害が生じていることを通知することを可能にすることだけを対象にする。第2に、これらの能力を保有する対話ネットワーク構成要素だけに制限されており、即ち、それは他の装置ベンダによる一般の相互作用シナリオでは機能しない。標準化された緩やかな再起動の場合、プロトコルの小セットだけが対象にされる。障害の後に近隣構成要素に緩やかな再起動が適用されることを通知するための時間制約が小さい場合、予期せぬ障害に関する制約の不足の可能性が高い。近隣構成要素が制御プレーン機能停止を検出し、ネットワーク再構成を引き起こすので、時間制限の不足はトラフィック損失を生じる。   In current network components, packet control protocols fall into one of three categories. They require (1) non-protection, (2) protection via dedicated communication with neighboring network components prior to control plane outage, or (3) interaction with neighboring networks shortly before or after protocol outage It is protection by standardized gradual restart technology. In the unprotected case, the traffic flow through the network is generally reconstructed. During the time of reconfiguration, traffic loss occurs in the part of the network that can be as large as the entire network domain. When the network component that was causing the anomaly returns to a normal state, a second reconfiguration is performed to reestablish traffic flow distribution prior to the failure. Again, traffic loss occurs at the same scale as before. In a dedicated implementation, there are two disadvantages. First, it is only part of the problem scenario, ie, spontaneously entered (for example, in the case of a software upgrade by an operator at the network component) and the faulty network component has a control plane failure in its vicinity. It is only intended to make it possible to notify that an occurrence has occurred. Second, it is limited to only interactive network components that possess these capabilities, i.e., it does not work in common interaction scenarios with other device vendors. For standardized slow restarts, only a small set of protocols is targeted. If the time constraint for notifying that a graceful restart is applied to neighboring components after a failure is small, there is a high probability that the constraint on the unexpected failure is insufficient. Insufficient time limit results in traffic loss because neighboring components detect control plane outages and cause network reconfiguration.

従って、一時的なパケット制御プレーン機能停止の場合に、パケットネットワーク再構成および関連するトラフィック損失を防止する機構の必要性が存在する。   Accordingly, there is a need for a mechanism that prevents packet network reconfiguration and associated traffic loss in the event of a temporary packet control plane outage.

本発明の例示的な実施形態は、ローカルノード機能停止の間に無中断ネットワーク制御メッセージ生成を提供することによって、パケットネットワーク再構成および関連するトラフィック損失を防止する。   Exemplary embodiments of the present invention prevent packet network reconfiguration and associated traffic loss by providing uninterrupted network control message generation during local node outages.

1つの実施形態は、ローカルノード機能停止の間に無中断ネットワーク制御メッセージ生成を提供する方法である。メッセージキャッシュは、ローカルノードに関するプロトコル状態機械から多数の送信メッセージを受信し、それらをネットワークの他のノードに転送する。メッセージキャッシュはこれらのノードからのメッセージを同様に受信する。メッセージキャッシュは、送信および受信メッセージを共にバッファに記憶する。プロトコル状態機械の障害が発生すると、メッセージキャッシュは、バッファが有効状態のままである限り、ノードにメッセージを送信し、かつノードからメッセージを受信する。このメッセージは、ノードに周期的に送信されてよい。メッセージキャッシュは、バッファのメッセージおよび障害の後にノードから受信したメッセージに基づいてバッファが有効状態であるか否かを決定してよい。方法は、動作中のプロトコル状態機械の障害が発生した場合に、スタンドバイプロトコル状態機械へ切り替えることを含んでよく、ここでスタンドバイプロトコル状態機械は、第1のバッファを複製する別のバッファを含む。   One embodiment is a method for providing uninterrupted network control message generation during a local node outage. The message cache receives a number of outgoing messages from the protocol state machine for the local node and forwards them to other nodes in the network. The message cache receives messages from these nodes as well. The message cache stores both sent and received messages in a buffer. When a protocol state machine failure occurs, the message cache sends messages to and receives messages from the node as long as the buffer remains valid. This message may be sent periodically to the node. The message cache may determine whether the buffer is valid based on the message in the buffer and the message received from the node after the failure. The method may include switching to a standby protocol state machine in the event of a failure of an operating protocol state machine, where the standby protocol state machine has another buffer that replicates the first buffer. Including.

別の実施形態は、ローカルノード機能停止の間に無中断ネットワーク制御メッセージ生成を提供するこの方法を実行する命令を記憶するコンピュータ可読媒体である。   Another embodiment is a computer readable medium storing instructions for performing this method for providing uninterrupted network control message generation during a local node outage.

さらに別の実施形態は、プロトコル状態機械およびメッセージキャッシュを含む、ローカルノード機能停止の間に無中断ネットワーク制御メッセージ生成を提供するシステムである。プロトコル状態機械は、メッセージを生成する。メッセージキャッシュは、プロトコル状態機械からメッセージを受信し、それらをネットワークのノードに転送する。メッセージキャッシュは、1つまたは複数のバッファに送信および受信メッセージの両方を記憶する。プロトコル状態機械の障害が発生した場合、メッセージキャッシュが有効状態のままである限り、メッセージキャッシュがノードにメッセージを送信し、かつノードからメッセージを受信する。メッセージキャッシュは、ノードに周期的メッセージを送信するタイマと、メッセージキャッシュが有効状態であるか否かを決定する状態制御装置とを含んでよい。システムは、ワーカーノードおよび防護ノードを含んでよく、各々は、ワーカーノードが異常を起こした場合に防護ノードが動作状態になることが可能であるようにプロトコル状態機械およびメッセージキャッシュを有する。防護メッセージキャッシュは、ワーカープロトコル状態機械が動作状態である際にワーカーメッセージキャッシュを複製し得る。   Yet another embodiment is a system that provides uninterrupted network control message generation during a local node outage, including a protocol state machine and a message cache. The protocol state machine generates a message. The message cache receives messages from the protocol state machine and forwards them to the nodes of the network. The message cache stores both transmitted and received messages in one or more buffers. In the event of a protocol state machine failure, as long as the message cache remains valid, the message cache sends messages to and receives messages from the nodes. The message cache may include a timer that sends periodic messages to the node and a state controller that determines whether the message cache is valid. The system may include a worker node and a protection node, each having a protocol state machine and a message cache so that the protection node can become operational if the worker node fails. The protection message cache may replicate the worker message cache when the worker protocol state machine is operational.

本発明の教示は、以下の詳細な説明を添付の図面と共に考慮することによって容易に理解することが可能である。   The teachings of the present invention can be readily understood by considering the following detailed description in conjunction with the accompanying drawings, in which:

理解の容易化を目的として、図面で共通する同一の構成要素を示すために、可能な場合に同一の参照番号が使用されている。   For ease of understanding, identical reference numerals have been used, where possible, to designate identical elements that are common to the drawings.

制御プレーンプロトコルに関する状態機械が動作状態である際に、初期設定の場合のキャッシュ構成概念の例示的な実施形態を示すブロック図である。FIG. 6 is a block diagram illustrating an exemplary embodiment of a cache configuration concept in the case of initialization when the state machine for the control plane protocol is in an operational state. プロトコル状態機械が利用不可能であり、ネットワーク状態が安定である際に、制御プレーン障害の場合の図1のキャッシュ構成概念の例示的な実施形態を示すブロック図である。FIG. 2 is a block diagram illustrating an exemplary embodiment of the cache configuration concept of FIG. 1 in the case of a control plane failure when the protocol state machine is unavailable and the network state is stable. プロトコル状態機械が利用不可能であり、ネットワーク状態が安定でない際に、制御プレーン障害の場合の図1のキャッシュ構成概念の例示的な実施形態を示すブロック図である。FIG. 2 is a block diagram illustrating an exemplary embodiment of the cache configuration concept of FIG. 1 in the case of a control plane failure when the protocol state machine is unavailable and the network state is not stable. 状態機械の2つのインスタンスが存在し(ワーカーおよび防護)、ワーカー状態機械が動作状態であり、防護状態機械がスタンドバイ状態であり、各々がキャッシュと関連付けられている際に、初期設定の場合のキャッシュ構成概念の例示的な実施形態を示すブロック図である。When there are two instances of the state machine (worker and protection), the worker state machine is operational, the protection state machine is standby, and each is associated with a cache, FIG. 3 is a block diagram illustrating an exemplary embodiment of a cache configuration concept. ワーカー状態機械が動作状態であったが故障を起こし、スタンドバイ状態の防護状態機械が(スタンドバイ状態から完全な動作に)復旧中であるが、ネットワーク状態は安定している際の中間状態の図4のキャッシュ構成概念の例示的な実施形態を示すブロック図である。The worker state machine was in an operational state but failed, and the standby protection state machine was recovering (from standby state to full operation), but the network state was an intermediate state when stable FIG. 5 is a block diagram illustrating an exemplary embodiment of the cache configuration concept of FIG. (ワーカーから防護への切替えの後に)防護状態機械が動作状態であり、ワーカー状態機械がスタンドバイ状態である際の図4のキャッシュ構成概念の例示的な実施形態を示すブロック図である。FIG. 5 is a block diagram illustrating an exemplary embodiment of the cache configuration concept of FIG. 4 when the guard state machine is in an operational state (after a worker to guard switch) and the worker state machine is in a standby state. 図4のキャッシュ構成概念の例示的な実施形態に関する時系列上の選択された状態移行およびイベントを示すチャートである。5 is a chart showing selected state transitions and events over time for the exemplary embodiment of the cache configuration concept of FIG. 分配されたキャッシュの例示的な実施形態を示すブロック図である。FIG. 3 is a block diagram illustrating an exemplary embodiment of a distributed cache.

本発明の説明は、主としてパケット交換ネットワークおよび制御プレーンプロトコルの一般情勢に関する。しかしながら、当業者および本明細書の教示によって知識を得た者は、本発明の主たる概念がコンピュータネットワークに一般的に適用可能であり、あらゆるネットワークアーキテクチャおよび設計、通信プロトコル、ネットワークソフトウェア、ネットワーク技術、ネットワークサービスおよびアプリケーション、ならびにネットワーク動作管理に広く適用し得ることを理解するであろう。従って、本発明の一般的な概念は、広く適用可能であり、いずれかの特定の実装に限定されない。   The description of the invention mainly relates to the general situation of packet switched networks and control plane protocols. However, those skilled in the art and those who have gained knowledge from the teachings herein can apply the main concepts of the present invention to computer networks in general, including any network architecture and design, communication protocols, network software, network technology, It will be appreciated that it can be widely applied to network services and applications, and network operation management. Accordingly, the general concepts of the present invention are broadly applicable and are not limited to any particular implementation.

序文−装置防護に関連するL2イーサネット(登録商標)例
L2制御プレーン、即ち、スパニングツリープロトコルおよびリンク集約制御プロトコル、一般属性登録プロトコル(GARP)およびその変形、ならびに他のプロトコルに影響を及ぼす装置防護切替えの状況の下でL2イーサネット(登録商標)サービスに関する安定なネットワーク構成を維持する必要性が存在する。プロトコルデータユニット(PDU)分配が約3秒の間、中断される場合、ローカル防護切替えがネットワークの全スパニングツリーの再構成をもたらすことが可能である。これは、ネットワークが再度、安定状態に収束するまで、数十秒のトラフィック機能停止を生じ得る。それゆえに、防護切替えの後にネットワーク構成要素が即座に以下の動作を行うことが望ましい。第1に、不安定の原因が装置防護切替えだけである場合、即ち、単一の障害(例えば、回路パック欠陥)の場合に加えて手動切替え等のオペレーターによるイベントの場合にネットワーク構成要素は安定したネットワークを維持するべきである。第2に、例えば、リモートネットワーク構成要素の障害が原因でネットワークが既に再構成に入っており、それと同時にローカル欠陥(二重障害)またはオペレーター命令に起因して防護切替えが必要である場合にネットワーク構成要素はネットワークの影響を最小化するべきである。本発明の例示的な実施形態は、このL2イーサネット(登録商標)の例に関してだけでなく、より広く、多くのプロトコルに対してあらゆるネットワークのローカル制御プレーンの一時的な利用不可能を生じるあらゆる障害(例えば、ハードウェア欠陥)に関してこれらの目標を達成する。
Preface-L2 Ethernet examples related to device protection L2 control plane, ie spanning tree protocol and link aggregation control protocol, General Attribute Registration Protocol (GARP) and its variants, and device protection that affects other protocols There is a need to maintain a stable network configuration for L2 Ethernet services under switching circumstances. If protocol data unit (PDU) distribution is interrupted for about 3 seconds, local protection switching can result in reconfiguration of the entire spanning tree of the network. This can cause tens of seconds of traffic outage until the network again converges to a stable state. Therefore, it is desirable for network components to perform the following operations immediately after protection switching: First, network components are stable when the cause of instability is only device protection switching, that is, in the event of an operator event such as manual switching in addition to a single failure (eg, circuit pack failure) Network should be maintained. Second, if the network has already been reconfigured due to, for example, a remote network component failure and at the same time a protection switch is required due to a local fault (dual failure) or operator command Components should minimize network impact. The exemplary embodiment of the present invention is not only related to this L2 Ethernet example, but is broader, any failure that causes a temporary unavailability of any network local control plane for many protocols. Achieve these goals with respect to (eg, hardware defects).

ネットワーク構成要素挙動の高レベルな説明
ネットワーク構成要素挙動は、3つの状態によって説明され得る。第1の状態では、状態機械が完全に動作可能であり、全ての要求に対して反応する。第2の状態では、状態機械は利用可能でないが、キャッシュを無効状態にするネットワークでの変化が生じるか、または状態機械が動作可能になるまで、キャッシュがPDU送信を続行する。第3の状態では、例えば、ネットワークで再構成が進行中であると同時に状態機械が動作不可能状態であるために、またはプロトコル状態機械とキャッシュとが同期していないために、状態機械およびキャッシュの両方が利用可能でない。
High level description of network component behavior Network component behavior can be described by three states. In the first state, the state machine is fully operational and responds to all requests. In the second state, the state machine is not available, but the cache continues to transmit PDUs until there is a change in the network that renders the cache invalid or the state machine becomes operational. In the third state, the state machine and cache may be, for example, because reconfiguration is in progress on the network and the state machine is not operational at the same time, or because the protocol state machine and the cache are not synchronized. Both are not available.

高レベルなキャッシュ構成概念−STP例
キャッシュ構成概念の例示的な実施形態は、安定なネットワークでスパニングツリープロトコルノードが同一PDUをそれらの近隣に繰り返して分配することの観測結果から導出される。3連続の送信周期の間、スパニングツリーノードによってPDUが受信されないか、または前のPDUとPDUの内容が異なっている場合、ネットワーク欠陥またはネットワーク変化が検出される。従って、それ以外は安定なネットワークトポロジーでは、PDUの周期的送信が維持されている限り、スパニングツリープロトコル機械の動作が不定時間の間、停止され得る。従って、キャッシュ構成概念がこの事実を使用して、構成、プロトコル状態機械、および同等物の全てが開始および同期されることの必要性なしに、PDUに関するネットワーク要求がキャッシュから満足されるようにする。従って、キャッシュ構成概念は、キャッシュを動作させる1つ(ホットスタンドバイ状態である)を除き、全てのソフトウェア構成要素の復旧速度に関する要求を救済する。キャッシュがPDU送信に関して有効状態であるとみなされ得る時間帯とキャッシュが無効状態である必要のある時間帯が存在する。安定なネットワークトポロジー内では、ある程度は、新しいサービスでさえ確立され得ることに留意されたい(例えば、転送トラフィックは新規のサービス品質(QoS)パラメータに関して修正され得て、新規の顧客(C−VLANによって区別される)はサービスプロバイダ(802.1ad)ネットワークに付加され得る等)。
High Level Cache Configuration Concept—STP Example An exemplary embodiment of the cache configuration concept is derived from the observation that spanning tree protocol nodes repeatedly distribute the same PDUs to their neighbors in a stable network. If no PDU is received by the spanning tree node for three consecutive transmission periods, or if the content of the PDU differs from the previous PDU, a network defect or network change is detected. Thus, in otherwise stable network topologies, the operation of the spanning tree protocol machine can be stopped for an indefinite time as long as the periodic transmission of PDUs is maintained. Thus, the cache configuration concept uses this fact to ensure that network requests for PDUs are satisfied from the cache without the need for all of the configuration, protocol state machines, and equivalents to be initiated and synchronized. . Thus, the cache configuration concept relieves the requirement for the recovery speed of all software components except one that operates the cache (in a hot standby state). There are times when the cache can be considered valid for PDU transmission and times when the cache needs to be invalid. Note that within a stable network topology, to some extent even new services can be established (eg, forward traffic can be modified with respect to new quality of service (QoS) parameters and new customers (by C-VLAN). Can be added to the service provider (802.1ad) network, etc.).

高レベルキャッシュ構成概念−一般
1つの実施形態は、パケット交換ネットワークに制御プレーンおよびメッセージキャッシュを含む。パケット交換ネットワークは、メッセージまたはメッセージのフラグメント(パケット)が、それらの宛先に、ルーティングアルゴリズムによって決定される最も適切なルートを介して送信されるネットワークである。制御プレーンは、データプレーン接続を設定、維持および終了するために使用される仮想ネットワーク機能である。それはその機能を実現するために相互運用する必要のあるネットワークノードを介して分配されるという意味で仮想である。データプレーンは、ノード間でデータを分配するために使用される仮想ネットワーク経路である。ネットワークによっては、制御および転送プレーンを同様に分解する。キャッシュという用語は、アクセスの局所性を利用するために管理されるあらゆる記憶を示す。メッセージキャッシュはメッセージを記憶する。メッセージキャッシュは、インスタンス作成され、そのメッセージは制御プレーンがネットワークに/から送信/受信するメッセージと同期状態に保持される。制御プレーンが故障を起こした場合、キャッシュは、キャッシュメッセージを送信することによってネットワークの要求を満足させる。一度、制御プレーンが復旧すると、キャッシュは再度、制御動作に従い、同期を保持する。キャッシュは、制御プレーン状態機械のインスタンスが故障を起こしていながらも、なおネットワーク全てのトラフィックを送信することを可能にする。この構成概念は、不安定なネットワーク、二重障害、および転送プレーンが制御プレーンから独立していないシステムを除くほとんどの状況で機能する。不安定なネットワークは、ネットワーク構成要素のシナリオ上での電力等、トラフィックフロー分配が安定状態を達成していないネットワークである。二重障害は、1つのネットワーク構成要素の制御プレーン機能停止に加えて別のネットワーク構成要素が欠陥またはオペレーターによる再構成を経験するシナリオである。
High Level Cache Architecture Concept-General One embodiment includes a control plane and a message cache in a packet switched network. A packet switched network is a network in which messages or message fragments (packets) are sent to their destination via the most appropriate route determined by a routing algorithm. The control plane is a virtual network function used to set up, maintain and terminate data plane connections. It is virtual in the sense that it is distributed through network nodes that need to interoperate to implement its functions. The data plane is a virtual network path used to distribute data between nodes. Some networks break down the control and forwarding planes as well. The term cache refers to any memory managed to take advantage of access locality. The message cache stores messages. The message cache is instantiated and the messages are kept in sync with messages that the control plane sends / receives to / from the network. If the control plane fails, the cache satisfies the network requirements by sending cache messages. Once the control plane is restored, the cache again follows the control operation and maintains synchronization. The cache allows control plane state machine instances to fail but still send all network traffic. This configuration works in most situations except for unstable networks, double failures, and systems where the forwarding plane is not independent of the control plane. An unstable network is a network whose traffic flow distribution has not achieved a stable state, such as power on a network component scenario. Double failure is a scenario where in addition to the control plane outage of one network component, another network component experiences a defect or reconfiguration by the operator.

本発明は、制御プレーンに影響を及ぼす障害およびソフトウェアアップグレードシナリオで著しくトラフィック損失を最小化することを含む多数の利点を有する。この利益は、説明されたようにネットワーク構成要素がキャッシュ動作をサポートする場合に局所的に達成される。ネットワーク構成要素のキャッシング特性は、既存のネットワークに付加され得る。他の装置がキャッシュ動作をサポートする必要性なしに他の装置との相互運用が可能である。   The present invention has a number of advantages including significantly minimizing traffic loss in failure and software upgrade scenarios affecting the control plane. This benefit is achieved locally when the network component supports cache operation as described. The caching characteristics of network components can be added to an existing network. Interoperability with other devices is possible without the need for other devices to support cache operations.

図1は、制御プレーンプロトコルに関する状態機械102が動作状態である際の、初期設定の場合のキャッシュ構成概念100の例示的な実施形態を示す。制御プレーンプロトコルは、任意の種類のプロトコル、例えば、STP、VLAN登録プロトコル、LACP、Y.1711FFD、またはRSVP更新等であってよい。従来式のネットワークでは、プロトコル状態機械102が近隣ノード106およびネットワークの残り108と(中間ハードウェア層を介して)通信する。一方、この実施形態は、プロトコル状態機械102とネットワーク108との間に介在するメッセージキャッシュ104を含む。プロトコル状態機械102は、メッセージキャッシュ104にメッセージを送信し、メッセージキャッシュ104は、それらのメッセージをネットワーク108に送信する。メッセージキャッシュ104は、送信メッセージ110および受信メッセージ112の両方をバッファに記憶することによってプロトコル状態機械102とネットワークとの間の通信を捕捉する。メッセージキャッシュ104は、タイマ114および状態制御装置116をさらに含む。任意選択的に、サポートされている特定のプロトコルに応じて、状態機械102は、付加的な状態情報を(即ち、交換されるメッセージに加えて)状態制御装置116に搬送し得る。メッセージキャッシュ104の内容は、実装されている制御プレーンプロトコルに応じて変化し得る。メッセージキャッシュ104は、状態機械102の障害の場合にネットワーク108の要求に一時的にサービス供給するために必要なものを記憶する。   FIG. 1 illustrates an exemplary embodiment of a cache configuration concept 100 in the case of initialization when the state machine 102 for the control plane protocol is in operation. The control plane protocol can be any type of protocol, eg, STP, VLAN registration protocol, LACP, Y. 1711FFD, RSVP update, or the like. In a conventional network, protocol state machine 102 communicates (via an intermediate hardware layer) with neighboring nodes 106 and the rest of the network 108. On the other hand, this embodiment includes a message cache 104 interposed between the protocol state machine 102 and the network 108. Protocol state machine 102 sends messages to message cache 104, which sends those messages to network 108. Message cache 104 seizes communication between protocol state machine 102 and the network by storing both outgoing messages 110 and incoming messages 112 in a buffer. Message cache 104 further includes a timer 114 and a state controller 116. Optionally, depending on the particular protocol being supported, state machine 102 may carry additional state information (ie, in addition to the messages being exchanged) to state controller 116. The contents of the message cache 104 can vary depending on the control plane protocol that is implemented. The message cache 104 stores what is needed to temporarily service a request on the network 108 in the event of a failure of the state machine 102.

図2は、プロトコル状態機械102が利用不可能であり、ネットワーク状態が安定である際の、制御プレーン障害の場合の図1のキャッシュ構成概念100の例示的な実施形態を示す。メッセージキャッシュ104は、一時的にネットワークにサービス供給することを継続することによって、何らかの理由でプロトコル状態機械が利用不可能である状況から防護する。例えば、プロトコル状態機械102を保持するプロセッサが再起動状態であり得る。メッセージキャッシュ104は、ネットワーク108の近隣ノード106がプロトコル状態機械102が利用不可能であることを認識しないように、バッファからメッセージを送信することを全体的に継続する。近隣ノード106への通信は、メッセージキャッシュ104に記憶されている情報に基づいて模倣される。従って、メッセージキャッシュ104は、プロトコル状態機械102が利用不可能である時間の少なくとも一部を埋める。周期的に同じメッセージ(例えば、ハローメッセージ、更新メッセージ)を近隣ノード106に送信するプロトコルは容易に模倣され得る。メッセージキャッシュ104は、送信メッセージバッファ110に記憶されているメッセージを、プロトコル状態機械102と同様のやり方で周期的に送信するためにタイマ114を使用する。結果として、近隣ノード106は、プロトコル状態機械102の変化を何ら検出しない。メッセージキャッシュ104は、近隣ノード106からメッセージを受信し、それらを受信メッセージバッファ112に記憶する。メッセージキャッシュ104は、状態制御装置116および受信メッセージを検査することによって、メッセージキャッシュ104を無効状態にし得る、ネットワーク108のあらゆるイベントまたは変化(例えば、状態変化)を検出することが可能である。状態制御装置116は、メッセージキャッシュ104が有効状態または無効状態であるかを決定する。メッセージキャッシュ104が無効状態になると、それはネットワーク108のイベントまたは変化に適切に反応することが不可能であるため、メッセージの送信を中止する。   FIG. 2 illustrates an exemplary embodiment of the cache configuration concept 100 of FIG. 1 in the case of a control plane failure when the protocol state machine 102 is unavailable and the network state is stable. The message cache 104 protects against situations where the protocol state machine is unavailable for any reason by continuing to service the network temporarily. For example, the processor holding the protocol state machine 102 may be in a restart state. Message cache 104 generally continues to send messages from the buffer so that neighboring nodes 106 of network 108 are unaware that protocol state machine 102 is unavailable. Communication to the neighboring node 106 is imitated based on information stored in the message cache 104. Accordingly, the message cache 104 fills at least a portion of the time that the protocol state machine 102 is unavailable. Protocols that periodically send the same message (eg, hello message, update message) to neighboring nodes 106 can be easily mimicked. Message cache 104 uses timer 114 to periodically send messages stored in send message buffer 110 in a manner similar to protocol state machine 102. As a result, the neighbor node 106 does not detect any changes in the protocol state machine 102. Message cache 104 receives messages from neighboring nodes 106 and stores them in received message buffer 112. The message cache 104 can detect any event or change (eg, a state change) in the network 108 that can cause the message cache 104 to become invalid by inspecting the state controller 116 and received messages. The state controller 116 determines whether the message cache 104 is valid or invalid. When the message cache 104 becomes invalid, it stops sending messages because it cannot react properly to events or changes in the network 108.

メッセージキャッシュ104は、プロトコル状態機械102の少なくとも一部を擬態するために単純化された構成要素である。メッセージキャッシュ104の効率的な実装は、恐らく制御プレーンプロトコルの完全な挙動を擬態しない。メッセージキャッシュ104の単純性または複雑性は、実装されている制御プレーンプロトコルに応じて変化し得る。例えば、メッセージキャッシュは、状態制御装置116のロジックを用いてプロトコル状態機械102の2以上の状態の間の移行を擬態し得る。メッセージキャッシュは、ハードウェア、ファームウェア、またはソフトウェア(例えば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC))で実装され得る。メッセージキャッシュ104は、それが有効状態のままである限り、それは状況に応じて、プロトコル状態機械が利用不可能である短時間または全時間であり得るが、プロトコル状態機械を模倣することを継続する。プロトコルによってはミリ秒程度の更新を必要とし、一方、他のプロトコルは秒程度の更新を必要とする。この実施形態は、いかなる特定のプロトコルまたは状態制御装置ロジック116の複雑性の程度にも限定されていない。   Message cache 104 is a simplified component to mimic at least a portion of protocol state machine 102. An efficient implementation of the message cache 104 probably does not mimic the full behavior of the control plane protocol. The simplicity or complexity of the message cache 104 may vary depending on the control plane protocol that is implemented. For example, the message cache may mimic the transition between two or more states of the protocol state machine 102 using the state controller 116 logic. The message cache may be implemented in hardware, firmware, or software (eg, field programmable gate array (FPGA) or application specific integrated circuit (ASIC)). The message cache 104 continues to mimic the protocol state machine, as long as it remains valid, depending on the situation, it may be a short time or full time when the protocol state machine is unavailable. . Some protocols require updates on the order of milliseconds, while other protocols require updates on the order of seconds. This embodiment is not limited to any particular protocol or degree of complexity of the state controller logic 116.

図3は、プロトコル状態機械102が利用不可能であり、ネットワーク状態が安定でない際の、制御プレーン障害の場合の図1のキャッシュ構成概念100の例示的な実施形態を示す。この場合、メッセージキャッシュ104が無効状態に移行する。受信メッセージ112に基づいて、状態制御装置116は、ネットワーク状態を不安定にする何らかのイベントが生じていて、それにより、実装されている特定のプロトコルに従って、メッセージキャッシュ104によるプロトコル状態機械102の擬態を停止する必要があることを決定する。メッセージキャッシュ104が一度、プロトコル状態機械102の擬態を停止すると、近隣ノード106は、あたかもメッセージキャッシュが104が存在していないかのように、プロトコル状態機械102が故障しているかまたは他の形で利用不可能であることを認識し得る。   FIG. 3 illustrates an exemplary embodiment of the cache configuration concept 100 of FIG. 1 in the case of a control plane failure when the protocol state machine 102 is unavailable and the network state is not stable. In this case, the message cache 104 shifts to an invalid state. Based on the received message 112, the state controller 116 may have some event that destabilizes the network state, thereby mimicking the protocol state machine 102 by the message cache 104 according to the specific protocol implemented. Decide that you need to stop. Once the message cache 104 stops mimicking the protocol state machine 102, the neighbor node 106 may indicate that the protocol state machine 102 has failed or is otherwise as if the message cache 104 does not exist. You can recognize that it is not available.

図4は、状態機械の2つのインスタンスが存在し(ワーカーおよび防護)、ワーカー状態機械が動作状態であり、防護状態機械がスタンドバイ状態であり、各々がキャッシュと関連付けられている際の、初期設定の場合のキャッシュ構成概念400の例示的な実施形態を示す。この実施形態は、特定の状況での制御プレーンプロトコルの特定の実現であるが、しかしながら、本発明は、いかなる特定の実装にも限定されない。この実施形態では、ネットワーク利用可能性がキャッシングメッセージによって改善されている。   FIG. 4 shows the initial state when there are two instances of the state machine (worker and protection), the worker state machine is operational, the protective state machine is standby, and each is associated with a cache. FIG. 6 illustrates an exemplary embodiment of a cache configuration concept 400 for configuration. This embodiment is a specific implementation of the control plane protocol in a specific situation, however, the invention is not limited to any specific implementation. In this embodiment, network availability is improved by caching messages.

この実施形態は、ブレードサーバ(図示せず)に関連しているが、しかしながら、本発明は、いかなる特定のハードウェアにも限定されない。ブレードサーバは、サーバブレードとして知られている複数の薄いモジュール式電子回路ボードを内蔵しているサーバシャシーである。各ブレードは、カード上のサーバであり、プロセッサ、メモリ、集積ネットワーク制御装置、および入力/出力(I/O)ポートを含んでいる。ブレードサーバは、個々のブレードとしてネットワークスイッチおよびルータ等の機能の包含を徐々に可能にする。2つのそのようなブレードに関する状態機械(SM)が図4に示されている:ワーカーパケットスイッチ(PS)402に関するワーカー状態機械406と、防護PS404に関する防護状態機械408とである。ワーカー状態機械408が最初に動作状態であり、防護状態機械406が最初にスタンドバイであり、すぐに動作状態になる。プロトコル状態機械の2つのインスタンス(動作状態/スタンドバイ)は、異なるハードウェア(例えば、CPU)上に配置されているが、それでもなお同じネットワークノード内である。   This embodiment is related to a blade server (not shown), however, the invention is not limited to any particular hardware. A blade server is a server chassis that incorporates a plurality of thin modular electronic circuit boards known as server blades. Each blade is a server on the card and includes a processor, memory, an integrated network controller, and input / output (I / O) ports. Blade servers gradually allow the inclusion of functions such as network switches and routers as individual blades. A state machine (SM) for two such blades is shown in FIG. 4: a worker state machine 406 for a worker packet switch (PS) 402 and a protective state machine 408 for a protective PS 404. Worker state machine 408 is initially operational and protective state machine 406 is initially standby and is immediately operational. The two instances of the state machine (operating state / standby) are located on different hardware (eg, CPU) but are still in the same network node.

この実施形態は、ワーカー状態機械406および防護状態機械404をスパニングツリープロトコル(STP)に関して示しているが、しかしながら、本発明は、いかなる特定のプロトコルにも限定されない。スパニングツリープロトコルは、任意の橋渡しされているネットワークに対してループフリートポロジーを提供する。IEEE標準802.1DはSTPを定義する。ワーカーPS402および防護PS404は、各々、特定の独立ブリッジパーティション(IBP)(例えば、1つのイーサネット(登録商標)スイッチインスタンス)およびタイマ416、412に関するSTP状態機械406、408を含む。ネットワークブリッジ(別名ネットワークスイッチ)は、複数のネットワークセグメント(例えば、パーティション、ドメイン)を接続し、トラフィックを1つのセグメントから他へと転送する。これらの状態機械406、408は、制御プレーンに存在し、ネットワークの残り108の近隣ノード106に送信するメッセージを生成する。   This embodiment shows the worker state machine 406 and the protection state machine 404 with respect to the spanning tree protocol (STP), however, the invention is not limited to any particular protocol. The spanning tree protocol provides a loop-free topology for any bridged network. IEEE standard 802.1D defines STP. Worker PS 402 and protection PS 404 each include STP state machines 406, 408 for a particular independent bridge partition (IBP) (eg, one Ethernet switch instance) and timers 416, 412. A network bridge (also known as a network switch) connects multiple network segments (eg, partitions, domains) and forwards traffic from one segment to another. These state machines 406, 408 are in the control plane and generate messages to send to neighboring nodes 106 in the rest of the network 108.

この実施形態では、ワーカーキャッシュ410がワーカー状態機械406とネットワーク108との間に介在する。図4は、ワーカー状態機械406が動作状態であり、ネットワーク108に/からメッセージを送信/受信し、ワーカーキャッシュ410にメッセージを記憶している初期状態を示す。ワーカーキャッシュ410は、送信されたメッセージ412と受信されたメッセージ414とを共に記憶する。ブリッジプロトコルデータユニット(BPDU)は、STP情報を搬送するフレームである。スイッチは、ポートそれ自体の固有MACアドレスを送信元アドレスおよびSTPマルチキャストアドレスの宛先アドレスとして使用してBPDUフレームを送信する。ウォームスタンドバイ状態であり、開始の待機をしている防護状態機械408のために、防護キャッシュ418はキャッシュ複製によってワーカーキャッシュ410と同期化されている。   In this embodiment, worker cache 410 is interposed between worker state machine 406 and network 108. FIG. 4 shows an initial state in which worker state machine 406 is operational, sending / receiving messages to / from network 108 and storing messages in worker cache 410. Worker cache 410 stores both sent messages 412 and received messages 414. A bridge protocol data unit (BPDU) is a frame that carries STP information. The switch transmits the BPDU frame using the port's own unique MAC address as the source address and the destination address of the STP multicast address. For the protection state machine 408 that is warm standby and waiting to start, the protection cache 418 is synchronized with the worker cache 410 by cache replication.

図5は、ワーカー状態機械406が動作状態であったが故障を起こし(例えば、ソフトウェア障害)、スタンドバイ状態の防護状態機械408が(スタンドバイ状態から完全な動作に)復旧中であるが、ネットワーク状態は安定している際の中間状態の図4のキャッシュ構成概念400の例示的な実施形態を示す。この中間状態は、ワーカー状態機械406が故障を起こす時間と、防護状態機械408がネットワーク108にサービス供給できる準備ができる(即ち、起動後の開始)時間との間に遅延が存在するために生じる。この中間状態の間、防護キャッシュ418が現在、動作状態のキャッシュであり、図2で説明されたように動作する。   FIG. 5 shows that worker state machine 406 was in an operational state but failed (eg, a software failure) and standby state machine 408 is being restored (from standby state to full operation) 6 illustrates an exemplary embodiment of the cache configuration concept 400 of FIG. 4 in an intermediate state when the network state is stable. This intermediate state occurs because there is a delay between the time that the worker state machine 406 fails and the time when the protection state machine 408 is ready to service the network 108 (i.e., start after startup). . During this intermediate state, the protection cache 418 is currently the active cache and operates as described in FIG.

図6は、(ワーカーから防護への切替えの後に)防護状態機械408が動作状態であり、ワーカー状態機械がスタンドバイ状態である際の図4のキャッシュ構成概念の例示的な実施形態を示す。図4と図6とを比較すると、図6で示されるシナリオの防護状態機械408は、図4で示されるシナリオのワーカー状態機械406と同様に振舞う、即ち、動作状態の状態機械として振舞う。防護キャッシュ418は、送信されたメッセージ420と受信されたメッセージ422との両方を記憶し、従って、図4で示されたのと同じやり方で動作する。防護状態機械408が動作状態である間、防護キャッシュ418のメッセージがワーカーキャッシュ410に複製される。   FIG. 6 illustrates an exemplary embodiment of the cache configuration concept of FIG. 4 when the guard state machine 408 is in an operational state (after a worker to guard switch) and the worker state machine is in a standby state. Comparing FIG. 4 and FIG. 6, the scenario protection state machine 408 shown in FIG. 6 behaves similarly to the scenario worker state machine 406 shown in FIG. 4, ie, acts as an operational state machine. The guard cache 418 stores both transmitted messages 420 and received messages 422 and thus operates in the same manner as shown in FIG. While the protection state machine 408 is operational, the protection cache 418 messages are replicated to the worker cache 410.

図7は、図4のワーカー状態機械406、防護状態機械408、および防護キャッシュ418に関しての時系列上の選択された状態移行およびイベントを示すチャートである。(以下の表1は、図7を表形式で説明している。)図7は、防護キャッシュ418が有効状態であり、ネットワーク108の要求に一時的にサービス供給するために使用され得る場合、および防護キャッシュ418が無効状態であり、使用され得ない場合の種々の組み合わせの状態を示す。図7は、種々のシナリオを示す。第1のシナリオはTからTであり、第2はTからTであり、第3はTからT12である。 FIG. 7 is a chart showing selected state transitions and events over time for the worker state machine 406, protection state machine 408, and protection cache 418 of FIG. (Table 1 below illustrates FIG. 7 in tabular form.) FIG. 7 illustrates that when the protection cache 418 is in a valid state and can be used to temporarily service network 108 requests, And various combinations of states when the protection cache 418 is in an invalid state and cannot be used. FIG. 7 shows various scenarios. The first scenario is T 5 from T 1, the second is a T 9 from T 5, the third is the T 12 from T 9.

第1のシナリオはTで開始する。Tで、ワーカー状態機械406が動作状態であり、防護状態機械408が同期中状態である場合、防護キャッシュ418は無効状態であり、ワーカーキャッシュ410を複製する。例えば、防護PS404ブレードがネットワーク構成要素に追加されているので、防護状態機械408は最初に同期中状態である。同期がTで完了すると、防護状態機械408が同期中状態からスタンドバイ状態に移行し、防護キャッシュ418は準備完了状態かつ非動作状態である。Tで障害が発生すると、ワーカー状態機械406が動作状態から故障状態に移行し、防護状態機械408がスタンドバイ状態から開始状態(即ち、動作状態の役割を引き継ぐために準備する)に移行し、防護キャッシュ418は準備状態かつ送信状態(即ち、ネットワーク108の要求に一時的にサービスを供給する)である。Tからの時間間隔の間に、ワーカー状態機械406が故障状態から(例えば、再起動の結果として)同期中状態に移行する。正確な時間は、ネットワーク構成要素の予測される挙動に関して問題でない。それらは、実装に依存し、従って、明確に示されていない。Tで、防護状態機械408が開始状態から動作状態に移行し、防護キャッシュ418は更新状態(即ち、動作状態のプロトコル状態機械408との同期を継続することによって受動的な役割をとる)である。Tからの時間間隔の間に、ワーカー状態機械406が同期中状態からスタンドバイ状態に移行する。これが行われた後、Tで、防護状態機械408が動作状態であり、ワーカー状態機械406がスタンドバイ状態である。 The first scenario starts at T 1. In T 1, the worker state machine 406 is the operating state, when the protection state machine 408 is in state during synchronization protection cache 418 is invalid state, to replicate the worker cache 410. For example, since the protection PS 404 blade has been added to the network component, the protection state machine 408 is initially in a synchronizing state. When synchronization is completed at T 2, the protection state machine 408 transitions from being synchronized state to the standby state, the protection cache 418 is ready and inactive state. If a failure occurs on the T 3, the worker state machine 406 transitions from the operating state to the failure state, the process proceeds to the start state protection state machine 408 from the stand-by state (i.e., ready to take over the role of the operating state) , The protection cache 418 is in a ready state and in a transmitting state (i.e., temporarily serving requests on the network 108). During the time interval from T 3, the worker state machine 406 is from a fault condition (e.g., as a result of the re-start) moves during synchronization state. The exact time is not a problem with respect to the expected behavior of the network components. They are implementation dependent and are therefore not clearly shown. In T 4, the protection state machine 408 moves to operating state from the start state, the protection cache 418 updates state (i.e., taking a passive role by continuing the synchronizing with the protocol state machine 408 operating condition) is there. During the time interval from T 3, the worker state machine 406 transitions from being synchronized state to the standby state. After this is done, at T 5, a operating state protection state machine 408, the worker state machine 406 is in a standby state.

第2のシナリオはTで開始する。Tで、ワーカー状態機械406が動作状態であり、防護状態機械408が同期中状態であり、防護キャッシュ418が無効状態である。Tで、防護状態機械408が同期中状態からスタンドバイ状態に移行し、防護キャッシュ418は準備完了状態かつ非動作状態である。ネットワーク再構成がTで生じる(例えば、ネットワーク構成要素が故障する)と、ワーカー状態機械406が動作状態から再構成状態に移行し、防護キャッシュ418がTで無効状態になる。TからTの時間間隔の間、ワーカー状態機械406がネットワークの変化状態を処理する。Tで、ネットワークが安定した後、ワーカー状態機械406が再構成状態から動作状態に移行し、防護キャッシュ418が再度、準備完了状態かつ非動作状態になる。 The second scenario starts at T 5. In T 5, a worker state machine 406 is operating states, a state in synchronization protection state machine 408, the protection cache 418 is invalid state. In T 6, the protection state machine 408 transitions from being synchronized state to the standby state, the protection cache 418 is ready and inactive state. When a network reconfiguration occurs at T 7 (eg, a network component fails), the worker state machine 406 transitions from the operational state to the reconfiguration state and the protection cache 418 becomes invalid at T 7 . Between T 7 time intervals T 8, the worker state machine 406 handles changing state of the network. In T 8, after the network has stabilized, the process proceeds to the operating state worker state machine 406 from the reconstructed state, the protection cache 418 again becomes ready and inactive state.

第3のシナリオは、Tで開始し、第2のシナリオとイベントの順序が異なっている。Tで、ワーカー状態機械406が動作状態であり、防護状態機械408が同期中状態であり、防護キャッシュ418が無効状態である。ネットワーク再構成がTからT11の時間間隔の間で生じる。T10で、ワーカー状態機械406が動作状態から再構成状態に移行する。T11で、防護状態機械408が同期中状態からスタンドバイ状態に移行する。防護キャッシュ418は、ワーカー状態機械406が再構成状態から動作状態に移行する際のT12で初めて無効状態から準備完了状態、非動作状態に移行する。

Figure 2009539305
The third scenario starts at T 9, the order of the second scenario and the events are different. In T 9, a worker state machine 406 is operating states, a state in synchronization protection state machine 408, the protection cache 418 is invalid state. Network reconfiguration occurs during the time interval T 11 from T 9. In T 10, the worker state machine 406 transitions to reconstruct the state of the operating state. In T 11, the protection state machine 408 transitions from being synchronized state to the standby state. Protective cache 418, the first prepared from an invalid state completion state at T 12 when the worker state machine 406 transitions to operating state from the reconstructed state, shifts to the non-operating state.
Figure 2009539305

1つの実施形態では、独立のブリッジ部分毎に1つのキャッシュインスタンスが存在する。各独立ブリッジパーティションは、独立した動作および再構成を保障するためにそれ自体のキャッシュ実装を有する。   In one embodiment, there is one cache instance for each independent bridge portion. Each independent bridge partition has its own cache implementation to ensure independent operation and reconfiguration.

1つの実施形態では、ポート毎に2つのキャッシュエントリが存在する:1つが入力PDUのためのものであり、1つが出力PDUのためのものである。各ポートは、所定のポート状態を有する。ブリッジの状態に応じて、PDUが送信され、受信され、またはその両方がされる。キャッシュは、送信または受信されたPDUを記憶するだけでなく、PDUが送信または受信する必要がないことも記憶する。ポートによっては、PDU送信/受信がネットワーク収束プロセスの間のある時点で停止する、即ち、キャッシュがネットワークの収束の後にだけ充填されることに留意されたい。   In one embodiment, there are two cache entries per port: one for input PDUs and one for output PDUs. Each port has a predetermined port state. Depending on the state of the bridge, PDUs are transmitted, received, or both. The cache not only stores PDUs sent or received, but also stores that PDUs do not need to be sent or received. Note that for some ports, PDU transmission / reception stops at some point during the network convergence process, i.e. the cache is filled only after network convergence.

1つの実施形態では、キャッシュがホットスタンドバイモードに保持される。   In one embodiment, the cache is kept in hot standby mode.

1つの実施形態では、キャッシュは、それらがPDU生成に関して有効状態であるか否かを示すフラグを搬送する。種々の状況は、キャッシュを無効状態にし得る、例えば、進行中であるネットワーク再構成、スパニングツリーの計算を必要とするプロビジョニング、およびBPDUの変化、その他である。   In one embodiment, the caches carry a flag that indicates whether they are valid for PDU generation. Various situations can invalidate the cache, eg, ongoing network reconfiguration, provisioning that requires spanning tree computation, and BPDU changes, and so on.

1つの実施形態では、動作状態のPS上のキャッシュは、入力および出力PDUで更新される。   In one embodiment, the cache on the active PS is updated with input and output PDUs.

1つの実施形態では、スタンドバイ状態のPS上のキャッシュが以下の条件で即座に無効状態にされる:ネットワークに提供されたPDUがキャッシュ内容と異なる場合とPDUがキャッシュ内容と異なる場合。相違は共に、ワーキングスパニングツリー状態機械によってのみ処理され得る、ネットワークの変化を示すことに留意されたい。期限切れPDUのいかなる複製も、顧客トラフィック上への重大な影響およびスパニングツリーの収束をもたらす可能性がある。例えば、ループが生成される可能性がある。動作状態のワーカーPSの場合に、無効状態にされるのは防護(スタンドバイ状態)PS上のキャッシュであることに留意されたい。ワーカーPSが故障を起こし、防護PSがスタンドバイ状態から動作状態に移行している場合、防護PSのキャッシュが無効状態にされる。まさに復旧中のPS上でキャッシュが無効状態にされる場合、全てのポート状態を破棄状態に変更する必要があり得ることに留意されたい。   In one embodiment, the cache on the standby PS is immediately invalidated under the following conditions: the PDU provided to the network is different from the cache content and the PDU is different from the cache content. Note that both differences indicate network changes that can only be handled by the working spanning tree state machine. Any duplication of expired PDUs can have a significant impact on customer traffic and spanning tree convergence. For example, a loop may be generated. Note that in the case of an active worker PS, it is the cache on the protection (standby) PS that is invalidated. When the worker PS has failed and the protective PS has transitioned from the standby state to the operating state, the cache of the protective PS is invalidated. Note that if the cache is invalidated just on the PS being restored, it may be necessary to change all port states to the discard state.

1つの実施形態では、トポロジーが収束した場合にだけ、キャッシュが宣言された有効状態であってよい。収束プロセスの間、動作状態の状態機械が必要である。ネットワーク収束期間の終了は、プロトコル状態機械によって告げられても、または充分に長い安定したネットワーク状態から導出されてもよいことに留意されたい。これは、数秒を越えるPDUの追跡変化を必要とし得る。これは、装置防護スイッチに関してシステム(ネットワーク)が脆弱である時間を付加するが、場合によってはトラフィックに影響を及ぼすネットワーク構成が既に生じた後にだけである。切替え後かつ安定しているネットワークでは、状態機械の復旧後に状態機械から生成されたPDUはキャッシュのPDUと変わらない、即ち、この状況では、両方が有効である場合にトポロジーが収束したとみなされ得ることに留意されたい。キャッシュは動作状態であったが、状態機械から送信された最初のPDUによって非動作状態に設定される。キャッシュが無効状態にされた時間以来、状態機械からのPDUによって、キャッシュの全てのPDUが少なくとも一度は更新されている。   In one embodiment, the cache may be declared valid only if the topology has converged. During the convergence process, an operating state machine is required. Note that the end of the network convergence period may be signaled by the protocol state machine or derived from a sufficiently long stable network state. This may require PDU tracking changes of more than a few seconds. This adds time when the system (network) is vulnerable with respect to the device protection switch, but only after network configurations have already occurred that in some cases affect traffic. In a switched and stable network, the PDUs generated from the state machine after the state machine recovery are not different from the cache PDUs, i.e., in this situation the topology is considered converged if both are valid. Note that you get. The cache was active but is set to inactive by the first PDU sent from the state machine. Since the time when the cache was invalidated, all PDUs in the cache have been updated at least once with PDUs from the state machine.

1つの実施形態では、スタンドバイ状態のPSが完全に同期化されている場合にキャッシュが宣言された有効状態であり得る。   In one embodiment, the cache may be declared valid when the standby PS is fully synchronized.

1つの実施形態では、キャッシュからのPDU生成を引き起こすタイマが存在する。防護PS状態が動作状態に変化する場合、有効状態にフラグが立てられているキャッシュからPDUが送信される。この目的を達成するために、適切な繰り返しタイマ(および許容期間にわたる分布)が開始される。キャッシュが有効状態にフラグが立てられているならば、PDUがキャッシュから生成される状態は、動作状態から開始する。それは、異なるPDUがネットワークから受信されるか、または状態機械が完全に復旧すると終了する。これは、状態機械がネットワークにPDUを送信し始める事実によって認識可能である。状態機械は、必要な時間間隔で残りのPDUを全て送信することが可能であるので、最初のPDUがキャッシュ動作を停止するためのトリガとして使用され得る。   In one embodiment, there is a timer that causes PDU generation from the cache. When the protection PS state changes to the operating state, a PDU is transmitted from the cache that is flagged as valid. To achieve this goal, an appropriate repeat timer (and distribution over an acceptable period) is started. If the cache is flagged as valid, the state in which the PDU is generated from the cache starts from the operational state. It ends when a different PDU is received from the network or the state machine is fully restored. This is recognizable by the fact that the state machine begins to send PDUs to the network. Since the state machine can send all remaining PDUs at the required time interval, the first PDU can be used as a trigger to stop the cache operation.

図8は、分散型キャッシュの例示的な実施形態である。この例は、システムに対する単一のメッセージキャッシュとは対照的に、システム内でメッセージキャッシュがどのように分散され得るかを示す。この例では、周期的メッセージキャッシュ810が2つの入力/出力(I/O)パック802に分散されている。I/Oパックの数は、勿論、2つに制限されない。各I/Oパック802はパケット転送ハードウェア810およびボード制御装置808を含む。ローカルノード804は、パケット転送ハードウェア812および1つまたは複数の中央パケット制御プレーンプロセッサ814を含む。中央パケット制御プレーンプロセッサ814は、I/Oパック802のボード制御装置808上の周期的メッセージキャッシュ810に更新を送信する。周期的メッセージキャッシュ810は、I/Oパック802のパケット転送ハードウェア810を介して外向き周期的メッセージを送信する。このやり方で、制御プレーン状態機械が利用不可能または故障している際に、周期的メッセージキャッシュ810が制御プレーンプロトコルを擬態する。アプリケーションプロトコルは、(R)STP、GVRP、RSVP、開放型最短経路優先(OSPF)、中間システムから中間システム(IS−ISまたはISIS)、Y.1711、FFD、その他等の、一定の内容を備えた周期的外向きメッセージを有するあらゆるプロトコルを含む。当然、メッセージキャッシュは多数の異なるシステムアーキテクチャに対する多数のその他のやり方で広範に実装され得る。例えば、メッセージキャッシュは、複数のハードウェアブレード上、複数のコンピュータ処理ユニット(CPU)上、1つのCPU内の複数のスレッド上、FPGA、ASIC等に存在してよい。   FIG. 8 is an exemplary embodiment of a distributed cache. This example shows how the message cache can be distributed within the system as opposed to a single message cache for the system. In this example, the periodic message cache 810 is distributed across two input / output (I / O) packs 802. Of course, the number of I / O packs is not limited to two. Each I / O pack 802 includes packet transfer hardware 810 and a board controller 808. Local node 804 includes packet forwarding hardware 812 and one or more central packet control plane processors 814. Central packet control plane processor 814 sends updates to periodic message cache 810 on board controller 808 of I / O pack 802. The periodic message cache 810 sends outgoing periodic messages via the packet transfer hardware 810 of the I / O pack 802. In this manner, the periodic message cache 810 mimics the control plane protocol when the control plane state machine is unavailable or has failed. Application protocols include (R) STP, GVRP, RSVP, Open Shortest Path First (OSPF), Intermediate System to Intermediate System (IS-IS or ISIS), Y. Any protocol with periodic outgoing messages with constant content, such as 1711, FFD, etc. Of course, the message cache may be widely implemented in many other ways for many different system architectures. For example, the message cache may exist on a plurality of hardware blades, a plurality of computer processing units (CPUs), a plurality of threads in one CPU, an FPGA, an ASIC, or the like.

本発明の実施形態は、ネットワークシステムの1つまたは複数のコンピュータで実装され得る。各コンピュータは、プロセッサと、種々のプログラムおよびデータを記憶するメモリとを含む。メモリは、さらにプログラムをサポートするオペレーティングシステムを記憶し得る。プロセッサは、電源、クロック回路、キャッシュメモリ、および同等物ならびにメモリに記憶されているソフトウェアルーチンの実行を支援する回路等の従来式のサポート回路と協働し得る。そのようにして、ソフトウェア方法として本明細書で議論されたステップのいくつかが例えば、種々の方法ステップを実行するプロセッサと協働する回路としてハードウェア内で実装され得ることが意図されている。コンピュータは、コンピュータと通信する種々の機能的構成要素の間のインターフェースを形成する入力/出力(I/O)回路を同様に含む。本発明の実施形態は、ハードウェアまたはファームウェアに、例えば、FPGAまたはASICに同様に実装され得る。   Embodiments of the present invention may be implemented on one or more computers of a network system. Each computer includes a processor and a memory for storing various programs and data. The memory may further store an operating system that supports the program. The processor may cooperate with conventional support circuitry such as power supplies, clock circuits, cache memory, and the like and circuitry that assists in the execution of software routines stored in the memory. As such, it is contemplated that some of the steps discussed herein as software methods may be implemented in hardware, for example, as a circuit cooperating with a processor that performs the various method steps. The computer also includes input / output (I / O) circuitry that forms an interface between the various functional components that communicate with the computer. Embodiments of the present invention may be similarly implemented in hardware or firmware, for example, in an FPGA or ASIC.

本発明は、コンピュータによって処理されると、コンピュータ命令が、本発明の方法および/または技術が呼び出されるかまたはそれ以外で提供されるように、コンピュータの動作を適応させる、コンピュータプログラム製品として実装され得る。本発明の方法を呼び出す命令は、固定式もしくは取り外し可能な媒体に記憶されていてもよいし、ブロードキャスト媒体もしくは他の信号担持媒体のデータストリームを介して送信されてもよいし、および/または命令に従って動作するコンピューティングデバイス内のワーキングメモリ内に記憶されていてもよい。   The invention is implemented as a computer program product that, when processed by a computer, adapts the operation of the computer such that computer instructions are invoked or otherwise provided by the methods and / or techniques of the invention. obtain. The instructions for invoking the method of the present invention may be stored on a fixed or removable medium, transmitted via a data stream on a broadcast medium or other signal bearing medium, and / or instructions May be stored in a working memory in a computing device that operates according to

前述の事項は、本発明の種々の実施形態に向けられているが、他およびさらなる本発明の実施形態が、それらの基本的な範疇から逸脱することなしに考案され得る。そのようにして、本発明の適切な範疇は、以下の特許請求の範囲により決定される。   While the foregoing is directed to various embodiments of the present invention, other and further embodiments of the invention may be devised without departing from their basic scope. As such, the proper scope of the invention is determined by the following claims.

Claims (10)

ローカルノード機能停止の間の無中断ネットワーク制御メッセージ生成を提供する方法であって、
プロトコル状態機械からの複数の送信メッセージを受信するステップと、
送信メッセージをネットワークの複数のノードに転送するステップと、
ノードから複数の受信メッセージを受信するステップと、
送信メッセージおよび受信メッセージをバッファに記憶するステップと、
プロトコル状態機械の障害が発生すると、バッファが有効状態のままである限り、ノードにメッセージを送信し、ノードからメッセージを受信するステップとを含む、方法。
A method for providing uninterrupted network control message generation during a local node outage comprising:
Receiving a plurality of outgoing messages from the protocol state machine;
Forwarding outgoing messages to multiple nodes of the network;
Receiving a plurality of received messages from the node;
Storing outgoing and incoming messages in a buffer;
Sending a message to the node and receiving a message from the node as long as the protocol state machine failure occurs, as long as the buffer remains valid.
メッセージがノードに周期的に送信される、請求項1に記載の方法。   The method of claim 1, wherein the message is sent to the node periodically. バッファの送信メッセージおよび受信メッセージと、障害の後にノードから受信されるメッセージとに基づいてバッファが有効状態であるか否かを決定するステップをさらに含む、請求項1に記載の方法。   The method of claim 1, further comprising determining whether the buffer is valid based on messages sent and received in the buffer and messages received from the node after the failure. プロトコル状態機械の障害が発生すると、スタンドバイ状態のプロトコル状態機械を切り替えるステップをさらに含み、スタンドバイ状態のプロトコル状態機械が、送信メッセージおよび受信メッセージの複製を含む別のバッファを含む、請求項1に記載の方法。   2. The protocol state machine further comprising the step of switching the standby state protocol state machine, wherein the standby state state machine includes another buffer containing duplicates of transmitted and received messages. The method described in 1. ローカルノード機能停止の間の無中断ネットワーク制御メッセージ生成を提供するシステムであって、
複数のメッセージを生成するプロトコル状態機械と、
プロトコル状態機械からメッセージを受信し、それらをネットワークの複数のノードに転送するメッセージキャッシュであって、少なくとも1つのバッファに、ノードに送信されたメッセージおよびノードから受信されたメッセージの両方を記憶する、メッセージキャッシュとを含み、
プロトコル状態機械の障害が発生すると、メッセージキャッシュが有効状態のままである限り、メッセージキャッシュがノードにメッセージを送信し、およびノードからメッセージを受信する、システム。
A system that provides uninterrupted network control message generation during a local node outage,
A protocol state machine that generates multiple messages;
A message cache that receives messages from the protocol state machine and forwards them to multiple nodes of the network, storing in the at least one buffer both messages sent to the nodes and messages received from the nodes; Message cache,
A system in which when a protocol state machine failure occurs, the message cache sends messages to and receives messages from the node as long as the message cache remains valid.
メッセージキャッシュが、ノードに周期的メッセージを送信するためのタイマを含む、請求項5に記載のシステム。   6. The system of claim 5, wherein the message cache includes a timer for sending periodic messages to the node. メッセージキャッシュが、メッセージキャッシュが有効状態であるか否かを決定する状態制御装置を含む、請求項5に記載のシステム。   6. The system of claim 5, wherein the message cache includes a state controller that determines whether the message cache is valid. プロトコル状態機械がワーカープロトコル状態機械であり、メッセージキャッシュがワーカーメッセージキャッシュであり、ワーカーノードがワーカープロトコル状態機械およびワーカーメッセージキャッシュを含み、
防護プロトコル状態機械および防護メッセージキャッシュを含む防護ノードをさらに含み、
ワーカープロトコル状態機械の障害が発生すると、防護状態機械が動作状態になることが可能である、請求項7に記載のシステム。
The protocol state machine is a worker protocol state machine, the message cache is a worker message cache, the worker node includes a worker protocol state machine and a worker message cache;
Further comprising a protection node including a protection protocol state machine and a protection message cache;
8. The system of claim 7, wherein when a worker protocol state machine failure occurs, the protective state machine can be in an operational state.
ワーカープロトコル状態機械が動作状態である間、防護メッセージキャッシュがワーカーメッセージキャッシュを複製する、請求項7に記載のシステム。   The system of claim 7, wherein the protection message cache replicates the worker message cache while the worker protocol state machine is operational. ローカルノード機能停止の間の無中断ネットワーク制御メッセージ生成を提供する方法を実行する命令を記憶するコンピュータ可読媒体であって、方法が、
プロトコル状態機械からの複数の送信メッセージを受信するステップと、
送信メッセージをネットワークの複数のノードに転送するステップと、
ノードから複数の受信メッセージを受信するステップと、
送信メッセージおよび受信メッセージをバッファに記憶するステップと、
プロトコル状態機械の障害が発生すると、メッセージキャッシュが有効状態のままである限り、ノードにメッセージを送信し、ノードからメッセージを受信するステップとを含む、コンピュータ可読媒体。
A computer readable medium storing instructions for performing a method for providing uninterrupted network control message generation during a local node outage comprising:
Receiving a plurality of outgoing messages from the protocol state machine;
Forwarding outgoing messages to multiple nodes of the network;
Receiving a plurality of received messages from the node;
Storing outgoing and incoming messages in a buffer;
Sending a message to a node and receiving a message from the node as long as a protocol state machine failure occurs while the message cache remains valid.
JP2009513106A 2006-05-30 2006-05-30 Uninterrupted network control message generation during local node outage Pending JP2009539305A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2006/020681 WO2007139542A1 (en) 2006-05-30 2006-05-30 Uninterrupted network control message generation during local node outages

Publications (1)

Publication Number Publication Date
JP2009539305A true JP2009539305A (en) 2009-11-12

Family

ID=38778944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009513106A Pending JP2009539305A (en) 2006-05-30 2006-05-30 Uninterrupted network control message generation during local node outage

Country Status (5)

Country Link
EP (1) EP2030378A4 (en)
JP (1) JP2009539305A (en)
KR (1) KR101017540B1 (en)
CN (1) CN101461196A (en)
WO (1) WO2007139542A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012231247A (en) * 2011-04-25 2012-11-22 Of Networks:Kk Transmission apparatus and transmission system

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616028B (en) * 2009-06-25 2012-02-29 中兴通讯股份有限公司 Method and system for uninterrupted upgrade of communication program service
CN102571425B (en) 2011-12-28 2014-09-17 杭州华三通信技术有限公司 Method and device for smoothly restarting border gateway protocol
WO2015106822A1 (en) 2014-01-17 2015-07-23 Nokia Solutions And Networks Management International Gmbh Controlling of communication network comprising virtualized network functions
US9860336B2 (en) 2015-10-29 2018-01-02 International Business Machines Corporation Mitigating service disruptions using mobile prefetching based on predicted dead spots
US10534598B2 (en) 2017-01-04 2020-01-14 International Business Machines Corporation Rolling upgrades in disaggregated systems
US11153164B2 (en) 2017-01-04 2021-10-19 International Business Machines Corporation Live, in-line hardware component upgrades in disaggregated systems
CN109889367B (en) * 2019-01-04 2021-08-03 烽火通信科技股份有限公司 Method and system for realizing LACP NSR in distributed equipment not supporting NSR

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11136258A (en) * 1997-11-04 1999-05-21 Fujitsu Ltd Cell read synchronization control method
JP2004032224A (en) * 2002-06-25 2004-01-29 Hitachi Ltd Server takeover system and method thereof
JP2005160000A (en) * 2003-10-29 2005-06-16 Fujitsu Ltd Apparatus and method for processing control packet in spanning tree protocol
JP2005341282A (en) * 2004-05-27 2005-12-08 Nec Corp System changeover system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1279279B1 (en) * 2000-04-28 2008-01-30 Telogy Networks Inc. Real time fax-over-packet packet loss compensation
US6757248B1 (en) * 2000-06-14 2004-06-29 Nokia Internet Communications Inc. Performance enhancement of transmission control protocol (TCP) for wireless network applications
FR2819360B1 (en) 2001-01-11 2003-04-11 Cit Alcatel ROUTING SYSTEM PROVIDING THE CONTINUITY OF SERVICE OF THE INTERFACES ASSOCIATED WITH NEIGHBORING NETWORKS
US7499401B2 (en) * 2002-10-21 2009-03-03 Alcatel-Lucent Usa Inc. Integrated web cache
US20050201375A1 (en) 2003-01-14 2005-09-15 Yoshihide Komatsu Uninterrupted transfer method in IP network in the event of line failure
US7355975B2 (en) * 2004-04-30 2008-04-08 International Business Machines Corporation Method and apparatus for group communication with end-to-end reliability

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11136258A (en) * 1997-11-04 1999-05-21 Fujitsu Ltd Cell read synchronization control method
JP2004032224A (en) * 2002-06-25 2004-01-29 Hitachi Ltd Server takeover system and method thereof
JP2005160000A (en) * 2003-10-29 2005-06-16 Fujitsu Ltd Apparatus and method for processing control packet in spanning tree protocol
JP2005341282A (en) * 2004-05-27 2005-12-08 Nec Corp System changeover system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012231247A (en) * 2011-04-25 2012-11-22 Of Networks:Kk Transmission apparatus and transmission system

Also Published As

Publication number Publication date
CN101461196A (en) 2009-06-17
KR101017540B1 (en) 2011-02-28
KR20090016676A (en) 2009-02-17
EP2030378A1 (en) 2009-03-04
WO2007139542A1 (en) 2007-12-06
EP2030378A4 (en) 2010-01-27

Similar Documents

Publication Publication Date Title
JP4680919B2 (en) Redundant routing capabilities for network node clusters
US7206309B2 (en) High availability packet forward apparatus and method
JP4796184B2 (en) Edge node redundancy system
US7362700B2 (en) Methods and systems for hitless restart of layer 3 packet forwarding
JP5074327B2 (en) Routing system
US7720061B1 (en) Distributed solution for managing periodic communications in a multi-chassis routing system
JP2009539305A (en) Uninterrupted network control message generation during local node outage
US8315157B2 (en) Graceful removal and/or insertion of a network element
US20040042395A1 (en) IS-IS high availability design
US7076696B1 (en) Providing failover assurance in a device
US20110134931A1 (en) Virtual router migration
EP1006702A2 (en) Method and apparatus providing for an improved VRRP (Virtual Router Redundancy Protocol)
JPH11154979A (en) Multiplexed router
EP3373547A1 (en) Method, device, and system for realizing disaster tolerance backup
JP2005503055A (en) Method and system for implementing OSPF redundancy
CN107911291A (en) VRRP routers switching method, router, VRRP active-standby switch system and storage medium
JP2015088983A (en) Information processing device, information processing system and information processing method
JP2005160000A (en) Apparatus and method for processing control packet in spanning tree protocol
WO2011120423A1 (en) System and method for communications system routing component level high availability
WO2021025826A1 (en) Retaining active operations, administration, and maintenance (oam) sessions across multiple devices operating as a single logical device
JP2006246152A (en) Packet transfer apparatus, packet transfer network, and method for transferring packet
CN113992571A (en) Multi-path service convergence method, device and storage medium in SDN network
JP2005354424A (en) Vpls apparatus, managing apparatus, and vpls system
KR100917603B1 (en) Routing system with distributed structure and control method for non-stop forwarding thereof
JP2015138987A (en) Communication system and service restoration method in communication system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110310

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110712