JP3880404B2 - Mplsネットワークシステム - Google Patents
Mplsネットワークシステム Download PDFInfo
- Publication number
- JP3880404B2 JP3880404B2 JP2002009979A JP2002009979A JP3880404B2 JP 3880404 B2 JP3880404 B2 JP 3880404B2 JP 2002009979 A JP2002009979 A JP 2002009979A JP 2002009979 A JP2002009979 A JP 2002009979A JP 3880404 B2 JP3880404 B2 JP 3880404B2
- Authority
- JP
- Japan
- Prior art keywords
- mpls
- header
- edge node
- label
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/50—Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/50—Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
- H04L45/502—Frame based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
- H04Q11/0062—Network aspects
- H04Q2011/0077—Labelling aspects, e.g. multiprotocol label switching [MPLS], G-MPLS, MPAS
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
【発明の属する技術分野】
本発明は論理的に束ねられた複数の物理リンクにパケットを振り分ける通信装置に関し、特にMPLS(Multi Protocol Label Switching)網の出口エッジノードにおいて、MPLSフレームのヘッダだけを参照して、論理的に1つに束ねられた複数の物理リンクにパケットを振り分けるときの負荷分散効果を順序逆転を起こすことなく向上させるMPLSネットワークシステムに関する。
【0002】
【従来の技術】
近年、インターネットなどのIP(Internet Protocol)ネットワークにおけるパケット転送処理(中継処理)を高速化する技術として、プロトコルMPLSが注目されている。このMPLSは、20bitのラベルを含むMPLSヘッダをIPパケットなどの転送対象パケットに付加してMPLSフレームを形成することにより、MPLS網の内部ではこのラベルに基づいて、このパケットを中継することを可能にするプロトコルである。
【0003】
MPLSは、通常のネットワーク層のルーティングテーブルによる転送、つまりIPアドレスの検索による転送に比べて、ネットワーク層を経由しない分、高速なパケット中継を可能にする。また、MPLSは、VPN(Virtual Private Network)を構築するためのインフラストラクチュアとしても活用できるため、キャリア(通信キャリアまたは通信事業者)等で注目されており、今後普及することが予想される。
【0004】
ここで、MPLSを用いたネットワーク層プロトコル・パケット(IPパケット)の中継を説明するための図1を参照すると、このMPLSネットワークシステムにおいては、MPLS網にユーザサイトとして、IPアドレス(Prefix)「b」,「d」のプロバイダ網が接続されている。これらのプロバイダ網はIPアドレス「A」,「D」を割り当てられたパーソナルコンピータなどの端末装置をそれぞれ収容している。
【0005】
MPLS網内の入口及び出口のエッジノードと各中継ノード(コアノードまたは内部ノード)とは、MPLSのラベル配信用のプロトコルLDP(Label Distribution Protocol)などを用いてMPLS網の中でラベルスイッチパス(LSP:Label Switched Path)を作成する。
【0006】
各ノードは図示のようなルーティングテーブルを作成して保持する。入口エッジノード及び出口エッジノードがそれぞれ保持する各ルーティングテーブルには、宛先IPアドレス(Prefix)、送信ラベル、及び送信インタフェースの各情報が格納されている。各中継ノードが保持するルーティングテーブルには、受信ラベル、送信ラベル、及び送信インタフェースの各情報が格納されている。
【0007】
ラベルスイッチパスの作成後は、MPLS網の入口エッジノードがIPパケット中継用ラベル(送信ラベル)を含むMPLSヘッダをIPパケットに付加したMPLSフレーム(MPLSパケット)を後段の中継ノードに送信し、以後出口エッジノードまでIPパケット中継用ラベルに基づくラベルスイッチングにより転送対象パケットの中継が行われる。
【0008】
次に、MPLSを用いてVPNを構築した場合のネットワーク層プロトコル・パケット(IPパケット)の中継を説明するための図2を参照すると、このMPLSネットワークシステムにおいては、MPLS網にユーザサイトとして、IPアドレス(Prefix)「a」,「c」のユーザ網が接続されている。これらのユーザ網はIPアドレス「A」,「C」を割り当てられたパーソナルコンピータなどの端末装置をそれぞれ収容している。
【0009】
MPLS網内の入口エッジノード及び出口エッジノードと各中継ノードとは、MPLSのラベル配信用のプロトコルLDP、mp−BGP(multiprotocol-Extension Border Gateway Protocol)などを用いてMPLS網の中でIPパケット中継用のラベルスイッチパス及びVPN用のラベルスイッチパスを作成する。
【0010】
入口エッジノードは図示のようなVPN用ラベルテーブルを作成して保持する。このVPN用ラベルテーブルは、VPN毎、つまり仮想パス毎に作成され、宛先IPアドレス(Prefix)、送信ラベル、及び宛先エッジノードのIPアドレスの各情報を格納している。
【0011】
各ノードは図示のようなルーティングテーブルを作成して保持する。入口エッジノードが保持するルーティングテーブルには、宛先IPアドレス、送信ラベル、及び送信インタフェースの各情報が格納されている。各中継ノード及び出口エッジノードがそれぞれ保持する各ルーティングテーブルには、受信ラベル、送信ラベル、及び送信インタフェースの各情報が格納されている。
【0012】
ラベルスイッチパスの作成後は、MPLS網の入口エッジノードがIPパケット中継用ラベル(送信ラベル)及びVPN識別用ラベルを含む2つのMPLSヘッダをIPパケットに付加したMPLSフレームを後段の中継ノードに送信し、以後出口エッジノードまでIPパケット中継用ラベル及びVPN識別用ラベルに基づくラベルスイッチングにより転送対象パケットの中継が行われる。
【0013】
一方、キャリア網においては、ネットワークの大容量化や信頼性の向上が重要であり、その実現のために既存の様々な負荷分散の技術が適用されている。ここでは、物理リンクレベルで負荷分散を行う技術であるTrunking(トランキング)に着目する。
【0014】
Trunkingは、隣り合うノード間の複数の物理リンクを束ねて1つの論理的なリンク(論理リンク)とする技術の総称である。実現技術はベンダ依存のものやIEEE.P802.3adで規定されるEthernetの”Link
Aggregation”などが存在する。
【0015】
Trunkingを使用することにより、次の利点が得られる。つまり、(1)複数の物理リンクを束ねているため、1つの物理リンクの伝送速度の上限を超えた大容量リンクを構築できる。また、(2)ある物理リンクにおける障害発生時に、論理リンク中の残った物理リンクにより通信可能であるので、信頼性を向上できる。
【0016】
図3はTrunkingされた複数の物理リンクに対するフレームの送信を説明するための図である。ただし、同図中に存在する方路決定手段は、図示のノード#1,#2が中継ノードであるために記載した構成要素であり、Trunkingと直接の関係はない。
【0017】
図3を参照して、ノード#1からノード#2にフレームを転送する場合の各ノード内の処理について説明する。まず、説明の便宜上、ノード#1の中継フェーズにおける処理から説明する。方路決定手段は、例えばEthernet上のブリッジにおける方路決定手段であり、学習テーブルをフレーム中の宛先MACアドレスにより検索して、宛先リンクを決定する。
【0018】
計算キー作成手段は、この方路決定手段により宛先として決定されたリンクがTrunkingされた複数の物理リンク(論理リンク)である場合、送信フェーズにおいて、フレーム中のヘッダを入力として、予め定めたアルゴリズムにより計算を行い、計算キーを出力する。
【0019】
リンク振り分け手段は、この計算キーを基に、論理リンクとして束ねられた複数の物理リンクの中から1つを選択してフレームを送信する。
【0020】
次に、受信フェーズにおける処理を説明する。物理リンクの中の1つからフレームを受信したノード#2は、リンク収集手段により、受信物理リンクに対応する論理リンクからフレームを受信したことを認識する。
【0021】
このように、フレームを送信するノード#1により、1つの論理リンクを宛先とするフレームが複数の物理リンクに振り分けられるため、負荷の分散が実現される。
【0022】
上記計算キー作成手段の採るアルゴリズムについては、次の点に留意する必要がある。つまり、(1)複数の物理リンクの候補のうち1つの物理リンクに負荷が集中しないように、効率的にトラフィックを分散する。また、(2)アプリケーション毎(例えば、Telnet,FTP,SMTPなどのアプリケーション層プロトコル毎)に行うひとまとまりの通信のうち、同じ送信元から宛先に流れる一連の片方向トラフィックを”フロー”と定義するとき、1つのフローに属すフレームの振り分け先が同じ物理リンクになるように、同じフローに属すフレームの計算キーは、同一値とする。
【0023】
留意点(2)を考慮する必要があるのは、ノード#1が同じフローに属すフレームを別々の物理リンクに分散して送信してしまうと、ノード#2では同じフローに属すフレームであることを認識できない。その結果、1つのフローに属すフレームの順番が中継の途中では保証できなくなるという問題があるためである。この問題は”順序逆転”として知られている。
【0024】
上記留意点(1)及び(2)を考慮しながら振り分けを行うためのアプローチとしては、例えば計算キー作成手段が採用するアルゴリズムをフレーム中のヘッダ内の送信元及び宛先アドレスフィールド(MACフレームなら送信元及び宛先MACアドレス、IPフレームなら送信元及び宛先IPアドレスなど)の値を入力とした不可逆な一方向関数(例えば、ハッシュ関数)とし、得られたキー値(疑似乱数としてのハッシュ値)に基づいて、リンク振り分け手段がTrunking対象の複数の物理リンクのいずれかに振り分ける手法が有効である。
【0025】
この場合、同じフローに属するフレームは同一物理リンクに送信されることが保証され、かつフレームはハッシュ関数依存で適度に振り分けされることとなる。
【0026】
【発明が解決しようとする課題】
次に、上述したTrunkingのための計算キー作成処理及びリンク振り分け処理をMPLSフレームに対して行う場合を考える。
【0027】
まず、MPLSはMPLSヘッダの後部に様々なプロトコルを乗せることが可能なプロトコルである。また、MPLSは、一度MPLSのラベル(パケット中継用ラベル)を付加したフレームはこのラベルを主とするMPLSヘッダのみに基づき中継できることを特徴・利点とするプロトコルである。このラベルの値は、ラベルを付加する前のフレームのヘッダ内の宛先アドレスからマップされ、送信元アドレスからはマップされないのが一般的である。
【0028】
ここで、MPLSフレームについてTrunkingのリンク振り分けのための計算キーを作成する場合について考える。このとき、MPLSのラベルを入力として計算キーを作成すると、ラベルには送信元識別情報が含まれていないため、同じ宛先に向かうフローに属するフレームが全て同じ計算キーとなり、その結果振り分け先が同一物理リンクとなってしまう問題がある。
【0029】
図4は、この問題を具体例を基に説明するための図である。図4では、MPLSを用いてユーザ網#1,#2,#3の間でVPNを構築し、ユーザ網#3内のアドレスにはラベル値αを対応付けたMPLSネットワークシステム構成例を示している。
【0030】
即ち、ユーザ網#1とユーザ網#3とを接続するラベルスイッチパスLSP及びユーザ網#2とユーザ網#3とを接続するラベルスイッチパスLSP上では、フレーム中のラベル値は「α」となる。なお、VPN構成時には、実際のフレームは図2のように、出口エッジノードの手前までは2つのラベル付フレームとして流れるが、ここでは出口エッジノードのみに着目するため、図4中ではラベル値が1つ付いたMPLSフレームとして示している。
【0031】
このMPLSネットワークシステムにおいて、ユーザ網#1,#2からユーザ網#3を宛先とするIPパケットがそれぞれ送信された場合、各IPパケットは、ラベル値αであるMPLSフレームとして、MPLS網の入口エッジノード(エッジノード#1,#2)から出口エッジノード(エッジノード#3)まで送信される。
【0032】
出口エッジノードにおいて、ラベル値αのための計算キーを計算すると、その結果は常に一定値となり、ユーザ網#3宛のフレームは全て同一物理リンク(例えば、図4中のユーザ網#3収容の中継ノード(ルータなど)に接続されている太線の物理リンク)に送信されてしまい、負荷分散がなされずに問題となる。
【0033】
この負荷分散問題を解決するためのアプローチとして、MPLSフレームのラベル値を宛先識別情報だけでなく送信元識別情報及び宛先識別情報の両方からマップするというアプローチがある。しかしこの場合、ラベルスイッチパス構築の際に、宛先識別情報とラベルとの対ごとにネゴシエーションすれば良かったところが、マッピングの粒度が細かくなった分、ラベル配信のための通信量が増えるため、このアプローチには新たな問題が生じる。
【0034】
上記負荷分散問題解決のための他のアプローチとして、MPLSより上位のヘッダの送信元及び宛先アドレスフィールドを図4中の出口エッジノード内の計算キー作成手段の入力とするというアプローチもある。しかしこの場合、MPLS網の出口エッジノードは、MPLSの上位のプロトコルを判別し、ヘッダを解析して送信元及び宛先アドレスフィールドを抽出する必要がある。
【0035】
MPLSの上には様々なプロトコルが乗り得る背景から、プロトコル毎のヘッダ解析が必要となり、その処理に手間がかかることが問題となる。また、MPLSでは、MPLSヘッダのみに基づきパケットの中継が可能であるという、MPLSの根本的利点が失われてしまうため、このアプローチには問題がある。
【0036】
本発明の課題は、MPLSフレームを受信したMPLS網のエッジノード(出口エッジノード)が、MPLSヘッダだけを参照して、論理的に1つに束ねられた複数の物理リンクにパケットを振り分けるときの負荷分散効果を順序逆転を起こすことなく向上させる手法を提供することにある。
【0037】
【課題を解決するための手段】
上記課題を解決するために、本発明のエッジノードは、第1の網に属して、第2の網または端末装置との間を論理的に束ねられた物理リンクにて接続されるエッジノードにおいて、前記第1の網に属する入口エッジノードがパケットのヘッダに基づいて算出して前記ヘッダに格納したキー値に基づいて、前記物理リンクへの振り分けを行う手段を備える。
【0038】
ここで、第1の網としては、例えばMPLS網やATM(Asynchronous Transfer Mode)網などのキャリア(通信キャリアまたは通信事業者)が提供する網が考えられる。また、第2の網としては、例えばユーザ網としてのLAN(Local Area Network)やプロバイダ網としてのWAN(Wide Area Network)が考えられる。
【0039】
さらに、本発明のMPLSネットワークシステムは、プロトコルMPLSに則ってMPLS網内を転送可能にするMPLSヘッダを付加する前の転送対象フレームのヘッダ内の送信元識別情報及び宛先識別情報を入力値として、振り分け先リンク決定のためのキー値を生成する作成手段と、
前記作成手段により生成された前記キー値を前記MPLSヘッダ内の特定のフィールドに埋め込む埋込手段と、
前記キー値が前記MPLSヘッダ内の特定のフィールドに埋め込まれたMPLSフレームを前記MPLS網に送信する送信手段と、
を有する第1のエッジノードと;
前記MPLS網を通して受信された前記MPLSフレームの前記MPLSヘッダ内の特定のフィールドから前記キー値を抽出する抽出手段と、
前記抽出手段により抽出された前記キー値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定する決定手段と、
を有する第2のエッジノードとを備える。
【0040】
このMPLSネットワークシステムにおいて、前記第1のエッジノードにおける前記作成手段は、前記転送対象フレームのヘッダ内の前記送信元識別情報及び前記宛先識別情報を入力値とし、一方向関数を用いた計算結果として得られる疑似乱数を前記振り分け先リンク決定のためのキー値として生成する。
【0041】
前記第1のエッジノードは、前記MPLS網における転送対象フレーム中継用ラベル及びVPN識別用ラベルの少なくとも一方のラベルを前記MPLSヘッダとして前記転送対象フレームに付加して前記MPLSフレームを形成するラベル付加手段を更に有し、
前記第2のエッジノードは、前記転送対象フレームに前記MPLSヘッダとして付加された前記ラベルを削除するラベル削除手段を更に有する。
【0042】
前記第1のエッジノードにおける前記埋込手段は、前記作成手段により生成された前記キー値を前記MPLSヘッダとしての少なくとも1つのShimヘッダ内の特定のフィールドに埋め込む。
【0043】
前記第1のエッジノードにおける前記埋込手段は、前記MPLSフレームが前記MPLS網内を転送されるときに書換不可能な前記Shimヘッダ内の特定のフィールドの予め定めた長さ部分に前記キー値を埋め込む。
【0044】
前記第1のエッジノードにおける前記埋込手段は、前記作成手段により生成された前記キー値を前記MPLSヘッダとしての複数のShimヘッダのうちの1つの専用ヘッダ内の特定のフィールドに埋め込む。
【0045】
前記第1のエッジノードは、前記MPLSフレームのラベル中継用パスを前記MPLS網に構築する際に、前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を前記第2のエッジノードに通知するための通知手段を更に有する。
【0046】
前記第2のエッジノードは、通知された前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を記憶する記憶手段を更に有する。
【0047】
前記第2のエッジノードにおける前記決定手段は、前記抽出手段により抽出された前記振り分け先リンク決定のためのキー値と、前記MPLSヘッダ内の特定のフィールドから求めた値との連結値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定する。
【0048】
本発明のエッジノードは、プロトコルMPLSに則ってMPLS網内を転送可能にするMPLSヘッダを付加する前の転送対象フレームのヘッダ内の送信元識別情報及び宛先識別情報を入力値として、振り分け先リンク決定のためのキー値を生成する作成手段と、
前記作成手段により生成された前記キー値を前記MPLSヘッダ内の特定のフィールドに埋め込む埋込手段と、
前記キー値が前記MPLSヘッダ内の特定のフィールドに埋め込まれたMPLSフレームを前記MPLS網に送信する送信手段と、
前記MPLS網を通して受信された前記MPLSフレームの前記MPLSヘッダ内の特定のフィールドから前記キー値を抽出する抽出手段と、
前記抽出手段により抽出された前記キー値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定する決定手段とを備える。
【0049】
【発明の実施の形態】
次に、本発明の一実施の形態について図面を参照して説明する。
【0050】
〔MPLSネットワークシステムの基本構成例〕
本発明の一実施の形態におけるシステムの基本構成例を示す図5を参照すると、MPLSネットワークシステム1は、MPLS網2と、このMPLS網2の入口位置に存在する入口エッジノード(単に、入口ノードまたはエッジノードと記載することもある)3と、MPLS網2の出口位置に存在する出口エッジノード(単に、出口ノードまたはエッジノードと記載することもある)4とを備えている。
【0051】
入口エッジノード3と出口エッジノード4とは、MPLS網2において設定されるラベルスイッチパスLSPを通してパケットの送受信を行う。入口エッジノード3は物理リンク経由でユーザサイトとしての他網に接続される。出口エッジノード4はTrunkingされた複数の物理リンク(論理リンク)経由でユーザサイトとしての他網に接続される。
【0052】
入口エッジノード3は、計算キー作成部(計算キー作成手段)30と、ラベル付加部(ラベル付加手段)32と、計算キー格納部(計算キー格納手段)33とから構成されている。
【0053】
計算キー作成手段30は、MPLS網2の入口エッジノード3において、MPLSヘッダを付ける前のフレーム(転送対象フレーム)のヘッダ内の送信元識別情報及び宛先識別情報を入力値として、ハッシュ関数などの一方向関数を用いて計算を行い、リンク振り分けのための計算キー、つまり振り分け先リンク決定のためのキー値(ハッシュ値などの疑似乱数)を生成する。アルゴリズム31は、計算キー作成手段30が計算キーを求めるための上記アルゴリズムである。
【0054】
ラベル付加手段32は、MPLS網2の入口エッジノード3において、MPLS網2内のパケット中継用ラベル及びVPN識別用ラベルの少なくとも一方のラベルを含むヘッダ情報をMPLSヘッダとしてIPパケットなどのパケット(転送対象フレーム)に付加してMPLSフレーム(MPLSパケット)を形成する。
【0055】
計算キー格納(埋込)手段33は、MPLS網2の入口エッジノード3において、計算キー作成手段30が求めた計算キーをMPLSヘッダとしてのShimヘッダ内の特定のフィールドに埋め込む。
【0056】
出口エッジノード4は、ラベル中継部(ラベル中継手段)40と、計算キー抽出部(計算キー抽出手段)41と、リンク振り分け部(リンク振り分け手段)42と、ラベル削除部(ラベル削除手段)43とから構成されている。
【0057】
ラベル中継手段40は、MPLS網2の出口エッジノード4において、MPLSヘッダ中のラベル値に基づきフレームの送信インタフェースやフレーム送信時のラベルに関する情報を得る。
【0058】
計算キー抽出手段41は、MPLS網2の出口エッジノード4において、MPLSヘッダ内の特定のフィールドからキー値を抽出する。
【0059】
リンク振り分け手段42は、MPLS網2の出口エッジノード4において、計算キー抽出手段41が抽出したキー値を基に、Trunkingされた複数の物理リンクの中から送信先の物理リンクを1つ選択・決定する。
【0060】
ラベル削除手段43は、MPLS網2の出口エッジノード4において、MPLS網2内のパケット中継用ラベル及びVPN識別用ラベルの少なくとも一方のラベルを含むヘッダ情報をMPLSヘッダとしてIPパケットなどのパケットから削除する。
【0061】
MPLS網2の入口エッジノード3においては、計算キー作成手段30が、MPLSヘッダを付ける前のフレームのヘッダ内の送信元識別情報及び宛先識別情報を入力値として、振り分け先リンク決定のためのキー値(計算キー値と記載することもある)を求める。
【0062】
ラベル付加手段32はMPLSヘッダを転送対象フレームに付加し、更に計算キー格納手段33はMPLSヘッダ内にそのキー値を埋め込む。入口エッジノード3はこのように作成したMPLSフレームをラベルスイッチパスLSPに送信する。
【0063】
ラベルスイッチパスLSPを通してMPLSヘッダ付きフレームを受信したMPLS網2の出口エッジノード4においては、ラベル中継手段40は、送信インタフェースを決定するとともに送信時にMPLSヘッダを削除することを決定する。その後、計算キー抽出手段41はMPLSヘッダからキー値を抽出する。
【0064】
リンク振り分け手段42はそのキー値を基にTrunkingされた複数の物理リンクの中から送信先物理リンクを1つ選択・決定する。出口エッジノード4は、ラベル削除手段43によりMPLSヘッダを削除された転送対象フレームを選択した物理リンクに送信する。
【0065】
なお、実際のMPLSネットワークシステム1においては、入口エッジノード3及び出口エッジノード4は、逆の中継方向のパケットを処理するために、互いに他方のエッジノードの全ての構成要素を含んで構成される。
【0066】
上述した基本構成例では、図示していないが、MPLSネットワークシステム1においては、入口エッジノード3と出口エッジノード4との中継位置に少なくとも1つの中継ノード(内部ノードまたはコアノードとも称す)が存在する。ただし、後述するように、入口エッジノード3と出口エッジノード4との中継位置に1つも中継ノードが存在しない構成を採ることも可能である。
【0067】
この中継ノードは、ラベル中継手段(図示省略)によるMPLSフレームの中継処理(パケット中継用ラベルだけを参照してMPLSフレームのパケットを転送する処理)に基づき出口エッジノード4までMPLSフレームを中継する。また、後述するように、中継ノードは出口エッジノード4と同一構成を採る場合もある。
【0068】
〔MPLSネットワークシステムの第1の具体例〕
次に、MPLSネットワークシステム1の第1の具体例について、図6から図12を併用して説明する。なお、以降に述べる各具体例では、各ノード内の受信フェーズについては、この発明と直接関係しないので説明を省略する。
【0069】
まず、MPLSネットワークシステム1内に構築したVPNの構成について説明する。図6では、MPLSを用いてユーザ網(#1)5、ユーザ網(#2)6、及びユーザ網(#3)7の間でVPNを構築し、ユーザ網7内のアドレスにはラベル値αを対応付けた例を示している。即ち、ユーザ網5とユーザ網7とを接続するラベルスイッチパスLSP、及びユーザ網6とユーザ網7とを接続するラベルスイッチパスLSP上では、MPLSフレームのMPLSヘッダ中のラベル値は「α」となる。
【0070】
続いて、MPLS網2の入口位置に存在するエッジノード(#1,#2)3がIPパケットにMPLSヘッダを付けてMPLSフレームを送信し、MPLSフレームを受信したMPLS網2の出口位置に存在するエッジノード(#3)4において、MPLSヘッダだけを参照して、Trunkingされた複数の物理リンクにIPパケットの振り分けを行うまでの動作を説明する。
【0071】
まず、入口エッジノード(#1)3がユーザ網5に収容される端末装置Aから送信されたIPパケットを受信したと仮定する。
【0072】
次に、方路決定手段34は、VPN識別用テーブル71(図7参照)に基づいて、受信インタフェース(インタフェース番号:1)に対応するVPN(VPN番号:1)を判別する。
【0073】
方路決定手段34は、VPN用ルーティングテーブル81(図8参照)に基づいて、IPパケット中の宛先IPアドレス(Prefix)「C」に対応したVPN識別用のラベル値(送信ラベル)α、及び宛先エッジノードのIPアドレス(レイヤ3アドレス)を求める。この場合、宛先エッジノードのIPアドレスとして、エッジノード(#3)4のIPアドレスが得られる。
【0074】
方路決定手段34は、MPLS網2内の中継用のルーティングテーブル91(図9参照)に基づいて、送信先エッジノード(#3)4のIPアドレスに送信するためのMPLS網2内のIPパケット中継用ラベル(送信ラベル:150)と出力インタフェース(出力インタフェース番号:0)とを獲得する。
【0075】
次に、計算キー作成手段30は、方路決定手段34から受信したIPパケットのヘッダ中の送信元IPアドレス「A」及び宛先IPアドレス「C」を抽出し、アルゴリズム31に基づいて、振り分け先リンク決定のためのキー値を計算する。ここでは、アルゴリズム31の例として、各々32bitの送信元IPアドレス及び宛先IPアドレスをそれぞれ2bitずつに区切り、それらを排他的論理和演算するようなアルゴリズム(ハッシュ関数)とし、計算の結果、計算キーとして2bitの値「00」が得られるものとする。
【0076】
ラベル付加手段32はIPヘッダ(20Byte)及びデータから構成されるIPパケットに対してMPLSヘッダ(4Byte)を2つ付加する。図12(a)はVPN識別用ラベルを含むMPLSヘッダとしてのShimヘッダによりIPパケットをカプセリングして形成されたMPLSフレームのフォーマットを示す。図12(b)は図12(a)に示すMPLSフレームにMPLS網2内のIPパケット中継用ラベルを含むShimヘッダを更に付加(スタック)して形成されたMPLSフレームのフォーマットを示す。図12(c)はEthernetやPPP(Point-to-Point Protocol)などで用いられるMPLSヘッダとしてのShimヘッダのフォーマットを示す。
【0077】
なお、MPLSフレームのフォーマットとしては、他に、例えばATM等の各種プロトコル上でMPLSを用いるときのヘッダフォーマット及びカプセリング後のフォーマットなども存在するが、この発明の実施に直接関係しないので、ここでは略記する。
【0078】
MPLSヘッダが付加されたMPLSフレームに対し、計算キー格納手段33は、MPLSヘッダ内の特定のフィールドに上記計算キー(この例では、2bit)を更に埋め込む。埋め込み先のフィールドの位置及びフィールド長については、予め任意に選定可能であるが、この例では埋め込み先フィールドとしてVPN識別用ラベルが格納されるフィールドの上位2bitに埋め込む。
【0079】
計算キー埋め込み後のMPLSフレームのフォーマットを図12(d)に示す。図12(d)に示す例では、第2(2段目)のShimヘッダにおける20bitのラベルフィールドのうちの2bitを計算キーの埋め込み部分に使うため、VPN識別用ラベルは18bit以内で表現できる値とする必要がある。
【0080】
入口エッジノード(#1)3において上述した処理により生成されたMPLSフレームは、ラベルスイッチパスLSPを通して図示省略の中継ノードに中継され、ラベル中継手段によるMPLSフレームの中継処理(IPパケット中継用ラベルだけを参照してMPLSフレームを転送する処理)に基づき出口エッジノード4まで中継される。
【0081】
この中継処理により、出口エッジノード4が受信するMPLSフレームのフォーマットを図12(e)に示す。MPLSフレームのIPパケット中継用ラベルを含む第1(1段目)のShimヘッダは、MPLS網2の中継ノードにおいて、ラベルSwap(ラベル交換)やTTL減算により書き換えられながら中継される。しかし、MPLSフレームのVPN識別用ラベルフィールドは第2(2段目)のShimヘッダ内に配置されているため、VPN識別用ラベルフィールド内に埋め込まれた上記計算キーのキー値がMPLS網2の中継ノードで書き換えられることはない。
【0082】
このIPパケット中継用ラベルを含む第1(1段目)のShimヘッダは、通常のMPLS中継処理に基づき、出口エッジノード4の手前で削除され、その時点でフレームフォーマットは、図12(d)から図12(e)に変わる。
【0083】
図12(e)に示すフォーマットのMPLSフレームをラベルスイッチパスLSPを通して受信した出口エッジノード4では、ラベル中継手段40は、ラベルテーブル101(図10参照)を参照して、出力ラベル(送信ラベル)及び出力インタフェースの各情報を得る。この例では、出力ラベル情報及び出力インタフェース番号はそれぞれ「ラベル削除」及び「論理インタフェース#0」である。
【0084】
計算キー抽出手段41は、VPN識別用ラベルが格納されたラベルフィールドの上位2bitから計算キー値「00」を抽出する。計算キーがこの位置に格納されていることは、ここではシステム全体で静的に決められていることを想定しているが、ノード間で何らかのネゴシエーションにより動的に位置を決めてもよい。動的に計算キー格納位置を決める手法の具体例については後に詳述する。
【0085】
計算キー抽出手段41により計算キーを抽出した後、リンク振り分け手段42は、出力インタフェースとして論理インタフェース#0に対応付けられた複数の物理インタフェース#0−0〜#0−3の内、計算キーに対応する物理インタフェースを出力先として決定する。
【0086】
ここでは、リンク振り分け手段42は、図11に示すように、論理インタフェース毎に計算キー値と物理インタフェースとを対応付けるテーブル111を備えているので、このテーブル111を計算キー値「00」により参照した結果、物理インタフェース#0−0を出力先として決定する。
【0087】
続いて、ラベル削除手段43は、MPLSフレームからMPLSヘッダとしてのShimヘッダを削除し、物理インタフェース#0−0に対して、送信元IPアドレス「A」及び宛先IPアドレス「C」を含むIPパケットを送信する。この結果、出口エッジノード4から送信されたIPパケットは、物理リンク#0−0を流れて、ユーザ網7に収容されている端末装置Cにユーザ網7内の中継ノード(ルータなど)を通して中継される。
【0088】
出口エッジノード4の次ホップの中継ノード(ユーザ網7内の中継ノード)では、既存の物理リンクの中の1つからフレームを受信すると、従来技術の説明で触れたリンク収集手段により、受信物理リンクに対応する論理リンクからフレームを受信したことを認識する。
【0089】
出口エッジノード4は、上述した処理により、入口エッジノード(#1)3から送信されたMPLSフレームについて、Trunkingされた複数の物理リンクの中の1つのリンクにIPパケットの振り分けを行う。
【0090】
MPLSネットワークシステム1において、入口エッジノード(#2)3から出口エッジノード4に送信する場合についても動作は基本的には同様であるが、入口エッジノード(#2)3がユーザ網6から受信した2つのIPパケット中の送信元及び宛先IPアドレスは、前述の入口エッジノード(#1)3が受信したIPパケット中の値と異なるため、出口エッジノード4におけるIPパケット振り分け対象の物理リンクは上述した場合と異なる。
【0091】
次に、この動作について説明する。入口エッジノード(#2)3がユーザ網6に収容されている端末装置Bから送信された2つのIPパケットを受信した場合、方路決定手段34は、VPN識別用テーブル72(図7参照)に基づいて、受信インタフェース(インタフェース番号:1)に対応するVPN(VPN番号:1)を判別する。
【0092】
次に、方路決定手段34は、VPN用ルーティングテーブル82(図8参照)から、IPパケット中の宛先IPアドレス(Prefix)に対応したVPN識別用ラベル(送信ラベル)αと宛先エッジノードのIPアドレス(レイヤ3アドレス)を求める。
【0093】
方路決定手段34は、MPLS網2内のIPパケット中継用のルーティングテーブル92(図9参照)に基づいて、送信先エッジノード(#3)4のIPアドレスに送信するためのIPパケット中継用ラベル(送信ラベル:150)と、出力インタフェース(出力インタフェース番号:0)とを獲得する。
【0094】
計算キー作成手段30は、アルゴリズム31に則り、IPヘッダ中の送信元IPアドレス「B」及び宛先IPアドレス「C」,「D」を抽出してそれぞれ2bitずつに区切り、それらを排他的論理和演算する。また、計算キー作成手段30は、この演算の結果、宛先IPアドレス「C」のIPパケットについては「10」を、かつ宛先IPアドレス「D」のIPパケットについては「11」をそれぞれ計算キー値として出力する。
【0095】
ラベル付加手段32は、IPパケットに対してMPLSヘッダとしての2段のShimヘッダを付加したMPLSフレーム(図12(b)参照)を作成する。計算キー格納手段33は、ラベル付加手段32により作成されたMPLSフレームに対して第2のShimヘッダ内のVPN識別用ラベルが格納されたフィールドの上位2bitに(図12(d)に示す位置に)計算キー値をそれぞれ埋め込んだMPLSフレームをラベルスイッチパスLSPにそれぞれ送信する。
【0096】
これらMPLSフレームをラベルスイッチパスLSPを通して受信した出口エッジノード4は、まずラベル中継手段40により、ラベルテーブル101(図10参照)から出力ラベル及び出力インタフェースの各情報としてそれぞれ「ラベル削除」及び「論理インタフェース#0」を獲得する。
【0097】
次に、計算キー抽出手段41は、VPN識別用ラベルが格納されたフィールドの上位2bitから計算キー値「10」及び「11」をMPLSフレームのそれぞれのパケットについて抽出する。
【0098】
計算キーを抽出した後、リンク振り分け手段42は、論理インタフェース毎に計算キー値と物理インタフェースとを対応付けるテーブル111を各計算キー値により参照した結果、物理インタフェース#0−2,#0−3を出力先として決定する。
【0099】
ラベル削除手段43は、MPLSヘッダを削除して決定した物理インタフェース#0−2,#0−3に対して各IPパケットを送信する。この結果、これらのパケットは1つの論理リンクとしてTrunkingされている複数の物理リンクの中の物理リンク#0−2,#0−3を流れる。
【0100】
上述の第1の具体例では、入口エッジノード3と出口エッジノード4との中継位置に1つの以上の中継ノードが存在する構成を前提として説明したが、中継位置に中継ノードが1つも存在しない構成でもよい。その場合、入口エッジノード3は、フレームフォーマットとして、図12(d)ではなく、図12(e)のフォーマットでフレームを送信する。
【0101】
つまり、入口エッジノード3は、中継位置に中継ノードが1つも存在しない構成における通常のMPLS中継処理に基づき、IPパケット中継用ラベルを含む第1のShimヘッダを付けず、VPN識別用ラベルを含むShimヘッダのみを付けてフレームを送信する。
【0102】
上述した構成及び動作を採用するMPLSネットワークシステム1においては、MPLSヘッダ付きフレームを受信した出口エッジノード4が、MPLSヘッダだけを参照して、送信元及び宛先IPアドレスが異なる3つの転送対象フレーム(IPパケット)をTrunkingされた複数の物理リンクに振り分けて送信可能であり、かつ送信元及び宛先IPアドレスの同じフレームは全て同一物理リンクが振り分け先となるので、振り分け時の負荷分散効果を順序逆転を起こすことなく向上できる。
【0103】
上述したMPLSネットワークシステム1の第1の具体例においては、MPLSフレームの第2のShimヘッダ内のラベルフィールドにIPパケットの振り分け先リンク決定のためのキー値を埋め込む例を示したが、その変形として、同じヘッダ内の他のフィールドにキー値を埋め込んでもよい。
【0104】
また、第1の具体例では、MPLS網2の入口エッジノード3と出口エッジノード4との間に存在する物理リンクは、Trunkingされていないことを前提に説明したが、これらの物理リンクはTrunkingされていてもよい。この場合、例えば入口エッジノード3は計算キー作成手段30で求めたキー値を基に振り分け先の物理リンクを決定すればよく、中継ノード(CN)は出口エッジノード4と全く同様にして、計算キーをMPLSヘッダから抽出した上でこのキー値を基に振り分け先の物理リンクを決定可能である(図22参照)。
【0105】
第1の具体例では、2bitのキー値「00、01、10、11」のそれぞれに1つの物理リンクを対応付けたが、例えばキー値「00、01」を1つの物理リンク#0−0に、かつキー値「10、11」を1つの物理リンク#0−1に、それぞれ対応付けるようにすることで、キー値の各値をキー値で表せる数以下の任意の物理リンクに対応付けることが可能である。
【0106】
第1の具体例では、出口エッジノード4は常に計算キー抽出手段41及びリンク振り分け手段42を動作させているが、例えばラベルテーブル101中に、出力インタフェースがTrunkingされたインタフェース(論理インタフェース)であるか物理インタフェースであるかを示すフラグを持ち、このフラグが「出力先=論理インタフェース」であることを示す場合のみ、計算キー抽出手段41及びリンク振り分け手段42を動作させるようにしてもよい。
【0107】
さらに、第1の具体例では、MPLSで構築したVPNの上に上位プロトコルとしてのIPを乗せる場合について示したが、VPNに乗せるプロトコルは、IP以外のネットワーク層のプロトコル、例えばIPX(Internetwork Packet Exchange)などでもよい。
【0108】
〔MPLSネットワークシステムの第2の具体例〕
次に、MPLSネットワークシステム1の第2の具体例について、図7から図15を併用して説明する。
【0109】
上述した第1の具体例では、VPN識別用ラベルを含むMPLSヘッダ(第2のShimヘッダ)内のラベルフィールドに計算キーを埋め込む例を示したが、ここではその変形として、MPLS網2内のIPパケット中継用ラベルを含むMPLSヘッダ(第1のShimヘッダ)内に埋め込む例を示す。
【0110】
まず、第2の具体例の動作を説明する前に、適用対象システムについて説明する。MPLSの通常の動作では、図1に示した従来のMPLSネットワークシステムのように、MPLS網の出口エッジノードでは、MPLS網内のIPパケット中継用ラベルを含むMPLSヘッダは出口エッジノードの手前の中継ノードで削除されてしまうため、このアプローチは使えない。
【0111】
しかし、MPLSの動作としては、他にMPLS網の出口エッジノードまで、MPLS網内のIPパケット中継用ラベルを含むMPLSヘッダが削除されずに中継される形態もある。このようなMPLSネットワークシステム構成例を図13及び図14に示す。
【0112】
図13は、例えばATM(Asynchronous Transfer Mode)網上でMPLSを動作させる場合に使われる形態である。即ち、出口エッジノード4の手前の中継ノードCNは、図1に示すようにMPLSヘッダを削除する代わりに、次ホップノードにラベルPop「削除」かつIPv4ヘッダによるルーティングを行うように指示するラベルをMPLSヘッダ内に格納して送信する。このラベルはIPv4 Explicit Null LabelとしてIETF(Internet Engineering Task Force)の規定RFC−3032で定義されており、値として「0」を採る。ラベルスイッチパス上でこのようなMPLSフレームが流れる場合、出口エッジノード4はラベル値「0」のMPLSフレームを受信する。
【0113】
図14は、ラベルスイッチパスの張り方として一般的では無いが、出口エッジノード4まで通常の(Explicit Null Labelでない)ラベル値を付けるようなラベルスイッチパス上でMPLSフレームの中継を行う形態である。即ち、出口エッジノード4の手前の中継ノードCNは、図1に示すようにMPLSヘッダを削除する代わりに、例えばラベル値「350」を含むMPLSフレームを送信し、出口エッジノード4はこのMPLSヘッダ付フレームを受信する。
【0114】
図15に示す第2の具体例のMPLSネットワークシステム1では、出口エッジノード4までこのようなMPLS網2内のIPパケット中継用ラベルを含むMPLSフレームが流れる場合を適用対象とする。
【0115】
このMPLSネットワークシステム1においては、入口エッジノード(#1)3及び入口エッジノード(#2)3から出口エッジノード4に、図14で示される中継を行うようなラベルスイッチパスLSPが張られているものとする。
【0116】
また、このシステム1のMPLS網2では、VPNを構築していない、つまりIPパケットには中継用ラベルを含むMPLSヘッダが1段だけ付加され、MPLSフレームとして中継されることを前提にして、動作を説明する。なお、各ノードが有する各種テーブルについては、第1の具体例と同一である。
【0117】
まず、MPLS網2の入口位置に存在する入口エッジノード(#1)3がユーザサイトとしてのプロバイダ網(#1)8に収容される端末装置Aから送信された送信元IPアドレス「A」及び宛先IPアドレス「C」を含むIPパケットを受信したと仮定する。
【0118】
この具体例では、VPNではないので、入口エッジノード(#1)3における方路決定手段34は、受信インタフェースによるVPNの判別は行わず、IPパケット中の宛先IPアドレス「C」に送信するためのMPLS網2内のIPパケット中継用ラベル及び出力インタフェースをMPLS網2内のIPパケット中継用のルーティングテーブル91(図9参照)から獲得する。
【0119】
次に、計算キー作成手段30は、第1の具体例と同様に、アルゴリズム31に則り、IPパケットヘッダ中の送信元及び宛先IPアドレス(各々32bit)をそれぞれ2bitずつに区切り、それらを排他的論理和演算して、計算キー値を求める。
【0120】
ラベル付加手段32は、このIPパケットに対し、IPパケット中継用ラベルを含むMPLSヘッダ(Shimヘッダ)を1段付加する。図12(a)はMPLSヘッダ付加後のMPLSフレームのフォーマット例である。
【0121】
MPLSヘッダが付加されたフレームに対し、計算キー格納手段33は、更に、MPLSヘッダ内の特定のフィールドに計算キー(この例では、2bit)を埋め込む。埋め込み先としては、2段目のMPLSヘッダ内のフィールドではなく、1段目の第1のShimヘッダ内の特定のフィールドとする。
【0122】
ここでは、例えば埋め込み先として3bitのExpフィールドの上位2bitに埋め込む。計算キー埋め込み後のMPLSフレームのフォーマットを図12(f)に示す。なお、この例では、3bitのExpフィールドの内の2bit分を計算キーの埋め込みに使うため、Expとして使う値は1bit以内の値とする必要がある。
【0123】
以上の処理により、入口エッジノード(#1)3において生成されたMPLSフレームは、この後、例えば図14に示すように、MPLS網2の内部位置に存在する各中継ノードCNによるMPLSフレームの中継処理に基づき出口エッジノード4まで中継され、MPLSフレームを受信した出口エッジノード4では、第1の具体例と全く同様にして、Trunkingされた複数の物理リンクのいずれかへのパケット振り分けを行う。
【0124】
なお、MPLS網2の入口位置に存在する入口エッジノード(#2)3がユーザサイトとしてのプロバイダ網(#2)9に収容される端末装置Bから送信された2つのIPパケットを受信した場合も同様に処理されて、プロバイダ網(#3)10に中継ノードを通して中継される。
【0125】
上述した第2の具体例では、MPLSヘッダ(第1のShimヘッダ)内のExpフィールドに計算キーを埋め込む例を示したが、代替として、MPLSヘッダ内のTTLフィールドに埋め込んでもよい。ここで、第1のShimヘッダは、MPLS網2の各中継ノードCNにおいて、ラベルSwapやTTL減算により書き換えられながら中継される。
【0126】
通常、MPLS網2の中継ノードCNでは書き換えられないExpフィールドと異なり、TTLフィールドは通常中継ノードCNで1ずつ減算されてしまい(書き換えられてしまい)、計算キー値が書き換えられてしまう恐れがあるが、1つのMPLSフレームの中継時に経由する中継ノードの数が数十台に及ぶことは通常ありえない。
【0127】
したがって、例えば8bitのTTLフィールドの上位2bitに計算キーを埋め込み、MPLS網2の入口エッジノード3が残った6bitのTTLフィールドに「63」を格納すれば、出口エッジノード4に中継されるまでに、計算キー値が書き換えられることは無いため、TTLフィールドに埋め込んでも実用上の問題はない。
【0128】
また、第2の具体例では、MPLS網2上でVPNが構築されておらず、この網内ではMPLSヘッダが1段だけ転送対象フレームに付加されて中継される形態について説明したが、VPNを構築した場合に1段目のMPLSヘッダ(第1のShimヘッダ)に適用してもよい。この場合、VPN識別用ラベルは2段目のMPLSヘッダ(第2のShimヘッダ)に格納される。
【0129】
〔MPLSネットワークシステムの第3の具体例〕
次に、MPLSネットワークシステム1の第3の具体例について、図6及び図16を併用して説明する。
【0130】
第3の具体例においては、入口エッジノード3の計算キー格納手段33がキー値を埋め込む位置を入口エッジノード3からラベルスイッチパスLSP上の各ノードに予め通知する場合について説明する。
【0131】
ここでは、計算キー格納手段33により計算キーを格納する位置が、MPLS網2内のVPN識別用ラベルを含む第2のShimヘッダ内のラベルフィールドの上位2bitである場合について説明する。
【0132】
まず、ラベルスイッチパスLSP構築時に、入口エッジノード3のフィールド通知手段(図示省略)は、計算キー格納手段33で計算キーの埋め込み対象とする位置をラベルスイッチパスLSP上の全ノードに通知する。このための具体的な手法として、ここではラベルスイッチパスLSPを構築する際のラベル配信用プロトコルであるLDPを拡張して、図16(a)に示すように、MPLSヘッダの2つ分(64bit)中の埋め込み位置を示すマスク値をLDPメッセージ中に格納する。
【0133】
即ち、MPLS網2にラベルスイッチパスLSPを構築するとき、入口エッジノード3は、LDPメッセージ中に図16(a)のメッセージを格納した上でLDPプロトコルフレームをMPLS網2に送信する。
【0134】
このLDPプロトコルフレームを受信したMPLS網2の中継ノードまたは出口エッジノード4は、このフレームから図16(a)のLDPメッセージを抽出し、キー値をMPLSヘッダに格納するか、キー値をMPLSヘッダから抽出するためのマスク値として記憶する。
【0135】
以後、計算キー格納手段33を含む各手段は、MPLSヘッダ中に格納するキー値の位置またはMPLSヘッダ中に格納されたキー値の位置をマスク値に基づいて決定することができる。
【0136】
この例では、2段目のMPLSヘッダ(第2のShimヘッダ)の上位2bitに対応する位置のマスク値がそれぞれ「1」となっているので、2段目のMPLSヘッダ中のラベルフィールドの上位2bitが計算キーの埋め込み位置であることを認識できる(図16(b))。
【0137】
ラベルスイッチパスLSPの張り方が、図13または図14に示すように、出口エッジノード4までMPLSヘッダが削除されずに中継されるMPLS網2であれば、MPLS網2の中継ノード及び出口エッジノード4は図16(b)に示すようにキー値埋め込み位置を認識すればよい。
【0138】
しかし、ラベルスイッチパスLSPの張り方が、図1または図2に示すように、出口エッジノードの手前の中継ノードでMPLSヘッダが1段削除されるようなMPLS網2であれば、MPLS網2の中継ノードは図16(b)に示すように埋め込み位置を認識し、出口エッジノード4は、上記マスクの内の0〜31bit目のマスク値は無視し、32〜63bit目のマスク値を1段目のMPLSヘッダであるものとして埋め込み位置を認識する。
【0139】
この第3の具体例の処理により、上記第1及び第2の具体例では、システム全体で静的に設定していた計算キーの埋め込み位置を動的に設定することが可能となる。
【0140】
〔MPLSネットワークシステムの第4の具体例〕
次に、MPLSネットワークシステム1の第4の具体例について、図6から図10、図12、図17、及び図18を併用して説明する。
【0141】
この第4の具体例のMPLSネットワークシステム1においては、MPLSが運用されたMPLS網2内の出口エッジノード4で、かつTrunkingにより1つの論理リンクとして束ねられた複数の物理リンクの数が、計算キー格納手段33が埋め込むキー長で表せるリンク数よりも大きい場合について説明する。
【0142】
説明の前提とするシステムは、基本的に第1の具体例を説明する際に参照した図6に示す構成とするが、出口エッジノード4において、Trunkigとして束ねられた物理リンクの数が図6に示すシステムと異なり8つであるものとする(図17参照)。
【0143】
この場合、埋め込むキー長が2bitであると、2bitでは8つの物理リンク#0−0〜#0−7を表現できない点で第1の具体例と異なる。また、出口エッジノード4には、8つの物理リンクへのパケット振り分けを処理するリンク振り分け手段42が設けられている。
【0144】
VPNの構成と、ユーザ網(#1)5とユーザ網(#3)7とを接続するラベルスイッチパスLSP及びユーザ網(#2)6とユーザ網(#3)7とを接続するラベルスイッチパスLSP上で付けるラベルと、各手段が保持しているテーブルとについては、第1の具体例と同一である。ただし、図11に示すテーブル111は、図12に示すテーブル181に代替される。
【0145】
MPLS網2の入口位置に存在する入口エッジノード(#1)3及び入口エッジノード(#2)3がIPパケットにMPLSヘッダを付けてMPLSフレームを送信し、ラベルスイッチパスLSPを通してMPLSフレームを受信した出口エッジノード4において、MPLSヘッダだけを参照して、Trunkingされた8つの物理リンクにパケット振り分けを行うまでの動作を説明する。
【0146】
まず、入口エッジノード(#1)3及び入口エッジノード(#2)3の各々は、第1の具体例と全く同様にして、MPLS網2の外部から受信したIPパケットについて、MPLSヘッダを付けて、出口エッジノード4に送信する。
【0147】
このとき、入口エッジノード(#1)3がユーザ網5から受信したIPパケットについての計算キー値は「00」であり、入口エッジノード(#2)3がユーザ網(#2)6から受信したIPパケットについての計算キー値は、宛先IPアドレス「C」のパケットについては「10」であり、宛先IPアドレス「D」のパケットについては「11」である。
【0148】
入口エッジノード(#1)3及び入口エッジノード(#2)3から送信された3つのMPLSフレームを受信した出口エッジノード4では、まずラベル中継手段40により、ラベルテーブル101(図10参照)から出力ラベル及び出力インタフェースの各情報を獲得する。この場合、3つのMPLSフレームのいずれについても、「ラベル削除」及び「論理インタフェース#0」となる。
【0149】
次に、計算キー抽出手段41は、各MPLSフレームについて、VPN識別用ラベルが格納されたフィールドの上位2bitから計算キー値として、「00、10、11」を抽出する。
【0150】
計算キーを抽出した後、リンク振り分け手段42は、出力論理インタフェース#0に対応付けられた8つの物理インタフェース#0−0〜#0−7の中から振り分け先の物理インタフェースを決定する際に、上記計算キーだけでなくMPLSヘッダ中の特定のフィールドを入力として、アルゴリズム31に則って計算を行い、3bitのキー値を出力する。
【0151】
ここでは、アルゴリズムの例として、ラベル値20bitを1bitずつに区切り、排他的論理和演算により得られた1bitの値と、計算キー抽出手段41により抽出した2bitの計算キー値とをビット連結するようなアルゴリズムとする。排他的論理和演算の結果が「0」になった場合、ビット連結の結果として3bitの計算キー値「000、010、011」がそれぞれ得られる。
【0152】
リンク振り分け手段42は論理インタフェース毎に3bitの計算キー値と物理インタフェース番号とを対応付けるテーブル181(図18参照)を備えるので、このテーブル181を計算キー値「000、010、011」により参照した結果、物理インタフェースとして、「#0−0、#0−2、#0−3」を出力先としてそれぞれ決定する。
【0153】
ラベル削除手段43がMPLSヘッダとしての第2のShimヘッダを削除して、リンク振り分け手段42で得られた各物理インタフェースに対してIPパケットを送信し、その結果、各IPパケットは物理リンク#0−0、#0−2、#0−3に送信される。
【0154】
〔MPLSネットワークシステムの第5の具体例〕
次に、MPLSネットワークシステム1の第5の具体例について、図6から図12、及び図19を併用して説明する。
【0155】
この第5の具体例のMPLSネットワークシステム1においては、入口エッジノード(#1)3が、MPLSパケット中継用ラベルまたはVPN識別用ラベルが属するMPLSヘッダに計算キー値を格納するのではなく、新たなMPLSヘッダ(第3のShimヘッダ)をIPパケットに付加し、このヘッダ中に計算キー値を格納する場合について説明する。
【0156】
説明の前提とするシステムは、基本的に第1の具体例を説明する際に参照した図6に示す構成を採る。また、VPNの構成と、ユーザ網(#1)5とユーザ網(#3)7とを接続するラベルスイッチパスLSP及びユーザ網(#2)6とユーザ網(#3)7とを接続するラベルスイッチパスLSP上で付けるラベルと、各手段が保持しているテーブルとについては、第1の具体例と同一である。
【0157】
MPLS網2の入口位置に存在する入口エッジノード(#1)3がIPパケットにMPLSヘッダを付けてMPLSフレームを送信し、ラベルスイッチパスLSPを通してMPLSフレームを受信した出口エッジノード4において、MPLSヘッダだけを参照して、Trunkingされた複数の物理リンクにパケット振り分けを行うまでの動作を説明する。
【0158】
まず、入口エッジノード(#1)3においてユーザ網(#1)5からIPパケットを受信した場合、方路決定手段34は、受信インタフェースに対応するVPNをVPN識別用テーブル71(図7参照)から判別する。
【0159】
次に、方路決定手段34は、VPN毎のルーティングテーブル81(図8参照)から、IPパケット中の宛先IPアドレス「C」に対応したVPN識別用ラベル及び宛先エッジノードのIPアドレスを求める。
【0160】
また、方路決定手段34は、得られた送信先エッジノードのIPアドレスに送信するためのMPLS網2内のIPパケット中継用ラベル及び出力インタフェースをMPLS網2内のIPパケット中継用のルーティングテーブル91(図9参照)から獲得する。
【0161】
次に、計算キー作成手段30は、IPパケットのヘッダ中の送信元IPアドレス「A」及び宛先IPアドレス「C」を抽出し、アルゴリズム31に則って、振り分け先リンク決定のための計算キーを計算する。ラベル付加手段32は、このIPパケットに対してMPLSヘッダ(Shimヘッダ)を2つ付加する。2つのMPLSヘッダを付加した後のフレームフォーマットを図12(b)に示す。
【0162】
MPLSヘッダが付加されたMPLSフレームに対し、計算キー格納手段33は、ラベル付加手段32が出力した図12(b)に示すMPLSフレームに対し、VPN識別用ラベルを含む第2のMPLSヘッダよりも後段に第3のMPLSヘッダを付加する。この第3のMPLSヘッダは計算キーを格納するための専用ヘッダである。
【0163】
計算キー格納手段33は、更に、ここで付加したヘッダ内の特定のフィールドに計算キー(この例では、2bit)を埋め込む。埋め込み先のフィールドの位置及びフィールド長については、任意に選定可能であるが、ここでは埋め込み先としてラベルフィールドの上位2bitに埋め込む。埋め込み後のMPLSフレームのフォーマットを図12(g)に示す。
【0164】
上述した処理により生成されたMPLSフレームは、図19に示すように、MPLS網2の内部位置に存在している複数の中継ノードCNにおけるラベル中継手段によるMPLSフレームの中継処理に基づき、出口エッジノード4まで中継される。出口エッジノード4が受信するMPLSフレームのフォーマットを図12(h)に示す。
【0165】
なお、図12(g)に示すMPLSフレームにおける第1(1段目)のShimヘッダは、MPLS網2の中継ノードにおいて、ラベルSwapやTTL減算により書き換えられながら中継される。しかし、計算キー値を埋め込むためのラベルフィールドは第3(3段目)のShimヘッダ内に配置されているため、この計算キー値がMPLS網2の中継ノードCNで書き換えられることはない。
【0166】
図12(h)に示すMPLSフレームを受信した出口エッジノード4では、まずラベル中継手段40が、ラベルテーブル101(図10参照)から出力ラベル及び出力インタフェースの各情報を得る。この場合、出力ラベル情報及び出力インタフェース番号は、「ラベル削除」及び「論理インタフェース#0」となる。
【0167】
計算キー抽出手段41は、VPN識別用ラベルが格納されている第2のMPLSヘッダ中ではなく、その後段の第3のMPLSヘッダ内のラベルフィールドの上位2bitから計算キー値「00」を抽出した後、この第3のMPLSヘッダを削除対象とする。
【0168】
リンク振り分け手段42は、出力論理インタフェース#0に対応付けられた物理インタフェースのうち、計算キー値「00」に対応する物理インタフェース#0−0を出力先として決定する。
【0169】
ラベル削除手段43は、出口エッジノード4が受信した図12(h)に示すMPLSフレームの全てのShimヘッダ(図12(g)中の第2及び第3のShimヘッダ)を削除対象とする。リンク振り分け手段42で決定した物理インタフェース#0−0に対して、送信元IPアドレス「A」及び宛先IPアドレス「C」のIPパケットが送信され、その結果、このパケットは物理リンク#0−0を流れる。
【0170】
なお、入口エッジノード(#2)3が、新たなMPLSヘッダ(第3のShimヘッダ)をIPパケットに付加し、このヘッダ中に計算キー値を格納する場合については説明を省略するが、基本的には上述した入口エッジノード(#1)3における処理と同様である。
【0171】
〔MPLSネットワークシステムの第6の具体例〕
次に、MPLSネットワークシステム1の第6の具体例について、図20を参照して説明する。
【0172】
この第6の具体例のMPLSネットワークシステム1においては、MPLS網2の出口エッジノード4は、複数の物理リンクを束ねてプロバイダ網(#3)10内の1つの中継ノードに接続する代わりに、複数の端末装置としてのサーバ(同一IPアドレス及びMACアドレスを有する複数の負荷分散対象サーバC)P,Q,R,Sを各リンクに接続しておく。
【0173】
これらのサーバP〜Sは、プロバイダ網10のネットワークPrefix内のIPアドレス「P,Q,R,S」をそれぞれ持ち、同一のコンテンツデータを保持するWebサーバである。
【0174】
入口エッジノード(#1)3及び入口エッジノード(#2)3と出口エッジノード4とが、第1の具体例と同様に動作したものと仮定すると、端末装置A,Bから送信されたIPパケットは、出口エッジノード4において、2つのサーバP,Rに分散されて送信される。
【0175】
出口エッジノード4から分散されて送信されたIPパケットにおいて、同じフロー(セッション)に属するパケットは必ず同一サーバに振り分けられるため、同じフローの通信が別のサーバに振り分けられることはなく、サーバ負荷分散の一手法として適用することが可能である。
【0176】
〔MPLSネットワークシステムの第7の具体例〕
次に、MPLSネットワークシステム1の第7の具体例について、図21を参照して説明する。
【0177】
上述した第1から第6の具体例のMPLSネットワークシステム1においては、MPLS網2の出口エッジノード4がMPLSフレームのMPLSヘッダを参照してTrunkingにより束ねられた複数の物理リンクのいずれかへのパケット振り分けを行えることについて説明したが、このことはMPLS網2内の入口エッジノード3及び出口エッジノード4として、図21に示す構成を採った場合に特に効果的である。
【0178】
この第7の具体例のMPLSネットワークシステム1においては、入口エッジノード3内のIPv4用ラインカード51及びIPv6用ラインカード52と、出口エッジノード4内のMPLS用ラインカード60とに、上述した各具体例の構成要素が実装されている。
【0179】
入口エッジノード3内ではスイッチファブリックSFを介して複数のラインカード50,51,52が接続されている。また、出口エッジノード4内ではスイッチファブリックSFを介して複数のラインカード60,61,62,63,64が接続されている。
【0180】
MPLS用ラインカード50,60はMPLSヘッダ付きフレーム(MPLSフレーム)のみハードウェア処理対象、つまり自己のラインカード内での処理対象とし、MPLSヘッダ無しフレーム(IPパケット)を図示省略のCPUが実行するソフトウェア処理対象とする。
【0181】
IPv4用ラインカード51,61,62はMPLSヘッダ無しのIPv4フレームのみハードウェア処理対象とし、その他のフレームはソフトウェア処理対象とする。また、IPv6用ラインカード52,63,64はMPLSヘッダ無しのIPv6フレームのみハードウェア処理対象とし、その他のフレームはソフトウェア処理対象とする。
【0182】
この構成を採る入口エッジノード3及び出口エッジノード4においては、次に説明するように、MPLS用ラインカードにおける出力先物理リンク決定のための処理が、MPLSヘッダのみに基づく処理となり、IPv4及びIPv6のヘッダに基づく処理が不要になるので、ハードウェアの単純化及び中継性能向上のために都合がよい。
【0183】
ここで、入口エッジノード3及び出口エッジノード4における処理の概要を説明する。先ず、入口エッジノード3においては、IPv4パケットを受信したIPv4用ラインカード51は、方路決定手段34により出力物理インタフェース及びラインカードを決定し、内蔵のラベル付加手段32によりMPLSヘッダを付加した後、計算キー格納手段33により計算キーを格納し、MPLSヘッダ付きフレームをMPLS用ラインカード50に送信する。MPLS用ラインカード50は受信したMPLSヘッダ付きフレームをそのままMPLS網2に送信する。
【0184】
次に、出口エッジノード4においては、MPLSヘッダ付きフレームを受信した場合、MPLS用ラインカード60は内蔵のラベル中継手段40により出力論理インタフェースを決めた後、リンク振り分け手段42により出力先の物理リンク及びラインカードを1つ決定し(例えば、物理リンク#0−0と、ラインカード61とを決定し)、ラベル削除手段43によりMPLSヘッダを削除して、ラインカード61にIPv4パケット(MPLSヘッダ無し)を送信する。
【0185】
このMPLSネットワークシステム1においては、図21に示す構成を採ることにより、特に出口エッジノード4において、MPLS用ラインカード60でIPv4及びIPv6のヘッダを参照することなく、MPLSヘッダのみに基づき出力先物理リンクを決定することができ、ハードウェアの単純化及び中継性能向上に都合がよい。
【0186】
このMPLSネットワークシステム1においては、MPLSヘッダだけを参照して、Trunkingされている複数の物理リンクへのパケット振り分けを行えるため、出口エッジノード4は、MPLS網2に接続されているMPLS用ラインカード60にはMPLSヘッダだけを参照して中継処理を行わせることで、処理の単純化及び高速化を図ることができる。
【0187】
また、MPLS用ラインカード60とIPv4用ラインカード61,62及びIPv6用ラインカード63,64との間はスイッチファブリックSFにより接続されているので、IPv4用ラインカード61,62またはIPv6用ラインカード63,64を跨るTrunkingをサポートしているような場合を想定したとき、MPLS網2に接続されたMPLS用ラインカード60は、MPLSヘッダだけを参照した処理の範囲内で、振り分け時の負荷分散効果を順序逆転を起こすことなく向上させることができる。
【0188】
〔変形例〕
上述した一実施の形態においては、入口エッジノード3の計算キー作成手段30が、OSI参照モデル第3層(ネットワーク層)対応のIPヘッダ内の送信元IPアドレス及び宛先IPアドレスの値を基に計算キーを作成する例を示したが、IPヘッダ内のプロトコルフィールド値や、OSI参照モデル第4層(トランスポート層)のプロトコルヘッダや、HTTP(Hyper Text Transfer Protocol)などのアプリケーション特有のヘッダ内の送信元識別情報及び宛先識別情報を計算対象にしてもよい。
【0189】
上述した一実施の形態における各処理はコンピュータで実行可能なプログラムとして提供され、CD−ROMやフロッピーディスクなどの記録媒体、さらには通信回線を経て提供可能である。
【0190】
また、上述した一実施の形態における各処理はその任意の複数または全てを選択し組合せて実施することもできる。
【0191】
〔その他〕
(付記1) プロトコルMPLSに則ってMPLS網内を転送可能にするMPLSヘッダを付加する前の転送対象フレームのヘッダ内の送信元識別情報及び宛先識別情報を入力値として、振り分け先リンク決定のためのキー値を生成する作成手段と、
前記作成手段により生成された前記キー値を前記MPLSヘッダ内の特定のフィールドに埋め込む埋込手段と、
前記キー値が前記MPLSヘッダ内の特定のフィールドに埋め込まれたMPLSフレームを前記MPLS網に送信する送信手段と、
を有する第1のエッジノードと;
前記MPLS網を通して受信された前記MPLSフレームの前記MPLSヘッダ内の特定のフィールドから前記キー値を抽出する抽出手段と、
前記抽出手段により抽出された前記キー値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定する決定手段と、
を有する第2のエッジノードと;
を備えるMPLSネットワークシステム。
【0192】
(付記2) 前記第1のエッジノードにおける前記作成手段は、前記転送対象フレームのヘッダ内の前記送信元識別情報及び前記宛先識別情報を入力値とし、一方向関数を用いた計算結果として得られる疑似乱数を前記振り分け先リンク決定のためのキー値として生成する
付記1記載のMPLSネットワークシステム。
【0193】
(付記3) 前記送信元識別情報及び前記宛先識別情報は、送信元アドレス及び宛先アドレスである
付記1または2記載のMPLSネットワークシステム。
【0194】
(付記4) 前記第1のエッジノードは、前記MPLS網における転送対象フレーム中継用ラベル及びVPN識別用ラベルの少なくとも一方のラベルを前記MPLSヘッダとして前記転送対象フレームに付加して前記MPLSフレームを形成するラベル付加手段を更に有し、
前記第2のエッジノードは、前記転送対象フレームに前記MPLSヘッダとして付加された前記ラベルを削除するラベル削除手段を更に有する
付記1記載のMPLSネットワークシステム。
【0195】
(付記5) 前記第1のエッジノードにおける前記埋込手段は、前記作成手段により生成された前記キー値を前記MPLSヘッダとしての少なくとも1つのShimヘッダ内の特定のフィールドに埋め込む
付記1記載のMPLSネットワークシステム。
【0196】
(付記6) 前記第1のエッジノードにおける前記埋込手段は、前記MPLSフレームが前記MPLS網内を転送されるときに書換不可能な前記Shimヘッダ内の特定のフィールドの予め定めた長さ部分に前記キー値を埋め込む
付記5記載のMPLSネットワークシステム。
【0197】
(付記7) 前記第1のエッジノードにおける前記埋込手段は、前記作成手段により生成された前記キー値を前記MPLSヘッダとしての複数のShimヘッダのうちの1つの専用ヘッダ内の特定のフィールドに埋め込む
付記1記載のMPLSネットワークシステム。
【0198】
(付記8) 前記第1のエッジノードは、前記MPLSフレームのラベル中継用パスを前記MPLS網に構築する際に、前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を前記第2のエッジノードに通知するための通知手段を更に有する
付記1記載のMPLSネットワークシステム。
【0199】
(付記9) 前記第2のエッジノードは、通知された前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を記憶する記憶手段を更に有する
付記8記載のMPLSネットワークシステム。
【0200】
(付記10) 前記第1のエッジノードは、前記MPLSフレームのラベル中継用パスを前記MPLS網に構築する際に、前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を前記MPLSフレームのラベル中継用パス上の中継ノード及び前記第2のエッジノードに通知するための通知手段を更に有する
付記1記載のMPLSネットワークシステム。
【0201】
(付記11) 前記中継ノード及び前記第2のエッジノードは、通知された前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を記憶する記憶手段を有する
付記10記載のMPLSネットワークシステム。
【0202】
(付記12) 前記第2のエッジノードにおける前記決定手段は、前記抽出手段により抽出された前記振り分け先リンク決定のためのキー値と、前記MPLSヘッダ内の特定のフィールドから求めた値との連結値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定する
付記1記載のMPLSネットワークシステム。
【0203】
(付記13) 前記MPLS網を通して受信された前記MPLSフレームの前記MPLSヘッダ内の特定のフィールドから前記キー値を抽出する抽出手段と、
前記抽出手段により抽出された前記キー値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定する決定手段と、
を有する中継ノードを更に備える
付記1記載のMPLSネットワークシステム。
【0204】
(付記14) 第1の網に属して、第2の網または端末装置との間を論理的に束ねられた物理リンクにて接続されるエッジノードにおいて、
前記第1の網に属する入口エッジノードがパケットのヘッダに基づいて算出して前記ヘッダに格納したキー値に基づいて、前記物理リンクへの振り分けを行う手段を備えるエッジノード。
【0205】
(付記15) プロトコルMPLSに則ってMPLS網内を転送可能にするMPLSヘッダを付加する前の転送対象フレームのヘッダ内の送信元識別情報及び宛先識別情報を入力値として、振り分け先リンク決定のためのキー値を生成する作成手段と、
前記作成手段により生成された前記キー値を前記MPLSヘッダ内の特定のフィールドに埋め込む埋込手段と、
前記キー値が前記MPLSヘッダ内の特定のフィールドに埋め込まれたMPLSフレームを前記MPLS網に送信する送信手段と、
前記MPLS網を通して受信された前記MPLSフレームの前記MPLSヘッダ内の特定のフィールドから前記キー値を抽出する抽出手段と、
前記抽出手段により抽出された前記キー値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定する決定手段と、
を備えるエッジノード。
【0206】
(付記16) 前記作成手段は、前記転送対象フレームのヘッダ内の前記送信元識別情報及び前記宛先識別情報を入力値とし、一方向関数を用いた計算結果として得られる疑似乱数を前記振り分け先リンク決定のためのキー値として生成する
付記15記載のエッジノード。
【0207】
(付記17) 前記送信元識別情報及び前記宛先識別情報は、送信元アドレス及び宛先アドレスである
付記15または16記載のエッジノード。
【0208】
(付記18) 前記MPLS網における転送対象フレーム中継用ラベル及びVPN識別用ラベルの少なくとも一方のラベルを前記MPLSヘッダとして前記転送対象フレームに付加して前記MPLSフレームを形成するラベル付加手段と、
前記転送対象フレームに前記MPLSヘッダとして付加された前記ラベルを削除するラベル削除手段と、
を更に備える付記15記載のエッジノード。
【0209】
(付記19) 前記埋込手段は、前記作成手段により生成された前記キー値を前記MPLSヘッダとしての少なくとも1つのShimヘッダ内の特定のフィールドに埋め込む
付記15記載のエッジノード。
【0210】
(付記20) 前記埋込手段は、前記MPLSフレームが前記MPLS網内を転送されるときに書換不可能な前記Shimヘッダ内の特定のフィールドの予め定めた長さ部分に前記キー値を埋め込む
付記19記載のエッジノード。
【0211】
(付記21) 前記埋込手段は、前記作成手段により生成された前記キー値を前記MPLSヘッダとしての複数のShimヘッダのうちの1つの専用ヘッダ内の特定のフィールドに埋め込む
付記15記載のエッジノード。
【0212】
(付記22) 前記MPLSフレームのラベル中継用パスを前記MPLS網に構築する際に、前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を前記MPLSフレームのラベル中継用パス上の他のノードに通知するための通知手段
を更に備える付記15記載のエッジノード。
【0213】
(付記23) 通知された前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を記憶する記憶手段
を更に備える付記22記載のエッジノード。
【0214】
(付記24) 前記決定手段は、前記抽出手段により抽出された前記振り分け先リンク決定のためのキー値と、前記MPLSヘッダ内の特定のフィールドから求めた値との連結値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定する
付記15記載のエッジノード。
【0215】
(付記25) プロトコルMPLSに則ってMPLS網内を転送可能にするMPLSヘッダを付加する前の転送対象フレームのヘッダ内の送信元識別情報及び宛先識別情報を入力値として、振り分け先リンク決定のためのキー値を生成するステップと、
生成された前記キー値を前記MPLSヘッダ内の特定のフィールドに埋め込むステップと、
前記キー値が前記MPLSヘッダ内の特定のフィールドに埋め込まれたMPLSフレームを前記MPLS網に送信するステップと、
前記MPLS網を通して受信された前記MPLSフレームの前記MPLSヘッダ内の特定のフィールドから前記キー値を抽出するステップと、
抽出された前記キー値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定するステップと、
を備える振り分け先リンク決定方法。
【0216】
(付記26) 生成された前記キー値を前記MPLSヘッダとしての少なくとも1つのShimヘッダ内の特定のフィールドに埋め込むステップ
を更に備える付記25記載の振り分け先リンク決定方法。
【0217】
(付記27) 前記MPLSフレームが前記MPLS網内を転送されるときに書換不可能な前記Shimヘッダ内の特定のフィールドの予め定めた長さ部分に前記キー値を埋め込むステップ
を更に備える付記26記載の振り分け先リンク決定方法。
【0218】
(付記28) 生成された前記キー値を前記MPLSヘッダとしての複数のShimヘッダのうちの1つの専用ヘッダ内の特定のフィールドに埋め込むステップ
を更に備える付記25記載の振り分け先リンク決定方法。
【0219】
(付記29) 前記MPLSフレームのラベル中継用パスを前記MPLS網に構築する際に、前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を前記MPLSフレームのラベル中継用パス上のノードに通知するステップ
を更に備える付記25記載の振り分け先リンク決定方法。
【0220】
(付記30) 通知された前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を記憶するステップ
を更に備える付記29記載の振り分け先リンク決定方法。
【0221】
(付記31) 抽出された前記振り分け先リンク決定のためのキー値と、前記MPLSヘッダ内の特定のフィールドから求めた値との連結値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定するステップ
を更に備える付記25記載の振り分け先リンク決定方法。
【0222】
【発明の効果】
以上説明したように、本発明によれば、MPLSフレームを受信したMPLS網のエッジノード(出口エッジノード)が、MPLSヘッダだけを参照して、論理的に1つに束ねられた複数の物理リンクに転送対象パケットを振り分けるときの負荷分散効果を順序逆転を起こすことなく、向上させることができる。
【図面の簡単な説明】
【図1】 従来のMPLSネットワークシステムにおけるIPパケット中継を説明するための図。
【図2】 従来のMPLSネットワークシステムにおけるVPNを説明するための図。
【図3】 従来のMPLSネットワークシステムにおけるTrunkingを説明するための図。
【図4】 従来のMPLSネットワークシステムにおける振り分け先リンク決定の問題を説明するための図。
【図5】 本発明の一実施の形態のMPLSネットワークシステムの基本構成例を示すブロック図。
【図6】 本発明の一実施の形態のMPLSネットワークシステムの第1の具体例を示すブロック図。
【図7】 本発明の一実施の形態のシステムにおけるVPN識別用テーブルを示す図。
【図8】 本発明の一実施の形態のシステムにおけるVPN毎のルーティングテーブルを示す図。
【図9】 本発明の一実施の形態のシステムにおけるMPLS網内のIPパケット中継用のルーティングテーブルを示す図。
【図10】 本発明の一実施の形態のシステムにおけるラベルテーブルを示す図。
【図11】 本発明の一実施の形態のシステムにおける計算キー値を物理インタフェースに対応付けるテーブルを示す図。
【図12】 本発明の一実施の形態のシステムにおける各種フレーム及びヘッダフォーマットを示す図。
【図13】 本発明の一実施の形態のシステムにおけるIPパケット中継用ラベルを含むMPLSヘッダの中継例を説明するための図。
【図14】 本発明の一実施の形態のシステムにおけるIPパケット中継用ラベルを含むMPLSヘッダの中継例を説明するための図。
【図15】 本発明の一実施の形態のMPLSネットワークシステムの第2の具体例を示すブロック図。
【図16】 本発明の一実施の形態のMPLSネットワークシステムの第3の具体例を示すブロック図。
【図17】 本発明の一実施の形態のMPLSネットワークシステムの第4の具体例を示すブロック図。
【図18】 本発明の一実施の形態のシステムにおける計算キー値を物理インタフェースに対応付けるテーブルの他の例を示す図。
【図19】 本発明の一実施の形態のMPLSネットワークシステムの第5の具体例を示すブロック図。
【図20】 本発明の一実施の形態のMPLSネットワークシステムの第6の具体例を示すブロック図。
【図21】 本発明の一実施の形態のMPLSネットワークシステムの第7の具体例を示すブロック図。
【図22】 本発明の一実施の形態のMPLSネットワークシステムの基本構成の変形例を説明するための図。
【符号の説明】
1 MPLSネットワークシステム
2 MPLS網
3 入口エッジノード
4 出口エッジノード
5,6,7 ユーザ網
8,9,10 プロバイダ網
CN 中継ノード
30 計算キー作成手段
31 アルゴリズム
32 ラベル付加手段
33 計算キー格納手段
34 方路決定手段
40 ラベル中継手段
41 計算キー抽出手段
42 リンク振り分け手段
43 ラベル削除手段
Claims (10)
- プロトコルMPLSに則ってMPLS網内を転送可能にするMPLSヘッダを付加する前の転送対象フレームのヘッダ内の送信元識別情報及び宛先識別情報を入力値として、振り分け先リンク決定のためのキー値を生成する作成手段と、
前記作成手段により生成された前記キー値を前記MPLSヘッダ内の特定のフィールドに埋め込む埋込手段と、
前記キー値が前記MPLSヘッダ内の特定のフィールドに埋め込まれたMPLSフレームを前記MPLS網に送信する送信手段と、
を有する第1のエッジノードと;
前記MPLS網を通して受信された前記MPLSフレームの前記MPLSヘッダ内の特定のフィールドから前記キー値を抽出する抽出手段と、
前記抽出手段により抽出された前記キー値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定する決定手段と、
を有する第2のエッジノードと;
を備えるMPLSネットワークシステム。 - 前記第1のエッジノードにおける前記作成手段は、前記転送対象フレームのヘッダ内の前記送信元識別情報及び前記宛先識別情報を入力値とし、一方向関数を用いた計算結果として得られる疑似乱数を前記振り分け先リンク決定のためのキー値として生成する
請求項1記載のMPLSネットワークシステム。 - 前記第1のエッジノードは、前記MPLS網における転送対象フレーム中継用ラベル及びVPN識別用ラベルの少なくとも一方のラベルを前記MPLSヘッダとして前記転送対象フレームに付加して前記MPLSフレームを形成するラベル付加手段を更に有し、
前記第2のエッジノードは、前記転送対象フレームに前記MPLSヘッダとして付加された前記ラベルを削除するラベル削除手段を更に有する
請求項1記載のMPLSネットワークシステム。 - 前記第1のエッジノードにおける前記埋込手段は、前記作成手段により生成された前記キー値を前記MPLSヘッダとしての少なくとも1つのShimヘッダ内の特定のフィールドに埋め込む
請求項1記載のMPLSネットワークシステム。 - 前記第1のエッジノードにおける前記埋込手段は、前記MPLSフレームが前記MPLS網内を転送されるときに書換不可能な前記Shimヘッダ内の特定のフィールドの予め定めた長さ部分に前記キー値を埋め込む
請求項4記載のMPLSネットワークシステム。 - 前記第1のエッジノードにおける前記埋込手段は、前記作成手段により生成された前記キー値を前記MPLSヘッダとしての複数のShimヘッダのうちの1つの専用ヘッダ内の特定のフィールドに埋め込む
請求項1記載のMPLSネットワークシステム。 - 前記第1のエッジノードは、前記MPLSフレームのラベル中継用パスを前記MPLS網に構築する際に、前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を前記第2のエッジノードに通知するための通知手段を更に有する
請求項1記載のMPLSネットワークシステム。 - 前記第2のエッジノードは、通知された前記振り分け先リンク決定のためのキー値が埋め込まれている前記MPLSヘッダの特定のフィールド内の埋込位置を記憶する記憶手段を更に有する
請求項7記載のMPLSネットワークシステム。 - 前記第2のエッジノードにおける前記決定手段は、前記抽出手段により抽出された前記振り分け先リンク決定のためのキー値と、前記MPLSヘッダ内の特定のフィールドから求めた値との連結値に基づいて、予め論理的に1つに束ねられた複数の物理リンクの中から1つの物理リンクを前記振り分け先リンクとして決定する
請求項1記載のMPLSネットワークシステム。 - 第1の網に属して、第2の網または端末装置との間を論理的に束ねられた物理リンクにて接続されるエッジノードにおいて、
前記第1の網に属する入口エッジノードがパケットのヘッダに基づいて算出して前記ヘッダに格納したキー値に基づいて、前記物理リンクへの振り分けを行う手段を備えるエッジノード。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002009979A JP3880404B2 (ja) | 2002-01-18 | 2002-01-18 | Mplsネットワークシステム |
US10/346,036 US7307991B2 (en) | 2002-01-18 | 2003-01-16 | MPLS network system |
CNB031006167A CN1254056C (zh) | 2002-01-18 | 2003-01-17 | 多协议标签转换网络*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002009979A JP3880404B2 (ja) | 2002-01-18 | 2002-01-18 | Mplsネットワークシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003218920A JP2003218920A (ja) | 2003-07-31 |
JP3880404B2 true JP3880404B2 (ja) | 2007-02-14 |
Family
ID=27605982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002009979A Expired - Fee Related JP3880404B2 (ja) | 2002-01-18 | 2002-01-18 | Mplsネットワークシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7307991B2 (ja) |
JP (1) | JP3880404B2 (ja) |
CN (1) | CN1254056C (ja) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6629163B1 (en) | 1999-12-29 | 2003-09-30 | Implicit Networks, Inc. | Method and system for demultiplexing a first sequence of packet components to identify specific components wherein subsequent components are processed without re-identifying components |
US7136374B1 (en) * | 2001-03-19 | 2006-11-14 | Juniper Networks, Inc. | Transport networks supporting virtual private networks, and configuring such networks |
US7872991B2 (en) * | 2003-02-04 | 2011-01-18 | Alcatel-Lucent Usa Inc. | Methods and systems for providing MPLS-based layer-2 virtual private network services |
US7006499B2 (en) * | 2003-04-28 | 2006-02-28 | Alcatel Ip Networks, Inc. | Source identifier for MAC address learning |
US7715380B2 (en) * | 2003-06-19 | 2010-05-11 | Cisco Technology, Inc. | Apparatus and methods for handling shared services through virtual route forwarding (VRF)-aware-NAT |
US7447203B2 (en) | 2003-07-29 | 2008-11-04 | At&T Intellectual Property I, L.P. | Broadband access for virtual private networks |
CN100466649C (zh) * | 2003-12-03 | 2009-03-04 | 华为技术有限公司 | 传送多协议标签交换协议数据单元的方法 |
CN1311673C (zh) * | 2003-12-03 | 2007-04-18 | 华为技术有限公司 | 传送多协议标签交换协议数据单元的方法 |
WO2005055547A1 (fr) * | 2003-12-03 | 2005-06-16 | Huawei Technologies Co., Ltd. | Procede de transmission d'une unite de donnees de protocole de commutation multiprotocole par etiquette |
KR100548214B1 (ko) * | 2003-12-10 | 2006-02-02 | 삼성전자주식회사 | 복수의 인터페이스를 통해 패킷을 전송하기 위한 정보 독출을 미리 수행하여 패킷 전송을 빠르게 수행하는 패킷 포워딩 시스템 및 그 방법 |
CN100440843C (zh) * | 2004-05-12 | 2008-12-03 | 华为技术有限公司 | 一种环网及其业务实现方法 |
US20060007925A1 (en) * | 2004-07-12 | 2006-01-12 | Wright Steven A | Methods, systems, and computer program products for compressing a multiprotocol label switching (MPLS) shim header in a packet |
JP4282620B2 (ja) * | 2005-02-28 | 2009-06-24 | 株式会社東芝 | 通信装置、ルータ装置、通信方法および通信プログラム |
CN100387019C (zh) * | 2005-04-04 | 2008-05-07 | 华为技术有限公司 | 跨混合网络的多协议标签交换虚拟专用网的实现方法 |
CN1870575B (zh) * | 2005-07-15 | 2010-04-21 | 华为技术有限公司 | 一种提高虚拟交换***中传输可靠性的方法 |
US7609620B2 (en) * | 2005-08-15 | 2009-10-27 | Cisco Technology, Inc. | Method and apparatus using multiprotocol label switching (MPLS) label distribution protocol (LDP) to establish label switching paths (LSPS) for directed forwarding |
JP2007053667A (ja) * | 2005-08-19 | 2007-03-01 | Kddi Corp | モバイル装置、ホームエージェント装置及びプログラム |
JP4670585B2 (ja) * | 2005-10-26 | 2011-04-13 | ソニー株式会社 | 設定装置および方法、並びにプログラム |
US8107473B2 (en) | 2006-03-16 | 2012-01-31 | Cisco Technology, Inc. | Automation fallback to P2P LSPs for mLDP built multipoint-trees |
CN1983889B (zh) * | 2005-12-16 | 2011-04-20 | 华为技术有限公司 | 网络业务传输方法及装置 |
US8588076B2 (en) * | 2005-12-28 | 2013-11-19 | Telecom Italia S.P.A. | Method and system for providing user access to communication services, and related computer program product |
US8005088B2 (en) * | 2006-01-17 | 2011-08-23 | At&T Intellectual Property I, L.P. | Scalable management system for MPLS based service providers |
US7697529B2 (en) * | 2006-02-28 | 2010-04-13 | Cisco Technology, Inc. | Fabric channel control apparatus and method |
US7969898B1 (en) | 2007-03-09 | 2011-06-28 | Cisco Technology, Inc. | Technique for breaking loops in a communications network |
US8391185B2 (en) * | 2007-05-29 | 2013-03-05 | Cisco Technology, Inc. | Method to transport bidir PIM over a multiprotocol label switched network |
US8284696B2 (en) * | 2007-12-17 | 2012-10-09 | Cisco Technology, Inc. | Tracking customer edge traffic |
US8422513B2 (en) * | 2008-05-23 | 2013-04-16 | Nokia Siemens Networks Oy | Providing station context and mobility in a wireless local area network having a split MAC architecture |
US9276768B2 (en) | 2008-05-23 | 2016-03-01 | Nokia Solutions And Networks Oy | Providing station context and mobility in a wireless local area network having a split MAC architecture |
GB0813953D0 (en) * | 2008-07-30 | 2008-09-03 | British Telecomm | Multiple carrrier compression scheme |
EP2314045B1 (en) * | 2008-07-30 | 2013-07-10 | British Telecommunications public limited company | Header compression scheme |
US20100027549A1 (en) * | 2008-07-31 | 2010-02-04 | Michael Satterlee | Method and apparatus for providing virtual private network identifier |
CN101656655B (zh) * | 2008-08-21 | 2012-12-12 | ***通信集团公司 | 处理mpls分组的方法、媒体网关和*** |
US8014317B1 (en) * | 2008-08-21 | 2011-09-06 | Juniper Networks, Inc. | Next hop chaining for forwarding data in a network switching device |
US8289978B2 (en) * | 2008-10-15 | 2012-10-16 | At&T Intellectual Property I, Lp | Broadcast interactive television system |
CN102257775B (zh) | 2008-12-19 | 2014-10-22 | 松下电器产业株式会社 | 传送器终端和接收器终端 |
EP2499788B1 (en) | 2009-11-09 | 2017-05-24 | Philips Lighting Holding B.V. | Method for communicating in a network comprising a batteryless zigbee device, network and device therefor |
US20120224579A1 (en) * | 2011-03-01 | 2012-09-06 | Futurewei Technologies, Inc. | Multiprotocol Label Switching (MPLS) Virtual Private Network (VPN) Over Routed Ethernet Backbone |
JP5995279B2 (ja) * | 2012-10-24 | 2016-09-21 | 日本電気株式会社 | ネットワーク機器、方法、及びプログラム |
US9639587B2 (en) * | 2012-12-13 | 2017-05-02 | Sap Se | Social network analyzer |
US20160014029A1 (en) * | 2013-02-25 | 2016-01-14 | Telefonaktiebolaget L M Ericsson (Publ) | Method and Apparatus for Congestion Signalling for MPLS Networks |
JP5951888B2 (ja) * | 2013-03-28 | 2016-07-13 | 株式会社東芝 | 通信装置、通信方法、及び通信プログラム |
US9967191B2 (en) * | 2013-07-25 | 2018-05-08 | Cisco Technology, Inc. | Receiver-signaled entropy labels for traffic forwarding in a computer network |
US9992108B2 (en) * | 2014-07-22 | 2018-06-05 | Alcatel-Lucent Usa Inc. | Packet forwarding based on path encoding |
EP3195534A4 (en) * | 2014-09-17 | 2018-05-30 | Teloip Inc. | System, apparatus and method for providing improved performance of aggregated/bonded network connections with multiprotocol label switching |
JP6630691B2 (ja) * | 2017-02-27 | 2020-01-15 | 日本電信電話株式会社 | 終端装置、ネットワークシステム、プログラムおよび通信方法 |
WO2020036983A1 (en) * | 2018-08-17 | 2020-02-20 | Futurewei Technologies, Inc. | Source routing tunnel ingress protection |
US11329950B2 (en) * | 2019-08-02 | 2022-05-10 | Cisco Technology, Inc. | Wide area network edge device connectivity for high availability and extensibility |
CN110830393B (zh) * | 2019-10-22 | 2021-07-30 | 苏州盛科科技有限公司 | 芯片堆叠模式下MACsec的实现方法及装置 |
WO2021095179A1 (ja) * | 2019-11-13 | 2021-05-20 | 日本電信電話株式会社 | 振り分け装置、振り分け方法、振り分けプログラム |
US20230198966A1 (en) * | 2021-12-22 | 2023-06-22 | Mastercard Technologies Canada ULC | Protecting sensitive data in internet-of-things (iot) device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3816246B2 (ja) | 1998-10-30 | 2006-08-30 | 株式会社東芝 | カットスルーパス制御方法 |
JP2001333091A (ja) * | 2000-05-23 | 2001-11-30 | Fujitsu Ltd | 通信装置 |
JP4168574B2 (ja) * | 2000-06-02 | 2008-10-22 | 株式会社日立製作所 | パケット転送装置、パケット転送制御方法、及びパケット転送装置の設定方法 |
US7325071B2 (en) * | 2002-06-04 | 2008-01-29 | Lucent Technologies Inc. | Forwarding traffic in a network using a single forwarding table that includes forwarding information related to a plurality of logical networks |
-
2002
- 2002-01-18 JP JP2002009979A patent/JP3880404B2/ja not_active Expired - Fee Related
-
2003
- 2003-01-16 US US10/346,036 patent/US7307991B2/en not_active Expired - Fee Related
- 2003-01-17 CN CNB031006167A patent/CN1254056C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US7307991B2 (en) | 2007-12-11 |
JP2003218920A (ja) | 2003-07-31 |
CN1433195A (zh) | 2003-07-30 |
US20030142669A1 (en) | 2003-07-31 |
CN1254056C (zh) | 2006-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3880404B2 (ja) | Mplsネットワークシステム | |
US7463597B1 (en) | Spanning tree protocol synchronization within virtual private networks | |
US8165023B2 (en) | Methods for the secured interconnection of VNET sites over WAN | |
US7680943B2 (en) | Methods and apparatus for implementing multiple types of network tunneling in a uniform manner | |
US8194664B2 (en) | Two-level load-balancing of network traffic over an MPLS network | |
US8189585B2 (en) | Techniques for virtual private network fast convergence | |
US7082140B1 (en) | System, device and method for supporting a label switched path across a non-MPLS compliant segment | |
KR100930269B1 (ko) | 이동성 관리에서 vpn 지원을 위한 방법 및 장치 | |
CN113347091B (zh) | 灵活算法感知边界网关协议前缀分段路由标识符 | |
WO2018032962A1 (zh) | 一种信息同步的方法,装置及*** | |
CN102271079B (zh) | 报文转发的方法、节点和*** | |
EP1875668B1 (en) | Scalable system method for dsl subscriber traffic over an ethernet network | |
US20050129059A1 (en) | Method of implementing PSEUDO wire emulation edge-to-edge protocol | |
WO2018032961A1 (zh) | 一种管理信息的方法,装置及*** | |
US20070058638A1 (en) | System and methods for network segmentation | |
CN112511444A (zh) | 一种组播流量传输方法、装置、通信节点及存储介质 | |
JP2004534431A (ja) | ネットワークトンネリング | |
JP2003051844A (ja) | ユーザ通信装置,エッジデバイス,及びパケットの中継方法 | |
JP2002247083A (ja) | Vlanトンネリングプロトコル | |
US20120300781A1 (en) | Packet Routing in a Network | |
CN114465946B (zh) | 获取转发表项的方法、装置以及*** | |
CN103259724A (zh) | 一种mpls vpn的实现方法、***及客户边缘设备 | |
CN111669422A (zh) | 报文的传输方法和设备 | |
US6785273B1 (en) | Traffic engineering for an application employing a connectionless protocol on a network | |
Afek et al. | Trainet: A new label switching scheme |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061107 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131117 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |