JP6434821B2 - 通信装置及び通信方法 - Google Patents

Description

本発明は、通信装置、または通信装置間の通信方法に関する

近年、サーバの仮想化の進展によりネットワークインフラに対して、ネットワークの仮想化の必要性が増している。データセンタでは多数の仮想マシンが接続され、更に多数の顧客システムのテナントを同一インフラに収容し、テナント間で通信できないようにする必要が有る。仮想マシンのリソースの配置・稼動の柔軟性を持たせるためにはテナント毎に大規模なレイヤ２ネットワークを割り当てることになる。データセンタ間等、離れた拠点間で大規模なレイヤ２ネットワークを構築する場合に、レイヤ３ネットワークが間に入ることが有る。本要求に対応するため、レイヤ３ネットワークを介してレイヤ２ネットワークを延伸するオーバーレイ技術が有る。

非特許文献１にレイヤ３ネットワーク上に約１６００万のレイヤ２のマルチテナント環境を実現するＶＸＬＡＮ技術が記載されている。非特許文献１に記載の技術によれば、各物理サーバ内の仮想スイッチ等に１つの仮想トンネルエンドポイント（ＶＴＥＰ）を設け、ＶＴＥＰがレイヤ２フレームをレイヤ３パケットでカプセル化し、カプセル化したパケットを宛先の仮想マシンが属するＶＴＥＰに送信する。カプセル化の際に、テナントを特定する仮想ネットワーク識別子（ＶＮＩ）をパケット内に追加する。パケットを受信したＶＴＥＰがＶＮＩと内部のレイヤ２フレームの宛先ＭＡＣアドレスからデカプセル化後に転送先を判定し、転送もしくは宛先が無ければ廃棄する。転送にレイヤ３のＩＰアドレスを使うことにより帯域の拡張のため、レイヤ３のＥＣＭＰ（Equal Cost Multipath）を使うことがある。特定のＶＴＥＰ間で通信する場合にレイヤ３のＥＣＭＰを有効活用するにはカプセル化するＩＰヘッダの送信元ＩＰアドレスと宛先ＩＰアドレスが同じになるため、ＵＤＰヘッダの送信元ポート番号を内部イーサネットフレームヘッダのハッシュ値することが推奨されている。

非特許文献２にデータセンタネットワークのレイヤ３ネットワーク上の仮想化のフレームワークについて記載されている。非特許文献１に記載のフレームワークによれば、テナントシステムとＶＮＩの結び付ける方法が記載されている。仮想スイッチ、物理スイッチ等のパケット中継装置内にＶＴＥＰが有り、ＶＴＥＰに所属するＶＮＩがある。ＶＮＩとテナントシステムを結びつける仮想アクセスポイントは例えば、物理スイッチの物理ポートまたはＶＬＡＮ、仮想スイッチの仮想マシンが接続するインタフェース識別子になる。

特許文献１では、仮想マシン間通信でサービス品質（ＱｏＳ）の異なる複数のネットワークの中から特定のＱｏＳに対応するネットワークで通信することを選択する技術が開示されている。異なる物理サーバ上で動作する仮想マシン間でL2 over L3トンネル通信を実施する場合に、物理サーバ間にはＱｏＳの異なる複数のネットワークが有る。第１の仮想マシンが第２の仮想マシン宛に通信する際に、Ｌ２フレームをＬ３パケットでカプセル化するときのＬ３パケットのＩＰアドレスを特定のＱｏＳをサポートする物理ネットワークのＩＰアドレスを使う。

特開2014-230057

IETF RFC7348 "Virtual eXtensible Local Area Network (VXLAN): A Frameworkfor Overlaying Virtualized Layer 2 Networks over Layer 3 Networks"、ISSN:2070-1721 2014年８月発行 IETF RFC7365 "Framework for Data Center (DC) Network Virtualization" ISSN:2070-1721,2014年１０月発行

背景技術ではL2 over L3トンネルを実施する物理サーバ内にある仮想スイッチ、物理スイッチ、ルータ等のパケット中継機構では１つの仮想トンネルエンドポイントを設け、仮想トンネルエンドポイントではトンネルの送信元ＩＰアドレスを１つ設定している。特定のＶＴＥＰ間でレイヤ２フレームをレイヤ３パケットでカプセル化して転送するときには送信元ＩＰアドレスと宛先ＩＰアドレスが同一になるため、ＥＣＭＰやロードバランスを使用しないネットワークでは２つ以上の通信経路がある場合でも１つの通信経路に偏ることになる。特定のＶＴＥＰ間でＥＣＭＰを使用することで２つ以上に通信経路に負荷分散することが可能である。但し、全てのテナントの通信が同一の送信元ＩＰアドレス、宛先ＩＰアドレスでカプセル化されるため、特定のテナントの通信に対しての帯域確保や優先制御を実施しての転送が出来ない。

背景技術ではL2 over L3トンネルを実施するパケット中継機構ではＶＮＩとテナントシステムを結びつける仮想アクセスポイントの識別にVLAN、物理ポートを使用しているが、異なるテナントで既に同じVLAN IDを使用している場合にはどちらかのテナントがVLAN IDを変更する必要がある。同一テナント内で異なるVLAN間でレイヤ２転送することが出来ない。

特許文献１に記載の技術ではL2 over L3トンネルを実施するパケット中継機構間でＱｏＳをサポートする物理ネットワークを選択することは可能であるが、固定的にネットワークを選択しているため、ネットワーク障害及び輻輳時に動的に転送経路を変更することが出来ない。

上記課題の少なくとも一を解決するための本発明の一態様では、複数の第一のレイヤ２ネットワークを介して接続される端末を収容する第一の通信装置と、と複数の第二のレイヤ２ネットワークを介して接続される端末を収容する第二の通信装置との間のパケット通信方法であって、を以下を備える。

第一の通信装置と第二の通信装置それぞれは、仮想トンネルエンドポイント（VTEP）毎に異なるIPアドレスを用いて、複数のレイヤ３ネットワークにそれぞれトンネル経路を形成し、第一のレイヤ２ネットワーク毎に対応するVLANに対して仮想ネットワーク識別子（VNI）が設定する。第一の通信装置は、第一のレイヤ２ネットワークからレイヤ２フレームを受信し、及びVLANとVNIとVTEPとの対応付けに基づいてレイヤ２フレームをレイヤ３パケットでカプセル化し、トンネル経路に向けてカプセル化したパケットを送信する。また、第一の通信装置は、第一のトンネル経路に対応するVTEPに対して一のVNIを割り当て、当該一のVNIに属する端末の通信で第一のトンネル経路を形成する第一のレイヤ３ネットワークの帯域を占有し、第二のトンネル経路に対応するVTEPに対して複数のVNIを割り当て複数のVNIに属する端末の通信で第二のトンネル経路を形成する第二のレイヤ３ネットワークの帯域を共有する。また、第一の通信装置は、第一のトンネル経路が異常を検出した場合、第２のレイヤ３ネットワークの帯域を共有して、第一のトンネル経路及び第二のトンネル経路に対応するVTEPに割り当てられるVNIに属する端末の通信を行なう。また、レイヤ２フレームは、OSI参照モデルに基づくレイヤ２で規定されるプロトコルに従ったフレームであり、フレームの送信先のアドレス、例えばＭＡＣアドレスを含む。レイヤ３パケットは、OSI参照モデルに基づくレイヤ２で規定されるプロトコルに従ったフレームで、パケットの宛先がレイヤ３で規定されるプロトコルに従ったアドレス、例えばＩＰアドレスを含む。

本発明では仮想ネットワークシステムにおいて、柔軟な経路制御や帯域確保を行うことができる。また、同一のパケット中継装置間で通信する複数のテナントの中で、特定のテナントの通信を優先もしくは帯域確保してパケット転送することが可能になる。上記以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

仮想ネットワークシステム構成を説明する図である。 パケット中継装置の装置構成図である。 管理装置の装置構成図である。 仮想ネットワーク・マッピング情報テーブルを説明する図である。 ＭＡＣアドレステーブルを説明する図である。 トンネル情報テーブルを説明する図である。 ルーティングテーブルを説明する図である。 仮想ネットワーク・マッピング情報管理テーブルを説明する図である。 トンネル情報管理テーブルを説明する図である。 ユーザ毎の仮想ネットワーク設定のフローチャートである。 帯域保証用の仮想トンネルエンドポイント生成のフローチャートである。 ベストエフォート用の仮想トンネルエンドポイント生成のフローチャートである。 パケット中継装置がアクセスポートからフレーム受信して送信するまでを説明するフローチャートである。 パケット中継装置がネットワークポートからフレーム受信して送信するまでを説明するフローチャートである。 仮想ネットワークシステムでネットワーク障害が発生した場合の通信復旧方法を説明する図である。 仮想ネットワークシステムでネットワーク障害が発生した場合の通信復旧方法を説明するフローチャートである。 ネットワーク障害後のルーティングテーブルを説明する図である。 パケット中継装置に同一VLANで異なるポートで別VNIに所属する場合の構成情報を説明する図である。 パケット中継装置に異なるVLANで同一VNIに所属する場合の構成情報を説明する図である。

以下本発明の実施の形態について、実施例を用い図面を参照しながら説明する。なお、実質同一部位には同じ参照番号を振り、説明は繰り返さない。

まず、図１を参照して、仮想ネットワークシステム構成を説明する。パケット中継装置101は物理ポートIF13を介してL3網（帯域保証）401、物理ポートIF14を介してL3網（ベストエフォート）402、物理ポートIF11を介してVLAN101(IDが101であるVLAN)のL2網411、物理ポートIF12を介してVLAN201（IDが201であるVLAN）のL2網412、VLAN202（IDが202であるVLAN）のＬ２網413に接続している。Ｌ２網411〜416に接続している物理ポートIF11、IF12、IF21、IF22をアクセス側、Ｌ３網401,402に接続している物理ポートIF13、IF14、IF23、IF24をネットワーク側とする。

パケット中継装置102は、物理ポートIF23を介してL3網（帯域保証）401、物理ポートIF24を介してL3網（ベストエフォート）402、物理ポートIF21を介してVLAN101のL2網414、物理ポートIF22を介してVLAN201のL2網415、VLAN202のＬ２網416に接続している。

ユーザＡ端末301はMACアドレスがMAC-AでＬ２網411に接続、ユーザＢ端末302はMACアドレスがMAC-BでＬ２網412に接続、ユーザＣ端末303はMACアドレスがMAC-CでＬ２網413に接続、ユーザＡ端末304はMACアドレスがMAC-DでＬ２網414に接続、ユーザＢ端末305はMACアドレスがMAC-EでＬ２網415に接続、ユーザＣ端末306はMACアドレスがMAC-FでＬ２網416に接続している。図１で、パケット中継装置１０１、１０２は、同一ユーザー端末（たとえば、ユーザA端末３０１、３０４）のL3網を介した端末間の通信は、VXLAN（Virtual Extended LAN）プロトコルを用いて行なう。

管理装置２００は、パケット中継装置１０１、１０２、及びＬ３網４０１、４０２に接続される。管理装置200は、L3網に関する構成情報を管理し、パケット中継装置101,102に送信する。

パケット中継装置101からのL3網401へのNexthopアドレスはIP-A、L3網402へのNexthopアドレスはIP-Bである。パケット中継装置102からのL3網401へのNexthopアドレスはIP-C、L3網402へのNexthopアドレスはIP-Dである。

パケット中継装置101には、複数の仮想トンネルエンドポイントVTEP11（IDが11であるVTEP）、VTEP12（IDが12であるVTEP）が設定される。図１では、VTEP11のIPアドレスはIP11、VTEP12のIPアドレスはIP-12が割り当てられる。パケット中継装置102にも、複数の仮想トンネルエンドポイントVTEP21（IDが21であるVTEP）、VTEP22（IDが22であるVTEP）が設定される。VTEP21のIPアドレスはIP21、VTEP22のIPアドレスはIP-22が割り当てられる。

VTEP11とVTEP21間でトンネル接続され形成されうVTEP11とVTEP21間のトンネル経路501は、Ｌ３網（帯域保証）401を第一優先で使用し、第二優先でＬ３網（ベストエフォート）を使用するようにパケット中継装置101、102のルーティング情報を設定する。VTEP12とVTEP22間でトンネル接続され形成されるVTEP12とVTEP22間のトンネル経路502は、Ｌ３網（ベストエフォート）402のみ使用するようにパケット中継装置101、102のルーティング情報を設定する。

ユーザＡ端末301とユーザＡ端末304間のレイヤ２転送をパケット中継装置101と102間でＬ３網（帯域保証）401を介して転送するために、パケット中継装置101,102で、図１に示すマッピングに対応するVXLANに関する設定がされる。パケット中継装置101において、マッピング１５０で示すとおり、ユーザＡ端末301が属するVLAN101は、VNI（仮想ネットワークインターフェース識別子）1にマッピングされ、VNI1をVTEP11にマッピングされる。パケット中継装置102において、マッピング１６０で示すとおり、端末304が属するVLAN101は、VNI1にマッピングされ、VNI1をVTEP21にマッピングされる。

ユーザＢ端末302と端末305間のレイヤ２転送をパケット中継装置101と102間でＬ３網（ベストエフォート）402を介して転送するために、パケット中継装置101,102で、図１に示すマッピングに対応するVXLANに関する設定がされる。パケット中継装置101において、マッピング１５５で示すとおり、ユーザＢ端末302が属するVLAN201は、VNI2にマッピングされ、VNI2は、VTEP12にマッピングされる。パケット中継装置102において、マッピング１６５で示すとおり、端末305が属するVLAN201は、VNI2にマッピングされ、VNI2は、VTEP22にマッピングされる。

ユーザＢ端末303と端末306間のレイヤ２転送をパケット中継装置101と102間でＬ３網（ベストエフォート）402を介して転送するために、パケット中継装置101,102で、図１に示すマッピングに対応するVXLANに関する設定がされる。パケット中継装置101において、マッピング１５５で示すとおり、ユーザＢ端末303が属するVLAN202は、VNI3にマッピングされる。VNI3は、VTEP12にマッピングされ、パケット中継装置102において、マッピング１６５で示すとおり、端末306が属するVLAN202は、VNI3にマッピングされ、VNI3をVTEP22にマッピングされる。

パケット中継装置101,102では、VXLANプロトコルに従って、Ｌ２網から受信したレイヤ２フレームをレイヤ３パケットでカプセル化して、L2網のユーザ端末に対応する帯域保証型またはベストエフォート型のＬ３網に転送し、受信したパケット中継装置101,102はデカプセル化して自装置に接続している該当のＬ２網にパケットを転送する。

上記により優先したい通信であるユーザＡ端末301と端末304間の通信のみＬ３網（帯域保証）401を使用し、その他の端末間通信はＬ３網（ベストエフォート）402を使用するようになる。

なお、ユーザー端末毎ではなく、L2網に接続されるテナントが、L3網を介してVXLANプロトコルに従って通信を行う場合も、特定のテナント内の通信は、Ｌ３網（帯域保証）401を介して行い、その他のテナント内の通信は、Ｌ３網（ベストエフォート）402を介して行なってもおい。また、Ｌ３網（ベストエフォート）402は、複数あってもよく、Ｌ３網（ベストエフォート）402それぞれに、異なるVTEPが割り当てられ、異なるIPアドレスが割り振られてよい。テナントシステム601とテナントシステム602は、別システムであるが既にVLAN-IDが同じVLAN101,102使用されていても、テナントしステム毎に異なるVNI、VTEPを割り当て、L3網での通信経路が振り分けられる。

仮想ネットワークシステムでユーザ（テナント）別通信経路を説明する。ユーザＡ端末301とユーザＡ端末304間のレイヤ２転送は通信経路501を使用する。ユーザＡ端末301からユーザＡ端末304にレイヤ２転送する場合の中継処理について説明する。パケット中継装置101でVLAN101のレイヤ２フレームを受信するとVLAN101の仮想ネットワーク識別子VNI1が所属する仮想トンネルエンドポイントVTEP11で、送信元IPアドレスIP-11、宛先IPアドレスIP-21のＩＰヘッダでカプセル化し、仮想ネットワーク識別子VNI1をパケットに付与して、トンネル通信路TL1を使用してパケット転送をする。パケット中継装置102では受信したパケットをデカプセル化し、仮想ネットワーク識別子VNI1にマッピングされているVLAN101に対してパケットを転送し、ユーザＡ端末304が受信する。

ユーザＢ端末302とユーザＢ端末305間のレイヤ２転送は通信経路502を使用する。ユーザＢ端末302からユーザＢ端末305にレイヤ２転送する場合の中継処理について説明する。パケット中継装置101でVLAN201のレイヤ２フレームを受信するとVLAN201の仮想ネットワーク識別子VNI2が所属する仮想トンネルエンドポイントVTEP12で、送信元IPアドレスIP-12、宛先IPアドレスIP-22のＩＰヘッダでカプセル化し、仮想ネットワーク識別子VNI2をパケットに付与して、トンネル通信路TL2を使用してパケット転送をする。パケット中継装置102では受信したパケットをデカプセル化し、仮想ネットワーク識別子VNI2にマッピングされているVLAN201に対してパケットを転送し、ユーザＢ端末305が受信する。

ユーザＣ端末303とユーザＣ端末306間のレイヤ２転送は通信経路503を使用する。ユーザＣ端末303からユーザＣ端末306にレイヤ２転送する場合の中継処理について説明する。パケット中継装置101でVLAN202のレイヤ２フレームを受信するとVLAN202の仮想ネットワーク識別子VNI3が所属する仮想トンネルエンドポイントVTEP12で、送信元IPアドレスIP-12、宛先IPアドレスIP-22のＩＰヘッダでカプセル化し、仮想ネットワーク識別子VNI3をパケットに付与して、トンネル通信路TL2を使用してパケット転送をする。パケット中継装置102では受信したパケットをデカプセル化し、仮想ネットワーク識別子VNI3にマッピングされているVLAN202に対してパケットを転送し、ユーザＣ端末306が受信する。

上述で説明したとおり、ルーティングプロトコルに従って形成される複数のレイヤ３ネットワーク（４０１、４０２）を介して接続される各パケット中継装置（１０１、１０２）は、VLANに所属するパケット中継装置が収容する端末装置から送信されるレイヤ２フレームを、レイヤ３パケットでカプセル化してパケットをレイヤ３ネットワークのいずれか一を介して、対向するパケット中継装置（１０２、１０１）に接続される、同一VLANに所属する端末装置に送信する。そして、パケット中継装置１０１とパケット中継装置102との間のレイヤ3ネットワークにおける通信は、別々の送信元ＩＰアドレスに対応付けられる仮想トンネルエンドポイントを用いて行われる。

具体的には、パケット中継装置１０１内の第１のトンネルエンドポイントと第２のパケット中継装置１０２内の第１のトンネルエンドポイントの間で接続したトンネル１と第１のパケット中継装置内の第２のトンネルエンドポイントと第２のパケット中継装置内の第２のトンネルエンドポイントの間で接続したトンネル２が、ルーティングプロトコルに従って設定されるレイヤ３ネットワークにおいて別々の経路を通る。

そして、パケット中継装置１０１とパケット中継装置１０２を含む通信システムにより、一方の経路は、あるユーザ端末間の通信で占有され、他方の経路はユーザ端末間の通信が複数で共有される。

図２を参照して、パケット中継装置１０１の装置構成図を説明する。特に断りのないかぎり、パケット中継装置１０２の装置構成は、図２で説明するパケット中継装置の装置構成と同様である。

パケット中継装置101は、ソフトウェア処理モジュール110と中継処理モジュール120、管理用ポート（MIF）250、パケット転送用の物理ポートIF11,IF12,IF13,IF14を有する通信装置である。

ソフトウェア処理モジュール110は、管理用ポート２５０に接続され、管理装置連携部111、オーバーレイ制御部112、ルーティング制御部113の機能ブロックで構成され、ソフトウェア処理を行うプロセッサである。また、ソフトウェア処理モジュールは、中継処理モジュール１２０に接続され、中継処理モジュール１２０で保持される情報の設定や更新を行う。管理装置連携部111、オーバーレイ制御部112、ルーティング制御部113は、パケット中継装置１０１の不揮発性メモリや外部記憶装置に保持されているプログラムが、プロセッサに読み出されることにより実行される。なお、プログラムは、管理装置２００から配信されてもよい。なお、ソフトウェア処理モジュールは、外部のコンソールを用いて指示が入力されたり、コンソールに対して出力がされてもよい。

管理装置連携部111は、管理用ポート２５０を介して、管理装置200から仮想ネットワーク・マッピング情報テーブル121、トンネル情報テーブル123に関する情報を受信し、オーバーレイ制御部１１２に通知する。

仮想ネットワーク・マッピング情報テーブル121は、仮想トンネルエンドポイントVTEPと仮想ネットワーク識別子VNIのマッピング、仮想ネットワーク識別子VNIと仮想アクセスインタフェースである物理ポートを識別するポート番号、VLAN IDの組合せのマッピングを示す情報で構成される。具体的には、図１のマッピング１５０、１５５、１６０、１６５それぞれの対応付けを示す情報が、各パケット中継装置１０１、１０２に保持される。

トンネル情報テーブル123は、帯域保証型かベストエフォート型かのネットワーク種別に対応付けて、VTEP毎にL３網で形成するトンネル通信路とトンネル通信路毎に対応する送信元ＩＰアドレスと宛先ＩＰアドレス、トンネル保証帯域、ＱｏＳ優先度との対応付けが保持される。つまり、トンネル情報テーブル123は、Ｌ３網４０１（帯域保証）に優先してパケットを転送する帯域保証用のＶＴＥＰに関する情報とＬ３網（ベストエフォート）４０２にパケットを転送するＶＴＥＰに関する情報が登録されている。

オーバーレイ制御部112は仮想ネットワーク・マッピング情報テーブル121とトンネル情報テーブル123に構成情報を設定する。オーバーレイ制御部112は、管理装置連携部111から通知された情報を仮想ネットワーク・マッピング情報テーブル121とトンネル情報テーブル123に反映する。

ルーティング制御部113は、ルーティングテーブル124の生成、管理をする。 ルーティング制御部113は、固定されたルートであるスタティックルーティングと他のパケット中継装置、たとえば隣接するパケット中継装置とルーティング情報を送受信してルーティング情報を更新するダイナミックルーティングの情報を合成してルーティングテーブル124に反映する。また、ルーティング制御部１１３は、他のパケット中継装置とL3網の経路の状態を管理し、他のパケット中継装置からL3網４０１、４０２を介するルーティングプロトコルの制御フレームの受信の有無により障害が発生したか否かを検出する。ルーティング制御部１１３は、障害が発生した経路とは異なる通信可能なL3網の経路をルーティングテーブル１２４に設定、更新する。

中継処理モジュール120は、パケット転送処理を行うオーバーレイ処理部125、レイヤ３パケット転送部126の各回路とパケット転送処理をするための仮想ネットワーク・マッピング情報テーブル121、ＭＡＣアドレステーブル122、トンネル情報テーブル123、ルーティング情報テーブル124を構成するメモリとを有する。そして、中継処理モジュールは物理ＩＦ１１、１２、１３、１４に接続される。

ＭＡＣアドレステーブル122には、仮想ネットワーク識別子VNI毎にMACアドレスのと出力インタフェースとの対応付けが保持される。

ルーティング情報テーブル124は、宛先経路毎の出力インタフェースが設定される。出力インタフェースに関する情報は、その宛先経路の優先順位、Nexthopアドレス、出力ポート番号（物理IF）を含む。

オーバーレイ処理部125は、仮想ネットワーク・マッピング情報テーブル121、ＭＡＣアドレステーブル122、トンネル情報テーブルの情報に元にL2 over L3トンネル処理を実施する回路である。

オーバーレイ処理部125は、アクセス側のＬ２網から受信したレイヤ２フレームをレイヤ３パケットでカプセル化してレイヤ３パケット転送部126にパケットを送る。オーバーレイ処理部125はレイヤ３パケット転送部126から受けたカプセル化されたレイヤ３パケットをデカプセル化する。

レイヤ３パケット転送部126は、ルーティングテーブル124を参照し、レイヤ３パケットの転送先を決定してL3網４０１（帯域保障）あるいはL3網４０２（ベストエフォート）に向けて転送する回路である。

図３を参照して、管理装置の装置構成図を説明する。

管理装置200は、管理ネットワークインターフェース310、ＣＰＵ320、メモリ330、入力部３４０、出力部３５０を有し、それらが相互に接続される計算機である。

管理ネットワークインターフェース３１０は、中継装置１０１、１０２に対してパケット中継に関する情報が出力されるポートである。ＣＰＵ３２０は、プログラムとして不揮発性メモリからプログラムが読み出されることによって、パケット中継装置連携部211、パケット中継装置情報管理部212を構成する。

メモリ３３０は、トンネル情報管理テーブル213、仮想ネットワーク・マッピング情報管理テーブル214を保持する。

パケット中継装置連携部211は、パケット中継装置情報管理部212がトンネル情報管理テーブル2143から生成したトンネル情報テーブル123と仮想ネットワーク・マッピング情報管理テーブル213から生成した仮想ネットワーク・マッピング情報テーブルに関する情報をパケット中継装置101,102に対して管理ネットワークインターフェース３１０介して配布する機能ブロックである。なお、パケット中継装置連携部211に相当する機能ブロックを実現するプログラムが、管理装置２００が有する不揮発性メモリ（図示せず）や管理装置２００の外部記憶装置（図示せず）に格納されていてもよい。

パケット中継装置情報管理部212は、トンネル情報管理テーブル213、仮想ネットワーク・マッピング情報管理テーブル214を管理し、入力部３４０を介して入力される設定情報によりトンネル情報管理テーブル214からトンネル情報テーブル123と仮想ネットワーク・マッピング情報管理テーブル214に格納するための情報を生成する機能ブロックである。なお、 パケット中継装置情報管理部212に相当する機能ブロックを実現するプログラムが、管理装置２００が有する不揮発性メモリ（図示せず）や管理装置２００の外部記憶装置（図示せず）に格納されていてもよい。

入力部３４０は、ＣＰＵ320で実行されるパケット中継装置連携部211やパケット中継装置情報管理部212に対しての指示を外部から受けるモジュールで、例えば、キーボードやポインティングデバイスである。出力部３５０は、入力部３４０に入力を促す表示をするため情報を出力部デバイスで、例えば、ディスプレイである。なお、入力部340及び出力部３５０は、スマートフォンやタブレットであってもよい。

図４を参照して、仮想ネットワーク・マッピング情報テーブルを説明する。

仮想ネットワーク・マッピング情報テーブル121は仮想トンネルエンドポイントVTEP４１０と仮想ネットワーク識別子VNI４２０のマッピング、仮想ネットワーク識別子VNI４２０と仮想アクセスインタフェースであるポート番号４３０（物理IFの識別子）、VLAN ID４４０の組合せのマッピングを設定したテーブルである。仮想ネットワーク・マッピング情報テーブル121はオーバーレイ処理部125がカプセル化処理、デカプセル化してアクセスインタフェースへの出力をするときに参照するテーブルである。仮想ネットワーク・マッピング情報テーブル１２１に格納される組み合わせは、図１のマッピング１５０、１５５、１６０、１６５に対応する。

図５を参照して、ＭＡＣアドレステーブルを説明する。

MACアドレステーブル122は仮想ネットワーク識別子VNI毎に学習しているMACアドレスの出力インタフェースを設定されているテーブルである。MACアドレステーブル１２２は、仮想ネットワーク識別子VNI５１０、MACアドレス５２０、出力インターフェース５３０との対応付けで構成される。出力インタフェース５３０は、ネットワーク側５４０の出力インターフェースと、アクセス側５５０の出力インタフェースを含む。ネットワーク側５４０はカプセル化して出力するときの宛先ＶＴＥＰのＩＰアドレスが設定される。アクセス側５５０はレイヤ２フレームを出力するポート番号とVLAN IDが設定される。ＭＡＣアドレステーブル122は、パケットが送受信されたときに、オーバーレイ処理部１２５が学習することにより更新される。ＭＡＣアドレステーブル122はオーバーレイ処理部125がカプセル化処理、デカプセル化してアクセスインタフェースへの出力をするときに参照するテーブルである。

図６を参照して、トンネル情報テーブルを説明する。トンネル情報テーブル123は、Ｌ３網（帯域保証）に優先してパケットを転送する帯域保証用のＶＴＥＰとＬ３網（ベストエフォート）にパケットを転送するＶＴＥＰ６２０が登録されている。ＶＴＥＰに付随する情報はVTEP毎に接続するトンネル通信路６３０とトンネル通信路毎にカプセル化するときの送信元ＩＰアドレス６４０と宛先ＩＰアドレス６５０、トンネル保証帯域６６０、ＱｏＳ優先度６７０が設定している。

トンネル保証帯域６６０は、カプセル化したパケットを出力するときに保証する帯域で、ネットワーク種別６１０が帯域保証に対応づけられるＶＴＥＰに設定され、ネットワーク種別６１０がベストエフォートに対応づかれるＶＴＥＰでは設定されない。ＱｏＳ優先度６７０は、カプセル化したパケットをL3網に出力するときの優先度である。その優先度の数値が高い方を優先して転送する。図６では、帯域保証用ＶＴＥＰの優先度は６であり、ベストエフォート用ＶＴＥＰより優先度の１よりも高設定される。パケット中継装置１０１は、帯域保証用ＶＴＥＰのトンネル通信路がＬ３網（帯域保証）401からＬ３網（ベストエフォート）402に変更になったときに帯域保証用ＶＴＥＰから送信されるパケットをベストエフォート用ＶＴＥＰから送信されるパケットより優先して出力する。

トンネル情報テーブル123はオーバーレイ処理部125がカプセル化処理、デカプセル化してアクセスインタフェースへの出力をするときに参照するテーブルである。

図７を参照して、ルーティングテーブルを説明する。

ルーティングテーブル124は宛先経路毎７１０の出力インタフェース７２０を設定している。出力インタフェース７２０には優先順位７３０、Nexthopアドレス７４０、出力ポート番号７５０（出力される物理IFを特定する識別子）を設定している。一つの宛先経路７１０に出力インタフェースの候補が複数対応付けられる場合は、各出力インターフェース７２０の候補には、異なる優先順位が設定される。レイヤ３パケット転送部126は、出力インタフェースの候補が複数に対応付けられる宛先経路７１０についてルーティング検索をするときには優先順位の高いNext hop アドレス、出力ポート番号を選択する。なお、優先順位が高い出力インタフェースが障害になったときには、ルーティング制御部１１３により、優先順位７３０が更新され、次の優先順位の高い出力インタフェースが、もっとも優先順位が高くなるように設定される。ルーティングテーブル124はレイヤ３パケット転送部126がルーティング検索するときに参照するテーブルである。

図８を参照して、トンネル情報管理テーブル213を説明する。トンネル情報管理テーブル213はトンネル通信路８１０毎にネットワーク種別８２０、トンネルの両端である仮想トンネルエンドポイント８３０及びＶＴＥＰのＩＰアドレス８３５、トンネル保証帯域８４０、ＱｏＳ優先度８５０、トンネルを使用するユーザ名（テナント名）８６０を設定している。

トンネル通信路８１０がTL1、ネットワーク種別８２０が帯域保証と示される帯域保証型のトンネル通信路TL1には、各ユーザ単独で使用するため、ユーザ名８６０の欄には、ユーザＡのみ設定し、トンネル保証帯域８４０に５Gbps、ＱｏＳ優先度８５０には、他のトンネル通路のQoS優先度と比べて優先度が高いことを示す値が設定される。

トンネル通信路８１０がTL2、ネットワーク種別８２０がベストエフォートと示されるベストエフォート型のTL2には複数のユーザで使用するため、トンネル通信路８１０がTL2であるトンネル通信路に対応づけてユーザ名８６０の欄には、ユーザＢ、ユーザCが設定される。トンネル通信路８１０がTL2であるトンネル通信路と対応づけて、トンネル保証帯域８40の欄は設定無しで、QoS優先度８５０の欄は、トンネル通信路TL1のQOS優先度よりも低いＱｏＳ優先度を設定される。なお、ユーザ名８６０の欄は、ユーザ（テナント）を特定する情報であればよく、識別子であってもよい。

図９を参照して、仮想ネットワーク・マッピング情報管理テーブル２１４を説明する。

仮想ネットワーク・マッピング情報管理テーブル214は、パケット中継装置９１０ごとに、ネットワーク種別９２０、VTEP９３０、VNI940、ポート番号９５０、VLAN ID９６０、ユーザ（テナント）９７０により構成される。

仮想ネットワーク・マッピング情報管理テーブル214は、ユーザ９７０で示されるユーザ毎に仮想ネットワーク識別子VNIがVNI９４０に、使用する中継装置のポート番号がポート番号９０５に、VLAN IDの割当がVLAN ID９６０に設定される。VTEP930の欄は、VNIにマッピングされるVTEPの識別子が設定される。なお、VTEP930に設定されるVTEPの識別子は、ネットワーク種別９２０欄のネットワーク種別に予め関連づけられるVTEPに対応する識別子が、ユーザ毎に設定される。

図１０を参照して、ユーザ毎の仮想ネットワーク設定のフローチャートを説明する。なお、トンネル情報管理テーブル213及び仮想ネットワーク・マッピング情報管理テーブル214に対する設定情報の入力は、システム管理者が入力部３４０を介してパケット中継装置情報管理部212に情報を入力して、その情報を受けたパケット中継装置管理部212が、各テーブルに設定を反映する。

パケット中継装置管理部２１２は、システム管理者からの入力操作により入力されたユーザの仮想ネットワークのタイプ（種別）が帯域保証型かベストエフォート型かを判定する(S１００1)。

ユーザの仮想ネットワークのタイプが帯域保証型の場合、パケット中継装置１０１、１０２は、帯域保証用VTEPを生成する(S１００2)。S１００2の詳細は図１１で説明する。システム管理者の入力操作により入力部３４０を介して受けた入力を、パケット中継装置管理部２１２は、管理装置200の仮想ネットワーク・マッピング情報管理テーブルに帯域保証用VTEPを設定する(S１００3)。パケット中継装置管理部２１２はシステム管理者からの入力操作により入力された情報を入力部３１４から受けると、パケット中継装置管理部２１２は仮想ネットワーク・マッピング情報管理テーブル２１４のネットワーク種別９２０が帯域保証である場合に割り当てられるVNIを、ネットワーク種別９２０が帯域保証であるVTEPと対応付けてVNI９４０の欄に割り当てる (S１００4)。本実施例では、帯域保証と設定されるVTEPに対しては、VNIは１と設定される。

ユーザの仮想ネットワークのタイプがベストエフォート型の場合、パケット中継装置管理部２１２が、仮想ネットワーク・マッピング情報管理テーブル２１４を参照し、既にベストエフォート用VTEPが生成済みかを判定する(S１００5)。ベストエフォート用VTEPが未生成の場合には、パケット中継装置１０１、１０２が、システム管理者の入力操作によりVTEP情報を入力し、ベストエフォート用VTEPを生成する(S１００6)。S１００6の詳細は図１１で説明する。パケット中継装置管理部２１２はシステム管理者からの入力操作により入力された情報を入力部３１４から受け、パケット中継装置管理部２１２が管理装置200の仮想ネットワーク・マッピング情報管理テーブル２１４にベストエフォート用VTEPを設定するする(S１００7)。S１００5で既にベストエフォート用VTEPを生成済みの場合には、VTEPを生成しない理由はベストエフォート用VTEPには複数のユーザを収容するためである。ベストエフォート用のVTEP設定後に、パケット中継装置管理部２１２はシステム管理者からの入力操作により入力された情報を入力部３１４から受け、パケット中継装置管理部２１２は、管理装置200の仮想ネットワーク・マッピング情報管理テーブルのベストエフォート用VTEPにユーザ用VNIを割り当てる (S１００8)。

ユーザの仮想ネットワークのタイプに関係なく、次の手順を行う。パケット中継装置管理部２１２は、システム管理者からの入力操作により入力された情報により、パケット中継装置管理部２１２は、仮想ネットワーク・マッピング情報管理テーブルに設定されているVNIに対してマッピングするパケット中継装置のポート番号とVLANを割り当てる(S１００9)。

パケット中継装置管理部２１２は、パケット中継装置連携部２１１及び管理用IF250を介して以上のステップにより設定された仮想ネットワーク・マッピング情報管理テーブル２１４で管理されるマッピング情報を各パケット中継装置１０１、１０２にを配布する(S1010)。

具体的に、S１０１０で配布される情報は、図９で示されるパケット中継装置９１０の欄で示される識別子により特定されるパケット中継装置毎に、その識別子に対応付けられるネットワーク種別、VTEP,VNI,ポート番号、VLAN ID、そしてユーザを特定する情報である。なお、配布は、図８に関する情報を管理装置２００が、複数のパケット中継装置１０１、１０２に一括して送信し、パケット中継装置１０１、１０２それぞれが、その情報に含まれるパケット中継装置の識別子をキーにして、自己のパケット中継装置に該当するマッピング情報を取得してもよい。また、管理装置２００が、パケット中継装置１０１、１０２ごとに、パケット中継装置の識別子をキーにして。管理ネットワーク・マッピング情報管理テーブル２１４から配布する情報を選択して送信してもよい。

パケット中継装置１０１、１０２は、管理装置２０１から配布される情報を受けると、パケット中継装置１０１、１０２のオーバーレイ制御部１１２は、管理装置から管理装置連携部１１１を介して配布される情報を、仮想ネットワーク・マッピング情報テーブル１２１のVTEP410,VNI４２０、ポート番号４３０、VLAN ID440に設定する。上述の説明により、管理装置からの指示で、パケット中継装置１０１、１０２は、自装置に収容されるユーザ端末に対応するＶＬＡＮに仮想ネットワーク識別子を割り当て、仮想ネットワーク識別子を特定の仮想トンネルエンドポイントに所属させる。

図１１を参照して、帯域保証用の仮想トンネルエンドポイント生成のフローチャートを説明する。

オーバーレイ制御部１１２は、システム管理者からの入力操作により入力されたパケット中継装置101,102で、帯域保証用VTEPの「送信元IPアドレス（IP-11）」が宛先経路７１０に、「自装置宛」が出力インターフェース７２０に設定される。 (S1101)。パケット中継装置101,102で以下のルーティングになるようにルーティング制御部のルーティングプロトコル（ルーティングテーブル）が設定される(S1102)。システム管理者の入力操作により、パケット中継装置１０１のルーティング制御部１１３は、パケット中継装置101からパケット中継装置102の帯域保証用VTEPのIPアドレス宛の経路に第一優先でL3網(帯域保証)401、第二優先でL3網(ベストエフォート)402を使用するよう設定がされる。その設定結果は、図７のルーティングテーブル１２４の宛先経路７１０が「IP-21」に対応する優先順位７３０、Next hopアドレス、出力ポート番号７５０に示す。同様に、システム管理者の入力操作により、パケット中継装置１０２のルーティング制御部１１３は、パケット中継装置102からパケット中継装置101の帯域保証用VTEPのIPアドレス宛の経路に第一優先でL3網(帯域保証)401、第二優先でL3網(ベストエフォート)402を使用するよう設定する。

パケット中継装置管理部２１２はシステム管理者からの入力操作により入力された情報を受けると、パケット中継装置管理部２１２は管理装置200のトンネル情報管理テーブル213に帯域保証用トンネルの情報を生成する(S1103)。具体的に、S1103で生成される帯域保証用トンネルの情報は、図８のトンネル通信路８１０の欄に示されるトンネル通信路の識別子であるTL1に対応付けられるネットワーク種別、トンネル両端のVTEPに関する情報（VTEP及びIPアドレス）、トンネル保証帯域、QoS優先度、そしてユーザを示す情報の組み合わせである。パケット中継装置管理部２１２は、パケット中継装置連携２１１及び管理用IF250を介して、管理装置200から各パケット中継装置にトンネル情報管理テーブルから生成したトンネル情報テーブルに関する情報を配布する(S1104)。

パケット中継装置１０１、１０２は、S1004により管理装置２０１から配布される情報を受ける。パケット中継装置１０１、１０２のオーバーレイ処理部１１２は、管理装置から管理装置連携部１１１を介して配布される情報のうち、トンネル通信路の識別子をトンネル通信路６３０に、トンネル両端のVTEPに関する情報（VTEP及びIPアドレス）をVTEP620と送信元IPアドレス６４０と宛先IPアドレスに設定し、ネットワーク種別とトンネル保証帯域、QoS優先度も設定する。

図１２を参照して、ベストエフォート用の仮想トンネルエンドポイント生成のフローチャートを説明する。システム管理者がパケット中継装置101,102でベストエフォート用VTEPの送信元IPアドレスを入力する(S1201)。システム管理者がパケット中継装置101,102で以下のルーティングになるようにルーティング制御部のルーティングプロトコルを設定する(S1202)。

システム管理者の入力操作により、パケット中継装置１０１のルーティング制御部１１３は、パケット中継装置101からパケット中継装置102のベストエフォート用VTEPのIPアドレス宛の経路にL3網(ベストエフォート)402を使用するようルーティングテーブル１２４に設定する。その設定結果は、図７のルーティングテーブル１２４の宛先経路７１０が「IP-22」に対応する優先順位７３０、Next hopアドレス、出力ポート番号７５０に示す。同様に、パケット中継装置１０２のルーティング制御部１１３は、システム管理者の入力操作により、パケット中継装置102からパケット中継装置101のベストエフォート用VTEPのIPアドレス宛の経路にL3網(ベストエフォート)402を使用するよう、パケット中継装置１０２のルーティングテーブル１２４に設定する。システム管理者により、管理装置200のパケット中継装置管理部２１１は、トンネル情報管理テーブル２１３にベストエフォート用トンネルの情報を入力する(S1203)。具体的に、S1203で生成されるベストエフォート用トンネルの情報は、図８のトンネル通信路８１０の欄に示されるトンネル通信路の識別子であるTL2に対応付けられるネットワーク種別、トンネル両端のVTEPに関する情報（VTEP及びIPアドレス）、トンネル保証帯域（設定なし）、QoS優先度、そしてユーザを示す情報の組み合わせである。
パケット中継装置管理部２１２は、パケット中継装置連携部２１１及び管理用IF250を介して、管理装置200から各パケット中継装置にトンネル情報管理テーブルから生成したトンネル情報テーブル用の情報を配布する(S1204)。 パケット中継装置１０１、１０２は、S1204により管理装置２０１０から配布される情報を受ける。パケット中継装置１０１、１０２のオーバーレイ制御部１１２は、管理装置から管理装置連携部１１１を介して配布される情報のうち、トンネル通信路の識別子をトンネル通信路６３０に、トンネル両端のVTEPに関する情報（VTEP及びIPアドレス）をVTEP620と送信元IPアドレス６４０と宛先IPアドレスに設定し、ネットワーク種別とトンネル保証帯域（設定なし）、QoS優先度も設定する。

図１３を参照して、パケット中継装置がアクセスポートからフレーム受信して送信するまでのフローチャートを説明する。図１３では、図２のパケット中継装置がＬ２網411からＬ３網401にフレーム転送する処理を説明する。

パケット中継装置101ではアクセス側であるＬ２網411からフレームを受信する。オーバーレイ処理部125で仮想ネットワーク・マッピング情報テーブル121を参照し、受信物理ポート番号、VLAN IDからVNI及びVTEPを決定する。オーバーレイ処理部125でMACアドレステーブル122を参照し、VNI及び宛先MACアドレスから出力インタフェースを決定する(S1301)。出力インタフェース（物理IF）がネットワーク側かアクセス側かを判定する(S1302)。出力インタフェースがネットワーク側の場合、オーバーレイ処理部125でVTEP及び宛先IPアドレスからトンネル通信路及び送信元ＩＰアドレスを決定し、フレームをカプセル化する(S1303)。レイヤ３パケット転送部126でルーティングテーブル124を参照し、宛先ＩＰアドレスからNexthopアドレス及び出力ポートを決定しパケットを転送する(S1304)。出力インタフェースがアクセス側の場合には決定したポート番号とVLAN IDに対応する物理IF（１１あるいは１２）を介してL2網（４１１あるいは４１２）に出力する(S1305)。

図１４を参照して、パケット中継装置がネットワークポートからフレーム受信して送信するまでのフローチャートを説明する。図１４では、Ｌ３網401からＬ２網411にフレーム転送する処理になる。

パケット中継装置101は、ネットワーク側から自装置宛のフレームを受信する。レイヤ３パケット転送部126でルーティングテーブル124を参照し、宛先ＩＰアドレスから宛先を決定する(S1401)。宛先が自装置宛か判定する(S1402)。自装置宛の場合はオーバーレイ処理部125でデカプセル化する。オーバーレイ処理部125でMACアドレステーブル122を参照し、VNI及び宛先MACアドレスから出力インタフェースを決定する(S1403)。宛先が自装置宛以外の場合には、レイヤ３パケット転送部１２６が、ルーティングテーブル１２４ので検索して出力インターフェース７２０により決定した宛先に出力する(S1404)。

図１５を参照して、仮想ネットワークシステムでネットワーク障害が発生した場合の通信復旧方法を説明する。図１５は、図１とシステム構成や装置のハードウェア構成は同様である。

ユーザＡ端末301とユーザＡ端末304間の通信経路501は通常時は図１に示すようにＬ３網（帯域保証）401を使用している。Ｌ３網（帯域保証）401での障害をパケット中継装置101と102間で監視する。Ｌ３網（帯域保証）401で障害を検知した場合、パケット中継装置101のルーティング制御部１１３は、ルーティングテーブル１２４のIP-21宛のnexthopアドレスをIP-AからIP-Bに出力ポート番号をIF13からIF14に変更し、パケット中継装置102のルーティング制御部１１３は、ルーティングテーブルのIP-11宛のnexthopアドレスをIP-CからIP-Dに出力ポート番号をIF-23からIF24に変更する。VTEP11とVTEP21間のトンネル通信路TL1は、Ｌ３網（ベストエフォート）402を使用する設定に変更される。ユーザＡ端末301とユーザＡ端末304間の通信経路はＬ３網（ベストエフォート）402を使用するように変更になる。帯域保証用VTEP11とVTEP21間の通信はＱｏＳ優先度が高く設定されているため、ベストエフォート用VTEP12とVTEP22間の通信より優先して転送される。

図１６を参照して、仮想ネットワークシステムでネットワーク障害が発生した場合の通信復旧方法を説明するフローチャートを説明する。

パケット中継装置101,102のルーティング制御部間でダイナミックプロトコルを使用して、Ｌ３網（帯域保証）401の通信可否を監視する(S1701)。監視の方法はパケット中継装置101、Ｌ３網（帯域保証）401内のパケット中継装置、パケット中継装置102の間でRIP、OSPF、BGPといったIPルーティングプロトコルを動作させて監視する。Ｌ３網（帯域保証）401で障害が発生するとパケット中継装置101はＬ３網401内の隣接パケット中継装置から制御フレームによってIP-11宛の経路削除通知受けてＬ３網（帯域保証）401の障害を検知する。パケット中継装置102はＬ３網401内の隣接パケット中継装置から制御フレームによってIP-21宛の経路削除通知を受けてＬ３網（帯域保証）401障害を検知する。

ルーティング制御部１１３が、L3網（帯域保証）401の通信可否を監視し、通信不可を検知した場合には、パケット中継装置101,102はTl1の通信がＬ３網（帯域保証）401からＬ３網（ベストエフォート）402で通信するようにルーティングテーブルを変更し、通信復旧する(S1703)。S1703におけるルーティングテーブルの変更は以下の通りとなる。図７は、パケット中継装置101のネットワーク障害前のルーティングテーブルになるが、パケット中継装置101の帯域保証用VTEP11宛の宛先経路IP-21は第一優先のNexthopアドレスIP-A、出力ポート番号IF13になる。一方、図１７はパケット中継装置101のネットワーク障害後のルーティングテーブルを示す、S1703のルーティング制御部１１３の処理により、ルーティングテーブル１２４は、パケット中継装置101の帯域保証用VTEP11宛の宛先経路IP-21はNexthopアドレスIP-B、出力ポート番号IF14になる。

なお、本実施例では、ルーティング制御部が、ルーティングプロトコルによりL3網４０１の状態を検出しているが、パケット中継装置１０１が、その他の方法でL3網４０１の状態を監視し、その監視結果に応じて、L3網４０１の状態が異常で通信の継続ができない場合、通信経路を切り替えてもよい。例えば、監視結果が、L3網４０１の状態は輻輳を示す場合に通信経路を切り替えてもよい。

図１８を参照して、パケット中継装置に同一VLANで異なるポートで別VNIに所属する場合の構成情報を説明する。

テナントシステム601とテナントシステム602は別システムであるが既にVLAN-IDが同じVLAN101,102を使用している。お互いにVLAN IDを変更せずにパケット中継装置101内で別々の仮想ネットワークにするため、物理ポートとVLAN IDの組合せで仮想ネットワーク識別子（ＶＮＩ）を割当てる。テナントシステム601はＬ２網411を介して、パケット中継装置101の物理ポートIF11に接続、テナントシステム602はＬ２網411を介して、パケット中継装置101の物理ポートIF12に接続。物理ポートIF11のVLAN101はVNI1、物理ポートIF11のVLAN102はVNI3、物理ポートIF12のVLAN101はVNI2、物理ポートIF12のVLAN102はVNI4にマッピングする。仮想ネットワーク識別子を別々にしたため、テナントシステム601のVLAN101とテナントシステム602のVLAN101間で通信は出来ない。テナントシステム601のVLAN102とテナントシステム602のVLAN102間も同様に通信は出来ない。

図１９を参照して、パケット中継装置に異なるVLANで同一VNIに所属する場合の構成情報を説明する。

物理サーバ内の仮想マシン間のレイヤ２転送は従来、物理サーバ内の仮想スイッチ内で折り返して通信する。但し、仮想スイッチ内折り返しの転送は物理サーバのＣＰＵに高負荷がかかる。物理サーバのＣＰＵ負荷軽減のため、ＶＥＰＡ（Virtual Ethernet(登録商標) Port Aggregator）という物理サーバ内のハイパーバイザから物理スイッチにオフロードする規格があるが、ハイパーバイザが対応しない。

図１９は、本課題を解決する方式である。図１９では、物理サーバ700内には仮想マシンVM1〜3、仮想スイッチ710がある。仮想スイッチではVM1にはVLAN101、VM2にはVLAN102、VM3にはVLAN103を割当てる。物理スイッチに相当するパケット中継装置101は物理ポートIF11を介して物理サーバ700と接続している。IF11にはVLAN101、VLAN102、VLAN103を設定する。物理ポートIF11のVLAN101、VLAN102、VLAN103を仮想ネットワーク識別子VNI1に割当てる。本設定によりVM1とVM2間の通信は物理サーバ700からパケット中継装置101を経由してから折り返す仮想マシン通信721になる。VM1とVM3間の通信も同様に物理サーバ700からパケット中継装置101を経由してから折り返す仮想マシン通信722になる。VM2とVM3間の通信も同様に物理サーバ700からパケット中継装置101を経由してから折り返す仮想マシン通信723になる。

上述の実施例により以下の態様を説明した。

一態様として、パケット中継装置でL2 over L3トンネルを実施する場合に、L2 over L3トンネルを実施する全てのパケット中継装置で２つ以上の仮想トンネルエンドポイントを設ける。L2 over L3トンネルを実施するパケット中継装置内の仮想トンネルエンド毎に別のＩＰアドレスを割り当てる。特定のパケット中継装置間で２つ以上の通信経路がある場合には第１のパケット中継装置内の第１のトンネルエンドポイントと第２のパケット中継装置内の第１のトンネルエンドポイントの間で接続したトンネル１と第１のパケット中継装置内の第２のトンネルエンドポイントと第２のパケット中継装置内の第２のトンネルエンドポイントの間で接続したトンネル２が別々の経路を通るようにルーティングテーブルを設定する。トンネル１が通る通信網は帯域保証、トンネル２が通る通信網はベストエフォートとした場合、各々のパケット装置の第１のトンネルエンドポイントには帯域確保をしたいテナントを所属させ、第２のトンネルエンドポイントには帯域確保を必要としないテナントを所属させて、パケット転送をすることで、特定のテネントの通信に対して、帯域確保や優先制御を実施することが可能になる。

また、一態様として、通信装置内に複数の仮想トンネルエンドポイントを設け、特定のテナントの通信を行う仮想トンネルエンドポイントとその他のテナントの通信を行う仮想トンネルポイントに分けて、特定のテナント（端末）の通信を行う仮想トンネルエンドポイントから転送する経路をその他のテナントの通信を行う仮想トンネルポイントから転送する経路とは別にすることで、特定テナントの通信を優先的に転送する。仮想ネットワークシステムにおいて通信装置間で複数のテナント（端末）の通信がある中で特定のテナント（端末）の通信を優先的に転送することを可能にする。

また、一態様として、パケット中継装置でL2 over L3トンネルを実施する場合に、ＶＮＩとテナントシステムを結び付ける仮想アクセスポイントの識別をVLANと物理ポートの組合せにする。１つのパケット中継装置内で異なるテナントシステムを別々のポートに接続し、ポートが異なる同一のVLANに対して、別のVNIを割当てることで、異なるテナントシステムで別々の仮想ネットワークを割当てることが可能になる。１つのパケット中継装置内で異なるVLANに対して同一のVNIを割当てることで異なるVLAN間でレイヤ２転送が可能になる。

また、一態様として、パケット中継装置でL2 over L3トンネルを実施する場合に、パケット中継装置でトンネル通信経路の障害及び輻輳の監視を実施し、障害または輻輳を検知した場合には通信経路を予め決めていた迂回経路に変更して通信を行うことで、障害、輻輳を動的に回避することが可能になる。

101、102：パケット中継装置、110：ソフトウェア処理モジュール、111：管理装置連携部、112：オーバーレイ制御部、113：ルーティング制御部、120：中継処理モジュール、121：仮想ネットワーク・マッピング情報テーブル、122：ＭＡＣアドレステーブル、123：トンネル情報テーブル、124：ルーティングテーブル、125：オーバーレイ処理部、126：レイヤ３パケット転送部、200：管理装置、211：パケット中継装置情報管理部、212：パケット中継装置連携部、213：トンネル情報管理テーブル、214：仮想ネットワーク・マッピング情報管理テーブル、401：Ｌ３網（帯域保証）、402：Ｌ３網（ベストエフォート）

Claims (7)

1. 第一の通信装置に接続される第一のレイヤ２ネットワークで収容される端末と第二の通信装置に接続される第二のレイヤ２ネットワークで収容される端末との間に配置され、レイヤ３ネットワークで前記第二の通信装置と接続される前記第一の通信装置であって、
   さらに、第一のレイヤ３ネットワークに接続される第一のポートと、第二のレイヤ３ネットワークに接続される第二ポートと、
   前記第一のレイヤ２ネットワークに接続される第三のポートと、
   別々の送信元ＩＰアドレスが割り当てられる仮想トンネルエンドポイント（ＶＴＥＰ）と前記第一の通信装置に収容される端末が所属するＶＬＡＮと仮想ネットワーク識別子（ＶＮＩ）との対応付けを保持し、さらに、異なる前記第三の物理ポートに接続される複数のレイヤ２ネットワークで構成され、同一のＶＬＡＮ番号であるＶＬＡＮそれぞれに異なるＶＮＩを対応づけるとともに前記ＶＮＩに一つのＶＴＥＰを対応付けて保持し、第一の通信装置内の第一のＶＴＥＰと第二の通信装置内の第一のＶＴＥＰの間のレイヤ３ネットワークで形成される第一のトンネル経路に関するルーティングを特定する、前記第一のレイヤ３ネットワークの出力先と前記第一のポートと第一の優先度との組み合わせと、前記第二のレイヤ３ネットワークの出力先と前記第二のポートと前記第一の優先度より低い第二の優先度との組み合わせと、を保持し、第一の通信装置内の第二のＶＴＥＰと第二の通信装置内の第二のＶＴＥＰの間のレイヤ３ネットワークで形成される第二のトンネル経路に関するルーティングを特定する、前記第二のレイヤ３ネットワークへの出力先と前記第二のポートとの組み合わせを保持し、
   さらに、前記ＶＴＥＰ毎に同一トンネル経路におけるパケット送信優先度を示すＱｏＳ優先度を保持し、ルーティングプロトコルを動作させることにより前記第一のレイヤ３ネットワークの状態を監視し、前記監視結果に基づいて、前記第一のトンネル経路の出力先の組み合わせを切り替える制御部と、
   前記第一の通信装置により収容される端末から前記第二の通信装置により収容される端末に向けて送信されるレイヤ２フレームを受信し、前記レイヤ２フレーム及び前記ＶＬＡＮとＶＮＩとＶＴＥＰとの対応付けに基づいて前記レイヤ２フレームをレイヤ３パケットでカプセル化し、トンネル経路に向けてカプセル化したパケットを送信する中継処理部と、を有し、
   前記監視の結果、第一のレイヤ３ネットワークの状態が正常の場合、
   前記中継処理部は、前記第一のトンネル経路における前記第一のＶＴＥＰに対応づけられるＶＬＡＮに所属する端末の通信に対して通信帯域を保証して、パケットを前記第一のポートを介して前記第一のレイヤ３ネットワークに向けて送信し、
   前記第二のトンネル経路における前記第二のＶＴＥＰに対応づけられる各ＶＬＡＮに所属する端末の通信に対して帯域を共有しパケットを前記第二のポートを介して前記第二のレイヤ３ネットワークに向けて送信し、
   前記監視の結果、第一のレイヤ３ネットワークの状態が異常の場合、
   前記制御部は、前記第一のトンネル経路の出力先の組み合わせを切り替え、
   前記中継処理部は、前記第一のトンネル経路及び前記第二のトンネル経路に対応付けられるＶＬＡＮに所属する端末の通信は、前記ＶＴＥＰごとに対応付けられるＱｏＳ優先度に従って、パケットを送信する、第一の通信装置。
2. 第一の通信装置に接続されるレイヤ２ネットワークで収容される端末と第二の通信装置に接続されるレイヤ２ネットワークで収容される端末との間に配置され、レイヤ３ネットワークで前記第二の通信装置と接続される前記第一の通信装置であって、
   前記レイヤ２ネットワークに接続される物理ポートを備え、
   異なる前記物理ポートに接続されるレイヤ２ネットワークにおいて、それぞれ同一のＶＬＡＮ番号を持つＶＬＡＮに異なる仮想ネットワーク識別子（ＶＮＩ）を割り当てるとともに前記ＶＮＩを一つの仮想トンネルエンドポイント（ＶＴＥＰ）に所属させ、
   別々の送信元ＩＰアドレスが割り当てられる複数のＶＴＥＰのうちいずれか一のＶＴＥＰと、前記第一の通信装置に収容される端末が所属するＶＬＡＮとＶＮＩとを対応付け、
   第一の通信装置内の第１ＶＴＥＰと第二の通信装置の第一のＶＴＥＰの間のレイヤ３ネットワークで形成される第一のトンネル経路と、第一の通信装置内の第二のＶＴＥＰと第二の通信装置内の第二のＶＴＥＰの間のレイヤ３ネットワークで形成される第二のトンネル経路と、に関するルーティングの設定を行う制御部と、
   前記第一の通信装置により収容される端末から前記第二の通信装置により収容される端末に向けて送信されるレイヤ２フレームを受信し、前記レイヤ２フレーム及びＶＬＡＮとＶＮＩとＶＴＥＰとの前記対応付けに基づいて前記レイヤ２フレームをレイヤ３パケットでカプセル化し、前記ルーティングに基づくトンネル経路に向けてカプセル化したパケットを送信する中継処理部と、を有する第一の通信装置。
3. 請求項２記載の第一の通信装置であって、
   前記中継処理部は、
   前記第一のトンネル経路と前記第二のトンネル経路とは異なるレイヤ３ネットワークに形成され、
   前記第一のトンネル経路を形成するＶＴＥＰは、一つのＶＬＡＮと対応づけられ、前記第一のトンネルにおける通信帯域が保証されるサービスを行い、
   前記第二のトンネル経路を形成するＶＴＥＰには複数のＶＬＡＮが対応づけられ、前記第二のトンネルにおける通信はベストエフォートにより通信サービスを行う、第一の通信装置。
4. 請求項２記載の第一の通信装置であって、
   さらに、第一のレイヤ３ネットワークに接続される第一のポートと、第二のレイヤ３ネットワークに接続される第二ポートとを備え、
   前記制御部は、
   前記第一のトンネル経路を形成する第一のＶＴＥＰのルーティングは、前記第一のレイヤ３ネットワークの出力先と前記第一のポートと第一の優先度との組み合わせと、前記第二のレイヤ３ネットワークの出力先と前記第二のポートと前記第一の優先度より低い第２の優先度との組み合わせと、が対応づけられ、
   前記第二のトンネル経路を形成する第二のＶＴＥＰのルーティングは、前記第二のレイヤ３ネットワークへの出力先と前記第二のポートが対応づけられ、
   ルーティングプロトコルを動作させることにより前記第一のレイヤ３ネットワークの状態を監視し、
   前記監視結果に基づいて、前記第一のトンネル経路の出力先の組み合わせを切り替え、
   前記中継処理部は、
   前記優先度に従って、前記第一のトンネル経路に対応付けられた出力先にパケットを送信する、第一の通信装置。
5. 請求項４記載の第一の通信装置であって、
   前記監視の結果、第一のレイヤ３ネットワークの状態が正常の場合、
   前記中継処理部は、前記第一のトンネル経路における前記第一のＶＴＥＰに対応づけられるＶＬＡＮに所属する端末の通信に対して通信帯域が保証されるサービスを行い、
   前記第二のトンネル経路における前記第二のＶＴＥＰに対応づけられる各ＶＬＡＮに所属する端末の通信に対して帯域を共有しベストエフォートにより通信サービスを行う、第一の通信装置。
6. 請求項４記載の第一の通信装置であって、
   前記制御部は、前記ＶＴＥＰはさらに同一トンネル経路におけるパケット送信優先度を示すＱｏＳ優先度を対応付け、
   前記監視結果、第一のレイヤ３ネットワークの状態が正常の場合、
   前記中継処理部は、前記第一のトンネル経路における前記第一のＶＴＥＰに対応づけられるＶＬＡＮに所属する端末の通信に対して通信帯域を保証して、パケットを前記第一のポートを介して前記第一のレイヤ３ネットワークに向けて送信し、
   前記第二のトンネル経路における前記第二のＶＴＥＰに対応づけられる各ＶＬＡＮに所属する端末の通信に対して帯域を共有しパケットを前記第二のポートを介して前記第二のレイヤ３ネットワークに向けて送信し、
   前記監視の結果、第一のレイヤ３ネットワークの状態が異常の場合、
   前記制御部は、前記第一のトンネル経路の出力先の組み合わせを切り替え、
   前記中継処理部は、前記第一のトンネル経路及び前記第二のトンネル経路に対応付けられるＶＬＡＮに所属する端末の通信は、前記ＶＴＥＰごとに対応付けられるＱｏＳ優先度に従って、パケットを送信する、第一の通信装置。
7. 複数の第一のレイヤ２ネットワークを介して接続される端末を収容する第一の通信装置と、と複数の第二のレイヤ２ネットワークを介して接続される端末を収容する第二の通信装置との間のパケット通信方法であって、
   前記レイヤ２ネットワークに接続される異なる前記物理ポートに接続されるレイヤ２ネットワークにおいて、それぞれ同一のＶＬＡＮ番号を持つＶＬＡＮに異なる仮想ネットワーク識別子（ＶＮＩ）を割り当てるとともに前記ＶＮＩを一つの仮想トンネルエンドポイント（ＶＴＥＰ）に所属させ、
   前記第一の通信装置と前記第二の通信装置それぞれは、ＶＴＥＰ毎に異なるIPアドレスを用いて、複数のレイヤ３ネットワークにそれぞれトンネル経路を形成し、
   第一のレイヤ２ネットワーク毎に対応するＶＬＡＮとに対して仮想ネットワーク識別子（ＶＮＩ）を設定し、
   前記第一のレイヤ２ネットワークからレイヤ２フレームを受信し、
   前記レイヤ２フレームの送信元端末が所属するＶＬＡＮに基づいてＶＬＡＮとＶＮＩとＶＴＥＰとの前記対応付けに基づいてレイヤ３パケットでカプセル化し、トンネル経路に向けてカプセル化したパケットを送信し、
   第一のトンネル経路に対応するＶＴＥＰに対して一のＶＮＩを割り当て、当該一のＶＮＩに属する端末の通信で前記第一のトンネル経路を形成する第一のレイヤ３ネットワークの帯域を占有し、
   第二のトンネル経路に対応するＶＴＥＰに対して複数のＶＮＩを割り当て複数のＶＮＩに属する端末の通信で前記第二のトンネル経路を形成する第二のレイヤ３ネットワークの帯域を共有し、
   前記第一のトンネル経路が異常を検出した場合、前記第２のレイヤ３ネットワークの帯域を共有して、前記第一のトンネル経路及び前記第二のトンネル経路に対応するＶＴＥＰに割り当てられるＶＮＩに属する端末の通信を行なう、
   パケット通信方法。

Images