JP2017130786A - 管理システム、管理方法及び管理プログラム - Google Patents

Abstract

【課題】サイト間をトンネル経路で接続するネットワークシステムにおいて、サイト間での仮想マシン移行時に生じるパケット廃棄の影響を低減することができる。【解決手段】複数のサイト及び該複数のサイト間を接続するトンネル経路を有するネットワークシステムにおいて、サイト間の仮想マシン（ＶＭ１）のマイグレーション（移行）を管理する管理装置２と、パケットを転送する転送装置３とを有する管理システムであって、管理装置２は、ＶＭ１のマイグレーション状況の進捗を監視するマイグレーション進捗管理部と、ＶＭ１のマイグレーション状況の進捗に応じて、マイグレーション対象のＶＭ１宛てのパケットの転送先を、ＶＭ１のマイグレーション中に該ＶＭ１に送信されたパケットをバッファリングするバッファ４に変更する転送先変更通知を少なくともＶＭ１のマイグレーション中に転送装置３に送信する転送先変更制御部と、を有する。【選択図】図１

Description

本発明は、管理システム、管理方法及び管理プログラムに関する。

従来のレイヤ２(Ｌ２)ネットワークは、同一ロケーション（サイト）内で構築されることが一般的であった。これに対し、近年、ＶＸＬＡＮ（Virtual eXtensible Local Area Network）やＥＶＰＮ（Ethernet（イーサネット（登録商標）） Virtual Private Network）など、ＷＡＮ（Wide Area Network）やプロバイダネットワークを経由するＬ２トンネルを設定するための技術の発達に伴い、異なるサイトで構築されたネットワーク間をＬ２トンネルで接続し、同一サブネットとして運用することが可能になった。また、仮想マシン技術の発達に伴い、サーバの位置を自由に変更することが可能になった。

これらの技術により、災害等によって、サーバが稼働しているサイトでサーバの稼働を継続することが困難になった場合に、遠隔地に構築したサイトへサーバを移行（マイグレーション）させることで、サービス提供を継続することが可能になった。例えば、地震等の災害の発生によって、現在サーバを稼働させているサイト周辺での停電やリンク等の切断が起こる場合が考えられる。この際、災害等の発生によって即時ネットワークが利用できなくなることはなく、ネットワークが利用できなくなるまでに数秒から数分の猶予時間が存在する。この時間が、サーバをバックアップ用のサイトに移動させるタイミングになる。

次に、仮想マシン（ＶＭ（Virtual Machine））の形で稼働しているサーバをバックアップ用の遠隔地のサイトにマイグレーションする場合の手順について説明する。

まず、ＶＭのＯＳ（Operating System）イメージを、マイグレーション先の物理サーバのメモリにコピーする。マイグレーション開始時、マイグレーション元のＶＭとマイグレーション先のＶＭとの間でメモリ情報の同期を開始する。ここで、メモリ情報の同期中、マイグレーション元のＶＭでは、パケット処理やアプリケーション処理によってメモリ情報が変化している。このため、変化が起こったメモリ情報をマイグレーション先のＶＭに逐次送信することにより同期が行われる。同期がある程度進んだところで、マイグレーション元のＶＭの稼働の停止、メモリ同期の完了、及び、マイグレーション先のＶＭの稼働再開を順次行う（例えば、非特許文献１参照）。

そして、ＶＭマイグレーション完了後には、マイグレーション先のサイトにＶＭ宛てのパケットが到着するように、マイグレーション元のＶＭに届いていたパケットの宛先をマイグレーション先のＶＭへと変更する処理を実行する必要がある。

ここで、プロバイダネットワークを介して接続するサイト間をＬ２トンネルで接続するＶＸＬＡＮプロトコルやＭＰＬＳ（Multi Protocol Label Switching）−ＥＶＰＮプロトコルなどを適用したネットワークシステムでは、サイトとプロバイダネットワークとの間にゲートウェイを配置することによってトンネルを終端している。プロバイダネットワークを介してパケットを送信する場合には、送信元のサイトのゲートウェイは、プロバイダネットワークを通過できるヘッダ（トンネリングプロトコル用ヘッダ）をパケットに添付してから、送信先のサイトのゲートウェイにパケットを転送する。そして、パケットを受信した送信先のゲートウェイは、パケットからヘッダを外し、宛先へとパケットを転送する。

このため、Ｌ２トンネルで接続するネットワークシステムの場合、マイグレーション先のＶＭへの宛先変更処理として、パケット転送先のゲートウェイを、マイグレーション元のサイトのゲートウェイからマイグレーション先のサイトのゲートウェイに変更する必要がある。

具体的に、ＶＸＬＡＮプロトコルを適用してネットワーク接続を行うネットワークシステムにおける従来のＶＭのマイグレーション状況を説明する。図２８は、ＶＸＬＡＮプロトコルを適用したネットワークシステムにおける従来のＶＭのマイグレーション状況を説明する図である。

ＶＸＬＡＮプロトコルを適用する場合、図２８に示すように、各サイトのトンネルの終端には、ＶＴＥＰ（VXLAN Tunnel End Point）が配置される。各ＶＴＥＰは、例えばサイトＧのＶＴＥＰ（２）のように、ＶＭのＭＡＣ（Media Access Control）アドレスと、ＶＭが位置するサイトのＶＴＥＰのＩＰアドレスとをそれぞれ対応付けた転送テーブルＴｐを有する。そして、各ＶＴＥＰは、転送テーブルＴｐを参照して、送信先のＶＭに対応するＶＴＥＰのＩＰアドレスを宛先アドレスとしたヘッダを添付して、カプセル化したパケットを転送する。

この場合、マイグレーションが完了したＶＭは、各ＶＴＥＰにブロードキャストパケットを送信し、ＶＭに対応するＶＴＥＰのＩＰアドレスを変更させている（図２８のセルＭｐ参照）。これによって、各ＶＴＥＰは、添付するヘッダの宛先を、マイグレーション先のゲートウェイのＩＰアドレスに変更し、マイグレーション先のサイトへパケットを転送する。

例えば、サイトＥからサイトＦへのマイグレーションが完了したＶＭ（１）は、サイトＦのＶＴＥＰ（３）を介してサイトＧのＶＴＥＰ（２）に、自身のＭＡＣアドレスを送信元アドレスとするブロードバンドキャストパケットを送信する。Ｌ２トンネルで接続するネットワークシステムでは、あるＭＡＣアドレス宛てのパケットの転送先を、該当するＭＡＣアドレスを送信元アドレスとするパケットの到着ポート情報をもとに決定している。このため、ＶＴＥＰ（２）は、ＶＭ（１）のＭＡＣアドレスを送信元とするブロードキャストパケットを、ＶＴＥＰ（３）に対応するポートを介して受信した場合には、ＶＭ（１）のＭＡＣアドレスに対応する転送先をＶＴＥＰ（３）のＩＰアドレスに変更する（テーブルＴｐ参照）。

このように、マイグレーションが完了したＶＭは、マイグレーション先のサイトからブロードキャストパケットを送信することによって、ＶＭ宛てのパケットの転送先をマイグレーション先に向かうものへと変更する。なお、ＥＶＰＮプロトコルを適用したネットワークシステムの場合には、ＭＰＬＳトンネルを経由して、宛先のサイトへパケットを転送する。この場合には、ＶＭのマイグレーション完了に伴い、マイグレーション元のゲートウェイに接続するＭＰＬＳトンネルからマイグレーション先のゲートウェイに接続するＭＰＬＳトンネルへと、パケット転送に使用するトンネルのラベルを変更することにより転送先の切り替えが行われる。

C. Clark, et al., "Live Migration of Virtual Machines," NSDI'05 Proceedings of the 2nd Symposium on Networked Systems Design & Implementation, pp273-286, 2005

従来の技術では、サイト間の距離が離れている場合に、破棄されるパケット量が増加するという課題があった。例えば、現にサーバが稼働しているサイトが受け得る災害の影響が、バックアップ用のマイグレーション先のサイトに及ばないように、これらの二つのサイト間の距離が離れていることが望ましい。このため、サイト間の距離が、例えば、数百キロから数千キロ離れる場合も考えられる。

前述したように、ＶＭマイグレーション後にパケットの転送先をマイグレーション先へと切り替えるために、マイグレーション完了後のＶＭは、マイグレーション先のサイトからブロードキャストパケットを送信する。そして、このパケットが通過することによって、各ゲートウェイは、転送テーブルを変更する。また、このＶＭのマイグレーションに伴い、マイグレーション元のサイトのＶＭは、指定されたタイミングで停止するため、ＶＭ停止後にマイグレーション元のサイトに届くＶＭ宛てのパケットは、受信されず破棄される。

しかしながら、マイグレーション先のサイトと他のサイトとの距離が離れている場合、ＶＭがマイグレーション先のサイトから送信したブロードキャストパケットが各サイトのゲートウェイを通過するまでに長時間を要してしまう。言い換えると、各ゲートウェイの転送テーブルが更新されない期間が長くなってしまう。

このため、マイグレーション先のサイトと他のサイトとの距離が離れているために各ゲートウェイの転送テーブルが更新されない期間が長くなってしまうと、マイグレーション元のサイトにおいて破棄されるパケット量が増加するという問題があった。

本発明は、上記に鑑みてなされたものであって、サイト間をトンネル経路で接続するネットワークシステムにおいて、サイト間での仮想マシン移行時に生じるパケット廃棄の影響を低減することができる管理システム、管理方法及び管理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る管理システムは、複数のサイト及び該複数のサイト間を接続するトンネル経路を有するネットワークシステムにおいて、サイト間の仮想マシンの移行を管理する管理装置と、パケットを転送する転送装置とを有する管理システムであって、前記管理装置は、前記仮想マシンが別サイトで稼働する装置へと移行する場合の前記仮想マシンの移行状況の進捗を監視する移行進捗管理部と、前記仮想マシンの移行状況の進捗に応じて、移行対象の仮想マシン宛てのパケットの転送先を、前記仮想マシンの移行中に該仮想マシンに送信されたパケットをバッファリングするバッファに変更する転送先変更通知を、少なくとも前記仮想マシンの移行中に前記転送装置に送信する転送先変更制御部と、を有し、前記転送装置は、前記転送先変更通知を受信した場合には、該転送先変更通知に従って、パケットの宛先である仮想マシンと仮想マシンに対応する転送先とをそれぞれ対応付けた転送テーブルにおける前記移行対象の仮想マシンに対応する転送先を前記バッファに変更する転送制御部を有することを特徴とする。

本発明によれば、サイト間をトンネル経路で接続するネットワークシステムにおいて、サイト間での仮想マシン移行時に生じるパケット廃棄の影響を低減することができる。

図１は、実施の形態１に係る管理システムの構成の一例を模式的に示す図である。 図２は、図１に示す管理装置の構成の一例を示すブロック図である。 図３は、図１に示す転送装置の構成の一例を示すブロック図である。 図４は、図１に示す管理システムによるＶＭマイグレーション時のパケット転送の流れを説明するシーケンス図である。 図５は、実施の形態１の実施例１に係る管理システムの構成の概略を示す図である。 図６は、実施の形態１の実施例１に係る管理システムの構成の一例を示す概略図である。 図７は、図６に示すトンネル終端装置の構成を示すブロック図である。 図８は、図７に示す記憶部が記憶する転送テーブルのデータ構成を説明する図である。 図９は、図８に示すトンネル終端装置の識別子情報の一例を説明する図である。 図１０は、図８に示すトンネル終端装置の識別子情報の他の例を説明する図である。 図１１は、図６に示す管理システムによるＶＭマイグレーション時のパケット転送の流れを説明する概略図である。 図１２は、図６に示す管理システムによるＶＭマイグレーション時のパケット転送の流れを説明する概略図である。 図１３は、図６に示す管理システムによるＶＭマイグレーション時のパケット転送の流れを説明する概略図である。 図１４は、図６に示す管理システムによるＶＭマイグレーション時のパケット転送の流れを説明する概略図である。 図１５は、実施の形態１の実施例１に係る管理システムの他の構成の概略を示す図である。 図１６は、実施の形態１の実施例２における管理システムによるＶＭマイグレーション時のパケット転送の流れを説明する概略図である。 図１７は、実施の形態１の実施例２における管理システムによるＶＭマイグレーション時のパケット転送の流れを説明する概略図である。 図１８は、実施の形態１の実施例２における管理システムによるＶＭマイグレーション時のパケット転送の流れを説明する概略図である。 図１９は、実施の形態１の実施例３に係る管理システムの構成の概略を示す図である。 図２０は、実施の形態２に係る管理システムの動作の概略を示す図である。 図２１は、実施の形態２の実施例１に係る管理システムにおけるＶＭマイグレーション時のパケット転送の流れを説明する図である。 図２２は、実施の形態２の実施例１に係る管理システムにおけるＶＭマイグレーション時のパケット転送の流れを説明する図である。 図２３は、実施の形態２の実施例１に係る管理システムにおけるＶＭマイグレーション時のパケット転送の流れを説明する図である。 図２４は、実施の形態２の実施例１に係る管理システムによるＶＭマイグレーション時のパケット転送の流れを説明するシーケンス図である。 図２５は、実施の形態２の実施例２に係る管理システムにおけるＶＭマイグレーション時のパケット転送の流れを説明する図である。 図２６は、実施の形態２の実施例２に係る管理システムにおけるＶＭマイグレーション時のパケット転送の流れを説明する図である。 図２７は、プログラムが実行されることにより、管理システムが実現されるコンピュータの一例を示す図である。 図２８は、ネットワークシステムにおける従来のＶＭのマイグレーション状況を説明する図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［実施の形態１］
実施の形態１に係る管理システムについて、管理システム全体の概略構成、管理システムにおける処理の流れ及び具体例を説明する。なお、以降で説明するサイト数や装置の台数等は、あくまで例示であり、これに限定されるものではない。

［管理システムの構成］
まず、図１を参照して、実施の形態１に係る管理システムの構成について説明する。図１は、実施の形態１に係る管理システムの構成の一例を模式的に示す図である。

図１に示すように、実施の形態１に係る管理システムは、移行（マイグレーション）対象のＶＭ１、管理装置２、転送装置３、バッファ４、バッファ制御装置５及び端末６を有する。図１に示す管理システムは、複数のサイト及び該複数のサイト間を接続するＬ２トンネル（トンネル経路）を有するネットワークシステムにおいて、ＶＭ１のマイグレーション状況を管理する。Ｌ２トンネルの構築方法として、ＶＸＬＡＮやＥＶＰＮなどの技術を適用することができる。また、各サイト内は、一例として、イーサネット（登録商標）によってＬＡＮ（Local Area Network）が形成されている。

ＶＭ１は、ＷｅｂサーバやＤＢサーバ等を実行する仮想的な装置であり、端末６との間で通信を行い、各種サービスを提供する。ＶＭ１は、ネットワークシステムを制御するコントローラ（不図示）からのＶＭ１を収容する物理サーバへの指示に基づき、サイトを跨いでマイグレーションされる。例えば、図１のＶＭ１は、マイグレーション元のサイトに設置された物理サーバからマイグレーション先へのサイトに設置された物理サーバにマイグレーションされる。本実施の形態１では、ＶＭ１のマイグレーションは、ＶＭ１を稼働させた状態で、丸ごと別の物理サーバに移動させるライブマイグレーションを想定している。なお、物理サーバは、通信インターフェース、プロセッサ、メモリ、仮想スイッチ等を有し、ＶＭ１を制御する。

管理装置２は、サイト間のＶＭ１のマイグレーションを管理する。具体的には、管理装置２は、ＶＭ１が別サイトで稼働する装置へとマイグレーションする場合のＶＭ１のマイグレーション状況の進捗を監視し、マイグレーションの進捗状況（例えば、何％まで進んだか）を把握する。また、管理装置２は、マイグレーションの進捗状況に応じて、マイグレーション対象のＶＭ１宛てのパケットの転送先を、ＶＭ１のマイグレーション中に該ＶＭ１に送信されたパケットをバッファリングするバッファ４に変更する転送先変更通知を、少なくともＶＭ１のマイグレーション中に転送装置３に送信する。

転送装置３は、ＶＭのＭＡＣアドレスとＶＭに対応する転送先のＩＰアドレスとをそれぞれ対応付けた転送テーブルに従って、到着したパケットを転送先に転送する。転送装置３は、ＶＭ１のマイグレーションに伴うパケットの転送先の変更を示す通知を受信した場合、該通知に従って、ＶＭ１の転送先を変更する。転送装置３は、仮想スイッチ、仮想ソフトウェアスイッチ、物理スイッチ或いはゲートウェイ等のＬ２トンネルを終端するトンネル終端装置である。

バッファ４は、ＶＭ１のマイグレーション中に該ＶＭ１に送信されたパケットをバッファリングする。なお、バッファ４は、実際には複数あるものとする。複数のバッファ４のうちマイグレーション対象のＶＭ１宛てのパケットをバッファリングするバッファは、予め選択されてもよいし、ネットワークシステムを制御するコントローラ或いは管理装置２が、マイグレーション対象のＶＭ１宛てのパケットをバッファリングするバッファ４を選択するようにしてもよい。

バッファ制御装置５は、受信した通知に従って、マイグレーション対象であるＶＭ１宛てのパケットのバッファ４へのパケットのバッファリングを制御する一方、バッファ４にバッファリングされたパケットをマイグレーションが完了したＶＭ１に送信する。バッファ制御装置５は、マイグレーション対象のＶＭ１のＭＡＣアドレスを、ネットワークシステムを制御するコントローラ或いは管理装置２から通知される。バッファ制御装置５は、通知されたＭＡＣアドレスを宛先とするパケットをバッファ４にバッファリングする。

端末６は、マイグレーション元或いはマイグレーション先のサイトで動作するＶＭ１にアクセスして、各種サービスを利用する情報処理装置である。端末６は、例えば、パソコンやスマートフォン等である。端末６がＶＭ１宛に送信したパケットは、端末６に対応する転送装置３に到着し、該転送装置３から他の転送装置３を経由して、ＶＭ１に転送される。

［管理装置の構成］
次に、管理装置２の構成を説明する。図２は、図１に示す管理装置２の構成の一例を示すブロック図である。図２に示すように、管理装置２は、制御部２１、通信部２２及び記憶部２３を有する。なお、管理装置２がバッファ４を有し、バッファ制御装置５の機能を有する場合もある。

制御部２１は、各種の処理手順などを規定したプログラム及び所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部３１は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。制御部２１は、識別子取得部２１１、バッファ選択部２１２、マイグレーション進捗管理部２１３、転送先変更制御部２１４及び通信制御部２１５を有する。

識別子取得部２１１は、ネットワークシステム内の各装置の識別子情報を取得する。具体的には、識別子取得部２１１は、マイグレーション対象のＶＭ１のＭＡＣアドレスと、マイグレーション先のサイトに接続するトンネルに関する識別子情報とを予め取得する。トンネルに関する識別子情報とは、例えば、ＶＸＬＡＮの場合にはＶＴＥＰのＩＰアドレスであり、ＭＰＬＳ−ＥＶＰＮの場合にはＰＥ（Provider Edge）に向かうＭＰＬＳトンネルのＬＳＰ（Label Switched Path）である。

例えば、識別子取得部２１１は、各装置の識別子情報を、オペレータから管理装置２の入力インターフェース（不図示）に入力されることによって取得する。或いは、識別子取得部２１１は、各装置とシグナリングによる情報交換を行うことによって、各装置の識別子情報を取得する。または、識別子取得部２１１は、各装置の識別子情報を蓄積する外部データベースに接続して、ネットワークシステム内の各装置の識別子情報を取得する。なお、外部データベースから情報を引き出すうえで必要な情報も識別子情報に含む。

バッファ選択部２１２は、マイグレーション対象のＶＭ１宛てのパケットをバッファリングするバッファ４を選択する。バッファ選択部２１２は、該選択したバッファ４を制御するバッファ制御装置５にマイグレーション対象のＶＭ１のＭＡＣアドレスを通知することによって、バッファ制御装置５に対してマイグレーション対象のＶＭ１のパケットのバッファリング開始を通知する。なお、マイグレーション対象のＶＭ１宛てのパケットをバッファリングするバッファ４は予め設定されていてもよいし、管理装置２以外の装置が選択するようにしてもよい。

マイグレーション進捗管理部２１３は、マイグレーション対象のＶＭ１のマイグレーション状況の進捗を管理する。言い換えると、マイグレーション進捗管理部２１３は、ＶＭ１のマイグレーション状況の進捗を監視する。例えば、マイグレーション進捗管理部２１３は、マイグレーションの度合（移行度）が何％まで進んだか、どの程度の速度でマイグレーションが行なわれているか、或いは、あとどのくらいでマイグレーションが完了するか、などの情報を監視する。

転送先変更制御部２１４は、マイグレーション対象のＶＭ１を宛先とするパケットの転送先をバッファ４に変更する転送先変更通知を、ＶＭ１のマイグレーション状況の進捗に応じて、少なくともＶＭ１のマイグレーション中に転送装置３に送信する。

具体的には、転送先変更制御部２１４は、ＶＭ１のマイグレーション中にマイグレーション対象のＶＭ１を宛先とするパケットの転送先を、バッファ制御装置５に変更する第１の転送先変更通知を各転送装置３に送信する。この場合、転送先変更制御部２１４は、マイグレーション進捗管理部２１３の進捗状況に基づいて、第１の転送先変更通知を送信するタイミングを判断する。

例えば、転送先変更制御部２１４は、マイグレーション進捗管理部２１３からＶＭ１のマイグレーションが何％まで達したかを示す情報を受け、ＶＭ１のマイグレーションの度合が所定の閾値（例えば７０％）を超えた場合に、第１の転送先変更通知を送信するタイミングであると判断する。

または、転送先変更制御部２１４は、ネットワークシステムのトラヒック状況を計測し、該計測した情報（例えば、通信遅延時間）とマイグレーション進捗管理部２１３によるＶＭ１のマイグレーション状況とを合わせた情報を基に所定のアルゴリズムを用いて第１の転送先変更通知を送信するタイミングを演算する。

例えば、転送先変更制御部２１４は、マイグレーション元のサイトとマイグレーション先のサイトとの間のトラヒック状況を計測する。そして、転送先変更制御部２１４は、この間のトラヒックが空いている場合、ＶＭ１のマイグレーションの度合に関する所定の閾値を下げて、該変更した所定の閾値（例えば６５％）をマイグレーションの度合が超えた場合に、第１の転送先変更通知を送信するタイミングであると判断する。つまり、トラヒック状況も考慮し、トラヒックが空いている場合には、マイグレーション完了までの時間が早まることに合わせて第１の転送先変更通知のタイミングを早める。

また、転送先変更制御部２１４は、ＶＭ１のマイグレーション完了後に、バッファ制御装置５に対してバッファ４にバッファリングされたマイグレーション対象のＶＭ１宛てのパケットを、マイグレーションが完了したＶＭ１に転送することを通知する。そして、転送先変更制御部２１４は、ＶＭ１のマイグレーション完了後に、マイグレーション対象のＶＭ１を宛先とするパケットの転送先をマイグレーション先のサイトに変更する第２の転送先変更通知を各転送装置３に送信する。

通信制御部２１５は、後述する通信部２２における通信処理を制御し、他の装置との間で各種情報を通信する。通信制御部２１５は、対向する装置との間にＬ２トンネルを確立する機能も有する。

通信部２２は、ネットワークを介して接続された装置と各種情報を送受信する通信インターフェースである。例えば、通信部２２は、バッファ制御装置５に対してパケットの転送の指示を送信したり、バッファ４からパケットを受信したりする。

記憶部２３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部２３には、管理装置２を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。

［転送装置の構成］
次に、転送装置３の構成を説明する。図３は、図１に示す転送装置３の構成の一例を示すブロック図である。図３に示すように、転送装置３は、制御部３１、通信部３２及び記憶部３３を有する。なお、転送装置３がバッファ４を有し、バッファ制御装置５の機能を有する場合もある。

制御部３１は、ＣＰＵやＭＰＵなどの電子回路であり、各種の処理手順などを規定したプログラムに従って種々の処理を実行する。制御部３１は、転送処理部３１１、転送制御部３１２及び通信制御部３１３を有する。

転送処理部３１１は、転送テーブル３３１（後述）に従って、到着したパケットを転送先に転送する。

転送制御部３１２は、パケットの転送処理を制御するとともに、転送先変更通知を受信した場合には、該転送先変更通知に従って、転送テーブルにおけるＶＭ１に対応する転送先をバッファ４に変更する。

通信制御部３１３は、後述する通信部３２における通信処理を制御し、他の装置との間で各種情報を通信する。通信制御部３１３は、対向する装置との間にＬ２トンネルを確立する機能を有してもよい。

通信部３２は、ネットワークを介して接続された装置と各種情報を送受信する通信インターフェースである。

記憶部３３は、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現され、転送装置３を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが記憶される。記憶部３３は、パケットの宛先であるＶＭと、ＶＭに対応する転送先とをそれぞれ対応付けた転送テーブル３３１を記憶する。

［ＶＭマイグレーション時のパケット転送の流れ］
図１及び図４を参照して、図１に示す管理システムによるＶＭマイグレーション時のパケット転送の流れを説明する。図４は、図１に示す管理システムによるＶＭマイグレーション時のパケット転送の流れを説明するシーケンス図である。

まず、ＶＭ１のマイグレーション処理（図４のステップＳ１）が開始すると、管理装置２は、マイグレーション進捗管理部２１３において、ＶＭ１のマイグレーション状況の進捗の管理（監視）（図４のステップＳ１及びステップＳ２）を開始する。続いて、管理装置２は、図１の（１）に示すように、バッファを選択する（図４のステップＳ３）。そして、図１の（２）に示すように、管理装置２のバッファ選択部２１２が、選択したバッファ４を制御するバッファ制御装置５にマイグレーション対象のＶＭ１のＭＡＣアドレスを通知し（図４のステップＳ４）、ＶＭ１宛てのパケットのバッファリング開始を通知する。

管理装置２では、マイグレーション進捗管理部２１３がＶＭ１のマイグレーション状況の進捗管理を継続し（図４のステップＳ５）、第１の転送先変更通知を送信するタイミングであるか否かを判断する（図４のステップＳ６）。例えば、転送先変更制御部２１４は、ＶＭ１のマイグレーションの度合が所定の閾値（例えば７０％）を超えた場合に、第１の転送先変更通知を送信するタイミングであると判断する。管理装置２は、第１の転送先変更通知を送信するタイミングでないと転送先変更制御部２１４が判断した場合（図４のステップＳ６：Ｎｏ）、ステップＳ５に戻り、マイグレーション状況の進捗管理を継続する。

これに対し、第１の転送先変更通知を送信するタイミングであると転送先変更制御部２１４が判断した場合（図４のステップＳ６：Ｙｅｓ）、管理装置２は、マイグレーション対象のＶＭ１を宛先とするパケットの転送先を、バッファ制御装置５に変更する第１の転送先変更通知を各転送装置３に送信する（図４のステップＳ７）。

第１の転送先変更通知を受信した各転送装置３は、第１の転送先変更通知に従って、マイグレーション対象のＶＭ１に対応する転送先を変更する（図４のステップＳ８）。すなわち、図１の（３）に示すように、各転送装置３は、マイグレーション対象のＶＭ１宛てのパケットＰがバッファに向かうよう経路情報を設定する。これによって、各転送装置３は、マイグレーション対象のＶＭ１宛に端末６が送信したパケットＰを、バッファ制御装置５に転送し（図４のステップＳ９）、バッファ制御装置５は、図１の（４）に示すように、到着したマイグレーション対象のＶＭ１宛てのパケットＰをバッファ４にバッファリングする（図４のステップＳ１０）。

管理装置２では、マイグレーション先のサイトへのＶＭ１のマイグレーションが完了したか否かを判断する（図４のステップＳ１１）。管理装置２は、マイグレーション先のサイトへのＶＭ１のマイグレーションが完了していないと判断した場合（図４のステップＳ１１：Ｎｏ）、該ステップＳ１１に戻り、マイグレーション先のサイトへのＶＭ１のマイグレーションが完了するまでステップＳ１１の判断処理を行う。

管理装置２は、マイグレーション先のサイトへのＶＭ１のマイグレーションが完了したと判断した場合（図４のステップＳ１１：Ｙｅｓ）、図１の（５Ａ）に示すように、バッファ制御装置５に対してバッファ４にバッファリングされたマイグレーション対象のＶＭ１宛てのパケットＰを、管理装置２に転送することを指示する（図４のステップＳ１２）。

これによって、バッファ制御装置５は、図１の（５Ｂ）に示すように、バッファ４にバッファリングされたマイグレーション対象のＶＭ１宛てのパケットをバッファ４に到着した順に管理装置２に転送する（図４のステップＳ１３）。バッファ制御装置５は、バッファ４内のマイグレーション対象のＶＭ１宛てのパケットＰがなくなるまで管理装置２に転送する。

なお、バッファ制御装置５は、管理装置２へのパケット転送を行っている間も、到着したＶＭ１宛てのパケットをバッファ４にバッファリングする。また、バッファ制御装置５と管理装置２との間のパケット転送は、Ｌ２トンネリングプロトコル（例えば、IEEE802.1ah）などを利用し、Ｌ２トンネルを介して行ってもよい。このＬ２トンネルは、予め設定されたものであってもよく、転送時に確立したものであってもよい。

管理装置２は、転送されたＶＭ１宛てのパケットＰを、マイグレーション先のサイトのＶＭ１に入力する（図４のステップＳ１４）。なお、バッファ制御装置５は、マイグレーション対象のＶＭ１宛てのパケットを、マイグレーションが完了したＶＭ１に直接転送してもよい。

続いて、管理装置２は、転送先変更制御部２１４がマイグレーション対象のＶＭ１を宛先とするパケットの転送先を、マイグレーション先のサイトに変更する第２の転送先変更通知を各転送装置３に送信する（図４のステップＳ１５）。

第２の転送先変更通知を受信した各転送装置３は、第２の転送先変更通知に従って、マイグレーション対象のＶＭ１に対応する転送先を変更する（図４のステップＳ１６）。すなわち、図１の（６）に示すように、各転送装置３は、ＶＭ１宛てのパケットが、マイグレーション先のサイトのＶＭ１に向かうよう経路情報を設定する。これによって、各転送装置３は、マイグレーション先のサイトのＶＭ１宛に端末６が送信したパケットを転送する（図４のステップＳ１７）。

［実施の形態１の効果］
本実施の形態１では、ＶＭ１のマイグレーション中に、各転送装置３に対し、マイグレーション対象のＶＭ１を宛先とするパケットの転送先を変更させている。このため、実施の形態１によれば、ＶＭ１のマイグレーション完了を待たずに、ＶＭ１宛てのパケットのマイグレーション元のサイトへの転送を停止することができるため、マイグレーション元のサイトで破棄されるパケット量を低減することが可能になる。

また、本実施の形態１では、ＶＭ１のマイグレーション中、各転送装置３に対し、マイグレーション対象のＶＭ１を宛先とするパケットの転送先をバッファ制御装置５に変更させることによって、ＶＭ１のマイグレーション中に端末６等から送信されたＶＭ１宛てのパケットをバッファ４にバッファリングしている。そして、実施の形態１では、ＶＭ１のマイグレーション完了後に、バッファ制御装置５に対し、バッファリングされたパケットを、マイグレーションが完了したＶＭ１に転送させている。したがって、実施の形態１によれば、マイグレーションが完了したＶＭ１は、マイグレーション元のサイトを含む他のサイトとマイグレーション先のサイトとの距離に関係なく、ＶＭ１のマイグレーション中に各端末６から送信されたＶＭ１宛てのパケットを損なうことなく、起動後すぐに受信することが可能になる。

また、Ｌ２トンネル技術を用いる場合は、プロバイダなど第三者が提供するネットワークシステムを用いることが多い。このようなプロバイダネットワークでは、コストを考慮すると、帯域が変動し、かつ、常に大容量帯域を確保可能ではないベストエフォート型の回線を利用するため、マイグレーション時にメモリデータの転送時間が長くなるとともに、転送に必要な時間がトラヒックの状況に応じて変動するという問題がある。この問題に対し、実施の形態１によれば、ＶＭ１のマイグレーション中に送信されたＶＭ１宛てのパケットをバッファリングすることによって、ＶＭ１は、マイグレーション完了までの期間の長短に関係なく、マイグレーション中に送信されたＶＭ１宛てのパケットを損なうことなく、起動後すぐに受信することが可能になる。

なお、管理装置２に代わって外部コントローラが各種動作を実行する場合もある。例えば、管理装置２によるＶＭ１のマイグレーション状況の進捗或いはＶＭ１のマイグレーション完了に応じて、コントローラ（不図示）が、転送装置３に転送先変更通知を送信してもよい。また、コントローラが、マイグレーション対象のＶＭ１宛てのパケットをバッファリングするバッファ４を選択し、該バッファ４を制御するバッファ制御装置５に対してマイグレーション対象のＶＭ１のＭＡＣアドレスを通知してもよい。

また、管理装置２による転送先変更の通知動作を、ＶＭ１、転送装置３及びバッファ制御装置５が行う場合もある。例えば、管理装置２が位置するサイトのトンネル終端装置が、管理装置２から、マイグレーション対象のＶＭ１のＭＡＣアドレスとバッファ制御装置５が位置するサイトの識別子情報と、を受信した場合、管理装置２に代わって、バッファ制御装置５に、マイグレーション対象のＶＭ１のパケットのバッファリング開始を通知する場合や、各転送装置３に第１の転送先変更通知を送信する場合がある。

また、ＳＴＰ（Spanning Tree Protocol）を使用している場合には、ＶＭ１のＭＡＣアドレスを通知されたバッファ制御装置５は、第１の転送先変更通知として、ブロードキャストパケットを各転送装置３に送信し、マイグレーション対象のＶＭ１を宛先とするパケットの転送先を、バッファ制御装置５に変更してもよい。この場合、バッファ制御装置５は、送信元アドレスをＶＭ１のＭＡＣアドレスにしたブロードキャストパケットを転送装置３に転送する。このブロードキャストパケットを転送装置３が受信すると、転送装置３は、パケットの到着ポートとパケットの送信元のアドレスとを見て、転送先のアドレスであるパケットを該ポートに出力する設定を行う。

また、マイグレーションが完了したＶＭ１自身が、第２の転送先変更通知として、ブロードキャストパケットを各転送装置３に送信してもよい。なお、送信元アドレスをＶＭ１のＭＡＣアドレスにしたブロードキャストパケットを転送装置３が受信すると、転送装置３は、パケットの到着ポートとパケットの送信元のアドレスとを対応付けておき、ＶＭ１のＭＡＣアドレスを宛先とするパケットが到着した場合には、該パケットを該ポートに出力する設定を行う。

以下、実施例１〜３を示して、実施の形態１の具体的な構成及び動作について説明する。実施例１は、バッファ４が、マイグレーション元のサイト及びマイグレーション先のサイトとは別のサイトにある例である。実施例２は、バッファ４がマイグレーション先のサイトにあり、同じサイトの管理装置２がパケットのバッファリング制御を行う例である。実施例３は、バッファ４がマイグレーション先のサイトにあり、同じサイトのトンネル終端装置がパケットのバッファリング制御を行う例である。

［実施の形態１の実施例１］
まず、実施の形態１の実施例１について説明する。図５は、本実施例１に係る管理システムの構成の概略を示す図である。

図５に示すように、本実施例１に係る管理システムが管理するネットワークシステムは、各サイトＡ〜Ｄ間は、プロバイダネットワーク等のネットワーク１０を介して接続する。複数のサイトＡ〜Ｄ間は、それぞれＬ２トンネルで接続される。各サイトＡ〜ＤのＬ２トンネルの終端には、トンネル終端装置３Ａ〜３Ｄが配置される。このトンネル終端装置３Ａ〜３Ｄは、Ｌ２トンネルを終端するとともに、到着したパケットを、転送テーブルに従って、転送先に転送する転送装置３としての機能も有する。各サイトＡ〜Ｄには、到着したパケットを、転送テーブルに従って転送先に転送するスイッチ等の通信機器も存在する。

そして、本実施例１では、ＶＭ１が、サイトＡからサイトＣにマイグレーションされる例を示す。なお、図５では、マイグレーション元のサイトＡ及びマイグレーション先のサイトＣには、それぞれ管理装置２Ａ，２Ｃがある場合を例示する。そして、図５では、サイトＤにバッファ４及びバッファ制御装置５が存在する場合を例示する。また、管理装置２Ａ，２Ｃは、同一サブネットに属する全トンネル終端装置３Ａ〜３Ｄから、ＶＭ１のマイグレーション先のサイトＣに接続するトンネル終端機能３Ｃに向かうＬ２トンネルの識別子情報を事前に入手している。また、識別子情報とは、後述するように、トンネル終端装置のＩＰアドレスやＭＰＬＳラベルなど、パケット転送を行う上で必要な情報のことをいう。

本実施例１では、ＶＭ１のマイグレーション中に、マイグレーション対象のＶＭ１宛てのパケットがバッファ４に転送されるように、マイグレーション対象のＶＭ１宛てのパケットの送信経路を矢印Ｙ１〜Ｙ３のように設定している。

まず、各Ｌ２トンネルの出入り口であるトンネル終端装置３Ａ〜３Ｄは、第１の転送先変更通知を受信することによって、マイグレーション対象のＶＭ１宛てのパケットが、バッファ４が存在するサイトＤに向かうように変更する（矢印Ｙ１参照）。

そして、マイグレーション元のサイトＡのトンネル終端装置３Ａは、マイグレーション元のサイトＡ内におけるマイグレーション対象のＶＭ１宛てのパケットの送信経路を、トンネル終端装置３Ａに向かう経路に変更する（矢印Ｙ２参照）。

さらに、バッファ制御装置５（バッファ４）が位置するサイトＤのトンネル終端装置３Ｄは、このサイトＤ内におけるマイグレーション対象のＶＭ１宛てのパケットの送信経路をバッファ制御装置５に向かう経路に変更し（矢印Ｙ３参照）、該パケットのバッファ制御装置５までの到着を効率化する。なお、サイトＤのトンネル終端装置３Ｄ内にバッファ４がある場合には、このサイトＤにおけるＶＭ１宛てのパケットの送信経路をバッファ制御装置５に向かう経路に変更する必要はない（図５のセルＭ１参照）。

続いて、マイグレーション完了後のＶＭ１が、バッファ４内のＶＭ１宛てのパケットを受信した後に、各トンネル終端装置３Ａ〜３Ｄは、ＶＭ１宛てのパケットがマイグレーション先のサイトＣのＶＭ１のみに送信されるようにＶＭ１宛てのパケットの送信経路を変更する。

次に、本実施例１における管理システムの具体的構成及び動作処理の流れについて説明する。図６は、実施の形態１の実施例１に係る管理システムの構成の一例を示す概略図である。

図６に示す管理システム１００Ａでは、マイグレーション元のサイトＡに、マイグレーション対象のＶＭ１のマイグレーション状況の進捗を管理する管理装置２Ａが位置する（セルＭ２参照）。また、各トンネル終端装置３Ａ〜３Ｄは、それぞれ転送テーブル（例えば、セルＭ３の転送テーブルＴ１）を有する。

［トンネル終端装置の構成］
次に、トンネル終端装置３Ａ〜３Ｄの構成について説明する。図７は、図６に示すトンネル終端装置３Ｄの構成を示すブロック図である。なお、他のトンネル終端装置３Ａ〜３Ｃもトンネル終端装置３Ｄと同様の構成を有する。

図７に示すように、トンネル終端装置３Ｄは、制御部１３１、通信部１３２及び記憶部１３３を有する。また、トンネル終端装置３Ｄは、バッファ４（不図示）を有し、バッファ制御装置５の機能を有する。

制御部１３１は、図３の制御部３１と同様に、ＣＰＵやＭＰＵなどの電子回路であり、各種の処理手順などを規定したプログラムに従って種々の処理を実行する。制御部１３１は、転送処理部１３１１、転送制御部１３１２、通信制御部１３１３、サイト内経路設定部１３１４及びバッファリング制御部１３１５を有する。

転送処理部１３１１は、転送処理部３１１と同様の機能を有する。転送処理部１３１１は、他のサイトに転送するパケットを、Ｌ２トンネルを介して転送するための処理を行う。

具体的には、転送処理部１３１１は、転送対象のパケットが到着すると、パケットの宛先のＭＡＣアドレスをもとに、宛先が存在するサイトに接続するＬ２トンネルの識別子情報を検索する。そして、転送処理部１３１１は、検索されたＬ２トンネルにパケットを通過させる。この場合、転送処理部１３１１は、トンネリングプロトコル用ヘッダを転送対象のパケットに添付してから、送信先のサイトにパケットを転送する。また、転送処理部１３１１は、受信したパケットからトンネリングプロトコル用ヘッダを外し、宛先へとパケットを転送する。転送処理部１３１１は、ＭＡＣ−ｉｎ−ＭＡＣ方式を採用してパケットをカプセル化し、該パケットを転送先に転送することもできる。

転送制御部１３１２は、転送制御部３１２と同様の機能を有し、転送テーブル１３３１（後述）において、宛先となるＭＡＣアドレスと、該宛先が存在するサイトに接続するトンネル終端装置３Ａ〜３Ｄに向かうＬ２トンネルの識別子情報とを対応付けて管理している。

通信制御部１３１３は、通信制御部３１３と同様に、後述する通信部１３２における通信処理を制御し、サイトＤ内の他の装置との間、或いは、ネットワーク１０を介した他のサイトＡ〜Ｄとの間で、各種情報を通信する。

サイト内経路設定部１３１４は、トンネル終端装置３Ｄが接続するサイトＤ内におけるパケットの送信経路を設定する。例えば、マイグレーション対象のＶＭ１を宛先とするパケットの転送先を、トンネル終端装置３Ｄ自身に変更させる場合には、サイト内経路設定部１３１４が、通信部１３２から、サイトＤ内のスイッチに対して、ＶＭ１のＭＡＣアドレスを送信元とするブロードキャストパケットを送信する。

バッファリング制御部１３１５は、受信した通知に従って、バッファ４へのパケットのバッファリングを制御する一方、バッファ４にバッファリングされたパケットを外部に送信する。

通信部１３２は、ネットワークを介して接続された装置と各種情報を送受信する通信インターフェースである。具体的には、トンネル終端装置３Ｄが接続するサイト内の各端末６と例えばＬＡＮで接続する通信インターフェースや、例えばＷＡＮ等でネットワーク１０と接続する通信インターフェースによって構成される。

記憶部１３３は、記憶部３３と同様に、半導体メモリ素子又は記憶装置によって実現され、トンネル終端装置３Ｄを動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが記憶される。記憶部１３３は、パケットの宛先となるＶＭの識別子情報とＶＭに対応する転送先の識別子情報とがそれぞれ対応付けられる転送テーブル１３３１を記憶する。

図８は、図７に示す記憶部１３３が記憶する転送テーブル１３３１のデータ構成を説明する図である。図８の転送テーブルＴ１に例示するように、転送テーブル１３３１は、ＶＭのＭＡＣアドレスと、ＶＭが位置するサイトのトンネル終端装置の識別子情報とがそれぞれ対応付けられている。例えば、ＶＭ１のマイグレーション前であれば、ＶＭ１は、マイグレーション元のサイトＡに位置するため、ＶＭ１のＭＡＣアドレスには、サイトＡのトンネル終端装置３Ａの識別子情報が対応付けられている。

なお、ＶＸＬＡＮプロトコルを適用したネットワークシステムの場合、図９に示すように、トンネル終端装置３Ｄは、ＶＭ１のＭＡＣアドレス（例えば、「aa:bb:cc:dd:ee:ff」）に、ＶＭ１が存在するＬＡＮ（サイトＡ）に接続するトンネル終端装置３ＡのＩＰアドレス（例えば、「192.168.11.1」）が対応付けられた転送テーブルＴａを管理する。また、ＭＰＬＳ−ＥＶＰＮプロトコルを適用したネットワークシステムの場合、図１０に示すように、トンネル終端装置３Ｄは、ＶＭ１のＭＡＣアドレス（例えば、「aa:bb:cc:dd:ee:ff」）に、ＶＭ１が存在するサイトＡのトンネル終端装置３Ａへと接続するＭＰＬＳトンネルのラベル（例えば、「Label:124」）が対応付けられた転送テーブルＴｂを管理する。

[ＶＭマイグレーション時のパケット転送の流れ]
次に、図６に示す管理システム１００ＡにおけるＶＭマイグレーション時のパケット転送の流れを説明する。図１１〜図１４は、図６に示す管理システム１００ＡによるＶＭマイグレーション時のパケット転送の流れを説明する概略図である。なお、管理システム１００Ａでは、トンネル終端装置３Ｄのバッファ４が、ＶＭマイグレーション時におけるＶＭ１宛てのパケットをバッファリングするバッファであることが予め決められており、トンネル終端装置３Ｄが、バッファ４に対するバッファリング制御を行うバッファ制御装置５としての機能も有する。

まず、ＶＭ１のライブマイグレーションが開始すると、管理装置２Ａは、マイグレーション進捗管理部２１３において、ＶＭ１のライブマイグレーションの進捗を管理する（図１１の（１）参照）。

管理装置２Ａが、ＶＭ１のライブマイグレーションの進捗（図１１のセルＭ２ａ参照）を基に第１の転送先変更通知を送信するタイミングであると判断した場合には（図１１のセルＭ２ａ参照）、同じサイトＡに接続するトンネル終端装置３Ａに、マイグレーション中のＶＭ１のＭＡＣアドレスと、バッファ４が存在するサイトに接続するトンネル終端装置３Ｄのアドレスと、を第１の転送先変更通知として通知する（図１１の（２）参照）。転送先変更制御部２１４は、例えば、ＶＭ１のマイグレーションの度合が閾値（例えば７０％）を超えた場合に（図１１のセルＭ２ａ参照）、第１の転送先変更通知を通知する。

マイグレーション元のサイトＡに接続するトンネル終端装置３Ａは、サイト内経路設定部１３１４が、マイグレーション中のＶＭ１のＭＡＣアドレスを取得した後、該ＭＡＣアドレスを送信元とするブロードキャストパケットをマイグレーション元のサイトＡ内に送信する。これによって、サイトＡ内のスイッチは、マイグレーション中のＶＭ１宛てのパケットの送信先を、トンネル終端装置３Ａに変更する。この結果、サイトＡのトンネル終端装置３Ａは、マイグレーション元のサイトＡ内に存在する端末からマイグレーション中のＶＭ１のＭＡＣアドレス宛てのパケットを受信できるようになるので、それをマイグレーション先のサイトＤに接続するトンネル終端装置３Ｄへと効率的に転送することが可能になる（図１１の（２´）参照）。

そして、トンネル終端装置３Ａは、他のトンネル終端装置３Ｂ〜３Ｄに第１の転送先変更通知を通知し、通知を受けたトンネル終端装置３Ｂ〜３Ｄは、ライブマイグレーション中のＶＭ１宛てのパケットの転送先を、バッファ４が存在するサイトＤのトンネル終端装置３Ｄのアドレスに変更する（図１１の（３）参照）。具体的には、トンネル終端装置３Ｂは、図１１のセルＭ４に示すように、転送テーブルＴ１において、ＶＭ１のＭＡＣアドレスに対応付けられたトンネル終端装置の識別子情報を、サイトＡのトンネル終端装置３Ａから、サイトＤのトンネル終端装置３Ｄに変更する（転送テーブルＴ１ａ参照）。なお、他のトンネル終端装置３Ａ，３Ｃ，３Ｄにおいても同様に転送テーブルが変更される。

さらに、トンネル終端装置３Ａは、バッファ４が存在するサイトＤのトンネル終端装置３Ｄに、マイグレーション中のＶＭ１のＭＡＣアドレスが宛先になっているパケットをバッファ４に記録するように通知する（図１１の（４）参照）。

各トンネル終端装置３Ａ〜３Ｃは、マイグレーション中のＶＭ１宛てのパケットが到着すると、ＭＡＣアドレスをチェックし、転送テーブルＴ１ａに従って（図１２のセルＭ４参照）、バッファ４が存在するサイトＤに向けて送信する（図１２の（５）参照）。そして、サイトＤのトンネル終端装置３Ｄは、マイグレーション中のＶＭ１宛てのパケットを、トンネル終端装置３Ｄ内のバッファ４に格納する（図１３の（６−１）参照）。

サイトＣへのＶＭ１のマイグレーション完了後、サイトＣのＶＭ１は、サイトＤのバッファ４とＶＭ１との間にＬ２トンネル７を設定し、その後、該Ｌ２トンネル７を経由してパケット転送を促す通知をトンネル終端装置３Ｄに送信する（図１４の（７）参照）。サイトＤのトンネル終端装置３Ｄは、この通知を受信後、バッファ４内のＶＭ１宛てのパケットを、Ｌ２トンネル７を介して、サイトＣのＶＭ１に送信し、バッファ４内のＶＭ１宛てのパケットがなくなると、ＶＭ１にブロードキャストパケットを送信するように通知する（図１４の（８）参照）。

これによって、ＶＭ１は、Ｌ２ネットワーク内にブロードキャストパケットを送信する。このブロードキャストパケットを受信したＬ２ネットワーク内のスイッチ及びトンネル終端装置３Ａ〜３Ｄは、ＶＭ１のＭＡＣアドレス宛てのパケットの転送先を、ＶＭ１のマイグレーション先のサイトＣへと変更する（図１４の（９）参照）。具体的には、トンネル終端装置３Ｂは、図１４のセルＭ６に示すように、転送テーブルＴ１ａにおいて、ＶＭ１のＭＡＣアドレスに対応付けられたトンネル終端装置の識別子情報を、サイトＤのトンネル終端装置３Ｄから、サイトＣのトンネル終端装置３Ｃに変更する（転送テーブルＴ１ｂ参照）。なお、他のトンネル終端装置３Ａ，３Ｃ，３Ｄにおいても同様に転送テーブルが変更される。

管理システム１００Ａでは、図１１〜図１４に説明した流れで、各装置が処理を行うことによって、マイグレーションが完了したＶＭ１は、ＶＭ１のマイグレーション中に各端末から送信されたＶＭ１宛てのパケットを損なうことなく、起動後すぐに受信することが可能になる。

また、図１５に例示するように、バッファ４が、トンネル終端装置３Ｄと別の装置内に存在してもよい。図１５は、実施の形態１の実施例１に係る管理システムの他の構成の概略を示す図である。図１５に示す構成では、サイトＤのトンネル終端装置３Ｄは、サイトＤ内のバッファ４及びバッファ４を制御するバッファ制御装置５とは独立している。トンネル終端装置３Ｄとバッファ制御装置５との間には、Ｌ２トンネル７Ｄが事前に設定されている。

図１５に示す例では、第１の転送先変更通知を受信した場合、トンネル終端装置３Ａ〜３Ｄは、マイグレーション対象のＶＭ１宛てのパケットがサイトＤに向かうように変更し（矢印Ｙ１参照）、マイグレーション元のサイトＡのトンネル終端装置３Ａは、マイグレーション元のサイトＡ内のＶＭ１宛てのパケットの送信経路を、トンネル終端装置３Ａに向かう経路に変更する（矢印Ｙ２参照）のみでよい。

サイトＤのトンネル終端装置３Ｄは、Ｌ２トンネル７Ｄを介して、バッファ４に、マイグレーション中のＶＭ１宛てのパケットを転送でき（矢印Ｙ３Ａ参照）、トンネル終端装置３Ｄからバッファ４への転送処理を効率化できる。また、トンネル終端装置３Ｄは、サイトＤ内の経路変更を行う必要がなく、サイトＤ内の端末等から送信されたＶＭ１宛てのパケットは、まずトンネル終端装置３Ｄに転送されてから（矢印Ｙ４参照）、トンネル終端装置３Ｄによって、バッファ制御装置５に転送される（矢印Ｙ３Ａ参照）。

このように、バッファ４が、トンネル終端装置３Ｄと別の装置内に存在する場合であっても、トンネル終端装置３Ｄとバッファ制御装置５との間に予めＬ２トンネル７Ｄを設定し、該Ｌ２トンネル７Ｄを介してバッファリング対象のパケットを転送することによって、バッファ４へのパケットのバッファリングを効率化することができる。なお、トンネル終端装置３Ｄは、Ｌ２トンネル７Ｄを介さず、Ｍａｃ−ｉｎ−Ｍａｃを用いてパケットをバッファ４に転送してもよい。

［実施の形態１の実施例２］
次に、実施の形態１の実施例２における管理システムの具体的構成及び動作処理の流れについて説明する。図１６〜図１８は、実施の形態１の実施例２における管理システム１００ＢによるＶＭマイグレーション時のパケット転送の流れを説明する概略図である。

管理システム１００Ｂは、図６に示す管理システム１００Ａと比して、マイグレーション先のサイトＣに、ＶＭ１のマイグレーション状況の進捗を管理する管理装置２Ｃが位置する点が異なる。また、該管理装置２Ｃは、内部にバッファ４を有し、該バッファ４に対するバッファリング制御も行う。

[ＶＭマイグレーション時のパケット転送の流れ]
まず、サイトＡからＶＭ１のライブマイグレーションが開始すると、管理装置２Ｃは、ＶＭ１のマイグレーション状況を管理し、マイグレーションの度合が閾値を超えると、マイグレーション中のＶＭ１のＭＡＣアドレスを送信元とするブロードキャストパケットをＬ２ネットワーク内に送信する（図１６の（１）参照）。

ブロードキャストパケットを受信した各トンネル終端装置３Ａ〜３Ｄは、マイグレーション中のＶＭ１宛てのパケットの転送先を、マイグレーション先のサイトＣに接続するトンネル終端装置３Ｃに変更する（図１６の（２）参照）。例えば、トンネル終端装置３Ｂは、図１６のセルＭ７に示すように、転送テーブルＴ１において、ＶＭ１のＭＡＣアドレスに対応付けられたトンネル終端装置の識別子情報を、サイトＡのトンネル終端装置３Ａから、サイトＣのトンネル終端装置３Ｃに変更する（転送テーブルＴ１ｂ参照）。

ブロードキャストパケットを受信したサイトＣ内のスイッチは、マイグレーション中のＶＭ１宛てのパケットの送信先を、マイグレーション先のサイトＣに接続するトンネル終端装置３Ｃに変更する（図１６の（３）参照）。

続いて、管理装置２Ｃは、各転送装置によるＶＭ１宛てのパケットのサイトＣへの転送先変更に伴い、トンネル終端装置３Ｃを介して、マイグレーション中のＶＭ１のＭＡＣアドレスを宛先とするパケットを受信した場合、バッファ４に記録する（図１７の（４）参照）。

そして、管理装置２Ｃは、ＶＭ１のマイグレーション完了を検知すると、バッファ４にバッファリングしたＶＭ１宛てのパケットを、ＶＭ１に送信する（図１８の（５）参照）。この場合、管理装置２Ｃは、管理装置２ＣとＶＭ１との間に設定されたＬ２トンネルを経由して、パケットをＶＭ１に送信してもよい。また、管理装置２Ｃは、ＶＭ１が管理装置２Ｃによって管理されている場合にはプロセス間通信によってパケットをＶＭ１に送信してもよい。また、管理装置２Ｃは、Ｍａｃ−ｉｎ−Ｍａｃを用いてパケットをＶＭ１に転送してもよい。

ＶＭ１へのバッファ４内のパケット送信が終了すると、管理装置２Ｃは、ＶＭ１にブロードキャストパケットの送信を依頼する（図１８の（６）参照）。これに応じて、ＶＭ１は、第２の転送先変更通知として、Ｌ２サブネット内にブロードキャストパケットを送信する（図１８の（７）参照）。このＶＭ１によるブロードキャストパケットを受信したトンネル終端装置３Ａ〜３Ｄ及び各スイッチは、サイトＣに向けて、ＶＭ１宛てのパケットの転送を開始する。

管理システム１００Ｂでは、図１６〜図１８に説明した流れで、各装置が処理を行うことによって、マイグレーションが完了したＶＭ１は、ＶＭ１のマイグレーション中に各端末から送信されたＶＭ１宛てのパケットを損なうことなく、起動後すぐに受信することが可能になる。

［実施の形態１の実施例３］
図１９は、実施の形態１の実施例３に係る管理システム１００Ｃの構成の概略を示す図である。管理システム１００Ｃは、図６に示す管理システム１００Ａと比して、マイグレーション先のサイトＣのトンネル終端装置３Ｃが、バッファ４を有し、バッファ制御装置５としての機能も有する点が異なる。

管理システム１００Ｃでは、第１の転送先変更通知を受信した場合、トンネル終端装置３Ａ〜３Ｄは、マイグレーション対象のＶＭ１宛てのパケットが、バッファ４が存在するサイトＣに向かうように変更する（矢印Ｙ１Ｃ参照）。具体的には、トンネル終端装置３Ｂは、セルＭ１０に示すように、転送テーブルＴ１において、ＶＭ１のＭＡＣアドレスに対応付けられたトンネル終端装置の識別子情報を、サイトＡのトンネル終端装置３Ａから、サイトＣのトンネル終端装置３Ｃに変更する（転送テーブルＴ１ｂ参照）。なお、他のトンネル終端装置３Ａ，３Ｃ，３Ｄにおいても同様に転送テーブルが変更される。

そして、マイグレーション元のサイトＡのトンネル終端装置３Ａは、サイトＡ内のＶＭ１宛てのパケットの送信経路を、トンネル終端装置３Ａに向かう経路に変更する（矢印Ｙ２参照）。なお、サイトＣのトンネル終端装置３Ｃ内にバッファ４があるため、このサイトＣにおけるＶＭ１宛てのパケットの送信経路の変更は不要である。サイトＣ内の端末等から送信されたＶＭ１宛てのパケットは、まずトンネル終端装置３Ｃに転送され（矢印Ｙ３Ｃ参照）、トンネル終端装置３Ｃのバッファ４にバッファリングされる。なお、後の流れは、実施例１，２と同様である。

［実施の形態２］
実施の形態１では、ＶＭ１のマイグレーション中に、ＶＭ１宛てのパケットをバッファ４に転送する場合について説明したが、バッファ４に加えてマイグレーション元のサイトにもＶＭ１宛てのパケットを転送する構成も考えられる。そこで、実施の形態２では、ＶＭ１のマイグレーション中に、バッファ４とマイグレーション元のサイトとの双方にＶＭ１宛てのパケットを転送する構成について説明する。

図２０は、実施の形態２に係る管理システムの動作の概略を示す図である。図２０に示すように、実施の形態２に係る管理システムでは、図５に示す管理システムと比して、ＶＭ１のマイグレーション中に、マイグレーション対象のＶＭ１宛てのパケットが、バッファ４に加え、マイグレーション元のサイトにも転送されるように、マイグレーション対象のＶＭ１宛てのパケットの送信経路を矢印Ｙ２１〜Ｙ２５のように設定している。

まず、管理装置２Ａは、各トンネル終端装置３Ａ〜３Ｄ及び各スイッチに対して、マイグレーション対象のＶＭ１を宛先とするパケットの転送先を、バッファ制御装置５及びマイグレーション元のサイトＡのＶＭ１に変更する第１の転送先変更通知を送信する。

そして、各Ｌ２トンネルの出入り口であるトンネル終端装置３Ａ〜３Ｄは、第１の転送先変更通知を受信することによって、マイグレーション対象のＶＭ１宛てのパケットが、バッファ４が存在するサイトＤと、マイグレーション元のサイトＡとの双方に向かうように変更する（矢印Ｙ２１及び矢印Ｙ２２参照）。続いて、マイグレーション元のサイトＡに接続するトンネル終端装置３Ａは、マイグレーション中のＶＭ１との間にＬ２トンネル７Ａを設け、到着したＶＭ１宛てのパケットをＬ２トンネル７Ａ経由で転送する（矢印Ｙ２５参照）。

また、図５と同様に、マイグレーション元のサイトＡのトンネル終端装置３Ａは、マイグレーション元のサイトＡ内におけるＶＭ１宛てのパケットの送信経路を、トンネル終端装置３Ａに向かう経路に変更する（矢印Ｙ２３参照）。そして、バッファ制御装置５（バッファ４）が位置するサイトＤのトンネル終端装置３Ｄは、サイトＤ内におけるＶＭ１宛てのパケットの送信経路をバッファ制御装置５に向かう経路に変更する（矢印Ｙ２４参照）。

続いて、マイグレーション完了後のＶＭ１が、バッファ４のＶＭ１宛てのパケットを受信した後に、各トンネル終端装置３Ａ〜３Ｄは、ＶＭ１宛てのパケットがマイグレーション先のサイトＣのＶＭ１のみに送信されるようにＶＭ１宛てのパケットの送信経路を変更する。

［実施の形態２の効果］
本実施の形態２では、ＶＭ１のマイグレーション中に、各転送装置３に対し、マイグレーション対象のＶＭ１を宛先とするパケットの転送先として、バッファ制御装置５に加えて、マイグレーション元のサイトを追加させることによって、ＶＭ１宛てのパケットをバッファ４にバッファリングするとともに、ＶＭ１のマイグレーション中にもＶＭ１宛てのパケットをＶＭ１自身が受信し、マイグレーション先にマイグレーションしている。したがって、実施の形態２では、ＶＭ１のマイグレーション完了後、バッファ制御装置５は、バッファ４内のパケットのうち、マイグレーション元のサイトＡのＶＭ１の停止以降にバッファ４に到着したパケットのみを転送すれば足りる。

このように、実施の形態２は、実施の形態１と同様の効果を奏するとともに、マイグレーション完了後にバッファ４からＶＭ１に転送するパケット量を低減することができる。このため、実施の形態２によれば、マイグレーション完了後におけるバッファ４からＶＭ１へのパケット転送時間を短縮化でき、これに伴い、マイグレーション完了後のトンネル終端装置３Ａ〜３Ｄにおける転送先変更までの時間も短縮化できる。

以下、実施例１，２を示して、実施の形態２の具体的な構成及び動作について説明する。実施例１は、マイグレーション中に、マイグレーション元のサイトと、マイグレーション元のサイト及びマイグレーション先のサイトとは別のサイトにあるバッファ４との双方に、ＶＭ１宛てのパケットを転送する例である。実施例２は、マイグレーション中に、マイグレーション元のサイトと、マイグレーション先のサイトにあるバッファ４との双方に、ＶＭ１宛てのパケットを転送する例である。

［実施の形態２の実施例１］
まず、実施の形態２の実施例１について説明する。図２１〜図２３は、実施の形態２の実施例１に係る管理システム２００ＡにおけるＶＭマイグレーション時のパケット転送の流れを説明する図である。図２１に示す管理システム２００Ａは、サイトＤのトンネル終端装置３Ｄがバッファ４を有する管理システム１００Ａ（図６参照）と同様の構成であり、各装置の動作が異なる。

まず、ＶＭ１のライブマイグレーションが開始すると、管理装置２Ａは、ＶＭ１のライブマイグレーションの進捗を管理する（図２１の（１）参照）。

管理装置２Ａは、ＶＭ１のライブマイグレーションの進捗（図２１のセルＭ２ａ参照）を基に第１の転送先変更通知を送信するタイミングであると判断した場合には、同じサイトＡに接続するトンネル終端装置３Ａに、マイグレーション中のＶＭ１のＭＡＣアドレスと、バッファ４が存在するサイトＤに接続するトンネル終端装置３Ｄのアドレス及びマイグレーション元のサイトＡのトンネル終端装置３Ａのアドレスと、を第１の転送先変更通知として通知する（図２１の（２）参照）。

そして、トンネル終端装置３Ａは、他のトンネル終端装置３Ｂ〜３Ｄに第１の転送先変更通知を通知し、通知を受けたトンネル終端装置３Ｂ〜３Ｄは、ライブマイグレーション中のＶＭ１宛てのパケットの転送先を、バッファ４が存在するサイトＤに接続するトンネル終端装置３Ｄ及びマイグレーション元のサイトＡのトンネル終端装置３Ａと、に変更する（図２１の（３）参照）。具体的には、トンネル終端装置３Ｂは、図２１のセルＭ２１に示すように、転送テーブルＴ１において、ＶＭ１のＭＡＣアドレスに対応付けられたトンネル終端装置の識別子情報を、サイトＡのトンネル終端装置３Ａと、サイトＤのトンネル終端装置３Ｄとに変更する（転送テーブルＴ２ａ参照）。なお、他のトンネル終端装置３Ａ，３Ｃ，３Ｄにおいても同様に転送テーブルが変更される。

さらに、トンネル終端装置３Ａは、バッファ４を有するサイトＤのトンネル終端装置３Ｄに、ＶＭ１のＭＡＣアドレスが宛先になっているパケットをバッファ４に記録するように通知する（図２１の（４）参照）。

これによって、各トンネル終端装置３Ａ〜３Ｄは、マイグレーション中のＶＭ１宛てのパケットが到着すると、ＭＡＣアドレスをチェックし、転送テーブルＴ２ａに従って（図２１のセルＭ２１参照）、到着したパケットを、バッファ４が存在するサイトＤ及びマイグレーション元のサイトＡに向けて送信する（図２１の（５）参照）。マイグレーション元のサイトＡのトンネル終端装置３Ａは、マイグレーション中のＶＭ１宛てのパケットを、Ｌ２トンネル７Ａ経由で転送する（図２１の（５´）参照）。一方、サイトＤのトンネル終端装置３Ｄは、ＶＭ１宛てのパケットをバッファ４に格納する（図２１の（６）参照）。

サイトＣへのＶＭ１のマイグレーション完了後、サイトＣのＶＭ１は、サイトＤのバッファ４とＶＭ１との間にＬ２トンネル７を設定し、その後、Ｌ２トンネル７を経由してパケット転送を促す通知をトンネル終端装置３Ｄに送信する（図２２の（７）参照）。サイトＤのトンネル終端装置３Ｄは、この通知を受信後、バッファ４内のＶＭ１宛てのパケットを、Ｌ２トンネル７を介して、サイトＣのＶＭ１に送信し、バッファ４内のパケットがなくなると、ＶＭ１にブロードキャストパケットを送信するように通知する（図２２の（８）参照）。このとき、トンネル終端装置３Ｄは、バッファ４内のパケットのうち、マイグレーション元のサイトＡのＶＭ１の停止以降にバッファ４に到着したパケットのみを転送すれば足りる。

これによって、ＶＭ１は、第２の転送先変更通知として、Ｌ２ネットワーク内にブロードキャストパケットを送信する（図２３の（９）参照）。受信したトンネル終端装置３Ｃは、ＶＭ１に向けたＤ−Ｐｌａｎｅパケットの送信を開始する（図２３の（１０）参照）。言い換えると、トンネル終端装置３Ｃは、該トンネル終端装置３Ｃに到着したＶＭ１宛てのパケットを、宛先であるサイトＣのＶＭ１に転送する。

これとともに、トンネル終端装置３Ｃは、ブロードキャストパケットを他のトンネル終端装置３Ａ，３Ｂ，３Ｄに通知する。トンネル終端装置３Ａ，３Ｂ，３Ｄは、それを受け、マイグレーション元のサイトＡへの転送を停止する（図２３の（１１）参照）。言い換えると、トンネル終端装置３Ａ〜３Ｄは、ＶＭ１のＭＡＣアドレス宛てのパケットの転送先を、ＶＭ１のマイグレーション先のサイトＣのトンネル終端装置３Ｃに変更する。

具体的には、トンネル終端装置３Ｂは、図２３のセルＭ２２に示すように、転送テーブルＴ２ａにおいて、ＶＭ１のＭＡＣアドレスに対応付けられたトンネル終端装置の識別子情報を、サイトＡのトンネル終端装置３Ａ及びサイトＤのトンネル終端装置３Ｄから、サイトＣのトンネル終端装置３Ｃに変更する（転送テーブルＴ２ｂ参照）。なお、他のトンネル終端装置３Ａ，３Ｃ，３Ｄにおいても同様に転送テーブルが変更される。

図２４は、管理システム２００ＡによるＶＭマイグレーション時のパケット転送の流れを説明するシーケンス図である。図２４に示すステップＳ２１〜ステップＳ２６は、図４に示すステップＳ１〜ステップＳ６である。なお、管理システム２００Ａでは、トンネル終端装置３Ｄが、内部にバッファ４を有し、バッファ制御装置５の機能を有するため、ステップＳ２４におけるバッファリング開始通知は、サイトＤのトンネル終端装置３Ｄに送信される。

管理装置２Ａは、第１の転送先変更通知を送信するタイミングであると判断した場合（ステップＳ２６：Ｙｅｓ）、マイグレーション対象のＶＭ１を宛先とするパケットの転送先を、バッファ制御装置５の機能を有するサイトＤのトンネル終端装置３Ｄ及びマイグレーション元のサイトＡに変更する第１の転送先変更通知を各トンネル終端装置３Ａ〜３Ｄに送信する（ステップＳ２７）。各トンネル終端装置３Ａ〜３Ｄは、第１の転送先変更通知に従って、マイグレーション対象のＶＭ１に対応する転送先をトンネル終端装置３Ｄ及びマイグレーション元のサイトＡに変更する（ステップＳ２８）。

これによって、各トンネル終端装置３Ａ〜３Ｄは、ＶＭ１宛てに端末６が送信したパケットを、バッファ４を有するトンネル終端装置３Ｄに転送するとともに（ステップＳ２９−１〜ステップＳ２９−３）、マイグレーション元のサイトＡのトンネル終端装置３Ａにも転送する（ステップＳ３０−１〜ステップＳ３０−３）。

次いで、トンネル終端装置３Ａは、到着したＶＭ１宛てのパケットを、サイトＡのマイグレーション中のＶＭ１に転送する（ステップＳ３１−１〜ステップＳ３１−３）。また、トンネル終端装置３Ｄは、到着したＶＭ１宛てのパケットをバッファ４にバッファリングする（ステップＳ３２）。

マイグレーション先のサイトＡにおいてＶＭ１のマイグレーションが完了した場合（ステップＳ３３）、サイトＡのＶＭ１は、トンネル終端装置３Ｄに対してバッファ４内のＶＭ１宛てのパケットの転送を指示する（ステップＳ３４）。この指示に応じて、トンネル終端装置３Ｄは、バッファ４内のＶＭ１宛てのパケットのうち、サイトＡでのＶＭ１の停止以降にバッファ４に到着したパケットを、バッファ４に到着した順にＶＭ１に転送する（ステップＳ３５）。

続いて、サイトＣのＶＭ１は、第２の転送先変更通知として、トンネル終端装置３Ｃにブロードキャストパケットを送信する（ステップＳ３６）。トンネル終端装置３Ｃは、該ブロードキャストパケットを受け、ＶＭ１のＭＡＣアドレス宛てのパケットの転送先を、マイグレーション先のサイトＣのトンネル終端装置３Ｃに変更する（ステップＳ３７）。そして、トンネル終端装置３Ｃは、ブロードキャストパケットを他のトンネル終端装置３Ａ，３Ｂ，３Ｄに通知する（ステップＳ３８）。トンネル終端装置３Ａ，３Ｂ，３Ｄは、該ブロードキャストパケットを受け、ＶＭ１のＭＡＣアドレス宛てのパケットの転送先を、マイグレーション先のサイトＣのトンネル終端装置３Ｃに変更する（ステップＳ３９）。

管理システム２００Ａでは、図２１〜図２４に説明した流れで各装置が処理を行うことによって、マイグレーションが完了したＶＭ１は、ＶＭ１のマイグレーション中に各端末から送信されたＶＭ１宛てのパケットを損なうことなく受信できるとともに、マイグレーション完了後にＶＭ１に転送されるパケット量も低減できるため、マイグレーション完了後のトンネル終端装置３Ａ〜３Ｄにおける転送先変更までの時間も短縮化できる。

［実施の形態２の実施例２］
次に、実施の形態２の実施例２について説明する。図２５及び図２６は、本実施例２に係る管理システム２００ＢにおけるＶＭマイグレーション時のパケット転送の流れを説明する図である。図２５に示す管理システム２００Ｂは、図１９に示す管理システム１００Ｃと同様の構成であり、各装置の動作が異なる。

まず、ＶＭ１のライブマイグレーションが開始すると、管理装置２Ａは、ＶＭ１のライブマイグレーションの進捗を管理する（図２５の（１）参照）。

管理装置２Ａは、ＶＭ１のライブマイグレーションの進捗（図２１のセルＭ２ａ参照）を基に第１の転送先変更通知を送信するタイミングであると判断した場合には、同じサイトＡに接続するトンネル終端装置３Ａに、マイグレーション中のＶＭ１のＭＡＣアドレスと、バッファ４が存在するサイトＣに接続するマイグレーション先のサイトＣのトンネル終端装置３Ｃのアドレス及びマイグレーション元のサイトＡのトンネル終端装置３Ａのアドレスと、を通知する（図２５の（２）参照）。

トンネル終端装置３Ａは、他のトンネル終端装置３Ｂ〜３Ｄに第１の転送先変更通知を通知し、通知を受けたトンネル終端装置３Ｂ〜３Ｄは、ライブマイグレーション中のＶＭ１宛てのパケットの転送先を、バッファ４が存在するマイグレーション先のサイトＣに接続するトンネル終端装置３Ｃ及びマイグレーション元のサイトＡのトンネル終端装置３Ａと、に変更する（図２５の（３）参照）。具体的には、トンネル終端装置３Ｂは、図２５のセルＭ２３に示すように、転送テーブルＴ１において、ＶＭ１のＭＡＣアドレスに対応付けられたトンネル終端装置の識別子情報を、サイトＡのトンネル終端装置３Ａと、サイトＣのトンネル終端装置３Ｃとに変更する（転送テーブルＴ２ｃ参照）。なお、他のトンネル終端装置３Ａ，３Ｃ，３Ｄにおいても同様に転送テーブルが変更される。

これによって、各トンネル終端装置３Ａ〜３Ｄは、マイグレーション中のＶＭ１宛てのパケットが到着すると、ＭＡＣアドレスをチェックし、転送テーブルＴ２ｃに従って（図２５のセルＭ２３参照）、バッファ４が存在するサイトＣ及びマイグレーション元のサイトＡに向けて送信する（図２５の（４）参照）。なお、マイグレーション元のサイトＡのトンネル終端装置３Ａは、マイグレーション中のＶＭ１宛てのパケットを、トンネル終端装置３Ａとマイグレーション中のＶＭ１との間のＬ２トンネル７Ａを介して転送してもよい。

一方、管理装置２Ａは、トンネル終端装置３Ａを介して、サイトＣのトンネル終端装置３Ｃに、マイグレーション中のＶＭ１のＭＡＣアドレスが宛先になっているパケットを破棄するように通知する（図２５の（５）参照）。これによって、サイトＣのトンネル終端装置３Ｃは、該トンネル終端装置３Ｃに到着したＶＭ１宛てのパケットを破棄する（図２５の（６）参照）。

そして、ライブマイグレーションを終えたサイトＣのＶＭ１は、第２の転送先変更通知として、ブロードキャストパケットを送信する（図２６の（７）参照）。このブロードキャストパケットを受信したトンネル終端装置３Ｃは、ＶＭ１に向けたＤ−Ｐｌａｎｅパケットの送信を開始する（図２６の（８）参照）。なお、トンネル終端装置３Ｃは、サイトＡでＶＭ１が停止した後であって、他のトンネル終端装置３Ａ，３Ｂ，３ＤからのＶＭ１宛てのパケットがトンネル終端装置３Ｃに転送されるまでの間、トンネル終端装置３Ｃに到着したＶＭ１宛てのパケットをバッファ４にバッファリングしてもよい。

これとともに、トンネル終端装置３Ｃは、ブロードキャストパケットを他のトンネル終端装置３Ａ，３Ｂ，３Ｄに通知する。他のトンネル終端装置３Ａ，３Ｂ，３Ｄは、その通知を受け、マイグレーション元のサイトＡへのパケット転送を停止する（図２６の（９）参照）。具体的には、トンネル終端装置３Ｂは、図２６のセルＭ２４に示すように、転送テーブルＴ２ｃにおいて、ＶＭ１のＭＡＣアドレスに対応付けられたトンネル終端装置の識別子情報を、サイトＡのトンネル終端装置３Ａ及びサイトＣのトンネル終端装置３Ｃから、サイトＣのトンネル終端装置３Ｃに変更する（転送テーブルＴ２ｄ参照）。なお、他のトンネル終端装置３Ａ，３Ｃ，３Ｄにおいても同様に転送テーブルが変更される。

この実施の形態２の実施例２のように、ライブマイグレーション中、ＶＭ１宛てのパケットがサイトＡからサイトＣにマイグレーションされるため、サイトＡでＶＭ１が停止するまでは、サイトＣのバッファ４にＶＭ１宛てのパケットをバッファリングする必要がない。そこで、マイグレーション先のサイトＣのトンネル終端装置３Ｃは、サイトＡでＶＭ１が停止するまでの間、マイグレーション中のＶＭ１のＭＡＣアドレスが宛先になっているパケットを破棄することによって、バッファリングするパケット量を低減している。

［システム構成等］
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
図２７は、プログラムが実行されることにより、管理システムが実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、ネットワーク統合システムの各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、ネットワーク統合システムにおける機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ、ＷＡＮ等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれる。

１ ＶＭ
２，２Ａ，２Ｃ 管理装置
３ 転送装置
３Ａ〜３Ｄ トンネル終端装置
４ バッファ
５ バッファ制御装置
６ 端末
２１，３１，１３１ 制御部
２２，３２，１３２ 通信部
２３，３３，１３３ 記憶部
２１１ 識別子取得部
２１２ バッファ選択部
２１３ マイグレーション進捗管理部
２１４ 転送先変更制御部
２１５，３１３，１３１３ 通信制御部
３１１，１３１１ 転送処理部
３１２，１３１２ 転送制御部
３３１，１３３１ 転送テーブル
１００Ａ〜１００Ｃ，２００Ａ，２００Ｂ 管理システム
１３１４ サイト内経路設定部
１３１５ バッファリング制御部

Claims (8)

1. 複数のサイト及び該複数のサイト間を接続するトンネル経路を有するネットワークシステムにおいて、サイト間の仮想マシンの移行を管理する管理装置と、パケットを転送する転送装置とを有する管理システムであって、
   前記管理装置は、
   前記仮想マシンが別サイトで稼働する装置へと移行する場合の前記仮想マシンの移行状況の進捗を監視する移行進捗管理部と、
   前記仮想マシンの移行状況の進捗に応じて、移行対象の仮想マシン宛てのパケットの転送先を、前記仮想マシンの移行中に該仮想マシンに送信されたパケットをバッファリングするバッファに変更する転送先変更通知を、少なくとも前記仮想マシンの移行中に前記転送装置に送信する転送先変更制御部と、
   を有し、
   前記転送装置は、前記転送先変更通知を受信した場合には、該転送先変更通知に従って、パケットの宛先である仮想マシンと仮想マシンに対応する転送先とをそれぞれ対応付けた転送テーブルにおける前記移行対象の仮想マシンに対応する転送先を前記バッファに変更する転送制御部を有することを特徴とする管理システム。
2. 前記転送先変更制御部は、前記仮想マシンの移行度が所定の閾値を超えたタイミング、又は、前記ネットワークシステムのトラヒック状況の計測情報と前記仮想マシンの移行状況とを合わせた情報を基に所定のアルゴリズムを用いて演算されたタイミングで、前記転送先変更通知を送信することを特徴とする請求項１に記載の管理システム。
3. 受信した通知に従って、前記バッファへのパケットのバッファリングを制御する一方、前記バッファにバッファリングされたパケットを転送先に送信するバッファ制御装置をさらに有し、
   前記転送先変更制御部は、前記仮想マシンの移行中に、前記バッファ制御装置に対して前記移行対象の仮想マシン宛てのパケットのバッファリング開始を通知し、前記転送装置に対して前記移行対象の仮想マシン宛てのパケットの転送先を前記バッファ制御装置に変更する第１の転送先変更通知を送信する一方、前記仮想マシンの移行完了後に、前記バッファ制御装置に対して前記バッファにバッファリングされた前記移行対象の仮想マシン宛てのパケットを、移行が完了した前記仮想マシンに転送することを通知し、前記転送装置に対して前記移行対象の仮想マシン宛てのパケットの転送先を移行先のサイトに変更する第２の転送先変更通知を送信し、
   前記転送制御部は、前記第１の転送先変更通知を受信した場合、前記転送テーブルにおける前記移行対象の仮想マシンに対応する転送先を前記バッファ制御装置に変更し、前記第２の転送先変更通知を受信した場合、前記移行対象の仮想マシン宛てのパケットの転送先を前記移行先のサイトに変更することを特徴とする請求項１又は２に記載の管理システム。
4. 前記転送装置は、前記トンネル経路を終端する各サイトのトンネル終端装置であり、
   前記トンネル終端装置は、該トンネル終端装置が接続するサイト内のパケットの送信経路を設定する経路設定部を有し、
   前記経路設定部は、前記トンネル終端装置が前記第１の転送先変更通知を受信した場合、該トンネル終端装置が移行元のサイトの前記トンネル終端装置であるときには前記移行元のサイト内における前記移行対象の仮想マシン宛てのパケットの送信経路を該移行元のサイトのトンネル終端装置に向かう経路に設定し、該トンネル終端装置が前記バッファ制御装置が位置するサイトの前記トンネル終端装置であるときには前記バッファ制御装置が位置するサイト内における前記移行対象の仮想マシン宛てのパケットの送信経路を前記バッファ制御装置に向かう経路に設定することを特徴とする請求項３に記載の管理システム。
5. 前記バッファ制御装置が位置するサイトのトンネル終端装置と前記バッファ制御装置との間には、レイヤ２トンネルが存在し、
   前記バッファ制御装置が位置するサイトのトンネル終端装置は、前記第１の転送先変更通知を受信した場合、前記レイヤ２トンネルを経由して、前記移行対象の仮想マシン宛てのパケットを前記バッファ制御装置に転送することを特徴とする請求項４に記載の管理システム。
6. 受信した通知に従って、前記バッファへのパケットのバッファリングを制御する一方、前記バッファにバッファリングされたパケットを転送先に送信するバッファ制御装置をさらに有し、
   前記転送先変更制御部は、前記仮想マシンの移行中に、前記バッファ制御装置に対して前記移行対象の仮想マシン宛てのパケットのバッファリング開始を通知し、前記転送装置に対して前記移行対象の仮想マシン宛てのパケットの転送先を前記バッファ制御装置及び移行元のサイトに変更する第１の転送先変更通知を送信する一方、前記仮想マシンの移行完了後に、前記バッファ制御装置に対して前記バッファにバッファリングされた前記移行対象の仮想マシン宛てのパケットを、移行が完了した前記仮想マシンに転送することを通知し、前記転送装置に対して前記移行対象の仮想マシン宛てのパケットの転送先を移行先のサイトに変更する第２の転送先変更通知を送信し、
   前記転送制御部は、前記第１の転送先変更通知を受信した場合、 前記転送テーブルにおける前記移行対象の仮想マシンに対応する転送先を前記バッファ制御装置及び移行元のサイトに変更し、前記第２の転送先変更通知を受信した場合、前記移行対象の仮想マシン宛てのパケットの転送先を前記移行先のサイトに変更することを特徴とする請求項１又は２に記載の管理システム。
7. 複数のサイト及び該複数のサイト間を接続するトンネル経路を有するネットワークシステムにおいて、サイト間の仮想マシンの移行を管理する管理装置と、パケットを転送する転送装置とが実行する管理方法であって、
   前記管理装置が、前記仮想マシンが別サイトで稼働する装置へと移行する場合の前記仮想マシンの移行状況の進捗を監視する工程と、
   前記管理装置が、前記仮想マシンの移行状況の進捗に応じて、移行対象の仮想マシン宛てのパケットの転送先を、前記仮想マシンの移行中に該仮想マシンに送信されたパケットをバッファリングするバッファに変更する転送先変更通知を、少なくとも前記仮想マシンの移行中に前記転送装置に送信する工程と、
   前記転送装置が、前記転送先変更通知を受信した場合には、該転送先変更通知に従って、パケットの宛先である仮想マシンと仮想マシンに対応する転送先とをそれぞれ対応付けた転送テーブルにおける前記移行対象の仮想マシンに対応する転送先を前記バッファに変更する工程と、
   を含んだことを特徴とする管理方法。
8. コンピュータを請求項１〜６のいずれか一つに記載の管理装置として機能させるための管理プログラム。

Images