JP3964907B2 - 性能最適化を伴う動的なトンネルピアリング - Google Patents

Description

本発明は、複数のネットワークノード間に接続を構成するための方法及びネットワークシステムに係る。

異なる形式の複数のネットワーク、即ちＩＰｖ４（インターネットプロトコルバージョン４）及びＩＰｖ６（インターネットプロトコルバージョン６）のような異なるプロトコルをもつネットワークが存在する。これらネットワークの幾つかは、広いエリアをカバーするように広範囲に使用されている（例えば、ＩＰｖ４インターネット）。他のネットワークは、分離されたスポットのみに適用される（例えば、分離されたサイトのみに現在使用されているＩＰｖ６インターネット）。これらの分離ネットワークは、同じ形式のものを接続することが望まれる。この接続の場合に、「トンネル」概念が提案されている。

トンネルとは、２つのネットワークノード間の仮想リンクである。即ち、トンネルは、第１ネットワークのプロトコルを、第２ネットワークにより搬送されるパケット内にカプセル化することにより作用する。ＩＰｖ６及びＩＰｖ４の場合には、これは、ＩＰｖ６プロトコルがＩＰｖ４パケット内に埋め込まれることを意味する。

別の例は、仮想プライベートネットワーク（ＶＰＮ）である。この場合には、インターネットを使用して、ＶＰＮにわたりデータを送信するように編成を行うことができる。これは、ＶＰＮネットワークプロトコルを、インターネットにより搬送されるＴＣＰ／ＩＰパケット内に埋め込むことにより実行される。

従って、このようなトンネルは、仮想インターネットワーク編成において重要な役割を演じる。これまで、トンネルの構成は、手動で行なわれており、これは厄介な上に多量の作業を必要とする。このような手動トンネル構成の低い効率を克服するために、トンネルブローカー（ＴＢ）（例えば、Ａ．デュランド、Ｐ．ファサノ、Ｄ．レント著の「IPv6 Tunnel Broker」、ＲＦＣ３０５３、２００１年１月を参照）及び６対４（6 to 4）暗示的ステートレストンネル（例えば、Ｂ．カーペンター、Ｋ．ムーア著の「Connection of IPv6 Domains via IPv4 Clouds」、ＲＦＣ３０５６、２００１年２月を参照）のような幾つかの自動トンネリング解決策が開発されて、ＩＰｖ６ネットワーク編成で展開されている。ＶＰＮ（仮想プライベートネットワーク）技術では、地理的に異なるサイト間に分散している全てのノードをトンネルが均一な論理的ネットワークとして結合する。

６対４（上述したＩＰｖ４クラウドを経てＩＰｖ６ドメインを接続するメカニズム）は、指定のＩＰｖ６アドレスフォーマットにより、ＩＰｖ４「海」で分離されたＩＰｖ６「島」を自動的にトンネリングするためのステートレス解決策である。論理的には、６対４におけるピアサイトの各対は、仮想ネットワークという意味で直接接続され、即ちピア間のＩＰｖ６中継ではなく、仮想ネットワーク（ＶＮ）が全メッシュトポロジーを形成する。ＩＰｖ６パケットがＩＰｖ４ルーターのみを経て各ピアから別のピアへ送信されるときには、ＩＰｖ６セッションの性能が、対応するノード間のＩＰｖ４端−端経路における性能と同じである。

トンネルブローカー解決策では、ステートフルなブローカーサービスが、アドレッシングを融通性のあるものにする。しかしながら、トンネルブローカーシステムでは、トンネルクライアントのグループに対して中継センターのトンネルサーバー（ＴＳ）が設けられる。各トンネルクライアント（ＴＣ）は、トンネルサーバーを経てＩＰｖ６ワールドの他の部分へ至るデフォールトルートを有し、そしてトンネルクライアントの各対は、２つのトンネルクライアントを直接トンネリングすることが遥かに良好であるときでも、トンネルサーバーの中継を経て限定的に通信しなければならない。従って、２つのトンネルクライアント間のＩＰｖ６セッションの性能は、トンネルサーバーと両トンネルクライアントとの間の端−端振舞いに依存する。

上述した両方の方法は、仮想リンク（トンネル）の性能上の振舞いに基づいて動的にトンネルを変化させる能力を与えない。
しかしながら、現在まで、既存のトンネル技術の中で、性能問題を考慮したものはなく、即ち仮想ネットワーク編成プロセスを、ＩＰｖ４インフラストラクチャーに対する性能及びその変化に一致させるものはない。

本発明の基礎となる目的は、ネットワークノード間の仮想接続を確実に且つ効率的に構成できるようにする方法及びシステムを提供することである。

この目的は、複数のネットワークノード間の接続を構成する方法であって、ネットワークノードの各対を、仮想直接接続を経て接続するような方法において、各対のネットワークノード間の仮想直接接続のクオリティ測定を実行するステップと、前記クオリティ測定の結果に基づいて、仮想直接接続をデータの搬送に使用すべきかどうか判断するステップとを備え、前記クオリティ測定の結果が、前記判断ステップを実行するネットワーク構成制御要素へ送信されるようにした方法により達成される。

或いは又、前記目的は、複数のネットワークノードと、ネットワーク構成制御要素とを備え、ネットワークノードの各対が仮想直接接続を経て接続されるネットワークシステムにおいて、前記ネットワークノードは、前記仮想直接接続のクオリティ測定を実行して、そのクオリティ測定の結果を前記ネットワーク構成制御要素へ送信するように適応され、そして前記ネットワーク構成制御要素は、そのクオリティ測定の結果に基づいて、仮想直接接続をデータの搬送に使用すべきかどうか判断するように適応されたネットワークシステムにより達成される。

従って、ネットワークノード間で仮想直接接続（例えばトンネル）のクオリティを監視することができる。これにより、ネットワークノード間のトンネリングを確実に実行することができる。

より詳細には、最悪の論理的リンクは、第１ネットワーク（即ちベースネットワーク）の現在の端−端性能に基づいて除外することができる。

ネットワークコード間には複数の仮想直接接続（例えばトンネル）が設けられるので、ネットワークノード間の接続を他のネットワークを経ても確立できるような高い冗長性が存在する。

前記判断ステップにおいて、２つのネットワークノード間に使用できる仮想直接接続が存在しないと判断された場合には、これら２つのネットワークノード間で少なくとも１つの他のネットワークノードを通るルートを、クオリティ測定の結果に基づいて決定することができる。

このように、いわゆる「次のホップ」を容易に決定することができ、これにより、安全且つ高速の接続を確立することができる。

ネットワークノードは、トンネル端ポイントでよく、そして各対のネットワークノード間の仮想直接接続がトンネルでよく、これらトンネルは、第１形式のネットワークプロトコルを第２形式のネットワークにより搬送されるデータ内にカプセル化することによりノード間に仮想接続を与える。

クオリティ測定は、各ネットワークノードにより、他のネットワークノードへの仮想直接接続に関して実行することができる。従って、全ての関連トンネルに対する結果を得て、正確な判断を行うことができる。

クオリティ測定は、２つのネットワークノード間の仮想直接接続に対する遅延時間の測定を含んでもよい。

最大許容時間遅延のスレッシュホールドは、仮想直接接続の時間遅延がこのスレッシュホールドを越えたときに、接続が使用できないと決定されるようにセットすることができる。

このように、最大許容時間遅延をセットすることができる。従って、仮想直接接続は、たとえその仮想直接接続が他の観点（例えば、データロス率）で良好なクオリティを示しても、使用不能とみなされる。

更に、クオリティの測定は、２つのネットワークノード間の仮想直接接続におけるデータロス率の測定を含んでもよい。従って、データロス率は、例えば、パケット交換ネットワークの場合にはパケットロス率でよい。

最大許容データロス率のスレッシュホールドは、仮想直接接続のデータロス率がこのスレッシュホールドを越えたときに、仮想直接接続が使用できないと決定されるようにセットすることができる。

このように、最大データロス率（例えば、パケットロス率）をセットすることができる。従って、仮想直接接続は、たとえその仮想直接接続が他の観点（例えば、遅延時間）で良好なクオリティを示しても、使用不能とみなされる。

クオリティ測定は、上述した遅延時間測定及びデータロス率測定の両方を含むことができる。次いで、遅延時間測定の結果及びデータロス率測定の結果を単一のクオリティ測定結果に結合することができる。

このように、結合された測定結果だけを更に処理すればよく、２つの別々の値を処理しなくてもよいので、測定結果を容易に取り扱うことができる。

遅延時間測定の結果及びデータロス率測定の結果は、それらを結合するときに各々重み付けされてもよい。従って、ネットワークオペレータは、遅延時間又はデータロス率のどちらが彼にとってより重要であるか判断しそして自由にセットすることができる。

結合の際に、遅延時間測定結果及びパケットデータロス率測定結果を各々正規化してもよい。従って、両結果が無次元の値に変換され、これは、他の仮想直接接続の他の結果と容易に比較することができる。

信号クオリティの測定結果は、整数値に変換されてもよい。このようにすれば、ネットワークのトラフィックを減少することができる。というのは、フローティングポイント番号は、より多くのデータを必要とするからである。

仮想直接接続における測定及び判断は、所定の間隔で行うことができる。又、仮想直接接続における測定及び判断は、ネットワーク構成に何らかの変化が生じたときに行なわれてもよい。これも、トラフィック量及び計算負荷を減少する。というのは、このように、測定及び判断が連続的に行なわれないからである。間隔は、ネットワークの一般的条件、トラフィック量等に依存し得るように、自由にセットできる。

判断の結果は、ネットワークノードに送信されてもよく、そしてネットワークノードは、それに対応してルーティングテーブルを更新してもよい。従って、仮想直接接続の判断に関する情報は、ネットワークノードのルーティングテーブルにおいて変換することができる。

本発明は、添付図面を参照した以下の詳細な説明から、容易に理解できよう。
以下、添付図面を参照して本発明の好ましい実施形態を詳細に説明する。
好ましい実施形態による方法は、動的な性能最適化を伴うＩＰｖ６・オーバー・ＩＰｖ４自動トンネリングのための解決策として提案される。この説明において、この手順は、端−端測定に基づく性能最適化を伴う動的トンネルピアリングと称され、ＤＴＰ−ＰＯＥＭと省略される。更に、「仮想ネットワーク／ベースネットワーク」という語は、第１実施形態の説明を通してＩＰｖ６／ＩＰｖ４と同等である。しかしながら、本発明は、ＩＰｖ６／ＩＰｖ４インターネットだけではなく、他の形式のネットワーク（例えば、ＶＰＮ）にも適用できることに注意されたい。

より詳細には、ここに示す実施形態は、ＩＰｖ４ネットワーク上のＩＰｖ６サイトを、動的性能最適化を伴うトンネルを経て接続するための機構を提供する。いわゆるピア（又はトンネルピア）は、ＯＰｖ６からＩＰｖ４へのトンネルの端ポイントとして働くと共に、ＩＰｖ６仮想ネットワークのルーターとして働く。トンネルピアがＩＰｖ４ネットワークにおいてルーターの役割を果たすかどうかは、本発明に関わりないことである。これらのピアは、ネットワークノードとも称される。

ここに示す実施形態によるこの手順は、通常、性能最適化を伴う自動及び動的トンネリングのための内部ドメイン解決策である。
この実施形態による手順は、以下の環境に適用される。
１．）上述したピアは、異種インフラストラクチャーにおいて地理的に散乱され、そしてそれらの間の端−端経路は、性能が変化する。更に、端−端性能は、ベースネットワークにおけるトラフィック負荷の変動により著しく影響を受ける。

２．）仮想ネットワークにおいて発送側ノードの役割を果たすピアは、主としてベースネットワークにおけるエンドステムであり、従って、それらの計算リソースは、トンネリングにもルーティングにも専用に設計されていない。

トンネルアービター（ＴＡ）と称される専用サーバー（ネットワーク構成制御要素とも称される）は、ピア間の混雑した（又は振舞いが不充分な）経路を論理的リンクのセットから除外するようにトンネリング及びルーティングについて判断を行なうアーキテクチャーのコア要素として定義される。全てのトンネル端ポイントは、ピア関係にあり、即ちサーバー−クライアントの区別はない。

トンネルの一般的な構造が図１に示されており、トンネルブローカー概念に対する相違も示されている。図１（ａ）は、トンネルブローカー概念を示す。複数のトンネルクライアント（ＴＣ）があって、それらが全て中央トンネルサーバー（ＴＳ）に接続されている。ＴＣ間に仮想リンクはなく、各ＴＣとトンネルサーバーとの間にのみトンネルがある。

一方、図１（ｂ）を参照すれば、ここに示す実施形態による動的トンネルピアリングモデルにおいて、接続のための中央ポイントはなく、トンネルピア（ＴＰ）は、以下に詳細に述べるように、必要に応じてトンネルを自動的に形成する。

本発明によれば、トンネルピア（ＴＰ）は、トンネルアービターにおけるピア登録データベース（ＰＲＤ）から他のピアのリストを得ることができる。次いで、ピアは、端−端経路に対する性能パラメータを互いに測定し、量子化及び正規化された値を、最適なトポロジーを計算するトンネルアービターへ送信する。計算に沿ってトンネル仮想リンクを変更することが周期的に行われる。

ここに示す実施形態による端−端性能測定に基づく動的トンネルピアリングアーキテクチャーにより次の作用が達成される。
１．）ＩＰｖ４ベースネットワークにわたる性能分布に適合するための動的トンネル形成及び削除メカニズムが導入される。

２．）端−端性能が無次元の整数値へ量子化されて、ステート（状態）が限定であり且つトポロジーが若干の擾乱に対してアレルギーでないようにする。
３．）仮想リンク性能に関して全対最短経路（ＡＰＳＰ）形成により決定されたトンネル判断は、ルーティング情報も含む。

概念的に、ＤＴＰ−ＰＯＥＭアーキテクチャーにはネットワークの２つの平面がある。これは、図２に示されている。その下部にはベースネットワークがあり、これは、この実施形態によれば、ＩＰｖ４インターネットである。このベースネットワークは、展開される物理的インフラストラクチャーとのグローバルな接続性を与える。各トンネルピア（図中参照符号ＴＰで示される）は、ベースネットワークのノードへと投影される。これらのノードは、上述したトンネルアービター（ＴＡ）とのＩＰｖ４のみの通信を有する。

上位レベルには、全てのリンクが論理的である仮想ネットワーク平面がある。論理的リンクは、トンネルアービターにより制御され、そして性能状態がベースネットワーク平面において変化するときに更新される。図２に示すように、全てのトンネルピアは、グローバルなＩＰｖ６インターネットへの接続を有する。各トンネルピアは、個々の分離されたＩＰｖ６サイトに接続されてもよいし、或いは２つ以上のトンネルピアがこのような個々のＩＰｖ６サイトに接続されてもよい。このような分離されたＩＰｖ６サイト内では、データパケットを中継するために更に内部のＩＰｖ６ルーターが設けられてもよい。更に、前記トンネルピアは、他のピアに対する中継サイトの役割を果たすこともできる。

トンネルピア（ＴＰ）は、ＩＰｖ６ではルーターであるが、ＩＰｖ４では必ずしもそうでないことに注意されたい。図２には、上述したように、ＩＰｖ６仮想ネットワーク層及びＩＰｖ４ネットワーク層を各々表わす２つの平面がある。トンネルピアは、仮想ネットワーク層（楕円として示す）ではルーターの役割を果たし、一方、ＩＰｖ４ネットワーク（ボックスとして示す）では簡単なホストでよい。これら「ボックス」の間にパケットを配送するＩＰｖ４ルーター（即ち、ＩＰｖ６のＴＰに対応するＩＰｖ４のノード）は、本発明に関与しないので、図２に示されていない。

以下、ここに示す実施形態による手順を、システムの手順の流れ、端−端測定方法、トンネルコマンド配送、等を参照して詳細に説明する。

１．基本的な手順の流れ
ここに示す実施形態による端−端性能測定に基づく動的トンネルピアリング（ＤＴＰ−ＰＯＥＭ）の基本的な作業手順の流れを、図３のフローチャートを参照して以下に説明する。

ａ）ステップＳ１において、二重スタックをもつノードは、その登録情報をＴＡに提出してＴＰ識別子を得る。二重スタックをもつノードとは、２つのプロトコルスタックを有しそしてベースネットワーク及び仮想ネットワークにサービスすることのできるノードである。即ち、ここに示す実施形態によれば、このようなノードは、ＩＰｖ４インターネット及びＩＰｖ６インターネットのためのプロトコルスタックを有する。

登録の結果として、ノードは、トンネルピア（ＴＰ）として指定され、それをトンネルピアとして独特に識別するＴＰ識別子を得る。
各ＴＰに対する登録エントリーは、少なくと、ａ）独特の識別子（即ちＴＰ識別子）と、ｂ）ＴＰのＩＰｖ４アドレスと、ｃ）ＴＰのＩＰｖ６アドレスと、ｄ）ＴＰが保持するＩＰｖ６アドレスプレフィックス、等を含む。ＩＰｖ６アドレスプレフィックス（又はアドレスブロック）は、隣接するＩＰｖ６アドレスのセットである。このようなアドレスプレフィックスの一例は、３ｆｆｅ：３２１１：：／３２である。

ｂ）ステップＳ２において、ＴＡは、ＴＰに対する全ての登録情報を専用データベースに維持する。登録は、少なくともベースネットワーク（ＢＮ）におけるＴＰのアドレス、即ちＴＰのＩＰｖ４アドレスを含む。

ｃ）ステップＳ３において、各ＴＰは、ＴＡから他のＴＰのＩＰｖ４アドレスを得る。次いで、各ＴＰは、ステップＳ４において端−端測定を実行する。その結果がステップＳ５において正規化され、量子化される。その後、その量子化された結果がステップＳ６においてＴＡへ送信される。

ｄ）ステップＳ７において、ＴＡは、全てのＴＰにより送信された測定結果に基づき、全てのＴＰをその頂点としてもつ重み付けされた完全なグラフを発生する。次いで、ステップＳ８において、最適化された仮想トポロジーを得るためにＡＰＳＰ（全対最短経路）アルゴリズムが取り上げられる。

ｅ）ステップＳ９では、ＴＡがその最適化された仮想トポロジーに対応する情報をＴＰに送信する。即ち、ＴＡは、トンネルアービターコマンドをＴＰへ送信して、ＴＰがそれらの間のトンネルリンクを自動的に同調するようにし、ＴＰのルーティングテーブルも、ステップＳ１０において、適宜に更新される。

ＴＰのＩＰｖ６ルーティングテーブルが更新されることに注意されたい。トンネルアービターは、ＩＰｖ４ルーターに何の情報も与えない。即ち、仮想接続のみが最適化され、ＩＰｖ４ネットワーク内のＩＰｖ４ルーターの性能は、本発明には関与しない。

ｆ）システムは、ステップＳ２−Ｓ１０（プロセスｂ）−ｅ））を周期的に繰り返すか、又は新たなノードをネットワークに追加する等の何らかのトリガー作用により繰り返す。更新の適度な周期は、例えば、３０分である。即ち、ステップＳ１１において、プロセスは、このような所定の周期を待機し、そしてステップＳ２へ戻る。
測定及び測定の処理等に関するシステムの詳細は、以下の４つの小区分で説明する。

２．端−端性能測定
ＴＰは、全ピアのリストについてＴＡへ要求を送信し、そして端−端性能測定を行なうことができる。
端−端性能測定方法は、本発明の範囲ではない。実施者は、例えば、１９９８年５月のＰａｘｓｏｎ氏等の文書「Framework for IP Performance Metrics」、ＲＦＣ２３３０に従うことができる。或いは又、他の測定法方を使用することもできる。パラメータの選択は、ネットワーク設計基準に基づく。一般的な目的として、測定操作の簡単さを考えると、ラウンドトリップ遅延が受け入れられる。このようなラウンドトリップ遅延は、１９９９年９月のＧ．Ａｌｍｅｓ、Ｓ．Ｋａｌｉｎｄｉｎｉ、Ｍ．Ｚｅｋａｕｓｋａｓ著の「A Round-Trip Delay Metrics for IPPM」、ＲＦＣ２６８１（ＩＰＰＭは、ＩＰ（インターネットプロトコル）性能メトリックスを意味する）に説明されている。形式Ｐラウンドトリップ遅延メトリックは、専用のパケット長さをもつＩＣＭＰエコー要求／応答により測定することができる。これは、良く知られた「ピン(ping)」手順で行うことができる。好ましくは、カスタマイズされた「ピン」プロセスは、オペレーティングシステムにより提供されるツールを使用するのではなく、ＴＰプログラムスイート内でコード化して、実際に実行される性能測定との最適な適合性をもたせることができる。

この例では、端−端測定の結果は、ＵＤＰプロトコル（ユーザデータグラムプロトコル）と共にＴＡへ送信される。

３．パラメータ正規化、結合及び量子化
システムは、簡単さと効果との間の妥協を考慮しなければならない。即ち、希望の効果を得るために著しい経費が出ることを回避しなければならない。従って、ここに示す実施形態では、好ましくは、ＴＰがパラメータ値を簡単な仕方で得、例えば、「ピン」手順を数回行なって、平均ＲＴＴ及びパケットロス率をこのように測定する。次いで、正規化関数が遅延及びパケットロス率の値を無次元の値へ再整形し、それらの加算演算（即ち遅延及びパケットロス率の適当な結合）が、良好に定義された重み付け関数として物理的事実に合致するようにする。

明らかに、ＲＴＴ遅延に対する正規化関数は直線的でなければならない。本発明は、正規化関数に対してカットオフスレッシュホールド、例えば、３０００ｍｓ（又は他の適当な値）を定義することを示唆するもので、これは、仮想リンクのＲＴＴがスレッシュホールドを越える場合にその仮想リンクに到達し得ないことがシステムに分かることを意味する。これは、ＲＴＴ遅延ＲＴＴが横軸に示されそしてＲＴＴ遅延性能値ｄが縦軸に示された図４（ａ）に表わされている。従って、次のようになる。

但し、Ｍは、「到達し得ない」ことに対するスレッシュホールドである。

パケットロス率（失われたパケットの数／全送信パケットの数として定義され、通常、％で与えられる）については、これと異なる。例えば、３つのトンネルピアＴＰ１、ＴＰ２及びＴＰ３が存在すると仮定する。ＴＰ１からＴＰ２へのパケットロス率ＰＬＲをｘとし、ＴＰ２からＴＰ３へのパケットロス率をｙとすれば、ＴＰ１からＴＰ２を経てＴＰ３へ至るパケットロス率は、１−（１−ｘ）（１−ｙ）でなければならない。従って、ここに示す実施形態では、パケットロス率の正規化に対する関数ｒ（ＰＬＲ）は、次のようになる。

但し、ｐ（０＜ｐ＜１）は、「到達し得ない」ことに対するパケットロス率スレッシュホールドである。これは、パケットロス率ＰＬＲが横軸に示されそしてパケットロス率の性能値ｒが縦軸に示された図４（ｂ）に表わされている。

結合関数は、次いで、遅延及びパケットロス率値を単一の値にする適応重みを与える。結合された値は、遅延値又はパケットロス率値の一方に対し、その他方がゼロである場合に、直線的になることが要求される。更に、結合関数は、「到達し得ない」ことを依然保持しなければならない。従って、本発明は、結合の役割を果たす次の関数を取り上げる。即ち、

但し、定数０＜ｑ＜１は、パケットロス率に対する遅延の相対的な重要性である。一般に、これは、ｑ=１／２となる（図４（ｃ））。

最後に、パラメータ値を小さな整数へ良好に量子化して、ＴＡとＴＰとの間の送信オーバーヘッドをできるだけ軽くする。整数で重み付けされた完全なグラフにおけるＡＰＳＰ計算は、フローティング式に重み付けされたものより遥かに高速である。より重要なことに、量子化は、動的性能ステート情報の頻繁な更新を防止する。特に、「到達し得ない」ことは、「無限」重みを意味する飽和値へ量子化される。これは、図４（ｄ）と、整数値ｖが合成性能値ｕから発生される次の式に示されている。

ここで、値１から１０は、ｕのフローティングポイント値に段階的に関連され、一方、「到達し得ない」又は使用不能については、２５５が関連されることに注意されたい。

４．ＡＰＳＰ問題の解決
上述したように決定された量子化及び正規化された性能値ｖを使用することにより、重み付けされた完全なグラフをＴＡにより形成できる。又、これらの値を使用して、対応する重み付けされた隣接マトリクスを発生することができる。このような重み付けされた隣接マトリクスでは、エレメントａ（ｉ、ｊ）がトンネルポイントＴＰｉとトンネルポイントＴＰｊとの間の性能値ｖを定義し、又、この性能値は、このように、即ちＴＰｉからＴＰｊへ方向付けされる。このマトリクスにおいて、値ｉはマトリクスの列を識別し、そしてｊは行を識別し、ｉ及びｊは整数である。

重み付けされた完全なグラフがＴＡにより形成されると、ＡＰＳＰアルゴリズムを適用して、最適化されたサブグラフを計算することができる。最初に発生された完全なグラフが方向付けされる。ラウンドトリップ的に測定が行なわれ、従って、グラフに対して重み付けされた隣接マトリクスは、その対角線に対して対称的でなければならない。しかしながら、時には、マトリクスは、測定エラーがあったり、対の両端間に非対称的な動的状態があったりするので、実際に非対称的なことがある。即ち、ａ（ｉ、ｊ）がａ（ｊ、ｉ）に等しくないことがある。それ故、最初に測定された隣接マトリクスをＡとすれば、新たな隣接マトリクスＷは、次のように定義される。

このマトリクスＷは、明確に対称的であり、そしてＡではなく、これについて計算が行なわれる。

フロイド−ワーシャル(Floyd-Warshall)ＡＰＳＰアルゴリズムを使用して、前記マトリクスについて述べたＡＰＳＰ問題を解決することができる。フロイド−ワーシャルアルゴリズムは、Ｅ．Ｍｉｎｉｅｋａにより「Optimization Algorithms for Networks and Graphs」、Ｍａｒｃｅｌ Ｄｅｋｋｅ Ｉｎｃ．１９７８年、ＩＳＢＮ０−８２４７−６６４２−３に説明されている。このアルゴリズムは、Ｃ言語で次のようにコード化することができる。

Ａｌｇ．１：フロイド−ワーシャルＡＰＳＰアルゴリズム
Ｎ：頂点の数
Ｗ：重みで初期化される、重み付けされた完全なグラフの隣接マトリクス
Ｐ：全エレメントに対して−１で初期化される、最適化されたサブグラフに対する先駆マトリクス

= = = = = = = = = = = = = = = = = = = =
void floydWarshall (int N, int *W, int *P)
{
int i, j, k;
for (k=0; k<N; k++)
for (i=0; i<N; i++)
for (j=0; j<N; j++) {
if (W[i*N+j] > W[i*N+K] + W[k*N+j]) {
W[i*N+j] = W[i*N+K] + W[k*N+j];
P[i*N+j] = k;
}
/* For the matrix W is symmetric, the initial value of j could be set to i. */
} /* FloydWarshall */
= = = = = = = = = = = = = = = = = = = =

Ｗ及びＰは、一次元アレーフィールドとして処理され、対応するマトリクスの全Ｎ（頂点の数）行が１つの行に再書き込みされることに注意されたい。
アルゴリズムが実行された後に、先駆マトリクスＰは、各頂点に対する次のホップルートを決定するに充分なものであり、それ故、ＴＡは、ルート情報をトンネルコマンドと共にＴＰへ与えることができる。ソースから行先への次のホップを計算する簡単なアルゴリズムは、本発明により、次のように構成される。ＴＡが、各ＴＰに関連した仮想ネットワークブロックに関する情報を維持する場合には、以下に述べるＮｅｘｔＨｏｐ方法を適用して、ルーティングテーブルを動的に形成することができる。

Ａｌｇ．２：ルーティングテーブルをＰマトリクスで形成する
Ｎ：頂点の数
Ｐ：最適化されたサブグラフに対する先駆マトリクス
ｕ、ｖ：ソース及び行先の識別子
= = = = = = = = = = = = = = = = = = = =
int NextHop (int N, int *P, int u, int v)
{
int k, r;
k = P[u*N+v]; r = u;
while (k ! = -1) {
r = k;
k = P[u*N+k];
}
return r;
} /* NextHop */
= = = = = = = = = = = = = = = = = = = =

あるソースノードに対するＮｅｘｔＨｏｐ方法は、他のピアに対する行を含まないことが明らかである。従って、アルゴリズムは、各ＴＰにおいて別々に実行することができる。

５．トンネル判断の実行
ＡＰＳＰ問題を解くと、最適化された先駆マトリクスＰが得られる。このマトリクスに基づき、ＴＡは、マトリクスＰにおける対応値が正である仮想リンクを除去することにより仮想ネットワークトポロジーを容易に得ることができる。即ち、不変値−１は、仮想ネットワークのトンネルリンクを表わし、一方、正の値は、順方向中継を表わす。このマトリクスは、グローバルなトンネル判断として見ることができ、Ｐのｋ番目の行は、ｋ番目のＴＰの判断である。次いで、ＴＡは、判断をＴＰへ各々送信する。判断は、トンネル情報及びルーティング情報の両方を含む。後者の情報は、上述したＮｅｘｔＨｏｐプロセスでルーティングテーブルへデコードすることができる。

図３及び図５から７を参照することにより一例を以下に説明する。
この実施形態に基づきＤＴＰ−ＰＯＥＭシステムを経て接続される６個のＩＰｖ６サイトがあると仮定する。
ａ）登録
各サイトの端ポイントは、その登録をトンネルアービターへ送信して、それ自身のトンネルピアＩＤ及び全てのピアのリストを得る（図３のステップＳ１からＳ３）。

ｂ）測定
各ＴＰは、端−端性能の測定（図３のステップＳ４）を実行し、全てのＴＰの測定を考慮したときに、性能パラメータを縁にもつ完全なグラフを形成する。この結果が、ＲＴＴ遅延に関して図５（ａ）に示され、そしてパケットロス率（ＰＬＲ）に関して図５（ｂ）に示されている。

ｃ）正規化及び量子化
各ＴＰは、性能値を正規化し、遅延及びパケットロス率を結合し、次いで、無次元値を小さな整数へと量子化した後、それらをＴＡへ送信する（図３のステップＳ５及びＳ６）。その結果、ＴＡは、重み付けされた完全なグラフを構成する（図３のステップＳ７）。

その結果が図６に示されており、重み付けされた完全なグラフの隣接マトリクスは、次の通りである。

例えば、ＴＰ０とＴＰ４との間のトンネルは、３９５０ｍｓのＲＴＴ遅延時間を示す。従って、これは、３０００ｍｓのスレッシュホールドＭより大きい。ひいては、このトンネルは、使用不能であると決定され、即ちＴＰ４は、ＴＰ０に対して直接トンネルを経て到達し得ない。それ故、前記隣接マトリクスにおける対応エントリーは、２５５（ｗ（０，４））である。

別の例として、ＴＰ２とＴＰ３との間のパケットロス率ＰＬＲは、２９％である。従って、これは、２０％にセットできるスレッシュホールドｐより大きい。ひいては、このトンネルも使用不能と決定され、それ故、前記隣接マトリクスにおける対応エントリーｎは、２５５（ｗ（２，３））である。

ｄ）計算
ＴＡは、ＡＰＳＰ問題を計算して最適化を得る。その結果は、先駆マトリクス（上述したような）で表わされ、そしてマトリクスの各行は、対応するＴＰについての判断となる。先駆マトリクスは、次のようになる。

ｅ）実行
ＴＡからトンネル及びルーティング判断を得ると、ＴＰは、そのトンネルインターフェイス構成を更新し、次いで、ルーティングテーブルをＡｌｇ．２（即ち、上述したＮｅｘＨｏｐルーチン）で変更する。先駆マトリクスにおけるハイライトされたエントリー（即ち、先駆マトリクスの第１行）は、ＴＰ０に対するトンネル及びルーティング判断と称する。この判断は、次に示すように、ＴＰ０のルーティングテーブルに変換される。

それに対応する最適化されたサブグラフが図７に示されている。この例では、直接接続（即ちトンネル）がＴＰ０とＴＰ１との間、ＴＰ０とＴＰ５との間、ＴＰ５とＴＰ１との間、ＴＰ１とＴＰ３との間、ＴＰ２とＴＰ５との間、ＴＰ４とＴＰ２との間、及びＴＰ３とＴＰ４との間だけに設けられる。

従って、ＴＰ０（上記先駆マトリクスにおける第１エントリー即ち第１行又は第１列）を考慮するときには、ＴＰ１及びＴＰ５のみへの直接トンネリングが実行される。ＴＰ２へのトンネリングは、次のホップとしてＴＰ５を経て実行される（ＴＰ２に対応する列２内の先駆マトリクスのエントリー）。ＴＯ３へのトンネリングは、次のホップとしてＴＰ１を経て実行される。ＴＯ４へのトンネリングは、ＴＰ３を経て実行され、即ち次のホップは、ＴＰ１であり、次いで、ＴＰ３である。

新たな周期が来ると、ＴＰは、ピアリストをチェックし、測定アクティビティの新たなラウンドをスタートする。
本発明を実施するために、上述した多数のパラメータ及び方法を前もってネゴシエーションしなければならない。好ましくは、ＴＡ及び全てのＴＰが従わねばならないデータフォーマット及び共通ルールを定義するプロトコル文書を編集しなければならない。

計算の複雑さに関連して、フローティングポイント計算をできるだけ避けるのが効果的である。ここに示す実施形態によれば、性能値は、整数として送信される。更に、対数値を計算して計算負荷を更に減少するためにテーブル走査方法を適用することができる。

更に、オーバーヘッドトラフィックを減少するために、ここに示す実施形態では、「キープ・アライブ(keep-alive)」解決策が使用される。即ち、あるＴＰに対する判断を変更する必要がない場合には、全体的な判断ではなく簡単なキープ・アライブメッセージがＴＰへ送信される。性能値のトラフィックを最小にするための更に別の手段は、周期的更新／キープ・アライブメカニズムである。即ち、ここに示す実施形態では、２つの判断の間に所定の時間周期が待機される。上述したように、所定の周期は、例えば、３０分である。

ＴＰは、異種のものであり、ピアモードで作用する。しかしながら、それとは別に、信頼性を考慮して、信用できるトンネルサーバーを導入することで、全システムの健全さを向上することができる。好ましくは、トンネルサーバーは、トンネルアービターにより永久的に専用とされるのではなく、トンネルピア間で選択される。いずれにせよ、計算が安定で性能が高く、グローバル接続が高速度であり且つ常にＴＰに存在することが好ましい。

ＴＡは、専用のサーバーである。好ましくは、関連データベースシステムを使用して、ＴＰ登録及びトンネルステートを維持する。ＴＡは、ＨＴＴＰ（ハイパーテキスト転送プロトコル）デーモンも実行することができ、従って、ユーザは、ＤＴＰ−ＰＯＥＭシステムに容易に登録できると共に、実行中のトポロジー及びその全体的な性能レベルを見ることができる。

従って、本発明によれば、トンネルの概念は、接続性についての１つの仕方を与えるだけでなく、動的な仮想トポロジー及びそれに対応するルーティングテーブルを構築する仕方も与え、これは、レガシー最良成果より優れたサービスを提供し、ＩＰｖ４インターネットにおける最も混雑した経路を通り越すように仮想ネットワークを操向する。

上述したように、本発明は、性能最適化を伴う自動トンネリングのための内部ドメイン解決策を提供する。ＩＰｖ６ネットワークサイトは、グローバルなＩＰｖ６インフラストラクチャーが配備されなかったときにトンネル仮想リンクを経て接続されねばならない。

６対４及びトンネルブローカーのような初期の解決策は、性能を考慮しない仮想ネットワーク接続性しか与えない。本発明は、ほとんどの混雑した又は最悪の遅延の端−端経路が仮想リンクのセットへと進行しないように、良好に仮想トポロジーを形成する仕方を提供する。更に、この解決策は、ベースネットワークにおける性能変化に動的に適応し、即ち適合し、そして時々刻々最良のトポロジーを与える。量子化された端−端振舞い測定に基づくトポロジー最適化が特に効果的である。

従って、本発明によれば、トンネルアービター（ＴＡ、ネットワーク構成制御要素の一例）は、端−端性能に関するデータを取り出し、そしてある対のトンネルピア間にトンネルを形成すべきかどうか、及び各トンネルピアがそのルーティングテーブル（即ちＩＰｖ６ルーティングテーブル）をいかにセットするか、の判断を行なう。

本発明により達成される効果は、次の通りである。
仮想ネットワーク編成に対する最悪の論理的リンクは、ベースネットワークにおける現在の端−端性能に基づいて除外される。

トンネルブローカーアーキテクチャーの場合と同様に、影響を受け易い中心点をトンネルサーバーにもたずに、ピアの相互接続性における冗長性が与えられる。更に、２つ以上のピアが普遍的に接続される限り、グローバルなＩＰｖ６インターネットへのピア接続性にも同じ冗長性が与えられる。（図１）。

トンネルピアは、互いにトンネリングしてもよいが、必要なときにしかこれを行なわず、即ち「トンネリング・オン・デマンド」である。既存の仮想リンクが２つのノードに対する経路を与え、そしてその経路の全体的な性能が、それらの間に直接的な仮想リンクがある場合のそのリンクの性能より優れている場合には、その直接的な仮想リンクは、仮想トポロジーに含まれない。

トンネルアービターのコンポーネントにより行なわれる集中的計算は、リアルタイムのグローバルな最適化を行い、トポロジーをベースネットワークの時間的な性能変化に適合するように同調させる。
６対４アーキテクチャーの場合のように、特殊なアドレス空間をこの解決策のために定義する必要はない。

最悪な場合でも、本発明により提供されるアーキテクチャーは、充分な接続性をもったトポロジーを形成することができる。
前記説明及び添付図面は、本発明を一例として示すものに過ぎない。従って、前記実施形態は、特許請求の範囲内で変更し得るものである。

例えば、上述した実施形態では、本発明は、ＩＰｖ４インターネットを経てＩＰｖ６インターネットに適用される。しかしながら、本発明は、ＶＰＮ（仮想プライベートネットワーク）、ＩＰ ＲＡＮ（インターネットプロトコル無線アクセスネットワーク）、全ＩＰ等の他の仮想リンクネットワークにも使用できる。

更に、ＡＰＳＰ問題については、フロイド−ワーシャルアルゴリズムが、簡単且つ最も包括的であることから、ここに示す実施形態に使用される。しかしながら、それとは別に、例えば、Ｕ．Ｚｗｉｃｋの「All Pairs Shortest Paths Using Bridging Sets and Rectangular Matrix Multiplication」、２０００年８月に述べられたような他のアルゴリズムを使用してもよい。

更に、この実施形態によれば、トンネルアービター（ＴＡ、ネットワーク構成制御要素）は、個別のネットワーク要素である。しかしながら、トンネルアービターの機能は、他のネットワーク要素に埋め込まれてもよい。

更に、トンネルの切り換え中のパケットのロスを回避又は最小にするために、シームレスなスイッチ技術を適用することができ、そして量子化がトポロジーを安定に且つ健全に保持する。

更に、前記実施形態は、２つの異なるネットワーク形式、即ちＩＰｖ６及びＩＰｖ４に関連するケースについて説明されたことに注意されたい。しかしながら、例えば、ＩＰｖ４ネットワークの上のＩＰｖ４トンネルのような同じネットワーク形式における仮想直接接続（トンネル）を設けることも可能である。

トンネルブローカー概念を示す図である。 本発明の実施形態による概念のトンネルピアを示す図である。 本発明の実施形態による動的トンネルピアリングアーキテクチャーを示す図である。 本発明の実施形態による基本的作業手順のフローチャートである。 本発明の実施形態による性能パラメータの正規化、結合及び量子化を示すグラフである。 本発明の実施形態による性能パラメータの正規化、結合及び量子化を示すグラフである。 本発明の実施形態による性能パラメータの正規化、結合及び量子化を示すグラフである。 本発明の実施形態による性能パラメータの正規化、結合及び量子化を示すグラフである。 本発明の実施形態によるＲＴＴ（ラウンドトリップ時間）遅延及びパケットロス率の端−端性能測定結果の一例を示す図である。 本発明の実施形態によるＲＴＴ（ラウンドトリップ時間）遅延及びパケットロス率の端−端性能測定結果の一例を示す図である。 重み付けされた完全なグラフの一例を示す図である。 ここに示す実施形態に基づく最適化されたサブグラフである。

Claims (29)

1. 複数のネットワークノード(TP0-TP5)間の接続を構成する方法であって、ネットワークノードの各対が仮想直接接続を経て接続され、前記ネットワークノードは、トンネル端ポイントであり、そして各対のネットワークノード(TP0-TP5)間の仮想直接接続は、トンネルであり、これらトンネルは、第１形式のネットワークプロトコルを第２形式のネットワークにより搬送されるデータ内にカプセル化することによりノード間に仮想接続を与えるようにした方法において、
   各対のネットワークノード間の仮想直接接続のクオリティ測定を実行するステップ(S4)と、
   前記クオリティ測定の結果に基づいて、仮想直接接続をデータの搬送に使用すべきかどうか判断するステップ(S7-S10)と、
   を備え、前記クオリティ測定の結果が、前記判断ステップを実行するネットワーク構成制御要素(TA)へ送信されるようにした方法。
2. 前記判断ステップにおいて、２つのネットワークノード(TP0,TP3)間に使用できる仮想直接接続が存在しないと判断された場合には、これら２つのネットワークノード間で少なくとも１つの他のネットワークノード(TP1)を通るルートを、クオリティ測定の結果に基づいて決定する請求項１に記載の方法。
3. 前記クオリティ測定は、各ネットワークノード(TP)により他のネットワークノード(TP0-TP5)への仮想直接接続に関して実行される請求項１に記載の方法。
4. 前記クオリティ測定は、２つのネットワークノード間の仮想直接接続における遅延時間の測定を含む請求項１に記載の方法。
5. 最大許容遅延時間のスレッシュホールド(M)がセットされ、仮想直接接続の遅延時間がこのスレッシュホールドを越えたときに、接続が使用できないと決定される請求項４に記載の方法。
6. 前記クオリティ測定は、２つのネットワークノード間の仮想直接接続におけるデータロス率の測定を含む請求項１に記載の方法。
7. 最大許容データロス率(P)のスレッシュホールドがセットされ、仮想直接接続のデータロス率がこのスレッシュホールドを越えたときに、仮想接続が使用できないと決定される請求項６に記載の方法。
8. 前記クオリティ測定は、２つのネットワークノード間の仮想直接接続における遅延時間の測定を更に含み、そして遅延時間測定の結果及びデータロス率測定の結果を単一のクオリティ測定結果へと結合する請求項６に記載の方法。
9. 前記遅延時間測定の結果及び前記データロス率測定の結果は、それらを結合するときに各々重み付けされる請求項８に記載の方法。
10. 結合のときに、前記遅延時間測定の結果及び前記パケットデータロス率測定の結果が各々正規化される請求項８に記載の方法。
11. 最大許容遅延時間のスレッシュホールド(M)がセットされ、接続の遅延時間がこのスレッシュホールドを越えたときに、接続が使用できないと決定される請求項８に記載の方法。
12. 単一のクオリティ測定結果が整数値に変換される請求項８に記載の方法。
13. 前記測定及び判断ステップは、所定のインターバルごとに実行される請求項１に記載の方法。
14. 前記測定及び判断ステップは、ネットワークのオペレータによりトリガーされる際に又はネットワーク構成を変更する際に実行される請求項１に記載の方法。
15. 前記判断ステップの結果が前記ネットワークノードに送信され、そして前記ネットワークノードはそれに対応してルーティングテーブルを更新する請求項１に記載の方法。
16. 複数のネットワークノード(TP0-TP5)と、ネットワーク構成制御要素(TA)とを備え、ネットワークノードの各対が仮想直接接続を経て接続され、各対のネットワークノード(TP0-TP5)間の仮想直接接続は、トンネルであり、これらトンネルは、第１形式のネットワークプロトコルを第２形式のネットワークにより搬送されるデータ内にカプセル化することによりノード間に仮想接続を与えるようなネットワークシステムにおいて、
    前記ネットワークノードは、前記仮想直接接続のクオリティ測定を実行して、そのクオリティ測定の結果を前記ネットワーク構成制御要素へ送信するように適応され、そして
    前記ネットワーク構成制御要素(TA)は、そのクオリティ測定の結果に基づいて、仮想直接接続をデータの搬送に使用すべきかどうか判断するように適応されたネットワークシステム。
17. 前記ネットワーク構成要素は、２つのネットワークノード(TP0,TP3)間に使用できる仮想直接接続が存在しないと判断された場合に、これら２つのネットワークノード間で少なくとも１つの他のネットワークノード(TP1)を通るルートを、クオリティ測定の結果に基づいて決定するように適応された請求項１６に記載のネットワークシステム。
18. 前記クオリティ測定は、２つのネットワークノード間の仮想直接接続における遅延時間の測定を含む請求項１６に記載のシステム。
19. 最大許容遅延時間のスレッシュホールド(M)がセットされ、そして前記ネットワーク構成制御要素(TA)及び／又は各ネットワークノード(TP)は、仮想直接接続の遅延時間がこのスレッシュホールドを越えたときに、仮想直接接続が使用できないと決定するように適応される請求項１８に記載のシステム。
20. 前記クオリティ測定は、ネットワークノード間の仮想直接接続のデータロス率の測定を含む請求項１６に記載のシステム。
21. 最大許容データロス率(P)のスレッシュホールドがセットされ、そして前記ネットワーク構成制御要素(TA)及び／又は各ネットワークノード(TP)は、仮想直接接続のデータロス率がこのスレッシュホールドを越えたときに、仮想直接接続が使用できないと決定するように適応される請求項２０に記載のシステム。
22. 前記クオリティ測定は、更に、２つのネットワークノード間のトンネルの遅延時間の測定を含み、そして各ネットワークノード(TP)は、遅延時間測定の結果及びデータロス率測定の結果を単一のクオリティ測定結果へと結合するように適応される請求項２０に記載のシステム。
23. 各ネットワークノード(TP)は、前記遅延時間測定の結果及び前記データロス率測定の結果を結合するときにそれらを各々重み付けするように適応される請求項２２に記載のシステム。
24. 各ネットワークノード(TP)は、前記遅延時間測定の結果及び前記パケットデータロス率測定の結果を各々正規化するように適応される請求項２２に記載のシステム。
25. 最大許容遅延時間のスレッシュホールド(M)がセットされ、そして前記ネットワーク構成制御要素(TA)及び／又は各ネットワークノード(TP)は、接続の遅延時間がこのスレッシュホールドを越えたときに、仮想直接接続が使用できないと決定するように適応される請求項２２に記載のシステム。
26. 各ネットワークノードは、単一のクオリティ測定結果を整数値に変換するように適応される請求項２２に記載のシステム。
27. 前記ネットワーク構成制御要素(TA)は、クオリティ測定を要求すると共に、その測定を要求して所定の間隔ごとに判断を実行するように適応される請求項１６に記載のシステム。
28. 前記ネットワーク構成制御要素(TA)は、クオリティ測定を要求すると共に、その測定を要求して、ネットワークのオペレータによりトリガーした際に又はネットワーク構成を変更する際に、判断を実行するように適応される請求項１６に記載のシステム。
29. 前記ネットワーク構成制御要素は、前記判断の結果を前記ネットワークノードに送信し、そして前記ネットワークノードは、それに対応してルーティングテーブルを更新するように適応される請求項１６に記載のシステム。

Images