JP4410963B2 - コンテンツ動的ミラーリングシステム、 - Google Patents

コンテンツ動的ミラーリングシステム、 Download PDF

Info

Publication number
JP4410963B2
JP4410963B2 JP2001258315A JP2001258315A JP4410963B2 JP 4410963 B2 JP4410963 B2 JP 4410963B2 JP 2001258315 A JP2001258315 A JP 2001258315A JP 2001258315 A JP2001258315 A JP 2001258315A JP 4410963 B2 JP4410963 B2 JP 4410963B2
Authority
JP
Japan
Prior art keywords
mirror
content
server
dynamic mirroring
mirroring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001258315A
Other languages
English (en)
Other versions
JP2003067279A (ja
Inventor
範人 藤田
淳 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2001258315A priority Critical patent/JP4410963B2/ja
Publication of JP2003067279A publication Critical patent/JP2003067279A/ja
Application granted granted Critical
Publication of JP4410963B2 publication Critical patent/JP4410963B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Techniques For Improving Reliability Of Storages (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、コンテンツ動的ミラーリングシステムに関し、特にWWW(World Wide Web)コンテンツや動画コンテンツなどの配信用コンテンツを、オリジンサーバや既にコンテンツのミラーリングが行われているミラーサーバの負荷分散を目的として他のミラーサーバにミラーリングするコンテンツ動的ミラーリングシステムに関する。
【0002】
【従来の技術】
従来より、この種のコンテンツ動的ミラーリングシステムは、オリジンサーバの負荷状況に応じて、他のミラーサーバに対して動的にコンテンツのミラーリングを行い、負荷分散を図るために用いられている。
【0003】
例えば、特開平11−85604号公報では、連続メディアコンテンツの動的なミラーリングシステムについて記載されている。
【0004】
この公報に記載されたコンテンツのミラーリングシステムは、映像・音声等の連続メディアコンテンツを格納しているメディアサーバに対して多数の端末装置からコンテンツの要求が発生した場合に、アクセス負荷の原因となるコンテンツを特定し、特定されたコンテンツへの端末装置からのアクセス状況を解析し、メディアサーバの処理できるアクセス負荷の限界値を越える時間を予測し、メディアサーバが処理できる限界値に達する前に、コンテンツの複製の作成、または当該コンテンツとその他のコンテンツとで所在の再配置を行なうことにより、動的なコンテンツ配置変更を可能としている。
【0005】
また、特開2001−69169号公報に開示されるミラーリングシステムでは、コンテンツを保持する特定のサーバの負荷が基準値を越えたかどうかを検出し、負荷が基準値以上になった場合に、当該サーバのコンテンツを異なる他のサーバ(ミラーサーバ)に複製し、ネットワークを介してアクセスするエンドホストが特定のサーバあるいは上記ミラーサーバのうち転送経路の近いサーバへアクセスする。
【0006】
【発明が解決しようとする課題】
上述したように従来の技術では、以下に述べるような問題点があった。
【0007】
第1の問題点は、動的にコンテンツのミラーリングを行うとしても、動的ミラーリングの行われるミラーサーバの選択は、予め固定的に配置されたミラーサーバ群のなかから行われなければならないということである。
【0008】
したがって、負荷分散の効果は予め固定的に配置されているミラーサーバ群の数及び位置によって制限され、効率的に負荷分散を図ることができない可能性がある。この問題を解決するために、例えば、どのようなアクセス状況に対しても柔軟に負荷分散効果が生み出せるように網内の至るところに多数のミラーサーバを配置するとしても、その設置コスト及び管理コストを考えると現実的とはいえない。
【0009】
第2の問題点は、網内のリソース状況を考慮した動的ミラーリングが行えないということである。
【0010】
例えば、オリジンサーバから125Mbyteのコンテンツの動的ミラーリングを行おうとしているときに、候補となるミラーサーバが2つ存在するとし、それぞれの候補ミラーサーバをA、Bとし、どちらかに動的ミラーリングを行うとする。候補ミラーサーバA、Bはそれぞれ、クライアントサイトC、Dに対して該コンテンツの転送遅延を最小化するために選択されている。このとき、オリジンサーバからクライアントC、Dまでの利用可能帯域はともに1Mbit/secであったとする。更に候補ミラーサーバAからクライアントサイトCまで、及び候補ミラーサーバBからクライアントサイトDまでの利用可能帯域がそれぞれ1Mbit/sec、100Mbit/secであったとする。この場合、候補ミラーサーバBに動的ミラーリングを行った場合はクライアントDにとって該コンテンツ取得時の利用可能帯域が飛躍的に増加する一方、候補ミラーサーバAに動的ミラーリングを行っても、オリジンサーバの負荷が分散されるだけで、クライアントCにとっての該コンテンツ取得時の利用可能帯域は変わらない。
【0011】
他の例では、同様にオリジンサーバから125Mbyteのコンテンツの動的ミラーリングを候補ミラーサーバA、Bのどちらかに動的ミラーリングを行うとするときに、オリジンサーバから各候補ミラーサーバまでの利用可能帯域を比較し、候補ミラーサーバAに対しては100Mbit/secであり、候補ミラーサーバBに対しては1Mbit/secであったとする。このとき、候補ミラーサーバAに動的ミラーリングを行うのために要するコンテンツの転送遅延は10秒であるのに対し、候補ミラーサーバBに動的ミラーリングする場合は1000秒を要する。直ちにオリジンサーバの負荷の軽減が要求される場合は上記の転送遅延の差は無視できず、負荷分散性能を左右する原因となる。
【0012】
上記の例より、動的ミラーリングを行う際に網内のリソース状況を考慮することによって、動的ミラーリングに伴う性能改善効果を高めることができることが分かる。
【0013】
第3の問題点は、動的ミラーリングにおいて、オリジンサーバからミラーサーバへのミラーコンテンツ転送に伴う大量のトラフィック量によって、網に負荷をかけてしまうおそれがあることである。また、複数のミラーサーバに同時に同一コンテンツの動的ミラーリングを行う場合、そのトラフィック量が大きくなることも問題である。
【0014】
例えば、オリジンサーバからミラーサーバまでの転送経路に利用可能帯域値の非常に小さいリンクが存在する場合、ミラーリングに要する転送遅延が大きくなるばかりでなく、ミラーコンテンツの転送時の大量のトラフィックによって、そのリンクを通過する他のトラフィックを阻害するおそれがある。
【0015】
また、複数のミラーサーバに同時に同一コンテンツの動的ミラーリングを行う場合、各ミラーサーバに同じミラーコンテンツの転送を並列に行うため、転送トラフィックが網に与える負荷はその分大きくなる。
【0016】
本発明の第1の目的は、上記従来技術の欠点を解決し、網内の任意のノードが適応的にミラーサーバになることにより、オリジンサーバに対するアクセス負荷状況に応じて最適なミラーサーバ群を生成できるようなコンテンツ動的ミラーリングシステムを提供することにある。
【0017】
本発明の第2の目的は、上記従来技術の欠点を解決し、網内のリソース状況を考慮することにより、動的ミラーリングに伴う性能改善効果を高めることができるコンテンツ動的ミラーリングシステムを提供することにある。
【0018】
本発明の第3の目的は、上記従来技術の欠点を解決し、オリジンサーバから1つあるいは複数のミラーサーバに対して動的ミラーリングを行う際に、ミラーコンテンツの転送遅延と転送トラフィック量を削減することのできるコンテンツ動的ミラーリングシステムを提供することにある。
【0019】
【課題を解決するための手段】
上記目的を達成するため本発明は、自ノードの保持するコンテンツの全部又は一部の複製であるミラーコンテンツを網内の他のミラーサーバへコピーする動的ミラーリングを行うオリジンサーバであって、クライアントからのコンテンツ取得要求に伴う前記オリジンサーバの性能劣化を示すパラメータを測定し、該測定結果に基づいて前記動的ミラーリングを行うかどうかを判定するサーバ負荷測定手段と、前記オリジンサーバの保持するコンテンツのうちのどのコンテンツをミラーコンテンツとして、前記動的ミラーリングを行うかを選択するミラーコンテンツ決定手段と、網内リソース情報とミラーサーバ性能情報のいずれか、あるいは両方を取得する機能を有する網リソース取得手段と、前記網リソース取得手段によって取得した網リソース情報を基にして事前に設定されたアルゴリズムに従った計算を行うことによって、前記ミラーコンテンツをどの前記ミラーサーバへコピーするかを決定する動的ミラーリング先決定手段と、前記動的ミラーリング先決定手段によって決定された動的ミラーリング先となるノードに対して、前記動的ミラーリングを行うための動的ミラーリング要求を出す動的ミラーリング要求手段と、前記動的ミラーリング要求が受理された場合に、動的ミラーリング先として決定された前記ノードに対して、前記ミラーコンテンツ決定手段によって決定されたミラーコンテンツを転送するミラーコンテンツ転送手段とを備え、前記動的ミラーリング先決定手段は、前記網リソース取得手段によって取得した網リソース情報のうち、前記オリジンサーバに対してコンテンツ取得要求を行うクライアントの属するサイトであるクライアントサイトごとに計測された、前記オリジンサーバから前記クライアントサイトまでの1セッションあたりの第1のコンテンツ転送スループットをW1とし、前記クライアントサイトにとってのコンテンツ取得遅延を最小化するように選択されたミラーサーバから、前記クライアントサイトまでの1セッションあたりの第2のコンテンツ転送スループットをW2とし、前記クライアントサイトからの単位時間あたりのコンテンツ取得要求数をNとし、N×(W2/W1)の式に従って計算を行い、当該計算結果の値の大きさに基づいて、前記動的ミラーリング先を決定するための優先度を定めることを特徴とする。
【0020】
請求項2の本発明は、自ノードの保持するコンテンツの全部又は一部の複製であるミラーコンテンツを網内の他のミラーサーバへコピーする動的ミラーリングを行うオリジンサーバであって、クライアントからのコンテンツ得要求に伴う前記オリジンサーバの性能劣化を示すパラメータを測定し、該測定結果に基づいて前記動的ミラーリングを行うかどうかを判定するサーバ負荷測定手段と、前記オリジンサーバの保持するコンテンツのうちのどのコンテンツをミラーコンテンツとして、前記動的ミラーリングを行うかを選択するミラーコンテンツ決定手段と、網内リソース情報とミラーサーバ性能情報のいずれか、あるいは両方を取得する機能を有する網リソース取得手段と、前記網リソース取得手段によって取得した網リソース情報を基にして事前に設定されたアルゴリズムに従った計算を行うことによって、前記ミラーコンテンツをどの前記ミラーサーバへコピーするかを決定する動的ミラーリング先決定手段と、前記動的ミラーリング先決定手段によって決定された動的ミラーリング先となる前記ノードに対して、前記動的ミラーリングを行うための動的ミラーリング要求を出す動的ミラーリング要求手段と、前記動的ミラーリング要求が受理された場合に、動的ミラーリング先として決定された前記ノードに対して、前記ミラーコンテンツ決定手段によって決定されたミラーコンテンツを転送するミラーコンテンツ転送手段とを備え、前記動的ミラーリング先決定手段は、前記網リソース取得手段によって取得した網リソース情報のうち、クライアントサイトにとってのコンテンツ取得遅延を最小化するように選択されたミラーサーバから、該クライアントサイトまでの経路における、利用可能帯域の値、RTTの値又はある固定長データの前記クライアントサイトが下流となる向きの転送遅延の値の何れか1つの値の大きさに基づいて、前記動的ミラーリング先を決定するための優先度を定めることを特徴とする。
【0021】
請求項3の本発明は、前記動的ミラーリング先決定手段は、前記式に基づく当該計算結果の値が大きいほど、前記動的ミラーリング先の決定において高い優先度を与えることを特徴とする請求項1に記載のオリジンサーバ、又は、前記動的ミラーリング先決定手段は、前記利用可能帯域の値が大きいほど、あるいは、前記RTT又は前記転送遅延の値が小さいほど、前記動的ミラーリング先の決定において高い優先度を与えることを特徴とする請求項2に記載のオリジンサーバであることを特徴とする
【0067】
本発明の第1のコンテンツ動的ミラーリングシステムは、網内に配置された任意のノードに対して、適応的にミラーサーバになれる適応ミラーノード(図1のB1)機能が付加される。そして、任意のオリジンサーバからの動的ミラーリング要求が、オリジンサーバ上の動的ミラーリング要求手段(図1のA15)と、ミラーコンテンツ転送手段(図1のA16)及び、適応ミラーノード上の動的ミラーリング要求受付手段(図1のB11)を介して行われ、適応ミラーノードはミラーサーバとして機能する。オリジンサーバは、適応ミラーノード化された網内の任意のノードを動的ミラーリングの対象とすることができ、オリジンサーバにおけるアクセス負荷状況に応じて適応的にミラーサーバ網を構築することが可能となる。これにより、本発明の第1の目的を達成することができる。
【0068】
本発明の第2のコンテンツ動的ミラーリングシステムは、オリジンサーバから適応ミラーノードへの動的ミラーリング時に、網リソース取得手段(図11のF11)を介して取得した網リソース状況を考慮して動的ミラーリング先を決定する。動的ミラーリング先の決定アルゴリズムの例は以下の発明の実施の形態において述べられる。これにより、本発明の第2の目的を達成することができる。
【0069】
本発明の第3のコンテンツ動的ミラーリングシステムは、オリジンサーバからの適応ミラーノードへのミラーコンテンツの転送経路を、ミラーリングツリー作成手段(図15のG11)によって計算する。ミラーコンテンツは、計算されたミラーリングツリー上を転送される。最適なミラーリングツリーを選択することにより、動的ミラーリング時のミラーコンテンツの転送遅延を削減することができ、特に複数のミラーリング先へのミラーコンテンツの転送においては、その転送遅延と転送トラフィック量を削減することが可能になる。これにより、本発明の第3の目的を達成することができる。
【0070】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【0071】
図1を参照すると、本発明の第1の実施の形態は、オリジンサーバA1と、コンテンツ動的ミラーリングが行われる対象となる適応ミラーノードB1と、クライアントC1とを含む。
【0072】
オリジンサーバA1は、オリジナルコンテンツを保有しているオリジンサーバだけではなく、同一コンテンツが既にミラーリングされているミラーサーバも含むものとし、以下両者をまとめてオリジンサーバと称することにする。オリジンサーバA1は、能動的にコンテンツ動的ミラーリングを行う機能を有する。
【0073】
適応ミラーノードB1は、網内に配置されている任意のノードが適応的にミラーサーバになれる機能をもたせた装置であり、本実施の形態の構成において特徴となる装置である。適応ミラーノードの例として、ルータに適応ミラーノード機能をもたせたもの、レイヤ4又はレイヤ7スイッチに適応ミラーノード機能をもたせたもの、プロキシサーバに適応ミラーノード機能をもたせたものなどが挙げられる。また、適応ミラーノード機能のみを有し、他の機能を有さない専用ノードであってもよい。ルータに適応ミラーノード機能が実装された場合の例を考えると、ミラーリングが行われている状態では、ルータとして機能するだけではなく、同時にミラーサーバとしても機能する。
【0074】
適応ミラーノードB1は、任意のオリジンサーバからの動的ミラーリング要求を受けてミラーサーバとして機能する。オリジンサーバA1側の立場からみると、適応ミラーノード化された網内の任意のノードを動的ミラーリングの対象とすることができ、オリジンサーバA1におけるアクセス負荷状況に応じて適応的にミラーサーバ網を構築することが可能となる。
【0075】
クライアントC1は、コンテンツ取得要求を行うユーザ端末だけではなく、複数のクライアントを収容し、代理にコンテンツ取得要求を行うプロキシサーバであってもよい。
【0076】
オリジンサーバA1は、コンテンツ及びコンテンツの処理方法、処理プログラム等を記憶する記憶装置A10と、サーバ負荷測定手段A11と、ミラーコンテンツ決定手段A12と、動的ミラーリング先決定手段A13と、適応ミラーノード検出手段A14と、動的ミラーリング要求手段A15と、ミラーコンテンツ転送手段A16とを含む。
【0077】
サーバ負荷測定手段A11は、オリジンサーバA1のアクセス負荷を測定し、動的ミラーリングを行い負荷分散をするべきかどうかを決定する。ここでアクセス負荷とは、オリジンサーバA1のCPU負荷、コンテンツ転送セッション数、1セッションあたりのコンテンツ転送スループット等のコンテンツ取得要求の集中に伴うオリジンサーバの性能劣化を示すパラメータである。ここで、コンテンツ転送セッションの例として、HTTPによるコンテンツ転送時に用いられるTCPセッションが挙げられる。以後、コンテンツ転送セッションを代表して、TCPセッションとして述べる。
【0078】
ミラーコンテンツ決定手段A12は、他のミラーサーバへの動的ミラーリングを行う際に、どのコンテンツを動的ミラーリングすれば負荷分散効果を最大化できるかを判別し、動的ミラーリングすべきコンテンツを決定する。
【0079】
動的ミラーリング先決定手段A13は、ミラーコンテンツ決定手段A12によって決定されたミラーコンテンツの動的ミラーリングにおいて、負荷分散効果を最大化できる1つあるいは複数の適応ミラーノードを、オリジンサーバA1のアクセス負荷状況に基づいて決定する。このとき、網内に存在する適応ミラーノードの検出は、適応ミラーノード検出手段A14によって行われる。
【0080】
動的ミラーリング先決定手段A13における、負荷分散効果を最大化できる動的ミラーリング先となる適応ミラーノードの決定アルゴリズムの例を述べる。まず、動的ミラーリングの対象となるコンテンツに対する単位時間あたりのコンテンツ取得要求数を、クライアントが存在する網内の管理ドメインごとに測定する。そして、そのコンテンツ取得要求数の値がある閾値以上である管理ドメイン内に存在する適応ミラーノードを、動的ミラーリング先として決定する。このような管理ドメインの例としてインターネットにおけるAS(Autonomous System)が挙げられる。
【0081】
適応ミラーノード検出手段A14は、網内に存在する適応ミラーノードを検出する機能を有する。このとき網内に存在する全ての適応ミラーノードを検出するのはそのオーバーヘッドが大きい。したがって適応ミラーノードの検出はできるだけ少ないオーバーヘッドで行われるべきである。
【0082】
例として、網内の各管理ドメインごとに配置された代表管理サーバに対して、該管理ドメイン内に存在する適応ミラーノードリストの問合わせを行うなどの方式が考えられる。この代表管理サーバは、各管理ドメイン内の適応ミラーノードを管理し、各適応ミラーノードの位置、リソース状況等を把握する。オリジンサーバA1は、ミラーコンテンツを新規に配置したい管理ドメインの代表管理サーバに対してだけ適応ミラーノードリストの問合わせを行うことにより検出オーバヘッドを削減できる。このような管理ドメインの例としてインターネットにおけるASが挙げられる。
【0083】
網内の適応ミラーノードの検出方法のもう1つの例を述べる。クライアントC1からあるオリジンサーバA1までのコンテンツ取得要求の通過経路上に、適応ミラーノードが存在するものとする。このような通過経路上に存在する適応ミラーノードとして、ルータ、レイヤ4/レイヤ7スイッチ、プロキシサーバなどが考えられる。このとき、クライアントC1からのコンテンツ取得要求に対して、該コンテンツ取得要求の通過経路上に、適応ミラーノードが存在するという情報を付加する。該情報が付加されたコンテンツ取得要求を受信したオリジンサーバA1は、クライアントC1からあるオリジンサーバA1までのコンテンツ取得要求の通過経路上に適応ミラーノードが存在するということを識別する。オリジンサーバA1は、クライアントC1からのコンテンツ取得要求増加によるアクセス負荷を軽減するためには、該適応ミラーノードに動的ミラーリングを行えばよいと決定できる。
【0084】
動的ミラーリング要求手段A15は、動的ミラーリング先決定手段A13によって動的ミラーリング要求の対象と決定された適応ミラーノードに対して、動的ミラーリング要求を送信する。さらにこの動的ミラーリング要求に対する適応ミラーノードからの応答を受信し、受理されればミラーコンテンツ転送手段A16によって実際に動的ミラーリングを行い、拒否されれば動的ミラーリングをあきらめるか、動的ミラーリングすべき他の適応ミラーノードを検索する。
【0085】
ミラーコンテンツ転送手段A16は、記憶装置A10から決定されたミラーコンテンツを読み出し、動的ミラーリング要求を受理した適応ミラーノードに対して送信する。このとき送信するミラーコンテンツとは、テキスト、画像、動画等のオブジェクトだけではなく、コンテンツに伴う各種処理プログラム、情報等も含む。このような処理プログラム、情報の例として、検索プログラム、CGI(Common Gateway Interface)スクリプト、SSL(Secure Socket Layer)等の認証・暗号情報等が挙げられる。また、転送トラフィックを減らすために、送信するミラーコンテンツを圧縮する機能や、転送時のセキュリティ確保のために、送信するミラーコンテンツを暗号化する機能も有する。
【0086】
適応ミラーノードB1は、記憶装置B10と、動的ミラーリング要求受付手段B11と、要求データ受信部B12と、応答コンテンツ作成手段B13と、コンテンツ応答手段B14とを含む。
【0087】
記憶装置B10は、ミラーコンテンツ記憶部B101を備えている。
【0088】
ミラーコンテンツ記憶部B101は動的ミラーリングされたコンテンツを記憶する。記憶されるのは、テキスト、画像、動画等のオブジェクトだけではなく、コンテンツに伴う各種処理プログラム、情報等も含む。
【0089】
動的ミラーリング要求受付手段B11は、オリジンサーバA1からのコンテンツ動的ミラーリング要求の処理及びオリジンサーバから転送されたミラーコンテンツの受信処理を行う。
【0090】
要求データ受信部B12は、クライアントC1からのコンテンツ取得要求を受信し、要求内容を応答コンテンツ作成手段B13に渡す。
【0091】
応答コンテンツ作成手段B13は、要求されているコンテンツをミラーコンテンツ記憶部B101から読み出し、応答コンテンツを作成する。このとき、コンテンツに伴う各種処理プログラムの実行、あるいは認証情報等の読み出しが必要とされる場合はそれらの処理を適宜行う。そして作成された応答コンテンツをコンテンツ応答手段B14に渡す。
【0092】
コンテンツ応答手段B14は、応答コンテンツ作成手段B13によって作成された応答コンテンツを、コンテンツ取得要求を送信したクライアントC1に対して送信する。
【0093】
図2は、動的ミラーリング要求受付手段B11の構成を詳細に示した図である。動的ミラーリング要求受付手段B11は、オリジンサーバとのデータ送受信手段B111と、動的ミラーリング要求受理判別手段B112と、ミラーコンテンツ受信手段B113と、解凍・復号化手段B114とを含む。
【0094】
オリジンサーバとのデータ送受信手段B111は、オリジンサーバA1からのデータを受信し、その内容を識別する。受信データの内容が動的ミラーリング要求ならば、動的ミラーリング要求受理判別手段B112に対して該動的ミラーリング要求を受理できるかどうかを問い合わせ、その結果をオリジンサーバA1に対して返す。また、オリジンサーバA1から受信したミラーコンテンツを受信した場合は、受信データをミラーコンテンツ受信手段B113へ渡す。
【0095】
動的ミラーリング要求受理判別手段B112は、オリジンサーバA1からの動的ミラーリング要求が受理できるか否かの判断を行う。
【0096】
ミラーコンテンツ受信手段はB113は、オリジンサーバA1から受信したミラーコンテンツをミラーコンテンツ記憶部B101へ格納する。また、受信したミラーコンテンツが圧縮あるいは暗号化されている場合は、解凍・復号化手段B114によって必要な解凍・復号化処理を行ってからミラーコンテンツ記憶部B101へ格納する。
【0097】
解凍・復号化手段B114は、オリジンサーバA1から受信したミラーコンテンツの解凍・復号化を行う機能を有する。オリジンサーバA1から受信するミラーコンテンツが圧縮・暗号化されない環境下においては、解凍・復号化手段B114は必ずしも必要ではない。
【0098】
次に、図3を参照して、本実施の形態において、動的ミラーリング時のオリジンサーバA1における動作について詳細に説明する。
【0099】
オリジンサーバA1において、動的ミラーリング機能が有効になっている場合、サーバ負荷測定手段A11が、定期的にサーバのCPU負荷を監視し、サーバCPU負荷が予め設定された閾値以上であるかどうかを調べる(図3のステップS101、S102)。ここで監視する対象の例として、CPU負荷の他に、単位時間あたりのコンテンツ取得要求数、コンテンツの転送スループットなどが挙げられる。
【0100】
ステップS102で、サーバ負荷が閾値以上であった場合、ミラーコンテンツ決定手段A12によって、動的ミラーリングを行うコンテンツを決定する(ステップS103)。ここで動的ミラーリングするコンテンツは、オブジェクト単位という細かい粒度で選択されるよりもむしろ、ページ単位、ウェブサイト単位といった大きな粒度で選択されるべきである。また、動的ミラーリングを行うコンテンツを決定する判断基準の例として、a.「単位時間あたりのクライアントからのコンテンツ取得要求数が閾値を超えるもの」、b.「基準aを満たし、かつコンテンツのサイズが閾値を超えるもの」、c.「コンテンツの種類やサイズに応じた動的ミラーリングによって負荷分散した結果クライアントにとってのコンテンツ転送スループットを最大化するもの」などが挙げられる。
【0101】
ステップS102で、サーバ負荷が閾値以下であった場合は、負荷分散の必要はないとみなし、動的ミラーリングは行わない。
【0102】
ステップS103の後、動的ミラーリング先決定手段A13によって、負荷分散効果が最大化されるような1つあるいは複数の適応ミラーノードを、動的ミラーリングの対象となる各コンテンツごとに決定する(ステップS104、S105)。この適応ミラーノードの決定には、適応ミラーノード検出手段A14による検出結果が用いられる。また、ステップS104において、動的ミラーリングによる負荷分散効果より、動的ミラーリングのオーバーヘッドの方が大きいと判断される場合は、動的ミラーリングの実行を中止し、対象となる適応ミラーノードはないと決定する。
【0103】
次に、ステップS104、S105において動的ミラーリングを行う対象となる適応ミラーノードがある場合は、動的ミラーリング要求手段A15によって、各適応ミラーノードに対して動的ミラーリング要求メッセージを送信する(ステップS106)。動的ミラーリング要求メッセージには、コンテンツの種類、サイズ等のコンテンツに関する情報が含められている。ステップS105で、対象となる適応ミラーノードがない場合には動的ミラーリングは行わない。
【0104】
適応ミラーノードから、動的ミラーリング要求メッセージに対する受理応答を受信した場合(ステップS107)、ミラーコンテンツ転送手段A16は、記憶装置A10からミラーコンテンツを読み出し、動的ミラーリングを受理した適応ミラーノードに対して送信する(ステップS108)。このとき、必要ならばミラーコンテンツを圧縮あるいは暗号化して送信する。
【0105】
ステップS108において、オリジンサーバA1内の記憶装置A10から適応ミラーノードB1へ直接ミラーコンテンツを送信する方式の他に、同一コンテンツを保持する他のミラーサーバを検出し、最も転送遅延が小さくなるミラーサーバから適応ミラーノードB1へ送信する方式も考えられる。また、1つのミラーコンテンツを複数の部分に分割し、同一コンテンツを保持する複数のミラーサーバから分割した各々の部分を並列に送信し、適応ミラーノードB1で組み立てを行うという方式により転送遅延を短縮する方式も考えられる。
【0106】
図4は、図3のステップS108において、最も転送遅延が小さくなるミラーサーバから動的ミラーリングを行う方式を実現するためのミラーコンテンツ転送手段A16の構成を詳細に示したものである。ミラーコンテンツ転送手段A16は、他ミラーサーバとの通信手段A161と、ソース決定手段A162と、適応ミラーノードとの通信手段A163とを含む。
【0107】
他ミラーサーバとの通信手段A161は、他のミラーサーバと通信する機能を有し、他のミラーサーバに対して、保持するコンテンツおよび網リソースを問合わせ、さらにミラーコンテンツ転送の指示などを行う。ソース決定手段A162は、自ノードまたは他のミラーサーバから適応ミラーノードB1までの網リソースにもとづいて、最も転送遅延が少なくなるソースを決定する。適応ミラーノードとの通信手段A163は、適応ミラーノードB1と通信する機能を有し、適応ミラーノードB1に対してミラーコンテンツの転送を行う。
【0108】
次に、図4に示したミラーコンテンツ転送手段A16が、ステップS108において、最も転送遅延が小さくなるミラーサーバから動的ミラーリングを行う場合の詳細な動作について図5を用いて説明する。
【0109】
まず、動的ミラーリングを行おうとするコンテンツと同一のコンテンツを保持するミラーサーバを検出する(ステップS801)。ステップS801において同一コンテンツを保持するミラーサーバを検出できた場合(ステップS802)、検出された各ミラーサーバから、コンテンツが転送される適応ミラーノードまでの網リソースおよび、次ノードから該適応ミラーノードまでの網リソースを取得する(ステップS803)。次に、ステップS803で取得した網リソース情報を用いて、該適応ミラーノードに対してミラーコンテンツを送信する際に最も転送遅延が小さくなる送信元を決定する(ステップS804)。
【0110】
送信元が自ノードである場合(ステップS805)、自ノードから該適応ミラーノードにミラーコンテンツを送信する(ステップS806)。ステップS802において同一コンテンツを保持するミラーサーバが存在しなかった場合も、ステップS806を実行する。ステップS805において送信元が自ノードではなく、他のミラーサーバのいずれかである場合、送信元となるミラーサーバに対してミラーコンテンツの転送を指示し(ステップS807)、該ミラーサーバからミラーコンテンツの転送が終了したというメッセージを受信することによってミラーコンテンツ転送終了を確認する(ステップS808)。
【0111】
図6は、ステップS108において、最も転送遅延が小さくなるミラーサーバから動的ミラーリングを行う方式の例を示すものである。オリジンサーバ101、適応ミラーノード102、103、104がそれぞれリンク201、202、203、204を介してバックボーンネットワーク1に接続されている。いま、オリジンサーバ101から適応ミラーノード104にあるコンテンツを動的ミラーリングしようとしており、適応ミラーノード102、103はともに同一コンテンツを既にもっているとする。このとき、各オリジンサーバ、適応ミラーノードから適応ミラーノード104までの利用可能帯域を示したものが表301である。この利用可能帯域の情報が与えられたとき、オリジンサーバ101は、適応ミラーノード103から該コンテンツを転送した方が少ない転送遅延で動的ミラーリングが行えると判断し、適応ミラーノード103に対して該コンテンツを適応ミラーノード104に送信するように指示する。該コンテンツの転送を指示された適応ミラーノード103は、適応ミラーノードに該コンテンツを転送し、転送終了を確認したのち、正常に転送されたことをオリジンサーバ101に応答する。
【0112】
ステップS107において、動的ミラーリング要求メッセージに対する拒否応答を受信した場合は、ステップS104に戻り、拒否応答のあった適応ミラーノードを除外して再度適応ミラーノードの決定を行う。
【0113】
次に、図7を参照して、本実施の形態において、動的ミラーリング時の適応ミラーノードB1における動作について詳細に説明する。
【0114】
適応ミラーノードB1において、オリジンサーバA1から動的ミラーリング要求メッセージを受信すると(図7のステップS201)、動的ミラーリング要求受付手段B11は、その要求を受理できるかどうかを判定する(ステップS202)。ここで要求を受理できるかどうかの判定基準の例としては、a.「適応ミラーノードB1における記憶装置B10においてミラーコンテンツを格納するのに十分な残りリソースがあるか」、b.「ミラーコンテンツに伴う処理プログラムがある場合、その処理プログラムを実行できる環境であるか」、c.「ミラーサーバからクライアント向けの網リソースが十分あるか」などがある。
【0115】
ステップS202において、要求を受理できると判定された場合、オリジンサーバA1に対して受理応答を送信する(ステップS203)。また要求を受理できないと判定された場合は拒否応答を送信する(ステップS204)。
【0116】
ステップ203で受理応答を送信した場合、ミラーサーバB1は、オリジンサーバA1からミラーコンテンツを受信し、記憶装置B10内のミラーコンテンツ記憶部B101に保存する(ステップS206)。このとき、受信したミラーコンテンツが圧縮あるいは暗号化されている場合、これを解凍あるいは復号化してから保存する。
【0117】
また、ミラーサーバB1における、クライアントからのコンテンツ取得要求を受信した際の動作の説明に関しては、従来のミラーサーバの動作と同様である。
【0118】
次に、本実施の形態の効果について説明する。
【0119】
従来技術では、オリジンサーバが動的ミラーリングを行ってアクセス負荷の分散を図る際に、その動的ミラーリング先は、予め固定的にミラーサーバとして配置されているものからしか選択できなかった。そのため、アクセス負荷分散効果は、予め配置されているミラーサーバの数及び位置によって制限されていた。
【0120】
本実施の形態では、網内に配置されているルータやプロキシサーバ等の任意のノードに適応ミラーノード機能をもたせ、任意のオリジンサーバからの動的ミラーリング要求を受けてミラーサーバとして機能させる。オリジンサーバは、適応ミラーノード化された網内の任意のノードを動的ミラーリングの対象とすることができ、オリジンサーバにおけるアクセス負荷状況に応じて適応的にミラーサーバ網を構築することが可能となる。
【0121】
クライアントの立場からみると、オリジンサーバにアクセス負荷が集中しているときは、そのミラーコンテンツが自動的に最寄りの適応ミラーノードにコピーされ、常に低遅延、高スループットでコンテンツを取得することが可能になる。
【0122】
次に、本発明の第2の実施の形態について図面を参照して詳細に説明する。
【0123】
本発明の第2の実施の形態は、第1の実施の形態において、プロキシサーバを適応ミラーノード化した場合に対応する。
【0124】
図8を参照すると、本発明の第2の実施の形態は、図1に示された第1の実施の形態における適応ミラーノードB1が、適応ミラープロキシサーバD1になっている点で異なる。
【0125】
適応ミラープロキシサーバとは、プロキシサーバに適応ミラーノード機能をもたせたものであり、記憶装置D10と、動的ミラーリング要求受付手段B11と、応答コンテンツ作成手段B13と、コンテンツ応答手段B14と、要求データ受信部D11と、動作決定手段D12と、キャッシュヒット判定手段D13と、コンテンツ取得要求転送先決定手段D14と、コンテンツ取得要求転送手段D15とを含む。
【0126】
記憶装置D10は、キャッシュ記憶部D101を有している点で、記憶装置B10と異なる。キャッシュ記憶部D101は、適応ミラープロキシサーバがプロキシサーバとしてのコンテンツキャッシュ機能を有するときに、キャッシュコンテンツを格納するために用いられる。
【0127】
要求データ受信部D11は、クライアントC1からのコンテンツ取得要求を受信し、動作決定手段D12に渡す。
【0128】
動作決定手段D12は、コンテンツ取得要求で要求されている内容を識別する。そして要求内容にしたがって、ミラーサーバとして動作するか、プロキシサーバとして動作するかを決定する。単純には、適応ミラープロキシサーバD1内にミラーリングしているコンテンツに対する取得要求であればミラーサーバとして動作すると決定し、それ以外の場合はプロキシサーバとして動作すると決定する。その他、ミラーリングしていても、クライアントの認証を行い、許可されているクライアントにのみ、ミラーサーバとしての動作を行うという方式なども考えられる。
【0129】
キャッシュヒット判定手段D13は、クライアントからのコンテンツ取得要求に該当するコンテンツがキャッシュ記憶部D101内に存在するかどうかを判定し、存在すれば、該当コンテンツをコンテンツ応答手段B14に渡す。存在しなければ、該当コンテンツ取得要求をコンテンツ取得要求転送先決定手段D14に渡す。
【0130】
コンテンツ取得要求転送先決定手段D14は、コンテンツ取得要求に該当するコンテンツを、適応ミラープロキシサーバD1がミラーリング又はキャッシュをしていない場合に、コンテンツ取得要求を転送する先のオリジンサーバ又はミラーサーバを決定する。
【0131】
コンテンツ取得要求転送手段D15は、コンテンツ取得要求転送先決定手段D14によって決定されたオリジンサーバ又はミラーサーバにコンテンツ取得要求を転送する。
【0132】
次に、図9を参照して、本実施の形態において、コンテンツ取得要求受信時の適応ミラープロキシサーバD1における動作について詳細に説明する。
【0133】
適応ミラープロキシサーバD1において、要求データ受信部D11がクライアントC1からのコンテンツ取得要求を受信すると(図9のステップS301)、動作決定手段D12は、適応ミラープロキシサーバD1内にミラーリングされているコンテンツに対する取得要求であるかどうかを識別する(ステップS302)。
【0134】
ステップS302において、コンテンツ取得要求に該当するコンテンツが適応ミラープロキシサーバD1内にミラーリングされていれば、応答コンテンツ作成手段B13によって、ミラーコンテンツ記憶部B101から読み出しを行い、応答コンテンツの作成を行う(ステップS303)。このとき、要求されているコンテンツが何らかの処理プログラムの実行、あるいは認証処理などを必要としている場合は、適宜その実行、処理を行い、応答コンテンツの作成を行う。上記の手順にしたがって作成された応答コンテンツをコンテンツ応答手段B14に渡し、クライアントC1に対して応答する(ステップS305)。
【0135】
また、ステップS302において、コンテンツ取得要求に該当するコンテンツが適応ミラープロキシサーバD1内にミラーリングされていなければ、キャッシュヒット判定手段D13によって、コンテンツ取得要求に該当するコンテンツがキャッシュ記憶部D101内に存在するかどうかを判定する(ステップS304)。
【0136】
ステップS304においてコンテンツが存在していれば(キャッシュにヒット)、キャッシュ記憶部D101から該当コンテンツを読み出し、そのコンテンツをコンテンツ応答手段B14に渡し、クライアントC1に対して応答する(ステップS306、S305)。
【0137】
また、ステップS304においてコンテンツが存在しなければ(キャッシュにヒットしない)、コンテンツ取得要求転送先決定手段D14によって、コンテンツ取得要求を転送する先のオリジンサーバ又はミラーサーバを決定する(ステップS307)。
【0138】
適応ミラープロキシサーバD1が、複数の候補転送先を検出する手段を有している場合、コンテンツ取得要求転送先決定手段D14はこれらの候補転送先から1つを選択する。このときの選択基準の例として、最も負荷の低いものや、下り方向(サーバからクライアントの向き)の利用可能帯域が最も大きいものなどが挙げられる。
【0139】
ステップS307によって決定されたコンテンツ取得要求転送先に対して、コンテンツ取得要求転送手段D15は、該当コンテンツ取得要求を転送する(ステップS308)。
【0140】
次に、本実施の形態の効果について説明する。
【0141】
本実施の形態では、プロキシサーバ上に適応ミラーノード機能を実装する。したがって、プロキシサーバの提供する機能とミラーサーバの提供する機能の両方を同一ノード上で提供するすることが可能になり、従来各々の機能を別のノードとして実現しなければいけないために要した設置コスト及び管理コストを削減することができる。
【0142】
また、プロキシサーバの立場からみると、従来コンテンツキャッシュ機能しか有しないために、SSLプロトコルによる認証・暗号処理、CGIスクリプトの実行等を要するコンテンツに対する取得要求は受け付けることができず、オリジンサーバへ要求を転送するしかなかった。適応ミラーノード機能を実装してミラーサーバとしての機能をもたせることにより、上記のコンテンツに対する取得要求を受け付けることが可能になり、オリジンサーバへのトラフィック及びオリジンサーバのアクセス負荷を削減することができる。
【0143】
更に、本実施の形態では、適応ミラープロキシサーバを配下のクライアント群におけるプロキシサーバとして設定することにより、配下のクライアント群からの全てのコンテンツ取得要求はこの適応ミラープロキシサーバに受信される。適応ミラープロキシサーバは、各コンテンツ取得要求をみて、ミラーリングされているコンテンツに対する取得要求にのみ直接応答し、その他のコンテンツに対する取得要求は通常のプロキシサーバとしての処理を選択的に行う。従来はコンテンツのミラーリングが行われている場合、クライアント側で適当なミラーサーバを選択し、その宛先IPアドレスに対応するサーバにコンテンツ取得要求を送信しなければならなかったが、本実施の形態ではその必要がなく、クライアント側でプロキシサーバの設定を行うだけでミラーコンテンツを取得することができる。
【0144】
次に、本発明の第3の実施の形態について図面を参照して詳細に説明する。
【0145】
本発明の第3の実施の形態は、第1の実施の形態において、適応ミラーノードとクライアント間とのデータ通信に対して認証、課金処理が必要とされており、適応ミラーノードが認証、課金処理機能を有する場合に対応する。
【0146】
図10を参照すると、本発明の第3の実施の形態は、図1に示された第1の実施の形態において、適応ミラーノードB1の代わりに、適応ミラーノードE1となっている点が異なる。
【0147】
適応ミラーノードE1は、応答コンテンツ作成手段B13と、コンテンツ応答手段B14と、記憶装置E10と、動的ミラーリング要求受付手段E11と、要求データ受信部E12と、認証課金情報処理手段E13とを有する。
【0148】
記憶装置E10は、認証課金情報管理部E101を有している点で、記憶装置B10と異なる。認証課金情報管理部E101は、認証、課金に関する情報を管理する。管理される情報の例として、各クライアントの認証ID、パスワード及びコンテンツごとのダウンロード価格などがある。更に、各クライアントごとの課金状況などの動的な情報もある。
【0149】
動的ミラーリング要求受付手段E11は、図1における動的ミラーリング要求受付手段B11の機能に加え、適応ミラーノードE1がオリジンサーバA1の代わりに認証、課金処理を行うために必要な手続きを行う。この手続きには、オリジンサーバA1と適応ミラーノードE1とが互いを信用して認証、課金処理の委託を行う手順と、オリジンサーバA1の有する認証課金情報の内、適応ミラーノードE1が、クライアントC1から受信したコンテンツ取得要求の認証、課金を行うために必要な情報を、認証課金情報管理部E101に記憶し、その後オリジンサーバA1との間で、認証課金情報管理部E101に記憶された情報の同期をとる手順とを含む。また、認証課金情報の管理がオリジンサーバA1に一元化されている場合、適応ミラーノードE1内の認証課金情報処理手段E13が行う認証、課金処理時にオリジンサーバA1内に管理されている認証課金情報の読み出し、書き込みを行う手順も含む。更に、オリジンサーバA1との間でのデータベース同期、認証、課金処理時のオリジンサーバA1内で管理されている認証課金情報の読み出し、書き込みにおいて、オリジンサーバA1と適応ミラーノードE1との間でやり取りされるデータは、圧縮、暗号化されてもよい。
【0150】
要求データ受信部E12は、クライアントC1からのコンテンツ取得要求を受信し、その認証処理を認証課金情報処理手段E13を介して行う。認証の結果、コンテンツ取得が許可されればコンテンツ作成手段B13に要求内容を渡し、該コンテンツの作成を指示する。
【0151】
認証課金情報処理手段E13は、要求データ受信部E12が受信したコンテンツ取得要求の認証を行い、認証された要求に対して課金を行う機能を有する。このとき、要求するクライアントのID、パスワードなどの情報を認証課金情報管理部E101から読み出し、更にコンテンツ取得に伴って発生する課金情報を認証課金情報管理部E101に書き込む。
【0152】
上記の例は、適応ミラーノードB1に対して、認証、課金処理機能が導入されたノードであるが、その他にも、第2の実施の形態による適応ミラープロキシサーバD1に対して認証、課金処理機能が導入されたノードの構成も同様に考えられる。
【0153】
次に、本実施の形態の効果について説明する。
【0154】
本実施の形態では、適応ミラーノードにおいて、認証、課金処理をすることができる。このような処理は、従来はオリジンサーバでしか行うことができなかったが、認証、課金処理を動的に適応ミラーノードに委託することにより、オリジンサーバの負荷を軽減できる。認証、課金処理が伴うコンテンツ場合、通常のコンテンツの場合と比較して、クライアントからの要求応答に遥かに多くの処理を必要とするため、適応ミラーノードによる負荷分散効果は、通常コンテンツの動的ミラーリングの場合と比べて大きいといえる。
【0155】
次に、本発明の第4の実施の形態について図面を参照して詳細に説明する。
【0156】
本発明の第4の実施の形態は、第1の実施の形態において、オリジンサーバからの動的ミラーリング時に、網リソース状況を考慮して動的ミラーリング先を決定するという点が異なる。
【0157】
図11を参照すると、本発明の第4の実施の形態は、図1に示された第1の実施の形態において、オリジンサーバA1の代わりに、網リソース取得手段F11を有し、かつ網リソース取得手段F11によって取得された網リソース情報に基づいて、動的ミラーリング先の決定を行なう動的ミラーリング先決定手段A13aを備えるオリジンサーバF1となっている点が異なる。動的ミラーリングが行われる先として、適応ミラーノードB1が描かれているが、本実施の形態では、従来型の固定的に配置されるミラーサーバであってもよい。本実施の形態では、以下、動的ミラーリング先のことをミラーサーバと総称する。
【0158】
網リソース取得手段F11は、他ミラーサーバまでの利用可能帯域及び遅延、他ミラーサーバのアクセス負荷状況など、動的ミラーリングに関する網リソース情報を取得する機能を有する。また、網リソース情報としては、上記の他に、他ミラーサーバのCPU負荷、TCPセッション数などのサーバ性能に関する情報を含めることもできる。上記の網リソース及びサーバ性能情報の取得方法として、各ミラーサーバに対して測定パケットを流すことにより動的に取得する方式や、網内各ノード/リンクのリソース情報交換をサポートするルーティングプロトコルによって収集した情報を用いる方式などが考えられる。
【0159】
本実施の形態の動的ミラーリング先決定手段A13aは、網リソース取得手段F11によって得られたリソース情報を基にして後述するアルゴリズムに従った計算を行なう網リソースベース計算手段A130を備え、当該計算結果に従って最適な動的ミラーリング先を決定する。
【0160】
従来は、動的ミラーリングを行う先のミラーサーバを決定する際の優先度として、網リソース情報を考慮していなかったため、典型的な例では、該ミラーサーバによってサポートされるクライアントサイトからの単位時間あたりのコンテンツ取得要求数が用いられていた。このコンテンツ取得要求数とは、動的ミラーリングを行うコンテンツに対する取得要求数であり、該コンテンツの動的ミラーリングを行うことによって、オリジンサーバにおけるコンテンツ取得要求受信数すなわちオリジンサーバのアクセス負荷の減少分を最大化することを目的としている。
【0161】
本実施の形態では、コンテンツ取得要求数以外に各ミラーサーバに関する網リソースを考慮して優先度を決定する点が異なる。以下に、動的ミラーリング先の優先度を決定する際に、コンテンツ取得要求数の他に考慮する網リソースの例を複数挙げる。
【0162】
(1)オリジンサーバに対してコンテンツ取得要求を行うクライアントの属するサイトごとに計測された、オリジンサーバから各クライアントサイトまでの1セッションあたりのTCPスループットと、該クライアントサイトにとってのコンテンツ取得遅延を最小化するように選択されたミラーサーバから、該クライアントサイトまでの1セッションあたりのTCPスループット。
【0163】
(2)上記(1)において、1セッションあたりのTCPスループットの代わりに利用可能帯域としたもの。
【0164】
(3)上記(1)において、1セッションあたりのTCPスループットの代わりにRTT(Round Trip Time)としたもの。
【0165】
(4)上記(1)において、1セッションあたりのTCPスループットの代わりにある固定長データの転送遅延時間(クライアントサイトが下流となる向き)としたもの。
【0166】
(5)オリジンサーバからあるミラーサーバにコンテンツを動的ミラーリングする際のオリジンサーバから該ミラーサーバまでの1セッションあたりのTCPスループット。
【0167】
(6)上記(5)において1セッションあたりのTCPスループットの代わりに利用可能帯域としたもの。
【0168】
以下、上記(1)〜(6)を用いた動的ミラーリング先の決定アルゴリズムのいくつかの実現例について図12〜図14を用いて詳細に説明する。
【0169】
まず、上記(1)を利用する場合のアルゴリズムによって動的ミラーリング先を決定する例を図12を参照して以下に述べる。これをアルゴリズム1とする。
【0170】
オリジンサーバF1は、クライアントの存在するドメインごとに、該ドメインからの単位時間あたりのコンテンツ取得要求数をモニタしている。ここでドメインの例として、ASが挙げられる。以下ドメインはASである場合を例にして説明する。
【0171】
いま、オリジンサーバは、自身の負荷を軽減するためにいくつかのミラーサーバに自身の保持するコンテンツの動的ミラーリングを行うとする。ここでは、動的ミラーリングを行う対象となるミラーサーバ数は与えられているものとする。
【0172】
まず、動的ミラーリング先決定手段A13aは、オリジンサーバにコンテンツ取得要求を行うクライアントが存在する全ASのなかから、単位時間あたりのコンテンツ取得要求数が閾値を超えるASを抽出する(図12のステップS401)。
【0173】
次に、抽出された各ASごとに(ステップS402)、該AS内にあるミラーサーバを1つ選択する(ステップS403)。ここで、該ASにあるミラーサーバを検出し、そのなかから1つを選択する方法としては、各AS内にあるミラーサーバを一元管理している代表管理サーバに問合わせを行い、最もCPU負荷の低いものを選択する方法などが考えられる。
【0174】
抽出された各ASごとに、オリジンサーバから該AS内のクライアントまでの1セッションあたりのTCPスループットを測定し、これをTCPBW1とする(ステップS404)。更に該AS内で選択されたミラーサーバから、該AS内のクライアントまでの1セッションあたりのTCPスループットを測定し、これをTCPBW2とする(ステップS405)。ここで、該AS内のクライアントとは、任意に選択されたいくつかの端末でもよいし、固定的に設置された測定用ポイントなどでもよい。次に、網リソースベース計算手段A130にて、X=N×(TCPBW2/TCPBW1)を計算する(ステップS406)。ここで、Nは該AS内に存在するクライアントからの単位時間あたりのコンテンツ取得要求数である。
【0175】
上記のXを全ての抽出されたASに対して計算し(ステップS407)、Xの値が大きいAS内のミラーサーバから順に、予め与えられた数だけ動的ミラーリングを行う対象として選択する(ステップS408、S409)。
【0176】
上記(2)〜(4)を使う場合のアルゴリズムの例も同様にして考えられる。詳細な手順はアルゴリズム1と同様にして考えられるためここでは省略する。
【0177】
次に、上記(6)を利用する場合のアルゴリズムによって動的ミラーリング先を決定する例を図13を参照して以下に述べる。これをアルゴリズム2とする。
【0178】
ここでは、動的ミラーリングを行う際にコンテンツの転送先となる候補ミラーサーバが複数存在するとし、このなかから限られた数のミラーサーバにだけ動的ミラーリングを行うものとする。すなわち動的ミラーリングの回数が制限されている。このような状況は、1回あたりの動的ミラーリングのコスト(例えば、ディスク使用量等)が与えられており、合計コストが制限されている場合に十分ありえる。この例では、コンテンツは全てオリジンサーバから直接転送されるものとする。
【0179】
まず、動的ミラーリング先の候補である各ミラーサーバに対して(ステップS501)、オリジンサーバから該ミラーサーバまでの利用可能帯域を測定又は取得し、これをAvBWとする(ステップS502)。更に網リソースベース計算手段A130にて、該ミラーサーバに対して動的ミラーリングを行おうとしているコンテンツのサイズSを用いて、S/AvBWを計算する(ステップS503)。これは動的ミラーリング時の予想されるコンテンツ転送遅延である。全ての候補ミラーサーバに対して上記の計算をした後(ステップS504)、S/AvBWの値の小さいものから順に、制限回数まで動的ミラーリングを行う(ステップS505、S506)。
【0180】
次に、上記(1)と上記(6)の網リソースを組み合わせて用いるアルゴリズムによって動的ミラーリング先を決定する例を図14を参照して以下に述べる。これをアルゴリズム3とする。
【0181】
ここでも動的ミラーリングを行う際にコンテンツの転送先となる候補ミラーサーバが複数存在するとし、このなかから限られた数のミラーサーバにだけ動的ミラーリングを行うものとする。まず、各候補ミラーサーバに対して、アルゴリズム1、2と同様にしてTCPBW2/TCPBW1及びAvBW/Sを計算する(図14のステップS601)。ここで各パラメータ取得方法及び計算方法はそれぞれアルゴリズム1、3に述べられた通りである。
【0182】
全ての候補ミラーサーバについて計算が終了した後、TCPBW2/TCPBW1の最小値の逆数をk1、AvBW/Sの最小値の逆数をk2とする(ステップS602)。次に、全候補ミラーサーバについてそれぞれ、
Y=α*k1*TCPBW2/TCPBW1+(1−α)*k2*AvBW/S
を計算する(ステップS603)。ここで、αは0≦α≦1の予め決められた係数である。Yが大きいものから順に、制限回数まで動的ミラーリングを行う(ステップS604、S605)。
【0183】
更に、上記(1)と上記(6)の網リソースを組み合わせて用いるもう1つのアルゴリズムの例を考える。これをアルゴリズム4とする。
【0184】
ここでも動的ミラーリングを行う際にコンテンツの転送先となる候補ミラーサーバが複数存在するとし、このなかから限られた数のミラーサーバにだけ動的ミラーリングを行うものとする。
【0185】
まず、全候補ミラーサーバのなかから、TCPBW2/TCPBW1の値が閾値以上である候補ミラーサーバに選択範囲を絞る。そして、絞られた候補ミラーサーバのなかから、アルゴリズム3によってS/AvBWの値の小さい順に制限回数まで動的ミラーリングを行う。
【0186】
次に、本実施の形態の効果について説明する。
【0187】
本実施の形態では、動的ミラーリング時に、網内のリソース状況を考慮して動的ミラーリング先を決定することにより、動的ミラーリングに伴う性能改善効果を高めることができる。上述したアルゴリズム1〜4の各々において、具体的な性能改善効果を以下に示す。
【0188】
アルゴリズム1では、X=N×(TCPBW2/TCPBW1)が大きくなるミラーサーバに優先的に動的ミラーリングを行う。Xが大きいほど、該AS内にあるミラーサーバへの動的ミラーリングによって、コンテンツ取得遅延の改善効果及び、その改善効果の恩恵を受けるコンテンツ取得要求数が大きいと考えられる。したがって、オリジンサーバの負荷減少効果以外にも、クライアントのコンテンツ取得時の性能を改善することができる。
【0189】
アルゴリズム2では、動的ミラーリング時のオリジンサーバからミラーサーバまでのミラーコンテンツ転送遅延が小さいものを優先的にミラーリング先として選択する。したがって、動的ミラーリングに伴うミラーコンテンツの転送を高速に完了することができ、直ちにオリジンサーバの負荷軽減を行うことができる。また、ミラーコンテンツの転送に、利用可能帯域が小さいリンクはできるだけ利用されないため、このような利用可能帯域の小さいリンク上を流れる他のトラフィックを大量のミラーコンテンツ転送によって阻害する可能性が低くなる。以上の点で、コンテンツ動的ミラーリングシステムの性能を高めることができる。
【0190】
アルゴリズム3では、アルゴリズム1におけるTCPBW2/TCPBW1とアルゴリズム2におけるAvBW/Sをそれぞれ最小値で正規化し、それぞれに任意の重み付けをして加えた値を比較してミラーリング先を選択する。したがって、クライアントにおけるコンテンツ取得遅延の改善効果と、アルゴリズム2による効果を両立したいときに、それぞれの重要度に応じた重み付けを行うことにより、最適な動的ミラーリング先を選択することができる。
【0191】
アルゴリズム4では、まずクライアントにおけるコンテンツ取得遅延の改善効果がある一定以上であるものだけに候補ミラーサーバを絞り、そのなかから、オリジンサーバからミラーサーバまでのミラーコンテンツ転送遅延が小さいものから優先的にミラーリング先を選択する。したがって、クライアントにおけるコンテンツ取得遅延の改善効果をある一定値以上に保ったまま、アルゴリズム2による効果を出すことが可能になり、クライアント側の性能改善とオリジンサーバ側の性能改善効果を両立できる。
【0192】
次に、本発明の第5の実施の形態について図面を参照して詳細に説明する。
【0193】
図15を参照すると、本実施の形態は、オリジンサーバG1が、図11に示された第4の実施の形態におけるオリジンサーバF1の構成に加え、ミラーリングツリー作成手段G11を有する点で異なる。更に、図16を参照すると、適応ミラーノードH1内の適応ミラーノードにおける動的ミラーリング要求受付手段H11が、図2における適応ミラーノードB1内の動的ミラーリング要求受付手段B11の構成に加え、ミラーコンテンツ中継手段H111を有する点で異なる。適応ミラーノードH1は、適応ミラーノードB1、E1、適応ミラープロキシサーバD1のいずれかにおいて、動的ミラーリング要求受付手段B1を動的ミラーリング要求受付手段H1で置き換えたものに相当する。
【0194】
ミラーリングツリー作成手段G11は、動的ミラーリング先決定手段A13によって決定された動的ミラーリング先に対して、ミラーコンテンツを転送するための最適な経路であるミラーリングツリーを計算する。
【0195】
ミラーコンテンツ中継手段H111は、前記ミラーリングツリーの上流のオリジンサーバG1又は他の適応ミラーノードH1から転送されたミラーコンテンツを中継し、該ミラーリングツリーの下流にある適応ミラーノードH1へ該ミラーコンテンツを転送する機能を有する。このとき、該ミラーコンテンツを中継する適応ミラーノードH1が、該ミラーコンテンツのミラーサーバとなる必要がある場合は、中継時に、同時に記憶装置内に該ミラーコンテンツを記憶する。
【0196】
以下、オリジンサーバG1から動的ミラーリングが行われる対象は、適応ミラーノードH1であるとして説明を行うが、本実施の形態では、従来型の固定的に配置されるミラーサーバにおいて、ミラーコンテンツ中継手段H111によって実現される機能と同じ機能を有するミラーサーバであってもよい。
【0197】
次に、図17のフローチャートと図18を参照して本実施の形態の動作について詳細に説明する。
【0198】
オリジンサーバA1内の動的ミラーリング先決定手段A13は、ミラーコンテンツの動的ミラーリング先となる1つあるいは複数の適応ミラーノードを決定する(図17のステップS701)。このときの決定アルゴリズムの例としては、本発明の第4の実施の形態に述べられたものが挙げられる。
【0199】
次に、ミラーリングツリー作成手段G11が、ステップS701によって決定された動的ミラーリング先となる適応ミラーノードに対する、ミラーコンテンツの転送経路となるミラーリングツリーを計算する(ステップS702)。ここで作成されるミラーリングツリーは、動的ミラーリング先となる適応ミラーノードだけで構成される。ミラーリングツリーの作成には、ミラーリングツリーの構成要素となるオリジンサーバ及び適応ミラーノード自身のリソース情報と、ミラーリングツリーの構成要素となるオリジンサーバ及び適応ミラーノード相互間のミラーコンテンツの転送経路におけるリソース情報とのどちらか一方、あるいは両方を用いる方法が考えられる。
【0200】
図18を用いて、ステップS702におけるミラーリングツリーの計算アルゴリズムの例を述べる。オリジンサーバ113は、ミラーコンテンツを適応ミラーノード114、115の両方に転送したいとする。ここでは、ミラーリングツリーは、オリジンサーバと適応ミラーノード間及び、動的ミラーリング先となる適応ミラーノード相互間の転送経路における利用可能帯域の逆数をコストとしてダイクストラ(Dijkstra)アルゴリズムで計算される。このアルゴリズムで作成されるミラーリングツリーには、オリジンサーバ及び適応ミラーノードだけがその構成要素として含まれる。そして、ミラーリングツリーによる転送経路は、ミラーコンテンツ転送時の利用可能帯域を最大化するものである。各転送経路における利用可能帯域は表303に示される。計算の結果、オリジンサーバ113を頂点とし、転送経路217(113→114)を介して適応ミラーノード114を経由し、更に転送経路220(114→115)を介して適応ミラーノード115に至るミラーリングツリー401が作成される。
【0201】
そして、中継用適応ミラーノードを追加的に選択する必要があるかどうかを判定する(ステップS703)。この判定基準の例として、a.「ステップS702で作成したミラーリングツリー上において、ボトルネックとなる利用可能帯域が閾値以下である」、あるいは、b.「ミラーコンテンツ転送における総トラフィック量を削減することができる中継用適応ミラーノードが存在する」などが挙げられる。また、選択する中継用適応ミラーノードの数を制限してもよい。その理由は、多くの中継用適応ミラーノードを選択すると、ステップS705で行われるミラーリングツリーの計算コストが大きくなるばかりか、多くの中継用適応ミラーノードを経由することで、ミラーコンテンツ転送における総トラフィック量が大きくなりがちだからである。
【0202】
ステップS703において、中継用適応ミラーノードを追加的に選択する必要があると判定された場合、網内に配置されている適応ミラーノードから、最適な中継用適応ミラーノードを選択する(ステップS704)。ステップS703において、中継用適応ミラーノードを追加的に選択する必要があると判定されなかった場合は、ステップ702で計算されたミラーリングツリーを、ミラーコンテンツの転送経路として決定する。
【0203】
ステップS704における中継用適応ミラーノードの選択アルゴリズムの例を挙げる。ここでは、図18におけるミラーリングツリー401に対して、ステップS703における判定基準の例aが用いられるとし、ボトルネックとなる利用可能帯域の閾値が100kbpsであるとする。ミラーリングツリー401のボトルネックリンク(転送経路217)となる利用可能帯域は80kbpsであるため、中継用適応ミラーノードが追加的に選択される必要があると判定される。また、選択する中継用適応ミラーノードの数は1つに制限されているものとする。本アルゴリズムの例では、利用可能帯域が閾値以下となる転送経路を中継用適応ミラーノードを1ホップ経由して迂回する。
【0204】
この中継用適応ミラーノードは、その利用可能帯域が閾値以下となる転送経路において、その上流側のオリジンサーバ又は適応ミラーノードが存在するドメイン(例えばインターネットにおけるAS)に隣接するドメイン内に存在する適応ミラーノードのなかから、中継した場合に利用可能帯域を最大化するように選択される。ここでは、最もオリジンサーバ113→適応ミラーノード114までの利用可能帯域を最大化するような中継用適応ミラーノードが選択される。ただし、転送経路217(113→114)よりも利用可能帯域が大きくなる中継用適応ミラーノードが存在しない場合は、中継用適応ミラーノードは選択しない。ここでは、転送経路219(113→116)、222(116→114)を介してオリジンサーバ113と適応ミラーノード114との間を中継する、適応ミラーノード116が中継用適応ミラーノードとして選択されたとする。適応ミラーノード116が中継用適応ミラーノードとして用いられた場合は、オリジンサーバと適応ミラーノードとの間の利用可能帯域は150kbpsになる。
【0205】
ステップS704で中継用適応ミラーノードが選択されたのち、再度ミラーリングツリーを作成する(ステップS705)。ここで作成されるミラーリングツリーは、動的ミラーリング先となる適応ミラーノードに加え、選択された中継用ミラーノードがその構成要素に含められる。ここで用いられるミラーリングツリーの計算アルゴリズムは、ステップ702で用いられる計算アルゴリズムと同じでもよいし、異なるものでもよい。異なるアルゴリズムの例として、ステップS702において計算されたミラーリングツリーにおいて、利用可能帯域がボトルネックとなっていた転送経路部分を、中継用適応ミラーノードを経由する転送経路に置き換えたミラーリングツリーを作成する、などがある。ステップS703において、中継用適応ミラーノードを追加的に選択する必要があると判定された場合は、ステップS705で計算されたミラーリングツリーを、ミラーコンテンツの転送経路として決定する。
【0206】
図18の例では、ミラーリングツリー401に対して、オリジンサーバ113と適応ミラーノード114との間の転送経路217(113→114)が適応ミラーノード116を中継する転送経路、219(113→116)、222(116→114)に置き換えられ、ミラーリングツリー402がミラーコンテンツの転送経路として決定したとする。
【0207】
次に、ミラーコンテンツの転送経路として決定されたミラーリングツリー上の各適応ミラーノードに対してミラーコンテンツ転送要求が送信される(ステップS706)。ここで、ミラーコンテンツ転送要求に含まれる情報は、図3のステップS106において述べられた情報に加え、ミラーリングツリーの経路情報が含められると共に、中継用適応ミラーノードに対しては、更にミラーコンテンツのミラーリング処理を要求するか中継処理を要求するかという情報が含められる。
【0208】
ステップS706においてミラーコンテンツ転送要求が送信された全適応ミラーノードからの受理応答をオリジンサーバA1が受信すると、ミラーコンテンツをミラーリングツリー上に転送する(ステップS707、S708)。
【0209】
図18の例において、ミラーリングツリー402上にミラーコンテンツが転送される場合、オリジンサーバは適応ミラーノード116へ転送経路219(113→116)を介してミラーコンテンツの送信を行う。適応ミラーノード116は受信したミラーコンテンツを中継し、転送経路222(116→114)を介して適応ミラーノード114へ送信する。ここで、適応ミラーノード116はいったん記憶装置内に受信したミラーコンテンツを記憶し、全ミラーコンテンツ受信後に適応ミラーノード114への送信を行ってもよいし、記憶せずにリアルタイムに中継を行ってもよい。ミラーコンテンツの転送遅延削減の面では、後者の方が望ましい。適応ミラーノード114は、受信したミラーコンテンツを記憶装置内に記憶すると同時に、転送経路220(114→115)を介して適応ミラーノード115への中継を行う。適応ミラーノード115は、受信したミラーコンテンツを記憶装置内に記憶し、ミラーコンテンツの受信が完了すると、オリジンサーバ113へミラーコンテンツの全転送が完了したことを示すメッセージを送信する。
【0210】
ここでは、ミラーリングツリー402上にミラーコンテンツが転送される場合について説明されたが、ミラーリングツリーがマルチキャストツリー状になる場合についても図18を用いて簡単に説明する。ここでは、オリジンサーバ113は、ミラーリングツリー403を用いて適応ミラーノード114、115、117へミラーコンテンツの転送を行うものとする。まず、オリジンサーバ113は、適応ミラーノード114へ転送経路217(113→114)を介してミラーコンテンツの送信を行う。適応ミラーノード114は、受信したミラーコンテンツを記憶装置内に記憶すると同時に、ミラーリングツリー403における下流側のノードである、適応ミラーノード115、117へそれぞれ転送経路220(114→115)、転送経路223(114→117)を介してミラーコンテンツの中継を行う。
【0211】
ステップS706においてミラーコンテンツ転送要求が送信された全適応ミラーノードの内、1つ以上の適応ミラーノードから拒否応答を受信した場合、ステップS701に戻り、動的ミラーリング先の候補となる適応ミラーノードを再選択する(ステップS707)。その他、拒否応答のあった適応ミラーノードだけを取り除いて、ステップS703でミラーリングツリーを再計算する方法なども考えられる。
【0212】
以上に述べられた本実施の形態では、ミラーリングツリーは、オリジンサーバを頂点とするように作成されたが、オリジンサーバの他に、ミラーコンテンツと同一のコンテンツが既にミラーリングされている他のミラーサーバを頂点としてもよい。複数の適応ミラーノードに動的ミラーリングを同時に行う場合、各適応ミラーノードごとに、最もミラーコンテンツの転送遅延が小さくなるようにミラーリングツリーの頂点となるオリジンサーバ又はミラーサーバを選択し、こうして選択されたオリジンサーバ又はミラーサーバの各々を頂点とする複数のミラーリングツリーを作成して転送を行ってもよい。
【0213】
次に、本実施の形態の効果について説明する。
【0214】
従来、オリジンサーバから1つあるいは複数のミラーサーバに対して動的ミラーリングを行う際に、直接オリジンサーバからミラーサーバに対してミラーコンテンツの転送が行われるため、ミラーコンテンツ転送に伴う大量のトラフィック量によって、網に負荷をかけてしまうおそれがあった。特に、オリジンサーバからミラーサーバまでの転送経路に利用可能帯域値の非常に小さいリンクが存在する場合、ミラーリングに要する転送遅延が大きくなるばかりでなく、ミラーコンテンツの転送時の大量のトラフィックによって、そのリンクを通過する他のトラフィックを阻害するおそれがある。また、複数のミラーサーバに同時に同一コンテンツの動的ミラーリングを行う場合、各ミラーサーバに同じミラーコンテンツの転送を並列に行うため、転送トラフィックが網に与える負荷はその大きかった。
【0215】
本実施の形態では、オリジンサーバから動的ミラーリング先となる適応ミラーノードまでのミラーコンテンツの転送経路において、他の適応ミラーノードを中継用ホップとして利用する転送経路を選択することができる。そのため、ミラーコンテンツの転送遅延を削減し、転送経路上の他のトラフィックを阻害しないようなミラーコンテンツの転送が可能になる。
【0216】
また、特に複数のミラーリング先に同時に動的ミラーリングを行う場合、オリジンサーバは、ミラーリング先となる適応ミラーノードでミラーリングツリーを作成し、ミラーコンテンツは作成されたミラーリングツリーにそって転送される。このとき、ミラーリング先となる適応ミラーノード以外の他の適応ミラーノードを中継用にミラーリングツリーに加えてもよい。したがって、複数のミラーリング先へのミラーコンテンツの転送において、その転送遅延と転送トラフィック量を削減することが可能になる。
【0217】
(実施例)
次に、本発明の第1の実施例を、図面を参照して説明する。この第1の実施例は、本発明の第1及び第2の実施の形態に対応するものである。
【0218】
図19を参照すると、本実施例は、AS2〜5の4つのASから構成され、それぞれAS内ネットワーク6〜9を有している。また、AS間はリンク213〜216によって接続されている。AS2内にはオリジンサーバ105が存在し、AS3〜5内にはそれぞれ適応ミラープロキシサーバ106〜108が存在する。また、各AS内には、それぞれクライアント109〜112が存在する。ここでは、1台のクライアントマシンではなく、各AS内に存在するクライアント群をまとめたものとして示している。
【0219】
本実施例では簡単のために、オリジンサーバ105内にあるコンテンツの内、URLが“http://www.biglobe.com/news/”で始まるコンテンツ(以下newsコンテンツ)だけを動的ミラーリングの対象とする。
【0220】
適応ミラープロキシサーバは106〜108は、それぞれ各AS内にあるクライアント109〜112のプロキシサーバとして設定されている。各クライアントが送信する全てのコンテンツ取得要求(HTTPリクエスト)は、いったん各AS内のプロキシサーバに受信され、リクエストに対応するコンテンツがキャッシュされていれば直接コンテンツをクライアントに送信する。リクエストに対応するコンテンツをキャッシュしていない場合は、オリジンサーバに該リクエストを代理で送信する。
【0221】
オリジンサーバ105は、newsコンテンツの単位時間あたりのリクエスト数をクライアントの存在するASごとにカウントし、その値が閾値を上回った場合、該ASにnewsコンテンツを動的ミラーリングするものとする。ここではその閾値を50000リクエスト/時間とする。
【0222】
既に適応ミラープロキシサーバ107には、クライアント111からのリクエスト数が閾値を超えるため、既にnewsコンテンツが動的ミラーリングされており、ミラーサーバとして動作しているとする。クライアント111におけるnewsコンテンツに対するリクエストは、全て適応ミラープロキシサーバ107に送信される。適応ミラープロキシサーバ107は該リクエストがミラーコンテンツに対するものであることを識別し、オリジンサーバ105に該リクエストを送信することなく直接応答する。
【0223】
いま、オリジンサーバ105において、クライアント110からのnewsコンテンツに対するリクエスト数が、閾値である50000リクエスト/時間を超えたとする。
【0224】
オリジンサーバ105は、AS3内にある適応ミラーノードを検索し、適当な適応ミラーノードに動的ミラーリングを行おうとする。
【0225】
ここでは、適応ミラープロキシサーバ106が、オリジンサーバ105に対してクライアント110の代理に送信するHTTPリクエスト内に、プロキシサーバ機能の他に適応ミラーノードの機能をもつことを示す情報が含まれているものとする。オリジンサーバ105は、その情報により、AS3内には適応ミラープロキシサーバ106が存在するということを認識し、適応ミラープロキシサーバ106にnewsコンテンツの動的ミラーリングを行おうと決定する。
【0226】
オリジンサーバ105は、適応ミラープロキシサーバ106に対して、動的コンテンツミラーリング要求を送信する。適応ミラープロキシサーバ106は、この要求を受信して、受理できるならば受理応答をオリジンサーバ105に対して送信する。
【0227】
次に、オリジンサーバ105は、既にnewsコンテンツをもつ他の適応ミラーノードの各々から、適応ミラープロキシサーバ106までの利用可能帯域を調べる。オリジンサーバ105からの利用可能帯域と比較して大きいものがあれば、最も利用可能帯域が大きい適応ミラーノードからミラーコンテンツの送信を行う。
【0228】
ここでは、オリジンサーバ105から適応ミラープロキシサーバ106までの利用可能帯域と、適応ミラープロキシサーバ107から適応ミラープロキシサーバ106までの利用可能帯域とを比較し、後者の方が大きいとする。
【0229】
オリジンサーバ105は、適応ミラープロキシサーバ107に対し、newsコンテンツを適応ミラープロキシサーバ106まで送信するように指示を送信する。
【0230】
適応ミラープロキシサーバ107は、この指示を受信すると、newsコンテンツを適応ミラープロキシサーバ106に送信する。
【0231】
適応ミラープロキシサーバ106がnewsコンテンツを全て受信すると、以後newsコンテンツのミラーサーバとして機能し、クライアント110から受信したnewsコンテンツに対するHTTPリクエストは直接応答される。
【0232】
次に第2の実施例を、図面を参照して説明する。この第2の実施例は、第4の実施の形態に対応するものであり、特に、アルゴリズム1を用いて動的ミラーリング先を決定する場合に対応する。本実施例では、適応ミラープロキシサーバ106〜108は、通常のミラーサーバであると読みかえてもよい。
【0233】
本実施例でも同じく図19の網構成が用いられるものとする。ここで、オリジンサーバ105内には、newsコンテンツが存在し、newsコンテンツは、適応ミラープロキシサーバ106〜108のいずれにもミラーリングが行われていないとする。
【0234】
オリジンサーバ105は、newsコンテンツの単位時間あたりのリクエスト数をクライアントの存在するASごとにカウントし、その値が閾値を上回った場合、該AS内のミラーサーバにnewsコンテンツを動的ミラーリングすることができる。ここではその閾値を50000リクエスト/時間とする。
【0235】
AS3〜5には、それぞれに対応するクライアントであるクライアント110〜112が存在するが、いま、クライアント110〜112からのリクエスト数Nがそれぞれ10万リクエスト/時、20万リクエスト/時、30万リクエスト/時であり、全て閾値である50000リクエスト/時間を上回ったとする。各AS内には、適応ミラープロキシサーバ106〜108がそれぞれミラーサーバとして存在するということを、オリジンサーバ105は第1の実施例と同様にして認識している。したがって、オリジンサーバ105は、各AS内に存在する適応ミラープロキシサーバ106〜108のそれぞれに対してnewsコンテンツの動的ミラーリングを行うことができるが、ここでは、適応ミラープロキシサーバ内ディスクスペースの使用に対して課金が発生するため、動的ミラーリング先は2つだけに制約されているものとする。そこで、第4の実施の形態におけるアルゴリズム4を用いて2つに絞る。
【0236】
まず、全てのASに対して、オリジンサーバ105から該AS内にあるクライアントまでの1セッションあたりのTCPスループットであるTCPBW1と、該AS内に存在する適応ミラープロキシサーバから該AS内にあるクライアントまでの1セッションあたりのTCPスループットであるTCPBW2を測定する。ここで、該AS内にあるクライアントは、該AS内で設定された測定用ポイントが用いられるものとする。測定結果を図20の表302に示す。
【0237】
表302に示された値と、各ASからの単位時間あたりのリクエスト数より、AS3〜5に対してそれぞれ、X=N×(TCPBW2/TCPBW1)を計算する。その結果、AS3〜5に対してそれぞれ、X=150万、400万、300万である。Xの値は、AS4、5、3の順に大きい。したがって、適応ミラープロキシサーバ107と108がnewsコンテンツの動的ミラーリング先として決定される。
【0238】
上述したコンテンツ動的ミラーリングシステムは、ハードウェア的に実現することは勿論として、コンピュータシステムの磁気ディスク、半導体メモリその他の記録媒体に記録された、上述した各機能を実現するためのプログラムによってソフトウェア的に実現することも可能である。上述した各実施の形態によるコンテンツ動的ミラーリングシステムでは、オリジンサーバA1と適応ミラーノードB1の動的ミラーリングプログラムP10、P20が、記録媒体からコンピュータシステムのデータ処理部(CPU)に読み込まれ、データ処理部の動作を制御することにより、上述した各手段の機能を実現して動的ミラーリングを実行する。すなわち、オリジンサーバ及び適応ミラーノードにおいて、それぞれ図3、図5、図7、図9、図12、図13、図14及び図17の処理を実行する。
【0239】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【0240】
【発明の効果】
以上説明したように本発明によれば、以下のような効果が達成される。
【0241】
第1の効果は、オリジンサーバは網内に配置された適応ミラーノードを用いて、オリジンサーバのアクセス負荷状況に応じて適応的にミラーサーバ網を構築し、負荷分散の効果を最大限に出すことができる。
【0242】
その理由は、網内に配置されているルータやプロキシサーバ等の任意のノードに適応ミラーノード機能をもたせることにより、任意のオリジンサーバからの動的ミラーリング要求を受けてミラーサーバとして機能させることができ、オリジンサーバは、適応ミラーノード化された網内の任意のノードを動的ミラーリングの対象とできるからである。
【0243】
第2の効果は、クライアントは、常に低遅延、高スループットでコンテンツを取得することが可能になる。
【0244】
その理由は、オリジンサーバにアクセスが集中してコンテンツ取得時の遅延、スループットの性能が低下した場合は、取得要求の頻度が高いコンテンツの複製が自動的にクライアントにとって最寄りの適応ミラーノードにコピーされ、クライアントは最寄りの適応ミラーノードから該コンテンツを取得することが可能だからである。
【0245】
第3の効果は、従来プロキシサーバとミラーサーバの機能を独立したノードとして実現しなければいけないために要した設置コスト及び管理コストを削減することができる。
【0246】
その理由は、プロキシサーバ上に適応ミラーノード機能を実装することにより、プロキシサーバの提供する機能とミラーサーバの提供する機能の両方を同一ノード上で提供するすることが可能になるからである。
【0247】
第4の効果は、SSLプロトコルによる認証・暗号処理、CGIスクリプトの実行等を要するコンテンツに対する取得要求による、オリジンサーバへのトラフィック及びオリジンサーバのアクセス負荷を削減することができる。
【0248】
その理由は、プロキシサーバは従来コンテンツキャッシュ機能しか有しないために、上記のコンテンツに対する取得要求は受け付けることができず、オリジンサーバへ要求を転送するしかなかったが、適応ミラーノード機能を実装してミラーサーバとしての機能をもたせることにより、上記のコンテンツを取り扱うことが可能になるからである。
【0249】
第5の効果は、コンテンツのミラーリングが行われている場合に、従来はクライアント側で適当なミラーサーバを選択し、その宛先IPアドレスに対応するサーバにコンテンツ取得要求を送信しなければならなかったが、その必要なしに、クライアント側でプロキシサーバの設定を行うだけでミラーコンテンツを取得することができる。
【0250】
その理由は、適応ミラープロキシサーバを配下のクライアント群におけるプロキシサーバとして設定することにより、配下のクライアント群からの全てのコンテンツ取得要求はこの適応ミラープロキシサーバに受信され、適応ミラープロキシサーバは、各コンテンツ取得要求をみて、ミラーリングされているコンテンツに対する取得要求にのみ直接応答し、その他のコンテンツに対する取得要求は通常のプロキシサーバとしての処理を選択的に行うからである。
【0251】
第6の効果は、認証、課金処理を行うオリジンサーバの負荷を軽減できる。
【0252】
その理由は、認証、課金処理は、従来、オリジンサーバでしか行うことができなかったが、動的ミラーリングに伴うオリジンサーバから適応ミラーノードへのミラーコンテンツ転送の際、同時に、認証、課金処理もオリジンサーバから適応ミラーノードに委託することにより、適応ミラーノードにおいて、認証、課金処理を行うことが可能になるからである。
【0253】
第7の効果は、クライアントは、常に低遅延、高スループットで認証、課金処理を必要とするコンテンツの取得を行うことが可能になる。
【0254】
その理由は、オリジンサーバにアクセスが集中してコンテンツ取得時の遅延、スループットの性能が低下した場合は、認証、課金処理を要するコンテンツであっても、動的にクライアントに最寄りの適応ミラーノードに該コンテンツの複製が自動的にクライアントにとって最寄りの適応ミラーにコピーされ、同時に認証、課金処理の委託がされるため、クライアントは該コンテンツを最寄りの適応ミラーノードから取得することが可能だからである。
【0255】
第8の効果は、動的ミラーリングを行う際に、動的ミラーリングを行うことによる性能改善効果を最大化するようにミラーサーバの選択をすることができる。
【0256】
その理由は、動的ミラーリング時に網内リソース状況を考慮して行うためである。
【0257】
第9の効果は、動的ミラーリング時に、ミラーコンテンツの転送遅延を削減し、転送経路上の他のトラフィックを阻害しないようなミラーコンテンツの転送ができる。
【0258】
その理由は、オリジンサーバから動的ミラーリング先となる適応ミラーノードまでのミラーコンテンツの転送経路において、他の適応ミラーノードを中継用ホップとして利用する転送経路を選択することができるからである。
【0259】
第10の効果は、複数のミラーリング先へのミラーコンテンツの転送において、その転送遅延と転送トラフィック量を削減することが可能になる。
【0260】
その理由は、複数のミラーリング先に同時に動的ミラーリングを行う場合、オリジンサーバは、ミラーリング先となる適応ミラーノード及び中継用適応ミラーノードから構成されるミラーリングツリーを作成し、ミラーコンテンツは作成されたミラーリングツリーにそって転送されることができるからである。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態の構成を示すブロック図である。
【図2】 本発明の第1の実施の形態における動的ミラーリング要求受付手段の構成を詳細に示すブロック図である。
【図3】 本発明の第1の実施の形態のオリジンサーバの動作を示すフローチャートである。
【図4】 本発明の第1の実施の形態のオリジンサーバのミラーコンテンツ転送手段の詳細な構成を示すブロック図である。
【図5】 本発明の第1の実施の形態の最も転送遅延が小さくなるミラーサーバから動的ミラーリングを行う方式の詳細な動作を説明するフローチャートである。
【図6】 本発明の第1の実施の形態で最も転送オーバヘッドが少ないミラーサーバから動的ミラーリングを行う方式の例を示す図である。
【図7】 本発明の第1の実施の形態のミラーサーバの動作を示すフローチャートである。
【図8】 本発明の第2の実施の形態の構成を示すブロック図である。
【図9】 本発明の第2の実施の形態の適応ミラープロキシサーバの動作を示すフローチャートである。
【図10】 本発明の第3の実施の形態の構成を示すブロック図である。
【図11】 本発明の第4の実施の形態の構成を示すブロック図である。
【図12】 本発明の第4の実施の形態におけるアルゴリズム1の動作を示すフローチャートである。
【図13】 本発明の第4の実施の形態におけるアルゴリズム2の動作を示すフローチャートである。
【図14】 本発明の第4の実施の形態におけるアルゴリズム3の動作を示すフローチャートである。
【図15】 本発明の第5の実施の形態のオリジンサーバの構成を示すブロック図である。
【図16】 本発明の第5の実施の形態の適応ミラーノードの構成を示すブロック図である。
【図17】 本発明の第5の実施の形態のオリジンサーバの動作を示すフローチャートである。
【図18】 本発明の第5の実施の形態におけるミラーリングツリーの作成例を示す図である。
【図19】 本発明を適用した第1の実施例における網構成図である。
【図20】 本発明を適用した第2の実施例における1セッションあたりのTCPスループットの測定結果を示す図である。
【符号の説明】
A1 オリジンサーバ
A10 記憶装置
A11 サーバ負荷測定手段
A12 ミラーコンテンツ決定手段
A13 動的ミラーリング先決定手段
A14 適応ミラーノード検出手段
A15 動的ミラーリング要求手段
A16 ミラーコンテンツ転送手段
A161 他ミラーサーバとの通信手段
A162 ソース決定手段
A163 適応ミラーノードとの通信手段
B1 ミラーサーバ
B10 記憶装置
B11 動的ミラーリング要求受付手段
B12 要求データ受信部
B13 応答コンテンツ作成手段
B14 コンテンツ応答手段
B101 ミラーコンテンツ記憶部
B111 データ送受信手段
B112 動的ミラーリング要求受理判別手段
B113 ミラーコンテンツ受信手段
B114 解凍・復号化手段
C1 クライアント
D1 適応ミラープロキシサーバ
D10 記憶装置
D11 要求データ受信部
D12 動作決定手段
D13 キャッシュヒット判定手段
D14 コンテンツ取得要求転送先決定手段
D15 コンテンツ取得要求転送手段
D101 キャッシュ記憶部
E1 適応ミラーノード
E10 記憶装置
E11 動的ミラーリング要求受付手段
E12 要求データ受信部
E13 認証課金情報処理手段
E101 認証課金情報管理部
F1 オリジンサーバ
F11 網リソース取得手段
G1 オリジンサーバ
G11 ミラーリングツリー作成手段
H1 適応ミラーノード
H11 動的ミラーリング要求受付手段
H111 ミラーコンテンツ中継手段
1 バックボーンネットワーク
2〜5 AS
6〜9 AS内ネットワーク
101、105 オリジンサーバ
106〜108 適応ミラープロキシサーバ
109〜112 クライアント
113 オリジンサーバ
114〜117 適応ミラーノード
201〜216 リンク
217〜223 転送経路
301 各サーバ間の利用可能帯域を示す表
302 各サーバ/クライアント間のTCPスループットを示す表
303 各転送経路における利用可能帯域を示す表
401〜403 ミラーリングツリー

Claims (3)

  1. 自ノードの保持するコンテンツの全部又は一部の複製であるミラーコンテンツを網内の他のミラーサーバへコピーする動的ミラーリングを行うオリジンサーバであって、
    クライアントからのコンテンツ取得要求に伴う前記オリジンサーバの性能劣化を示すパラメータを測定し、該測定結果に基づいて前記動的ミラーリングを行うかどうかを判定するサーバ負荷測定手段と、
    前記オリジンサーバの保持するコンテンツのうちのどのコンテンツをミラーコンテンツとして、前記動的ミラーリングを行うかを選択するミラーコンテンツ決定手段と、
    網内リソース情報とミラーサーバ性能情報のいずれか、あるいは両方を取得する機能を有する網リソース取得手段と、
    前記網リソース取得手段によって取得した網リソース情報を基にして事前に設定されたアルゴリズムに従った計算を行うことによって、前記ミラーコンテンツをどの前記ミラーサーバへコピーするかを決定する動的ミラーリング先決定手段と、
    前記動的ミラーリング先決定手段によって決定された動的ミラーリング先となるノードに対して、前記動的ミラーリングを行うための動的ミラーリング要求を出す動的ミラーリング要求手段と、
    前記動的ミラーリング要求が受理された場合に、動的ミラーリング先として決定された前記ノードに対して、前記ミラーコンテンツ決定手段によって決定されたミラーコンテンツを転送するミラーコンテンツ転送手段とを備え、
    前記動的ミラーリング先決定手段は、前記網リソース取得手段によって取得した網リソース情報のうち、
    前記オリジンサーバに対してコンテンツ取得要求を行うクライアントの属するサイトであるクライアントサイトごとに計測された、前記オリジンサーバから前記クライアントサイトまでの1セッションあたりの第1のコンテンツ転送スループットをW1とし、
    前記クライアントサイトにとってのコンテンツ取得遅延を最小化するように選択されたミラーサーバから、前記クライアントサイトまでの1セッションあたりの第2のコンテンツ転送スループットをW2とし、
    前記クライアントサイトからの単位時間あたりのコンテンツ取得要求数をNとし、
    N×(W2/W1)
    の式に従って計算を行い、
    当該計算結果の値の大きさに基づいて、前記動的ミラーリング先を決定するための優先度を定めることを特徴とするオリジンサーバ。
  2. 自ノードの保持するコンテンツの全部又は一部の複製であるミラーコンテンツを網内の他のミラーサーバへコピーする動的ミラーリングを行うオリジンサーバであって、
    クライアントからのコンテンツ得要求に伴う前記オリジンサーバの性能劣化を示すパラメータを測定し、該測定結果に基づいて前記動的ミラーリングを行うかどうかを判定するサーバ負荷測定手段と、
    前記オリジンサーバの保持するコンテンツのうちのどのコンテンツをミラーコンテンツとして、前記動的ミラーリングを行うかを選択するミラーコンテンツ決定手段と、
    網内リソース情報とミラーサーバ性能情報のいずれか、あるいは両方を取得する機能を有する網リソース取得手段と、
    前記網リソース取得手段によって取得した網リソース情報を基にして事前に設定されたアルゴリズムに従った計算を行うことによって、前記ミラーコンテンツをどの前記ミラーサーバへコピーするかを決定する動的ミラーリング先決定手段と、
    前記動的ミラーリング先決定手段によって決定された動的ミラーリング先となる前記ノードに対して、前記動的ミラーリングを行うための動的ミラーリング要求を出す動的ミラーリング要求手段と、
    前記動的ミラーリング要求が受理された場合に、動的ミラーリング先として決定された前記ノードに対して、前記ミラーコンテンツ決定手段によって決定されたミラーコンテンツを転送するミラーコンテンツ転送手段とを備え、
    前記動的ミラーリング先決定手段は、前記網リソース取得手段によって取得した網リソース情報のうち、
    クライアントサイトにとってのコンテンツ取得遅延を最小化するように選択されたミラーサーバから、該クライアントサイトまでの経路における、
    利用可能帯域の値、RTTの値又はある固定長データの前記クライアントサイトが下流となる向きの転送遅延の値の何れか1つの値の大きさに基づいて、前記動的ミラーリング先を決定するための優先度を定めることを特徴とするオリジンサーバ。
  3. 前記動的ミラーリング先決定手段は、前記式に基づく当該計算結果の値が大きいほど、前記動的ミラーリング先の決定において高い優先度を与えることを特徴とする請求項1に記載のオリジンサーバ、
    又は、
    前記動的ミラーリング先決定手段は、前記利用可能帯域の値が大きいほど、あるいは、前記RTT又は前記転送遅延の値が小さいほど、前記動的ミラーリング先の決定において高い優先度を与えることを特徴とする請求項2に記載のオリジンサーバ。
JP2001258315A 2001-08-28 2001-08-28 コンテンツ動的ミラーリングシステム、 Expired - Fee Related JP4410963B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001258315A JP4410963B2 (ja) 2001-08-28 2001-08-28 コンテンツ動的ミラーリングシステム、

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001258315A JP4410963B2 (ja) 2001-08-28 2001-08-28 コンテンツ動的ミラーリングシステム、

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005380512A Division JP2006146951A (ja) 2005-12-28 2005-12-28 コンテンツ動的ミラーリングシステム

Publications (2)

Publication Number Publication Date
JP2003067279A JP2003067279A (ja) 2003-03-07
JP4410963B2 true JP4410963B2 (ja) 2010-02-10

Family

ID=19085858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001258315A Expired - Fee Related JP4410963B2 (ja) 2001-08-28 2001-08-28 コンテンツ動的ミラーリングシステム、

Country Status (1)

Country Link
JP (1) JP4410963B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031987A (ja) * 2003-07-14 2005-02-03 Nec Corp コンテンツ配信システムにおけるコンテンツ配置管理システム及びコンテンツ配置管理プログラム
US7546342B2 (en) * 2004-05-14 2009-06-09 Microsoft Corporation Distributed hosting of web content using partial replication
JP4636864B2 (ja) * 2004-11-30 2011-02-23 株式会社エヌ・ティ・ティ・ドコモ 中継機器
US7210060B2 (en) * 2004-12-30 2007-04-24 Emc Corporation Systems and methods for restoring data
JP4670604B2 (ja) * 2005-11-21 2011-04-13 ブラザー工業株式会社 情報配信システム、情報処理装置、情報処理プログラム及び情報処理方法
WO2008072358A1 (ja) * 2006-12-14 2008-06-19 Frepar Networks Kabushiki Kaisha 情報提供システム
JP5103933B2 (ja) * 2007-02-20 2012-12-19 富士通株式会社 コンテンツの配信方法及びシステム
JP4696089B2 (ja) * 2007-03-30 2011-06-08 三菱電機インフォメーションシステムズ株式会社 分散ストレージシステム
JP5096293B2 (ja) * 2008-11-05 2012-12-12 日本電信電話株式会社 コンテンツ配信支援システムと方法およびプログラム
KR100900491B1 (ko) 2008-12-02 2009-06-03 (주)씨디네트웍스 분산 서비스 거부 공격의 차단 방법 및 장치
US20110276679A1 (en) 2010-05-04 2011-11-10 Christopher Newton Dynamic binding for use in content distribution
JP5165045B2 (ja) * 2010-11-10 2013-03-21 ヤフー株式会社 キャッシュシステム及びコンテンツ配信制御方法
JP6020278B2 (ja) * 2013-03-21 2016-11-02 富士通株式会社 自律分散型キャッシュ配置制御システム
JP6770244B2 (ja) * 2015-03-30 2020-10-14 日本電気株式会社 ストレージシステム
JP2020123188A (ja) 2019-01-31 2020-08-13 富士通株式会社 通信装置、通信プログラム、および通信方法
CN113127430B (zh) * 2019-12-30 2024-05-03 北京懿医云科技有限公司 镜像信息处理方法、装置、计算机可读介质及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311703A (ja) * 1994-05-18 1995-11-28 Matsushita Electric Ind Co Ltd ネットワークファイルシステム管理方法およびその装置
JPH1093626A (ja) * 1996-09-11 1998-04-10 Nippon Telegr & Teleph Corp <Ntt> データ通信網における通信状態に依存したホストのトラヒック負荷分散制御方法

Also Published As

Publication number Publication date
JP2003067279A (ja) 2003-03-07

Similar Documents

Publication Publication Date Title
US11563685B2 (en) Method and apparatus for traffic optimization in virtual private networks (VPNs)
JP4410963B2 (ja) コンテンツ動的ミラーリングシステム、
JP2006146951A (ja) コンテンツ動的ミラーリングシステム
US8819280B1 (en) Network traffic load balancing system using IPV6 mobility headers
RU2549135C2 (ru) Система и способ для обеспечения более быстрой и более эффективной передачи данных
JP4529974B2 (ja) サーバ負荷分散システム、サーバ負荷分散装置、コンテンツ管理装置、及びサーバ負荷分散プログラム
JP4146720B2 (ja) コネクションオリエンテッドトランザクションにおけるurlオブジェクトのインテリジェントな需要に基づく認識
KR101430237B1 (ko) 피어 투 피어 통신에서의 피어 선정 방법 및 그 시스템
WO2012173175A1 (ja) コンテンツ配信システム、制御装置およびコンテンツ配信方法
US20030079005A1 (en) System and method for efficient wide area network routing
US20100293294A1 (en) Peer-to-peer communication optimization
JP2005311863A (ja) トラフィック分散制御方法、制御装置及びネットワークシステム
JP2015027092A (ja) サービス品質(qos)ベースのシステム、ネットワーク、及びアドバイザー背景
WO2003026220A1 (en) Parallel information delivery method based on peer-to-peer enabled distributed computing technology and the system thereof
JP2003256310A (ja) サーバ負荷分散システム、サーバ負荷分散装置、コンテンツ管理装置、及びサーバ負荷分散プログラム
CN107135266B (zh) Http代理框架安全数据传输方法
Yamamoto A survey of caching networks in content oriented networks
Conti et al. Client-side content delivery policies in replicated web services: parallel access versus single server approach
JP4270397B2 (ja) 通信制御システム
JP4340562B2 (ja) 通信の優先制御方法並びに通信の優先制御システム及び通信の優先制御装置
Bolot et al. Design of efficient caching schemes for the world wide web
JP4140442B2 (ja) 通信端末および通信ネットワーク
Scott et al. Blocking-resistant network services using Unblock
JP2006260592A (ja) コンテンツ管理装置及びコンテンツ管理プログラム
Kubde et al. Analysis of Multipath TCP Schedulers

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051228

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060214

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091015

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091116

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4410963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees